2D人脸识别Camera图像采集

本文介绍2D人脸识别中的Camera图像采集部分，目前市面上Android阵营中大部分机型都使用的是2D人脸识别；图像采集主要是获取目标的RGB图像，2D人脸图像获取相对简单，只需要获取到RGB的图像信息，不需要深度信息。获取图像数据信息的方式只需要一个普通摄像头模组即可，简单方便。

Camera组件架构

图1主要展示了Camera HAL及以上的组件架构，Android 5.0对拍照API进行了全新的设计，新增了全新设计的Camera v2 API，这些API不仅大幅提高了Android系统拍照的功能，还能支持RAW照片输出，甚至允许程序调整相机的对焦模式、曝光模式、快门等。

Camera数据流

Camera整体模型

应用框架针对捕获的结果向相机子系统发出请求。一个请求对应一组结果。请求包含有关捕获和处理这些结果的所有配置信息。其中包括分辨率和像素格式；手动传感器、镜头和闪光灯控件；3A 操作模式；RAW 到YUV 处理控件；以及统计信息的生成等。这样一来，便可更好地控制结果的输出和处理。一次可发起多个请求，而且提交请求时不会出现阻塞。请求始终按照接收的顺序进行处理。

Camera Pipeline

图3 Camera Pipeline

图3主要描述Camera Sensor出图后经过不同图像处理后输出不同处理的图像。

其中Image Processing模块里面的一些参数是可以由应用层进行配置，比如Feature参数；

举例说明：

问题：在实际项目调试人脸识别Feature过程中就遇到过因为图质量较差的原因导致识别失败的问题，那如何解决？

解决方法：既然是图差的原因导致的，那就只能正向去优化人脸图像质量了，在图像处理模块中有一个模块叫NoiseReduction（降噪），查询默认参数为NOISE_REDUCTION_MODE_OFF

即Camera模块是关闭降噪功能的，将此参数设定为：

NOISE_REDUCTION_MODE_HIGH_QUALITY后再dump出人脸图像效果改善明显；

Camera Capture和Preview

Camera Capture

应用层发起Capture请求且注册onImageCaptureCallback函数后，Camera模块拍照完会回调到应用端获取拍照图像buf;如何设定Camera拍照参数：

android.hardware.camera2.CaptureRequest.Builder

A builder for capture requests.

CaptureRequest 表示一个捕捉的请求。可以为不同的场景（预览、拍照）创建不同的捕捉请求，并可以配置不同的捕捉属性，如：预览分辨率，预览目标，对焦模式、曝光模式等等。

通过 CameraDevice 对象的 createCaptureRequest() 方法得到一个 CaptureRequest.Builder 对象，基本配置都是通过该构造者来配置；最后通过CaptureRequest.Builder 对象的 build() 方法便可得到 CaptureRequest 实例。

上述代码中就是通过CONTROL_AF_MODE_CONTINUOUS_PICTURE参数打开自动对焦功能；

captureBuilder.set(CaptureRequest.CONTROL_AF_MODE,CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);

Camera Preview

应用层下发Surface资源到Camera模块且设定重复拍照模式setRepeatingRequest即可实现拍照预览；

Camera拍照详细流程

拍照详细流程

上图所示为Camera拍照的完整链路，其中最重要的函数调用就是connectDevice操作，这个步骤是实现Client连接CameraServer的关键一环，在项目开发过程中可能经常会遇到connect CameraServer失败的问题，比如Client进程对Camera权限没有配置，或者ImagerReader对象上一次操作没有释放导致没有调用disconnect还处于connect状态最终导致无法connect，又或者Camera资源本身被相机占用提示busy状态等等，针对各种场景需要对应措施进行处理，目的都是为了能否使Client和server连接成功。
同时在开发阶段，也需要对上述中异常情况进行提前预判并加入防呆措施，比如OpenCamera多次retry。

图像格式说明

初始化时已经设置了图像格式为AIMAGE_FORMAT_YUV_420_888

下面解释下YUV三通道的数据格式排布：

planes[0] 总是Y ，planes[1] 总是U(Cb)， planes[2]总是V(Cr)。

在ImageFormat中，YUV_420_888格式的数值是35，当前格式是YUV_420_888，根据image的分辨率是 640 x 480 ，像素点个数是307200。下面分别对plane[0]、plane[1]、plane[2]作分析。

plane[0]表示Y，rowStride是640 ，其pixelStride是1 ，Y存储时中间无间隔，每行640个像素全是Y值，buffer size 是 plane[0]的1/4 ，buffer size / rowStride= 480，Y有480行。

plane[1]表示U，rowStride是320，其pixelStride也是1，连续的U之间没有间隔，每行只存储了320个数据，buffer size 是 plane[0]的1/4 ，buffer size / rowStride = 240 可知U有240行，对于U来说横纵都是1/2采样。

pane[2]和plane[1]相同。

Android人脸框架

人脸架构

人脸状态图

人脸Preview关键参数链路

Preview

Surface资源传递

APP层会创建Surface资源

创建Surface之后会将此资源经过Face框架一直传递到FaceHAL如上图所示，FaceHAL会将Surface资源传递到Camera模块。具体Surface资源格式如下图所示：

Surface资源是个动态Buf，可变参数长度由numFds、numInts决定，在version numFds numInts后的参数个数为numFds+numInts。

native_handle_t

在代码中结构体信息如下：

native_handle_t只是定义了一个描述buffer的结构体原型，这个原型和平台无关，方便buffer在各个进程之间传递；

附录

NDK_VENDOR CameraAPI2预览和拍照代码实现

1. 代码链接

https://android.googlesource.com/platform/frameworks/av/+/refs/heads/master/camera/ndk/ndk_vendor/tests/AImageReaderVendorTest.cpp

2. Camera拍照流程-initImageReader

首先会调用initImageReader()函数，创建ImageReader对象，初始化图像宽度、高度、图像输出格式、用户属性、最大图像数量；

通过AImageReader_setImageListener设置回调函数onImageAvailable

在回调函数中调用AImageReader_acquireNextImage从ImageReader队列中请求图像数据

接着调用AImage_getHardwareBuffer从HardwareBuffer对象中获取像素的实际数据：

下面是判断获取的数据是否符合预期大小：

判断完图像长度、宽度后就是如何解析出真正需要的图像数据，使用AImage_getPlaneData函数可以解析出对应通道的像素矩阵；

3. Camera拍照流程-CameraHelper

在初始化完ImagerReader后，会新建cameraHelper对象，cameraHelper会调用initCamera()函数对Camera相关进行初始化；

那cameraHelper.initCamera里面具体细节干了什么呢？我们继续往下分析

（1）ACameraManager_openCamera

initCamera函数中首先调用的是ACameraManager_openCamera操作，client发起对Camera的连接动作，我们可以继续追踪下ACameraManager_openCamera具体实现如下：

继续调用ACameraManager类中的openCamera函数：

进入到这个函数已经是比较底层，就不一个个函数讲了，其中最重要的函数调用就是connectDevice操作，这个步骤是实现Client连接CameraServer的关键一环，在项目开发过程中可能经常会遇到connect CameraServer失败的问题，比如Client进程对Camera权限没有配置，或者ImagerReader对象上一次操作没有释放导致没有调用disconnect还处于connect状态最终导致无法connect，又或者Camera资源本身被相机占用提示busy状态等等，针对各种场景需要对应措施进行处理，目的都是为了能否使Client和server连接成功。

顺便再提下open_camera中还有一个大家熟知的获取Camera服务操作：

（2）ACaptureSessionOutputContainer_create

创建ACaptureSessionOutput类型集合mOutputs

然后mOutputs集合添加ACaptureSessionOutput新建的对象mImgReaderOutput

（3）cameraHelper.takePicture

takePicture()函数被封装为触发Camera执行拍照动作；

具体实现为：

4. Camera Preview

关键资源参数Surface

上面说了这么多拍照的流程，大家一定想知道Camera Preview是怎么实现的？继续跟踪Android源码；

我们先找到人脸录入的相关代码：

链接：

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/core/java/com/android/server/biometrics/sensors/face/hidl/FaceEnrollClient.java?r=659b4ee9#54

其中有一个跟预览很关键的参数：Surface previewSurface

上面人脸录入是AndroidS以前经常用的HIDL接口方式，下面是AIDL接口链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/core/java/com/android/server/biometrics/sensors/face/aidl/FaceEnrollClient.java?r=659b4ee9

那有人就会问了，这个previewSurface是从哪里传下来的呢？咱们再接着一层层挖掘。
（5）settings代码链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/packages/apps/Settings/src/com/android/settings/biometrics/face/FaceEnrollSidecar.java?r=35e1f0d1#51

对于使用VENDOR_NDK Camera API2接口传递Surface是使用FaceManager中的enroll方法；目前能从原生代码中找到的是Java层控制Camera如下：

（6）FaceManager代码链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/core/java/a
ndroid/hardware/face/FaceManager.java?r=436f041e

（7）FaceService代码链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co
re/java/com/android/server/biometrics/sensors/face/FaceService.java?r=88a506aa

（8）FaceProvider代码链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/core/java/com/android/server/biometrics/sensors/face/aidl/FaceProvider.java?r=88a506aa#334

（9）FaceEnrollClient



调用到FaceEnrollClient这层时会再调用到startHalOperation函数，然后通过AIDL接口传递到FaceHAL层。
（10）Face AIDL Java层代码是怎么跟HAL层代码交互的呢？就是通过AIDL或者HIDL，这里就只讲下AIDL接口吧，在FaceProvider中会获取FaceHal的实例：

 继续说下人脸的AIDL接口；代码链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/biometrics/face/aidl/android/hardware/biometrics/face/ISession.aidl?r=fa0fb439#156

（11）FaceHAL
Google还提供了带AIDL接口实现的FaceHAL示例代码；代码链接：https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/biometrics/face/aidl/default/


（12）native_handle_t
 上述小节中描述了Surface参数的完整链路；下面说下这个资源参数到底包含了哪些内容？真正传递到HAL层的会通过native_handle_t* makeFromAidl(constaidl::android::hardware::common::NativeHandle& handle);函数将previewSurface转换为native_handle_t*指向的资源；https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/common/support/include/aidlcommonsupport/NativeHandle.h?r=57fc6485#29/prebuilts/vndk/v30/arm/include/system/core/libcutils/include_vndk/cutils/native_handle.h中定义了native_handle_t类型：

推荐Google Android源码查询ToolGoogleOpenGrokhttps://android-opengrok.bangnimang.net/android-12.0.0_r3/search?project=frameworks&full=ICameraService&defs=&refs=&path=&hist=&type=&xrd=1&nn=1

参考文献：图片来源链接：https://source.android.google.cn/devices/cameraCamera
代码链接：https://android.googlesource.com/platform/frameworks/av/+/refs/heads/master/camera/