音视频面试题集锦第 16 期：关于音视频采集及OpenGL相关等

继续分享来自“关键帧的音视频开发圈”的音视频面试题集锦，下面是第 16 期面试题精选：

1、谈谈 iOS 音视频采集相关接口和数据结构的设计？
2、如何降低处理音视频链路中的内存峰值？
3、OpenGL 如何实现二分屏效果？
4、使用 OpenGL 绘制时对于二维坐标需要注意什么？

1、谈谈 iOS 音视频采集相关接口和数据结构的设计？

1）整体框架

通常我们通过 AVCaptureSession 相关的 API 来进行音视频的采集，其中主要组件分为 Input、Output、Session 几个部分：

Input：AVCaptureDeviceInput，以 Device 作为输入，分为：视频采集设备、音频采集设备，可以同时添加多个 Input。
Output：可以指定图片、视频文件、音视频裸帧数据等作为输出，可以同时添加多个 Output。
- kCVPixelFormatType_32BGRA
- kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange（nv12 420v）
- kCVPixelFormatType_420YpCbCr8BiPlanarFullRange（nv12 420f）
- AVCaptureStillImageOutput 图片
- AVCaptureMovieFileOutput 视频文件
- AVCaptureAudioDataOutput 音频裸帧
- AVCaptureVideoDataOutput 视频裸帧，目前支持三种格式的输出：
AVCaptureSession 主要负责管理各个 Input、Output 以及它们的内部链路组合。

可以通过如下代码获取视频输出支持的格式：

AVCaptureVideoDataOutput *videoOut = [[AVCaptureVideoDataOutput alloc] init];
NSArray<NSNumber *> *types = [videoOut availableVideoCVPixelFormatTypes];
NSLog(@"type count: %ld", types.count); // 3 种
for (NSNumber *type in types) {
 NSLog(@"type: %@", type);
}

2）视频采集

对于视频采集，一般直接使用 AVCaptureSession 的 API 即可，需要注意的是：相机（前后置一样）吐出的视频帧，默认是横屏模式的 (横屏，Home 键在右边，也就是顺时针旋转 90 度就变成 Home 键在下边的正常竖屏状态)，跟 Android 略有差异。

视频采集时会有一个 10 多帧的缓存，当我们没有及时归还相机吐出的视频帧，导致采集吐帧的这个缓存空了，就会导致相机不吐帧。

3）音频采集

对于音频采集，除了可以使用 AVCaptureSession 来进行音频采集外，还可以使用 AudioUnit。

使用 AVCaptureSession 可以和视频采集在一起处理，也可以单独创建新的 AVCaptureSession 进行音频采集。

优点：由系统根据 AVAudioSession 自动处理音频采集的开始和暂停，也就是系统中断不用做特殊处理。
缺点：没有办法设置音频采样格式，所以在线路切换时，比如：从正常扬声器切到蓝牙耳机，采样率可能会发生变化，这是就要进行重采样，是采样率保持一致。

使用 AudioUnit 音频采集：

优点：更底层，更高效；在创建 unit 后，可以直接设置音频采集格式（如：通道数等）。
缺点：需要自己处理音频中断等情况。

2、如何降低处理音视频链路中的内存峰值？

音视频处理链路中的内存峰值一般是视频数据导致的，要降低内存峰值一般可以从两个方面入手：

降低采集参数：
- 降低采集视频分辨率
- 降低采集视频帧率
降低并发任务数量：
- 将任务分优先级，按照优先级串行执行，这样既能降低内存峰值，也会降低 CPU 峰值

3、OpenGL 如何实现二分屏效果？

以纹理 y 坐标中间分屏为例，代码如下：

precision highp float;
varying lowp vec2 varyTextCoord;
uniform sampler2D inputTexture;

void main()
{
    float y;
    if (varyTextCoord.y >= 0.0 && varyTextCoord.y <= 0.5) {
        y = varyTextCoord.y + 0.25;
    } else {
        y = varyTextCoord.y - 0.25;
    }
    gl_FragColor = texture2D(inputTexture, vec2(varyTextCoord.x, y));
}

4、使用 OpenGL 绘制时对于二维坐标需要注意什么？

1）搞清楚顶点坐标与纹理坐标

顶点坐标是左下角是 (-1, -1)，右上角是 (1, 1)；
纹理坐标是左下角是 (0, 0)，右上角是 (1, 1)，也就是 (0, 0) 对应图片的左下角，(1, 1) 对应着图片的右上角；
顶点坐标与纹理坐标一一对应，默认设置的纹理坐标是平铺满整个顶点坐标的，所以在设置 fill、fit 模式时，只用设置顶点坐标即可。

GLfloat vertexes[] =
{
    -1.0, -1.0, //左下
    1.0, -1.0,  //右下
    -1.0, 1.0,  //左上
    1.0, 1.0    //右上
};

GLfloat textures[] = {
    0.0f, 0.0f, //左下
    1.0f, 0.0f, //右下
    0.0f, 1.0f, //左上
    1.0f, 1.0f  //右上
};