音视频生产关键指标：视频录制优化丨音视频工业实战

视频录制阶段除了开始采集音视频数据，做滤镜、美颜、特效等前处理，还会做音视频编码、封装、文件存储。在这个阶段我们主要关注以下性能指标：

1、录制成功率优化

手机设备上的应用要使用相机和麦克风进行视频和音频采集是需要向用户申请权限的，所以优化权限申请流程确保权限正常是优化录制成功率的第一步。

此外，可以设置一定的重试流程，当遇到录制报错，可以重试录制流程。

另外，需要统计录制出错的细分错误码，这样就能更好的定位录制失败的原因进行针对性的优化。

视频录制过程包括采集音视频数据，做滤镜、美颜、特效等图像处理，这些部分的优化类似采集预览流畅度优化，所以策略也类似。不同的是，视频录制还包括音视频编码、封装、文件存储，所以还需要从后面这些部分寻找优化空间。

视频录制流程如下：

在音视频采集过程中，可以从下面几方面优化：

图像处理过程，可以尝试下面的优化措施：

采集到前处理的数据进行下采样，这样可以提升前处理模块的处理速度。
视频数据对齐分辨率，防止多次采样消耗性能。
视频数据对齐下采样的方式（RGB、YUV），防止多次数据格式转换消耗性能。
做图像的裁剪、缩放、尺寸变化时要注意优化性能。可以使用 libyuv 来做常规的图像处理，一些 libyuv 版本甚至做过汇编级别的优化来提升图像处理的性能。
GPU 和 CPU 要尽量少做数据拷贝，性能比较差。可以使用系统能力来实现 GPU 和 CPU 的内存共享来做相关的优化。下面是几种数据拷贝方式的特点：
- glReadPixel：通过 OpenGL 将 RGBA 数据转换为 I420，将 I420 拷贝到 CPU 更快。
- PBO：依赖机型，性能不稳定，但在部分机型速度更快。可以先做 Benchmark，再根据数据情况在不同的机型上适配使用。
- CVPixelBuffer：iOS 平台支持的一种解码输出的数据结构，支持 GPU 与 CPU 数据共享。

编码流程可以尝试下面的优化措施：

大部分的视频生产是封装为 MP4 格式，封装流程可以尝试下面的优化措施：

MOOV 前置，优化播放秒开速度。
音视频时间戳做好交错，优化播放秒开与卡顿。
可以根据需求考虑封装格式使用 FMP4，FMP4 格式可支持分段并发上传。
- FMP4 不需要一个 MOOV Box 来进行初始化，FMP4 的 MOOV Box 只包含了一些 Track 信息。
- FMP4 的视频/音频 Metadata 信息与数据都存在一个个 MOOF、MDAT 中，它是一个流式的封装格式。

把采集、特效、编码、封装放在同一个线程，随着功能越来越强，计算越来越重，会影响到最终的输出帧率。要优化可以改为多线程加上 buffer 控制的线程模型。可以使用多线程模型：

来源：公众号——关键帧Keyframe