Google 视频会议中的 AI 技术

web 上部署机器学习方法

在浏览器上使用机器学习会存在一些额外的性能上的挑战，包括如何在浏览器内部运行，并确保在各种不同的终端设备上实时运行。另一方面，在视频会议场景下，同样还需要确保能够实时运行，即达到 30 fps（每一帧 33 ms 的处理时间）。

在 google meet 中，最初的原型可以在一台 macbook pro 上达到 60 ms 每帧的处理速度。后续的改进主要在于使用 WASM SIMD 的单指令多数据方式来达到 2 倍的加速，并进一步减小模型的大小并确保能够实时呈现高清晰度高分辨率的画面。

在 google meet 中，实际采用的部署方案为 Meidapipe。Mediapipe 是一个跨平台的机器学习解决方案。Mediapipen 能够搭建世界级的定制化端侧机器学习解决方案和应用。并且已经在 mediapipe.dev 中开源。Mediapipe 也广泛应用在 google 的各种产品和研究的机器学习解决方案中。

Mediapipe 具有以下特性：

模块化，可重复使用和定制。包含了常见的机器学习流程和模块的接口。
设计用于媒体以及传感器等的流数据。内部包含了对针对时间序列数据流的同步支持（视频、音频）。
对通用硬件的加速支持。对机器学习部分以及非机器学习部分都进行了端到端的硬件加速以实现最好的性能。
搭建一次即可在不同的设备部署。已对移动端、网页端、物联网设备、桌面PC以及服务器进行了配置优化和部署。

Meidapipe 中已经包含了目前常见的一些机器学习应用的示例，包括了分割、人脸网格、3D 姿态识别以及目标检测和跟踪等。可以在 mediapipe 的网页介绍中进行查看。

视频会议中的机器学习部署

在 google meet 中的将机器学习集成到其中的部署流程如下图所示。所有的处理都在发送端进行，将摄像头拍摄到的内容送入到处理模块中进行处理，并可以把处理后的结果发送给使用者。随后视频流经过编码传输到云端，经由 WebRTC 等协议进行分发到接收端进行解码观看。一些 AR 特效等保存在云端，用户需要的时候可以从云端下载到处理模块中。

视频会议中的背景模糊与亮度调整

视频会议中去除背景是一个很重要的特性。在 google meet 中，这一功能也可以在浏览器上实现。另一方面，也存在部分参会者所在的场景光线不足的情况，这也导致视频会议中无法清晰的看到人像，并带来了技术上的挑战。

在 goole meet 中，同样采用了 Mediapipe 来进行部署。为了确保跨平台的使用以及实时处理的性能，使用了 WASM 的移动端版本，并通过 XNNPACK 来进行推理。为了进行背景模糊，整个流程中需要包含一个分割模型来得到一个前景的分割 mask，并通过 rendering 模块来进行细化。整个流程如下图所示。

在 rendering 模块中，通过联合双边滤波进行上采样，并使用具有不同卷积核的 1D 可分离卷积来对背景进行非均匀模糊处理，以实现平滑和均匀的模糊效果。最后在背景替换中还通过使用 light wrap 来取代一些光晕以实现更好的视觉效果。

在模型推理的加速方面，google meet 使用了稀疏性来进行 CPU 上的推理加速。主要的原理是通过促使部分模型权重为 0 来实现，并使用 XNNPACK WASM 来优化稀疏卷积，这种方式能够使得模型的大小减小 25%，推理速度提高 25%。

对于低光场景下的人脸无法看清的情况，google meet 中包含了一个光线调整模块来调整前景的亮度。在检测到人脸处亮度较低时，通过利用分割 mask，将曝光计算限制在前景分割的范围内来提高前景人像的亮度。整个流程分为了两个阶段，首先计算前景和背景的曝光直方图，并基于前景曝光计算应用全局对比度曲线；最后在 CPU 上计算色调曲线，并通过 Web GL 应用曝光调整。

最后，演讲者也介绍了在基于 Mediapipe 使用这些技术时的 CPU 功耗和负载情况，如下图所示。光照调整对于 CPU 负载的增加很少，而使用背景模糊时的计算量更大一些，CPU 的功耗会增加 5W 左右，CPU 的负载也大约提高了 10%。