YuZu：神经网络增强的容积视频传输

背景介绍:容积视频

现今，随着元宇宙相关技术的不断发展，观众们对于包含3D内容的视频有了众多需求。容积视频（Volumetric Video）便是其中之一，它让观众能够通过VR/AR/MR头戴设备，沉浸式地以6-DoF的自由度移动，并且实现诸如远程呈现（Telepresence）等功能。

容积视频的每一帧都包含了一个3D场景，而这个场景可以有很多种表示形式，如点云、Mesh等。本工作中，讲者只关注点云这种形式。但是，如果想要在互联网上对这些内容进行传输，所需要的带宽是极高的。举例来说，如果一个点云包含了20万个点，每个点包含了颜色和位置信息，那么它所需要的带宽将是惊人的720Mbps，如下图所示：

因此，设计一个针对容积视频的高效传输系统势在必行。

3D 超分辨率

为了在有限的带宽下提高QoE（quality of experience），一个方法是对较少的内容进行超分辨率。但是，与2D图片不同，3D点云没有明显的有序结构，这让对其进行超分辨率乃至任何形式的处理都相对更加困难。

近期，已经有在计算机视觉领域的研究者开始使用神经网络对点云进行超分辨率。网络首先在线下进行训练，以较低分辨率（点密度）的点云作为输入，其对应的高分辨率点云作为标签。其次，在传输VoD（Video on Demand）时，服务器可以使用该模型，将低分辨率的帧和超分模型传给用户，用户端则可以通过模型计算得到高分辨率的帧。如果能够在线下训练过程中解决过拟合情况的话，传输过程的带宽可以有效减少，并且视频的质量也会得到相应的提升。

因此，讲者采用了一个PU-GAN网络，其超分辨率比例约为4倍（25K个点到100K个点）。对于一个每帧约有100K个点的测试视频，在一个NVIDIA 2080Ti的GPU上了，不仅能够取得较好的上采样准确率，还能节约高达74%的带宽。

但这样一个简单的系统，仍然存在许多的问题：

没有一个通用的QoE模型
仍然只能达到0.1 FPS，而且消耗高达7GB的显存
没有传输颜色信息

YuZu

为了解决这个问题，作者提出了自己的系统YuZu。他包含了一个经过实验验证的QoE模型，帧内和帧间超分辨率方案、以及对计算和网络资源更合理的分配。

整体架构

YuZu的整体架构如图所示。可以看到，服务器端（图左边）容积视频的帧被分为不同的质量等级的组块进行传输，这些组块都是低分辨率的。在传输到客户端后，经过超分辨率和着色之后的高分辨率块，将被缓存并重复利用在超分辨率过程中。

除此之外，QoE模型这端将会根据用户的评价，对网络和计算资源的使用进行适应性改动。

经验主义QoE模型

该QoE模型主要针对点云密度、观察距离、超分辨率比例等进行调整。在用户调研过程中，研究人员使用了4个不同的容积视频（均为人像），邀请了来自40个不同国家的1446个参与者来参与质量评价，并且采用了10折交叉验证和不同视频交叉验证的方式增加了QoE评估的鲁棒性。最终，讲者的QoE预测误差中位数为12.49%，可以被认为是对于人像类容积视频有通用性。作者的论文中也展示了参与者的分布，可以看出参与者不管是年龄还是性别分布都可被认为具有一般性。

超分辨率模型

帧内超分辨率

帧内超分辨率的基础还是此前所说的神经网络。但不同的是，作者进行了几个方面的优化。

patch生成将原本的点云分为patch，并行送入网络。
网络结构对网络进行剪枝，并且采用更高效的特征提取。
减少数据将SR的输入和SR的输出合并到一起，对SR的输出进行重复利用。

帧间超分辨率

假设p(i,j)为第i帧的第j个块，那么YuZu系统则会缓存它并用于p(i+1,j)和p(i+2,j)的超分辨率，如下图所示：

与此同时，该系统还使用了动态规划减少不必要上采样的patch。

网络&计算资源适应性调整

在传输过程中存在一个重要的Trade-off：是直接下载高分辨率的点云，还是下载低分辨率点云并对其进行上采样。这实际上是在质量和网络资源占用两个方面的trade-off。为了能够更贴近用户需求地解决这个问题，讲者设计了一个基于QoE驱动的两阶段适应性调整策略。

在下载每个chunk之前，系统会进行一个粗粒度的搜索，以确定针对该chunk需要下载的质量&超分辨率倍数。而在上采样每一帧之前，系统则会进行更加细粒度的搜索，并微调超分辨率的比例。

方案评估

超分辨率性能评估

其性能与baseline的对比如下所示。可以看到，在增加了此前所说的多个优化之后，SR的性能获得了显著提升，相比于原始的PU-GAN更是获得了307x的加速，与此同时还将GPU显存消耗降低了87%，并且与此同时没有明显精度损失。

QoE的提升

从图中可以看出，对于4个测试的容积视频，YuZy的超分辨率均起到了对QoE提升的效果，相比于不进行超分辨率有150%的QoE评估提升，与此同时，超分辨率的倍数和QoE的提升有正相关性。

端到端性能

YuZu的端到端性能如下图所示：

从实验结果可以看出，YuZu的QoE提升达到了83%，而仅使用缓存复用技巧QoE质量也能提升63%。与此同时，完整的YuZu和仅使用缓存复用分别可以节省49%和40%数据使用量。

来源：NSDI 2022
主讲人：Anlan Zhang (University of Minnesota, Twin Cities)
内容整理：王炅昊