腾讯视频「智臻」系列 – AI终端实时超分正式上线

导语：7月3日，腾讯视频发布画质增强功能，为提升腾讯视频基础画质，改善用户消费体验，腾讯视频联合多媒体实验室、微信打造了移动端终端实时超分方案，对480P基础档位提供实时画质增强能力，从而视频画质得到了大幅提升。

一、前言

近年硬件技术不断发展，终端设备的性能也在不断提升，在音视频领域，以往终端设备上播放高分辨率视频会大量消耗手机功耗和大量带宽，从而导致手机发热、卡顿等问题，严重影响用户主观体验，随着技术研究人员开发软件优化技术和硬件水平提升逐渐解决了这些问题。

但即使终端上已能轻松支持高分辨率高帧率的高清视频，依然存在低画质低分辨率的场景，比如受限于带宽、硬件或视频源的情况，当前视频只能支持较低画质低分辨率，这种场景下会影响用户的体验，而用户体验对于各应用而言是极其重要的指标，有什么办法提升这种场景的用户体验吗？

基于上面的一些思考，腾讯视频与腾讯多媒体实验室的技术团队合力打造「智臻」AI终端实时超分技术，在受限场景下进行端侧的视频画质的修复和增强，优化用户体验，该技术已正式上线腾讯视频，已覆盖大部分iOS机型和Android中高端以上机型，选择480p档位时，可体验画质提升技术，满足观众的高清体验。

下面将详细介绍画质增强算法的实现过程。

二、算法实现

2.1 技术难点

场景多样

腾讯视频作为视频平台，视频内容包罗万象，种类丰富，从电影、电视剧、综艺到动漫、纪录片等等，内容不同也面临编码方式各异，在低分辨率场景下画质损失的类型也会复杂和多样，算法对内容修复和增强都具有适应性是很有挑战的任务。

机型复杂

腾讯视频覆盖的机型广泛，从iOS到Android不同的系统对算法支持程度不同，高端机型到低端机型提供的算力不同，不同架构对不同算法支持程度不同，如何将算法在复杂配置中发挥最大效能也是一个难点。

性能受限

不同于AI算法在服务器端的开发，性能不是作为最重要的考量，终端算法开发除了对算法效果有要求外，对模型大小、推理耗时和发热也有极高要求，在性能和画质如何平衡和取舍也是一个难点。

2.2 算法方案

基于以上难点的分析，在前期做了大量的调研和准备工作，在数据集优化、算法模块设计、工程优化上都有一套完整的方案，达到“化繁为简”，但“简”并不简单。

数据集优化

数据集构建上，根据腾讯视频在不同场景下的编码方式和对应分辨率的损失方式，构建基础的数据集，同时根据不同模型的参数量和大小，加入更多维度的损失和增强方案，使得数据集的特征更丰富全面，提高模型应对腾讯视频中复杂场景的鲁棒性。

算法模块设计

算法设计上，借鉴服务器端画质增强算法的开发经验，将复杂的服务器画质增强算法简化到端侧算法设计里，在裁剪模型结构的同时，保留各算子中对画质影响较大的算子，同时充分利用剪枝、重参数和知识蒸馏等技术手段进行优化。

算法设计上采用两阶段训练，在第一阶段训练后得到一个预训练的基本画质增强模型，在此基础上，第二阶段引入了自适应空间复杂度的对抗式生成网络的训练，使得在提升分辨率时能生成更多细节，达到清晰而更逼真的自然的画质。

工程优化

画质增强是高密度运算的视频处理算法，在深度学习兴起之初是很难在终端大面积落地的，而近年终端设备随着硬件的不断升级，GPU、NPU也逐步应用在手机芯片上，使得复杂的AI算法能在终端得以实现。
结构设计上，不同机型进行算力和算法评估、是否支持NPU、GPU等条件采用不同复杂度的模型，比如Android分根据NPU、GPU分为高端、中高端、中端等不同复杂度的结构，同时针对该模型在训练时对参数、结构等进行调整，每个算法在对应机型上都达到性能和画质的平衡，以提供各个终端最佳的画质体验。

模型推理上，团队也联合微信多媒体技术中心针对NPU、GPU分别进行推理库优化，针对不同平台对每个算子进行深入优化，包括数据I/O读写优化、卷积神经网络层算子合并优化、推理引擎优化等，大幅度提升终端推理性能和功耗。

2.3 效果验证

主观评测中，会经过多轮主观测试以评估算法效果，首先团队算法开发中会根据不同版本迭代在小的典型验证集上进行效果验证，现在属于初步效果验证。

第二轮主观评测，会在团队算法开发同学开发可交付版本后，在小范围内进行交叉评测，经过多人评测是否效果达到预期。

第三轮主观评测由测试团队交由专业测试人员来进行主观盲测打分，打分序列来自腾讯视频现网中典型的应用场景，覆盖多个维度的内容和场景，并在手机上进行打分，尽量符合真实应用场景，在主观盲测中，51.95%的评测人员认为480P画质增强的效果略好于720p。