解密2023腾讯科学WE大会高清修复背后的故事

腾讯多媒体实验室助力2023腾讯科学WE大会，其行业领先的光影焕新技术修复安德烈·海姆早年关于石墨烯以及磁悬浮、壁虎胶带研究的实验视频，以高清画质带现场观众沉浸式领略科学的神奇。

引用：《腾讯连续11年举办科学WE大会，携手中国农业科学院共建“数字种质库”》

https://cj.sina.com.cn/articles/view/2822771827/a8401473020013eu7

腾讯光影焕新技术基于腾讯多媒体实验室在视频处理领域多年的深厚积累，自研多种针对旧影像的修复技术，利用光影焕新智能修复平台对WE大会演讲嘉宾实验视频进行高清修复，使用去失真生成，超分，细节增强，色彩增强等技术，极大的提升视频主观质量。

腾讯多媒体实验室专注于多媒体技术领域的前沿技术探索、产品研发、和应用落地，包含音视频编解码、网络传输和实时通信，高维度沉浸式媒体压缩、建模、传输系统和端到端解决方案，以及多媒体内容的智能化生产和应用。同时负责国际国内行业标准制定，包含数据压缩、网络传输协议、多媒体系统和开源平台等。在老片修复领域也有很深的技术积累，拥有多项业界领先的自研老片修复技术。

修复历史影像作品甚至残损影像，对于经验丰富的多媒体实验室来说挑战并不大，此前他们深度参与了包括《国庆阅兵》彩色修复、《七一香港回归》高清修复、张国荣《热·情》演唱会，以及《康熙王朝》、《天下人家》等多部经典影视剧高清修复工作。

多媒体实验室专家研究员夏珍提到，“借助实验室的修复引擎等技术积累可以极大限度地还原演唱会视频的清晰度，但对于演唱会视频中的色彩、画面切换很快，外加视频素材清晰度不高等问题，如何做到修旧如旧，能够给观众带来融入其中的沉浸感体验，对于团队来说是一个不小的挑战。”

经过多次研判和技术验证，夏珍和他的团队给这项修复工作制定了一个硬标准，即修复后的影像能够给WE大会观众带来“沉浸式”的观影体验。

而解开这一“时光之钥”的技术密码，正是多媒体实验室的超清沉浸感修复引擎。

“光影焕新”是面向经典影像修复场景专门推出的技术解决方案，它沉淀了腾讯多媒体实验室多年的多媒体通信和处理研发经验，包含多项业界领先的老片修复技术，涵盖四大模块：智能分析、画质修复、画质增强和智能编码。

首先，利用多种智能评估算法的智能分析模块会对视频内容进行全方位、多维度分析，主要为了评估视频的运动和纹理复杂度、压缩失真程度等。

得到不同维度的分析结果后，画质修复模块就能利用多种智能算法，有的放矢地修复各类破坏画质的主要因素，包括但不限于划痕、竖线、雪花点、噪声、压缩失真、抖动等问题。

“这其中的算法基本都是腾讯自研。譬如划痕算法，实话说在公开服务中还没遇到过。”夏珍解释道。

划痕与雪花点的面积和数量与观看体验成反比关系。面积越大体验越差、反之亦然。

与此同时，划痕修复也存在诸多难点。一方面划痕修复不可逆且成本高昂；另一方面目前缺少庞大的划痕公开数据库，算法难以调优，建设成本也非常昂贵。

为此，实验室专门设计了针对性的多方向数据增广方案。方案包括划痕的裁切及合并、随机尺寸、随机模糊程度、局部及全局随机亮度调整、随机透明度调整等。

紧接着，画质增强模块便会选择最佳视频增强算法，对画面进行多维度画质提升，在空间和时间上提升视频的分辨率和帧率，在空域上提升细节清晰度、色彩丰富度。

夏珍需要更好地驾驭和平衡CNN（卷积神经网络）和GAN（生成对抗网络）两种智能算法。

其中，CNN是经过大量图像数据训练而成的”熟练工”，它修复的结果比较真实，但有时细节会不够丰富；而GAN经过自我博弈成长而来，它修复的结果更为丰富细腻，但有时会显得不太真实。

在完成视频修复及画质增强后，智能编码模块可以通过自适应编码在减少输出文件大小、视频传输成本的同时，保证视频的主观质量不受影响，实现最佳的画面效果。

“人工修复比较依赖修复者的经验和其对于画面的理解度，不同人修复的同一个画面可能会存在较大差别。”据夏珍介绍，超清沉浸感修复引擎则可以很好地规避这个问题，在尊重历史和原版的基础上，保证画质的提升。

于该引擎系统来说，能够做到这一点的最大前提便是拥有强大的数据储备。夏珍解释道，技术解决方案对场景的要求非常强。

一直以来，腾讯都在以算法为翼探索各个场景。在多媒体领域，依靠腾讯视频、腾讯云等渠道，已经积累了海量优质数据，算法可用性相比业界大为提升。

对于修复效果的把握，实验室团队更是精益求精。针对整体效果和特殊场景进行了十多次的算法升级和优化，为技术应用提供了稳定性和鲁棒性更强、跟踪速度更快的技术支撑。

本次修复版视频的超大视频尺寸能在大屏幕上得以高质、流畅地现场播放，背后还有一项超能技术不得不提：视频编解码。

这是一项容易被忽视的技术，但却是引领和驱动音视频技术发展的关键技术。它所解决的问题可以用一句话总结：在不改变视频主观质量的前提下，压缩视频的大小，以更顺畅、高质地在各个平台播放。
超高清技术的发展极大提升了视频的清晰度，但同时也让文件大小成倍增长。压缩之前的原视频极占存储空间，虽然分辨率是480p的，但码率高达50M/s，如果修复后的4K高清版本按高码率输出，将占据300GB的存储空间。

谈及至此，不得不提实验室的一项“王牌技术”：新一代国际编解码标准。它在业内广受关注。

该标准于2020年7月正式发布，成为视频产业跨时代的里程碑，相比上一代标准，其压缩性能显著提高，可在视频主观质量不变的条件下减少50%的数据大小，大大减少视频传输带来的流量、带宽成本，推动整个视频产业进化。

腾讯多媒体实验室正是这项标准制定的主要贡献者之一，提交的技术提案被国际和国内标准采纳，数量全球领先。同时，实验室专家们还在标准组织中担任包括新一代国际编解码标准联合主编、参考软件联席主席等重要席位。腾讯是中国最早参与并致力于开发视频信息压缩和解码标准的公司之一，现已在视频编解码技术上处于全球领先的地位。

在2023 MSU世界视频编码器大赛中，腾讯自研最新一代H.266/VVC编码器以其出色的压缩性能和节省带宽的能力,在此次竞争激烈的MSU FullHD编码大赛中脱颖而出。在1fps、5fps和30fps这三个速度档位上,Tencent266在15项关键指标中赢得了12项第一,第一总数全场最多。Tencent266还在全部VVC编码器中三个速度档位取得15项指标全部第一。此外Tencent266还在MSU世界视频编码器大赛10bit编码比赛，4K编码比赛与主观编码比赛中连续保持行业领先，均取得了全场最多的第一总数，证明Tencent266在不同应用场景下均能为用户用更低的带宽带来更好的画质。与此同时，腾讯云音视频转码及相关媒体处理应用已于2021年7月全线支持新一代国际编解码标准，这是该标准首次在云上商用，填补了全球云厂商在该领域的空白。Tencent266在23年初上线腾讯云直播，腾讯云成为行业首个支持VVC直播的云厂商。

此外，腾讯多媒体实验室在标准截稿仅三个月后，发布了新一代国际编解码播放器，解码速度较标准参考软件快了约 20 倍，能对 UHD 影像进行实时解码，其性能在全球处于领先地位。

近年来，随着5G、人工智能等数字技术的发展，超高清视频技术成为推动我国超高清视频产业迅猛发展的重要动力。然而，在超高清内容生产端，则存在着超高清内容制作、经典老片及视频转高清的成本高、效率低等痛点，成为制约产业发展的关键因素。

夏珍表示，全球有非常多的诸如演唱会、电视剧、电影、纪录片等经典影像，腾讯多媒体实验室目前已经形成了较为完整的智能老片修复技术矩阵，未来希望通过超清沉浸感修复引擎，帮助更多的时代经典高质、高效地重现于观众面前。

未来，腾讯多媒体实验室将在多媒体技术领域中持续深耕，推动多媒体技术在多个产业领域中落地应用的同时，践行腾讯可持续社会价值创新，助力经典文化的传承。

借助数字化技术助力传统文化和经典作品传承，也是腾讯技术价值外溢、科技向善的又一体现。