腾讯多媒体实验室助力国内首个「4K+60fps」云游戏落地START

导语据中国信息通信研究院发布的《全球云游戏产业深度观察及趋势研判研究报告(2023年)》，2022年中国云游戏月活人数已达到8410万人，市场收入超63亿元人民币，云游戏已逐步成为新兴的游戏形态。正如该报告所述，技术升级带动云游戏体验进一步增强，促进用户粘性和付费意愿双增长，成为中国云游戏市场快速发展的主要驱动力。

近日，腾讯多媒体实验室自研「超低延时超分辨率技术」成功落地START云游戏，助力玩家沉浸于「4K+60fps」的极致云游戏体验，这也是国内首款实机能体验到「4K+60fps」的云游戏平台。

一、探索体验天花板：更高分辨率+更高帧率=更好的画质体验

云游戏在云端进行游戏画面的渲染，随后通过视频编码将码流传递给用户终端，并在终端进行视频解码和渲染。目前，「1080p+60fps」是国内外主流云游戏平台的最高配置。然而，1080p的视频流在2K/4K屏上进行渲染可能会出现较为明显的锯齿效应，画质体验有较大提升空间。

下图1和图2(左)分别是「英雄联盟 (League of Legends)」和「命运方舟 (Lost Ark)」1080p云游戏在4K以及2K屏上的实机体验画面，在文字、装备和图标上都会出现明显的锯齿状纹理；而图1和图2(右)是通过腾讯多媒体实验室自研的「超低延时超分辨率技术」进行画质升级的4K和2K画面，可以看出锯齿状纹理得到了有效消除，主观画质体验明显提升。

腾讯多媒体实验室助力国内首个「4K+60fps」云游戏落地START — 图1. 「英雄联盟」1080p(左)与超分4K(右)画面对比

腾讯多媒体实验室「超低延时超分辨率技术」支持720p至1080p、1080p至2K/4K、4K至8K等多种分辨率的升级。以图3所示的测试方法对比超分前后的画质分数，由图4可以看出，多款热门及3A游戏在超分后Vmaf提升接近或超出一倍，PSNR提升接近5分，画质提升非常明显。（注：实机不存在图3测试方法中下采样步骤带来的失真，其画质以及分数会更高。）

通过「超低延时超分辨率技术」进行4K画质升级相比游戏直接渲染4K有更高的帧率和流畅度体验。如图5所示，在「全境封锁2 (The Division 2)」、「崩坏：星穹铁道 (Honkai: Star Rail)」、「巫师3：狂猎(The Witcher 3：Wild Hunt)」等多款游戏中，游戏直接渲染4K画面可能会跑满整个GPU(100% GPU Usage)，所以会因性能瓶颈导致帧率达不到60fps（仅有30-45fps），流畅度大打折扣。而使用超分4K时，帧率可以保证60fps，为用户提供稳定流畅的云游戏体验。所以，利用多媒体实验室自研的「超低延时超分辨率技术」对1080p游戏渲染画面进行4K画质升级，其游戏体验在流畅度方面会超越原生4K游戏。

二、解决高耗时高负载痛难点：算法优化+工程优化=超低延时超低负载，满足工程落地条件

云游戏是所有RTC「Real Time Communication」业务中对画质、延时和抖动要求最高的应用场景。目前，业界或学术界的众多超分方案（如SRGAN、Waifu2X、Anime4K等）很难在低负载（GPU使用率增加低于10%）的前提下做到实时处理（单帧处理耗时低于10ms）。所以，除了上文介绍已实现的「提升画质」，4K超分还需要满足「超低延时」和「超低负载」的多重条件才能落地，挑战很大。

面对上述挑战，「超低延时超分辨率技术」充分考虑算法的并行性，在「特征提取」、「多抽头高精度亚像素上采样」、「自适应增强去模糊」、「文字不均匀效应改善」、「基于主观视觉的自然化处理」等设计的多个模块中进行算法剪枝与效率提升，实现了整套算法流程的GPU加速。经过多轮加速，在Tesla-T10服务器上，720p超分至1080p的速度从2fps(单帧500ms)提升至700fps (单帧1.5ms)，1080p超分至4K的速度从0.6fps (单帧1700ms)提升至300fps(单帧3ms)，加速比远超 300 倍，速度提升巨大，满足了「超低延时」的目标。

此外，为了实现「超低负载」，优化从资源读取、分配、使用、运算等多维度出发，实现「缓存复用」、「冗余操作去除」、「同步优化」、「编译优化」等多种手段。在Tesla-T10服务器上，利用「超低延时超分辨率技术」对1080p游戏渲染画面进行4K画质升级，GPU使用率仅会增长1%-3%，远低于直接渲染4K，同时满足了「超低延时」和「超低负载」的工程落地条件，解决了高耗时和高负载的痛难点。

值得一提的是，如下图6所示，相比游戏直接渲染4K，使用4K超分的GPU使用率（渲染开销成本）可以下降20-60%，助力降本增效。

三、推动产业发展：积极参与技术合作和标准制定

此次「4K+60fps」将在腾讯新游戏上对「四星认证」TV机型以及Windows端部分显卡机型进行首发体验。其中，TV端「四星认证」、「三星认证」等认证是腾讯多媒体实验室深度参与的认证标准——在通过腾讯云游戏认证标准体系和流程后，生态伙伴会被发放对应的认证证书，目前部分认证已颁发给海信、TCL、康佳、长虹、夏普、飞利浦、创维、当贝、腾讯极光等多个厂商。