视频游戏直播的编码优化 | IBC技术论文推荐

编解码 • 2023年6月27日上午11:44 • 技术文章

IBC2022：本技术论文讨论了实时高效编码视频游戏内容的关键要素，以及如何实现“游戏内容感知”编码解决方案。

摘要

近年来，在电子竞技市场爆炸式增长的推动下，以视频游戏直播为中心的流媒体平台经历了急剧增长。此外，现场活动版权所有者和广播公司正在成功地将他们的视频产品“游戏化”。鉴于视频游戏直播的兴起，我们在本文中解决了如何优化和调整编码策略以实现高效游戏内容编码的问题。我们首先描述游戏内容的特征，重点关注其信号特征与“自然”内容的不同之处。然后，我们分享对选定编码策略的见解，旨在提高具有此类特征的信号的压缩效率和密度/编码器运行时间。此外，我们还研究了 HEVC SCC 和 VVC 标准中采用的屏幕内容编码 (SCC) 工具在视频游戏编码环境中的相关性。

介绍

IPTV 和 OTT 媒体传输技术的普及帮助视频游戏直播成为一个主要的细分市场。近年来，以视频游戏为中心的流媒体平台，如 Twitch、YouTube 或 Facebook Gaming 经历了巨大的增长（2020 年分别为 101%、65% 和 238%）。总体而言，相关的全球电子竞技市场（游戏世界的竞争性和专业性元素）在 2020 年创造了超过 10 亿美元的收入，预计到 2023 年将达到 16 亿美元。此外，我们应该期望看到现场赛事版权持有者和广播公司通过更大程度的社交互动和混合媒体体验来“游戏化”他们的视频产品。例如，NBA 已经成功尝试用视频游戏模拟取代真人表演。同样地，在封锁期间，SRO Motorsports 成功地将真实比赛转变为电子竞技，甚至在原定的日期和时间举行。独特的 Fanatec Esports GT Pro 系列于 2021 年启动，真正的赛车手在虚拟环境中争夺积分，争夺现实世界冠军，该系列赛将度过封锁期，并于 2022 年在 YouTube、Twitch 和 Facebook 上进行直播。随着视频游戏直播的兴起，如何优化和调整编码策略以适应游戏内容的问题开启了一个重要的研究领域。

在本文中，我们讨论了实时有效编码视频游戏内容的一些关键要素，以及这如何导致“游戏内容感知”编码解决方案。我们首先描述游戏内容的特征，重点关注其信号特征与“自然”内容的不同之处，以及可能需要特定的编码器优化。然后，我们分享一些特定编码策略（例如，速率控制、自适应量化、环路滤波、运动估计等）的见解，目标是提高具有此类特征的信号的压缩效率和密度/编码器运行时间。此外，由于 HEVC 或 VVC 等视频压缩标准包括专门设计用于压缩屏幕内容的编码工具，因此我们研究了这些工具在视频游戏编码环境中的相关性。最后，我们展示了在实时约束下使用具有更好压缩效率的游戏内容感知技术的好处。

论文下载地址：https://www.ibc.org/download?ac=21885