如何通过帧率转换保留原始直播内容

视频不是动态图像，它是一组静止图像，更新速度足以让大脑和眼睛误以为它正在移动。早期电影先驱托马斯·爱迪生 (Thomas Edison) 说，每秒 46 帧是眼睛感知运动所需的最低速度。

在电视发展的早期，这超出了当时电子设备的能力，因此引入了一种作弊方式：交错式传输。这种方式先发送一半的画面——奇数行，然后是后半部分，即偶数行。通过这种方式，您似乎可以实现比爱迪生先生每秒 46 帧更好的效果，同时提供一半的帧数。

由于种种历史原因，图片的更新速度并没有一个标准。在世界许多地方，它是每秒 50 次，即 50 赫兹。

在北美和世界其他地区，它最初被设定为 60 赫兹。但当彩色画面出现时，人们发现美国的NTSC系统在黑白屏幕上显示时，会产生一种非常分散注意力的假象，而这种假象可以通过将频率移动0.1%来加以解决。因此，美国广播公司将 29.97 赫兹隔行扫描和 59.94 赫兹逐行扫描标准化。

想要向全球观众提供内容的制作人必须在制作帧速率之间进行转换：欧洲和世界大部分地区为 50 Hz，好莱坞和北美其他地区为 59.94 或 60。

从技术上来说，这是一个很大的挑战。

帧率转换如何工作？

你显然不能只是将内容加速或减慢。以原始速度的 80% 运行内容会显得很荒谬。但是，如果你想象从 60 赫兹转换到 50 赫兹，你必须在新版本中从原始的每六个帧中创建五个。

简单地丢弃帧（或复制帧，如果你从 50 移动到 60）是行不通的。你最终会得到一个非常明显的抖动动作。你经常可以在在线视频中看到这种情况，由于转换质量差，摄像机的移动出现了停顿。

线性转换，试图从其两侧的原始帧中得出新的帧——导致模糊的视频，移动物体的重影，抖动和条纹。同样，如果没有其他选择，也是可以接受的，但不适合于著名的节目。

视频处理方面的主要专家研究了这个问题，并开发了一种运动补偿帧率转换技术。顾名思义，它分析序列中的运动，并确定每个运动物体在要合成的帧的精确时间点上应该处于什么位置。

这需要两个过程。

这些过程并不像听起来那么简单。

一张典型的图片并不是由静止背景上的单一运动物体组成。会有不同方向移动的物体和交叉的路径，整个图像的照明有鲜明的分界线，而且相机也可能在移动。因此，在计算运动和随后的图片构建中，有很多东西需要处理。

根据体育报道的需要，实时的帧率转换需要基于定制设计硬件的专用设备。

这些独立的帧率转换器的价格标签为 10 万美元或更多。广播工程师永远不会依赖单点故障，因此单个转换通道上的主通道和备份通道将意味着大约 25 万美元的资本投资。

对于单一功能的电子产品来说，这是一笔非常大的资金。

实际结果是，国际直播仅限于极少数值得投资的活动。这也意味着今天的体育报道，我们期望的是多个转播，而不仅仅是一个，在技术上和商业上都是不可能的。

解决方案在于将实时运动补偿帧速率转换所需的所有处理提炼为可以在标准硬件上运行的软件。此外，该软件应该能够在云中运行。

现在这是可能的，我们今天就提供了。根据需要，可以在云（Azure、GVP、AWS 等）中启动最高质量的帧速率转换。它可以作为独立的软件即服务提供，也可以作为 Docker 容器中的软件产品出售，以便集成到更广泛的交付工作流程中。

云媒体交付工作流程取决于视频是否为压缩视频流，使用 MPEG、 JPEG-XS或 NDI 等格式。软件帧率转换器可以在这些编码域内工作，因此无需转换回基带（另一层处理会增加延迟），然后在转换后再次编码，这会带来压缩伪影的风险。

关键的一点是，不再需要在硬件上进行巨额资本投资，因为硬件的利用率相对较低，并且可能需要在任务之间在全球范围内运输。现在您可以获得相同的图像质量，但每小时只需支付几美元的云处理费用。这意味着许多人都可以进行洲际直播，而不仅仅是少数最负盛名的活动。

体育是这里的主要驱动力，尤其是因为它必须现场直播，任何延迟都会降低其价值。云处理可以在世界任何地方启动，只需几分钟，并且可以根据需要提供的信号数量启动云处理。

体育运动也是帧速率转换最具挑战性的领域，涉及多种摄像机运动、球员和球。低质量的转换会立即被识别为卡顿和不稳定，并且在一段时间内无法观看。但通过经济实惠的云转换，更多的体育赛事、作品和信号可以在全球范围内分发。

这是变革性的：使所有观众都能民主地观看所有体育赛事报道，并通过与播出时间直接相关的新收费模式来确认商业案例。

作者：Jiri Matela
原文：https://ottverse.com/frame-rate-conversion-in-live-streaming-sports/

本文为原创稿件，版权归作者所有，如需转载，请注明出处：https://www.nxrte.com/jishu/27624.html