深度解析低延迟流媒体

在这篇文章中，我们将深入探讨一个常见问题：什么是低延迟流媒体以及它的重要性？在电视直播和视频流的世界中，延迟是一个需要理解和掌握的基本概念。延迟不仅会对直播制作工作流程产生重大影响，还会对最终观看体验产生重大影响。自从数字电视和OTT视频出现以来，视频处理技术有了很大进步，但我们仍然需要通过实现低延迟或超低延迟的解决方案来缩小延迟差距。 

继续阅读以深入了解延迟的概念、导致延迟的原因、延迟的重要性以及如何将延迟降至最低的技巧。

什么是视频延迟？

简单地解释，视频延迟是视频内容从一个地点传输到另一个目的地所花费的时间。业内通常将此称为端到端延迟，描述单帧视频图像从摄像机拍摄到最终显示器呈现所花费的总时间的术语。由于多种原因，延迟可能会有很大差异。在线内容（也称为OTT 视频流）的延迟通常在15-30秒之间，广播电视直播的延迟通常在10秒以下。然而，在在内容上线或播出之前的直播制作过程中，对延迟的需要要低得多 – 远低于一秒，以便于现场制作、双向采访和实时监看。

虽然没有国际通用的绝对值定义低延迟，但通常认为它应该少于几秒，而超低延迟则在一秒以内。尽管某些解决方案可能声称支持无延迟，但这在技术上是不可能的，除非能设法规避物理定律（笑）！ 

长期以来，研究表明人类正确识别图像的最低感知限度约为100 毫秒。然而，最近的研究表明，人类能够处理传入视觉刺激的最快速度可能低至13 毫秒。 

出于本文的目的，我们使用直播术语、低延迟和超低延迟来说明实时视频流的差异。

为什么低延迟流很重要？

超低延迟并不总是至关重要——它取决于具体的应用。对于某些场景，例如流式传输以前录制的节目文件，高延迟是完全可以接受的，特别是如果它通过强大的数据包丢失预防来产生更好的图像质量。直播制作和播出之间的短暂延迟甚至可能是故意的，以方便现场添加字幕、隐藏式字幕和防止播出不合规的内容。 

例如，在线性直播工作流程中，节目信号和实际直播之间的延迟通常在三到七秒之间。对于OTT工作流，视频延迟通常为15秒到一分钟。在直播视频制作的情况下，特别是考虑到远程工作的人才和员工日益分散的工作流程要求时，延迟需要保持尽可能低，低于半秒或更短为佳。

低延迟流式传输何时至关重要？

保持尽可能低的延迟是实时视频制作和流媒体的必要条件。无论您是制作体育赛事直播、电子竞技还是采访，没有什么比高延迟更能破坏观看体验了。我们都曾体验过尴尬的直播停顿，或者由于延迟问题人们在采访中互相等待交谈。也许您在网上观看了一场曲棍球比赛，而您的邻居则在观看现场直播，您听到他们在您看到之前10 秒庆祝获胜。更糟糕的是，想象一下，在您看到选举结果还没有出现在您的电视屏幕上之前，它们就已经出现在您的Twitter 信息流中。在这些情况下，低延迟可确保具有出色交互性和参与度的最佳观看体验。

在几秒钟内实现低延迟视频流的关键是在几毫秒内生成超低延迟视频。

低延迟流式传输尤为关键的用例：

体育赛事直播：从体育场馆内捕捉所有摄像机角度，包括评论员和采访，需要密切协调超低延迟视频流。 

电子竞技和游戏：在报道玩家分散在全球各地的赛事时，每一毫秒都很重要。在这种情况下，超低延迟视频至关重要。

双向采访：为了保持对话的流畅和自然，需要为采访者和受访者双方都提供非常低的延迟，以便总往返时间不超过1秒。

实时监控：随着分布式制作日益成为常态，包括助理导演在内的远程制作人员依靠超低延迟视频在内容播出前几秒做出快速调整。 

安全和监控：对于国防和公共安全应用，低延迟视频和元数据对于做出瞬间决策至关重要。

远程操作（机械、仪器、设备）：为了使视频设备操作员（具有回放和图形等功能）能够远程工作，IP上的视频流必须尽可能提供接近现场的设备监视器的延时体验。

分布式的工作流程和远程协作：由于员工分散在不同的地区，需要访问超低延时的视频制作和监控源以实现无缝的实时协作。

是什么导致视频延迟？

视频延迟不仅与信号从A 传输到 B 的速度有多快有关，还与将视频从原始摄像机输入处理编码然后解码的视频流所花费的时间有关。许多因素都会导致延迟，具体取决于视频的交付链和涉及的视频处理步骤的数量。虽然单独每个环节的延迟可能都不高，但累积起来也很可观。造成视频延迟的一些主要因素包括：

网络类型和速度：无论是通过公共互联网、卫星、MPLS专线还是其他类型的IP 网络，您选择用于传输视频的网络都会影响延迟和质量。网络的速度由吞吐量或每秒可以处理多少兆位或千兆位以及传输的距离来定义。在IP 网络上，回包时间(RTT) 可以在任何给定时刻通过测量数据包通过ping IP 地址来回传输到特定目的地所需的时间来确定。

流媒体工作流程中的各个环节：从摄像、视频编码、视频解码、制作切换，再到最终显示，流媒体工作流中的每个步骤都会产生处理延迟，从而在不同程度上导致延迟。例如，OTT延迟通常比数字电视高得多，因为OTT视频通常需要经过ABR 转码等额外步骤。

流媒体协议和输出格式：用于广播制作回传的视频协议的选择和使用的输出观看设备传输格式也会影响视频延迟。并非所有协议都是平等的，所选协议用于应对数据包丢失和抖动的纠错类型也会增加延迟和防火墙穿越。

如何减少延迟？

有多种方法可以在不影响图像质量的情况下最大限度地降低视频延迟。第一种是选择硬件编码器和解码器组合，即使在使用标准互联网连接时也能尽可能降低延迟。最新一代的视频编码器和视频解码器可以保持低延迟（在某些情况下低于50 毫秒）并且具有足够的处理能力来使用HEVC编码格式来压缩视频到极低的比特率（低至3Mbps以下），同时保持高画质。实现较低延迟水平的另一个关键因素是选择一种低延迟视频传输协议，该协议将在互联网等嘈杂的公共网络上以低延迟提供高质量视频。在不影响图像质量的情况下成功地通过互联网流式传输视频需要某种形式的纠错作为流式传输协议的一部分，以防止数据包丢失。不同类型的纠错都会引入延迟，但有些会比其他的延迟更多。安全可靠传输(SRT) 协议利用ARQ 纠错来帮助防止数据包丢失，同时引入比FEC和RTMP等其他方法更少的延迟，SRT也可以在需要时支持FEC。现在有超过600 家领先的广播技术提供商支持SRT协议，它已成为低延迟流媒体的行业标准。

平衡码率、延迟和图像质量

在考虑最小化延迟时，根据用例仔细考虑不同配置可能产生的影响非常重要。正如您现在所知道的，这里总是需要权衡取舍。

为最终用户实现更高的质量通常意味着更高的分辨率和帧速率，因此也意味着更高的带宽要求。虽然新技术和高级编解码器努力改善延迟，但找到正确的平衡始终很重要。

对于视频监控和ISR 等低延迟流至关重要的应用场景，通常可以牺牲图像质量来换取最小延迟。但是，对于原始广播质量视频很重要的使用场景，可以稍微增加延迟以支持高级视频处理和纠错。

与RTMP不同，SRT流媒体协议与编解码器无关，可以支持HEVC 视频以低比特率和低延迟提供高质量内容，包括4K超高清视频。通过提供带宽效率、高图像质量和低延迟的最佳组合，观众可以在任何网络上享受出色的现场体验。

Haivision的低延迟流媒体解决方案

Haivision 强大的Makito X4视频编码器和解码器以超低延迟提供广播级质量的流媒体端到端传输。在SRT低延迟协议的推动下，世界各地的组织都依赖SRT协议来为通过IP 网络（包括互联网）传输实时内容提供超低延迟、原始质量和坚如磐石的可靠性。此外，通过利用基于切片的HEVC和H.264 视频编码，最新版本的Makito X4视频编码器和解码器可以将整体端到端延迟降低多达25%。

对于移动回传低延迟也是可能的。借助Haivision的 Pro460移动传输发射器，广播公司可以通过基于移动IP 网络的视频技术实现移动回传和低延迟的优势。为了满足现代广播的需求，每个Haivision Pro 移动发射器还具有低延迟视频返回和远程延迟配置功能，可在任何地方进行高效且有效的现场视频制作。