比赛精彩呈现的背后：低时延直播

前言：第19届杭州亚运会已经落下帷幕，中国代表团获201金完美收官，创造了新的历史。全球观众通过电视和低时延直播共同见证了新纪录的诞生。通过低时延直播先进技术，让每一个热爱体育的人，无论是在拥挤的地铁车厢还是人流涌动的商业中心，都能随时随地与比赛紧密相连，与赛场内观众一同享受这场体育盛宴，感受比赛的每个精彩瞬间，体会运动的力量和无限魅力。

背景篇    

体育直播的发展历程是随着技术的进步和社会需求的变化而不断发展的。体育直播的发展历程可以分为以下几个阶段：

早期发展阶段：在20世纪50年代，电视转播技术开始应用于体育比赛。最早的体育直播是1958年北京电视台（现中央电视台）对北京男女篮和八一男女篮球队的表演进行的实况转播，受限于技术，时延大约为30分钟左右，且只能看到清晰不高的黑白信号。

微波传输和卫星转播阶段：20世纪70年代，中央电视台开始利用微波干线进行体育比赛的实况转播，随后又通过国际通讯卫星将体育比赛的图像和声音传输回国内进行配音播出。我国第一次卫星转播是1978年第十一届世界杯足球赛，当时传输带宽只有24路，因此图像信号只能采用黑白电视的信号传输，传输延迟大约为15分钟到半小时左右。随着卫星技术的不断发展，卫星转播的清晰度和时延在不断提高。

互联网直播兴起阶段：随着互联网尤其是移动互联网的发展，网络直播逐渐成为体育直播的一种重要形式。卫星转播的观看体验比较单一，一般只能通过电视等固定设备进行观看，而且互联网内容可以用多种终端进行观看，提供更丰富内容和交互方式。我国体育赛事网络直播兴起较晚，但随着技术的不断进步和人们消费习惯的改变，网络直播逐渐成为人们观看体育赛事的重要选择。

体育赛事网络直播，是将音视频内容的最小颗粒（帧），基于时序标签，以流式传输的一种技术。简单而言，互联网直播系统的发送端源源不断的采集音视频数据，经过编码、封包、推流，再经过互联网进行扩散传播，由播放端源源不断的拉取数据并按时序进行解码播放。这样就完成了“边生产、边传输、边播放”的直播过程。

近年来，互联网体育赛事直播获得越来越多关注，其重要原因来源于体育运动本身的魅力特点：进取精神与激烈竞争，如何将精彩的赛事现场画面，快速、稳定的传递给互联网上的观众，是我们作为赛事直播系统的建设者追求的目标，也是低时延技术要解决的问题。

下面我们就在技术层面上分析互联网直播面临的挑战和应对策略。

技术篇

随着越来越多的用户通过网络观看直播内容，直播平台必须应对高流量、低延迟、良好的视频质量等技术挑战。借助先进的技术手段，我们研发了低时延直播分发系统，提升直播的稳定性和用户体验，满足用户的需求，推动互联网直播行业不断发展。先看一下互联网直播的挑战，在互联网高并发的背景下，要想完成高质量的直播会面临不少挑战，其中直播卡顿、直播延时是两项关键的质量技术指标。

直播卡顿

卡顿是指播放端音视频体感不流畅。对视频而言，每秒低于24帧的画面更新就能让人眼感觉出画面是不连贯的；人耳对音频的连续性感知则更敏感。

直播分发模式导致的卡顿

相较于传统广播电视的媒体信息传输一对多的组播方式不同的是，互联网直播一般都是走单播，是点对点的信息传播。

从上图可以看出，组播模式下，服务侧流量与客户端数量无关；而单播模式下，服务侧流量=客户端数量×客户端流量，客户数量越多，服务侧的数据流量越高。当遇到热点直播，客户在短时间内大量涌入观看直播，很可能会造成服务侧负荷瞬间暴涨甚至过载，这就会导致服务侧媒体信息发送不及时，从而引起客户端播放卡顿。

直播分发通道导致的卡顿

直播媒体流从现场传递到观众的过程，在互联网上通常被划分为三段路径：

第一段路径，是从现场音视频采集设备到直播制播中心服务器，被称为“第一公里”；第二段路径，是从直播制播中心服务器到直播分发网络边缘服务器，被称为“中间一公里”；第三段路径，是从直播分发网络边缘服务器到客户端（终端用户），被称为“最后一公里”，这三段路径，任意一段出现问题，都可能导致客户端的播放卡顿问题。

中间一公里传输质量通常可以做到可控，通过保证网络的弹性和稳健性，即使出现故障，流量通常也会切换到另一条路径。与中间一公里不同，第一公里、最后一公里的路径方式多种多样，路径一旦出现问题，则通常没有替代路径，同时，也会遇到一些其他常见的连接问题，比如：丢包、抖动和闪断，在第一公里、最后一公里中减少故障时间并优化性能是提升直播质量的关键。

直播延时

直播延时，是指直播时，现场捕捉到的内容，与观众能看到的内容的延迟或滞后，当前影响对用户体验影响较大的是编码延时和缓存延时。

编码延时

为用户提供更高分辨率、更高画质、更低延时的视觉体验，也成为行业内各大厂商提升产品核心竞争力的重要手段。

然而随着视频画质的提升，其对应的数据量也随之上升，举例来说，1080P分辨率的视频，有1920*1080个像素点，若每个像素用红蓝绿三个256色（8bit位深）的数据表示，当视频帧数为60fps时，那么一秒钟画面的数据量是：1920*1080*3*8*60≈3Gbps，若通过互联网观看这个视频，则每秒要从流媒体服务器传输3Gb的数据至客户端，用户才能流畅的观看。

如此巨大的网络传输带宽占用，对当前的互联网络而言，无疑是捉襟见肘的。因而，采用合适的视频图像压缩技术，减少传输数据量，是在当前网络环境下，迎合用户需求的不二之选。

目前业内主要采用H.264/AVC、H.265/HEVC、VP8、VP9、AVS等几种视频编码标准。这些标准有着相似的压缩编码技术原理：将图像看成是二维波形，经由预测编码、变换编码、统计编码后，消除运动图像空域和时域上的冗余，以此达到压缩数据，进而减少传输带宽占用的目的。

经过视频图像压缩编码后的视频，数据量大幅减少，以目前主流的压缩编码标准H.264举例，1080P分辨率、60fps的视频，经过压缩编码后，4Mbps的网络带宽占用，就可以在移动端（小屏侧）给用户带来不错的观看体验。

为了提高压缩比率，主流的视频图像压缩编码标准都使用了帧间“预测编码”技术，如下图所示，两个可独立解码的关键帧（I帧）之间，夹杂若干不可独立解码的预测帧（P/B帧），一般情况下，预测帧的编码数据量要比关键帧小十几倍甚至更多。

当客户端在任一时刻接入流媒体服务器观看直播时，极有可能其接入时间点不是可独立解码的关键帧而是预测帧，所以即使流媒体服务器将当前预测帧传输给客户端，客户端的播放程序也不能进行解码，而必须要等到关键帧后，才能正常解码、播放。

因此，假设关键帧间隔2s，仅仅是由于压缩编码带来的关键帧和依赖帧的影响，客户端观看直播，最大会有2s的延时，即一个关键帧间隔时间的延时。

缓存延时

由于互联网直播传输的路径较长，很难保证整条传输链路的稳定性，为了保证终端用户的流畅观看，传输链路上的接收端都会预先保存一些视频内容（缓存）来应对传输链路抖动，接收端不能及时收到音视频数据而导致的卡顿。即遇到网络抖动时，接收端可以使用缓存中的数据进行正常播放。

缓存越大，可以显著降低直播播放的卡顿率，但显而易见的，这部分缓存数据会导致直播延时，进而影响到用户观赛体验。 

缓存是一把双刃剑，对卡顿率友好，但对直播延时起负面作用，对直播系统的建设者而言，可谓成也缓存，败也缓存。

我们的应对策略

如何提升互联网直播卡顿率、直播延时、直播画质等关键直播系统服务质量指标，特别是平衡这三个关键指标之间的掣肘和博弈是重点。我们通过优化网络、直播平台的技术架构等，寻求降低卡顿率和直播延时，同时提升直播画质的最优解决方案。为用户提供极致观赛体验，一直是我们不断追求的目标。

我们的低时延直播分发系统基于RTMP、HTTP-FLV、RTC等流媒体传输协议，通过对H.264、H.265和AVS3等视频编码格式的支持，实现直播视频低时延网络分发，以满足用户及时观看赛事直播的迫切需求。为了给用户带来更极致的体验，让用户更快观看到精彩比赛，低时延直播分发系统在直播时延、卡顿控制、以及先进编码标准支持等方面进行了研发创新，并实现了多方面的突破。

深挖优化

为了平衡卡顿和时延，使用cache seek技术，实现对缓存数据位置检索支持，客户端拉流播放视频时，如果网络环境较佳，可以通过设置请求参数值，获取最新的数据，将边缘缓存时延影响降到最低；

针对TCP传输进行优化，通常的TCP拥塞策略基于丢包的拥塞控制算法，这种算法主要的问题，一是不能区分是拥塞导致的丢包还是错误丢包，二是引起缓冲区膨胀，导致网络资源的浪费和时延的增加。将TCP拥塞策略调整为基于带宽和延迟反馈的拥塞控制算法，可以通过预估全局带宽量的方法，使数据发送最快，达到最大速度，实现网络传输时延的降低。

播放端引入动态追帧策略，在播放过程中存在网络抖动，若播放端网络环境较佳时，通过增快播放速率，快速减少播放端接收缓存大小，在用户无感知的前提下，减少直播延迟。

从长远看，针对低延时直播用户体验的优化工作是系统性、持续性的，对系统进行的分析和评估，找出存在的问题和瓶颈，制定针对性的优化方案并加以实施将是常态化的工作范畴。 

持续创新

尽管低时延分发系统在部署时，会尽量将内容分发边缘服务器尽量靠近终端用户，但仍然无法完全解决分发边缘服务器至用户终端之间的网络传输异常而导致的终端用户观看体验下降的问题（最后一公里网络问题）。尤其是最后一公里使用的RTMP、HTTP-FLV等基于TCP协议进行网络传输，在网络拥塞控制、丢包重传等机制上，可自主控制、进行传输优化的余地不多。

我们的快直播在低时延分发的基础上，在边缘节点提供传输协议转换和基于UDP传输协议的RTC流量服务，通过我们研发的RTC音视频引擎SDK，进行RTC拉流，提供更灵活的网络拥塞控制、丢包重传等机制，再加持扩展支持H265、B帧、AVS Audio Vivid等功能，保证最好的直播分发效果。

云边融合

分发系统的设备为了更靠近终端用户，需要将设备下沉到省市机房，甚至区县机房，比较分散，此外，各个机房能够被使用的服务器类型也不统一，除了典型的X86服务器，还有ARM、GPU等服务器。因此，形成了分发系统设备数量多、资源类型差异大、机房分散的局面。如何高效管理这些设备便成为分发系统面临的难题。

通过云边一体全容器化平台，将分散的、异构的算力资源纳管到同一个容器集群中，对资源进行统一管理，将底层硬件的差异和机房分散等问题，实现异构资源和异构应用的统一管理、弹性扩缩，实现资源高效利用，便于统一维护管理。

应用篇

针对2023年杭州亚运会赛事直播，中国移动咪咕公司与中国移动集团公司网络事业部联合研发了低时延直播分发系统，并基于此，联合中国移动浙江公司通过咪咕视频、咪咕视频爱看版为用户提供了快、低时延、流畅的亚运极致观赛体验。

我们的低时延直播分发系统基于RTMP、HTTP-FLV、SRT等流媒体传输协议，通过对H.264、H.265和AVS3等视频编码格式的支持，实现直播视频低时延网络分发，以满足用户及时观看赛事直播的迫切需求。为了给用户带来更极致的体验，让用户更快观看到精彩比赛，低时延直播分发系统在分发时延、卡顿控制、以及先进编码标准支持等方面进行了研发创新，并实现了多方面的突破。

此次亚运会，我们还将QoS动态保障能力和咪咕低时延分发技术相结合，首次赋能于“咪咕视频”和“咪咕视频爱看”产品。通过QoS动态保障，即使身处上下班的地铁，人流量大的商场等使用网络相对密集的场景，被保障的会员用户依旧可以体验到流畅的观看体验，助力精彩赛事直播更好地传播。我们实时动态调用4G/5G网络更高优先级的无线资源保障服务，结合低时延转码算法、低时延双链路异地多源站直播流帧级转发、低时延CDN分发、播放器自适应追帧、全链路智能缓冲、低延时直播源站时移高动态生成、多平面智能容灾调度等技术加成，实现了5G低时延链路生产、多平面低时延分发、多平面智能调度服务能力。为咪咕视频、咪咕视频爱看版的超高清低时延直播业务保驾护航。

展望篇 

在大文娱和元宇宙时代，可以预见的，大众对直播互动性、实时性、高画质、高音质的需求将不断增加，数实融合互动、数字人驱动、互联网体育赛事直播等，都需要低时延传输分发与互动的支持，据共研网预测，到2025年，低时延技术应用的市场规模将达到5000亿元。

技术展望

网络发展：随着5G网络的普及，以及5G-A、6G的研究和落地，低时延技术的应用将得到进一步推动。未来网络具有更高的带宽、更低的传输延迟和更大的容量，为实现低时延直播提供了有力支持。

边缘计算：边缘计算技术可以将部分计算任务从云端移到网络边缘设备，减少数据传输距离，降低传输延迟。通过将视频内容的编码和解码等处理放置在离用户更近的边缘服务器上，可以大幅度提高低时延直播的性能。

实时视频编解码技术：为了实现低时延直播，需要采用高效的视频编解码算法。新一代的视频编解码标准，如AVS3，SMT，具有更高的压缩效率和更低的延迟，更灵活的交互性，可以实现更好的视频质量和低时延。

WebRTC技术：WebRTC（Web Real-Time Communication）是一种实时通信的开放性标准，可以在Web浏览器中直接进行音视频通信，以及实现直播等功能，可以突破设备、平台等限制，提供更加便捷的低时延观赛体验。

应用展望

随着低时延技术的不断发展和普及，越来越多的体育赛事将采用低时延直播技术。远程观众可以更实时的获得现场观众一样的临场体验，提升互动性和参与感。

内容触达创新：低时延直播可以带来更加精准的广告投放机会。观众的实时反馈可以帮助广告商更好地了解受众需求，通过实时调整广告内容和形式，提供更有针对性的广告服务。

互动创新：低时延直播可以实现观众之间的实时互动。观众可以更加方便地进行弹幕评论、在线聊天、投票等互动操作，与其他观众和主播进行实时互动，增加观看的乐趣和参与度。

跨平台直播：低时延直播技术可以应用于各种平台，如电视、手机、电脑等。观众可以随时随地通过不同的设备观看直播，提高观看的自由度和便捷性。

总之，低时延技术在体育类直播场景中具有广阔的应用前景。随着技术的不断进步和产业的发展，低时延直播将为观众提供更好的观赛体验，并带来更多的商业机会。

作者：陈旻 刘倍余 毕蕾
审核：单华琦 饶明佺
来源：咪咕灯塔
原文：https://mp.weixin.qq.com/s/ZCokgsOtekBQoaryKfFhSQ

【参考资料】

https://www.wenmi.com/article/pys6i1034b4y.html

https://www.bilibili.com/read/cv7263749

https://www.sohu.com/a/678463766_120992537