一种基于5G网络及高速移动场景的低延时视频通信系统实现

5G移动通信技术带来了大带宽、低延时、广连接的空口能力以及用于支撑行业应用的多元化专网组网模式。本文提出了一种支持移动式、超高清、大码率、低延时、轻量化、虚拟化的新一代内容生产制作生产力工具5G虚拟同框演播室，并成功应用于2022年北京冬奥会高铁5G超高清演播室项目中。

作者：中央广播电视总台齐翼、北京奥维视讯科技有限责任公司王宇
来源：选自2022年第3期《现代电视技术》

一、课题背景

中央广播电视总台在新型奥运版复兴号CR400BF-C-5162动车组上搭建超高清演播室，实现全球首次于时速350公里高铁列车上的超高清节目制作，是高速铁路、5G网络与超高清视频的强强组合。高铁5G超高清演播室视频系统以轻量化、移动化、全IP为设计原则，依托5G和IP化技术进行系统搭建，最终可为节目提供直播访谈、车厢内移动采访、虚拟制作等融媒体内容生产技术服务。

第二十四届冬季奥林匹克运动会于2022年2月4日至2月20日举行，本次冬奥会共涉及北京、延庆、张家口三个赛区，京张客运专线是一条连接这三大赛区的城际高速铁路，不仅是此届冬奥会的重要交通保障设施，也是中国第一条采用自主研发的北斗卫星导航系统、设计速度350公里/小时的智能化高速铁路。

“科技冬奥”是2022年北京冬奥会的主要特色，基础设施建设、人工智能、转播技术等多个业务领域围绕该主题，在各个方面进行相应的研发及应用测试。为了更好地达成“坐着高铁看冬奥”这个美好愿景，冬奥组委、中央广播电视总台、中国国家铁路集团有限公司、中车长春轨道客车股份有限公司以及通信运营商联合在京张高铁上搭建基于5G网络的超高清演播室，全球首次实现了在350公里时速高铁列车上的超高清节目直播制作。

二、系统方案

本课题选用奥维视讯公司5G背包系统作为支撑平台，该系统采用“云+端”传输架构，突破传统背包“一发一收”单向传输架构的系统瓶颈，支持灵活组网、多点双向互动功能，可以达到在5G公网网络下以不低于40Mbps的码率稳定双向传输4K超高清视频的性能。

系统整体架构如图1所示，从层次上来看分为底层的终端设备、中间的云端软件和上层的应用服务。

云端软件部署在云端服务器（本课题云端软件部署在阿里云服务器）上，云端软件系统架构如图2所示。

内核层主要实现异构多链路聚合传输功能，支持上行聚合和下行聚合的全双工聚合能力；中间层运行在CPU上，主要实现设备管理、用户管理、数据分发、数据存储和加密通信功能；应用层运行在GPU上，可以运行蒙版抠绿算法、无绿幕AI抠像算法和其他音视频AI算法等。

本课题的5G+虚拟同框场景研究并使用了两种实时抠像和渲染系统，一种是基于本地化绿幕抠像和渲染的系统，一种是基于云化AI无绿幕抠像和渲染的系统，其中后者比前者具有更低的系统延时和更清洁的系统构成。

云端渲染优势如下：

◆云化（随时随地可用，抠像操作简单且可远程操作，无需本地专家）；

◆轻量化（部署搭建简单，无绿幕、无灯光特殊要求）；

◆应用灵活、场景多变（既可以台内演播室主持人穿越到外场，也可以外场嘉宾穿越到台内演播室，前景背景（抠像对象）可以任意切换）。

三、测试数据

1. 大码率能力测试

（1）环境搭建

◆5G视频通信终端2个，5G SIM卡4张，4K摄像机2台，4K电视2台；

◆阿里云服务器1台，带宽100M（双网卡）；

◆4K超高清视频双向传输功能按照图5完成系统连接和测试环境搭建。

（2）测试方法

5G视频通信终端A将采集到的4K 50P超高清视频进行编码，压缩码率至40Mbps后，上传至云服务器上，另一台5G视频通信终端B对云服务器上的视频进行解码输出至4K电视。同时，此台5G视频通信终端B同样对采集到的4K 50P超高清视频进行编码，压缩码率至40Mbps后，上传至云服务器，5G视频通信终端A进行解码输出至4K电视。笔记本电脑通过网线直连5G视频通信终端，通过Xshell软件telnet登录到设备，输入nload命令，抓取记录5G视频通信终端SIM0和SIM1下行（incoming，接收数据）和上行（outgoing，发送数据）实时网络流量和云端服务器实时网络流量。

查看5G视频通信终端nload信息，Incoming（下行）和Outgoing（上行）SIM0和SIM1卡都有数据（上行聚合和下行聚合），且两张卡数据相加均大于设定的编码码率，说明设备同时按编码码率往外发送，同时接收数据解码都正常无卡顿。

查看服务器nload信息，Incoming（入）和Outgoing（出）均大于两路视频编码码率之和，说明服务器同时接收两路码流，同时发送两路码流正常。

（3）测试数据

分别设置35Mbps、40Mbps、45Mbps视频采集编码码率，记录5G视频通信终端和服务器测试数据和视频画面是否流畅不卡顿。

2. 低延时能力测试

本课题通过研究基于UDP和TCP等常用视频传输协议如RTP、RTSP、RTMP、HLS的延时特点和实现技术，通过构建一种新的视频传输协议用于实现基于5G网络的单、双向超高清视频超低时延传输，可实现在网络延时不高于30ms环境下，端到端5G+4K（4K 50P）单向传输延时低至200ms，双向传输延时低至400ms的性能。（以上指标不含摄像机及显示器延时。）

奥维视讯吸收借鉴RTMP（TCP）和SRT（UDP）各自的优势，基于传输层构建了一个全新设计和优化的视频传输协议AVSTP，可实现在设备端和服务端构成的闭环系统内达到一个延时最优解，该协议使用单边加速策略和全路径拥塞控制算法，可以根据时变信道进行数据分发控制和多路径调度，非常适用于移动蜂窝网络，同时该协议支持大码率实时传输算法用于适配超高清视频实时通信业务。

（1）环境搭建

◆5G视频通信终端2个，5G SIM卡4张，4K摄像机1台，4K显示器1台；

◆阿里云服务器1台，带宽100M（单网卡）；

◆端到端5G+4K（4K 50P）传输延时按照图6、图7完成系统连接和测试环境搭建。

（2）测试方法

将摄像机采集到的笔记本在线秒表画面直接输出至4K显示器，同时拍摄笔记本和显示器画面，计算时间差。

5G视频通信终端A将摄像机采集到的笔记本在线秒表画面进行编码上传至云服务器，另一台5G视频通信终端B对云服务器上的视频进行解码输出至4K显示器。同时拍摄笔记本和显示器画面，计算时间差。同时记录5G视频通信终端到服务器ping值（网络延时）。

（3）测试数据

本次测试在5G公网网络环境下进行测试，摄像机设置4K 50P输出格式，5G视频通信终端设置40M编码码率，记录摄像机直连显示器延时和摄像机通过5G终端到显示器延时，计算5G视频通信终端“端到端”延时（含网络延时）。

（4）测试结论

经过实际测试，在5G公网网络延时平均不高于35ms环境下，端到端5G+4K（4K 50P）单向传输延时小于200ms（不含摄像机和显示器延时）。

3. 超高速能力测试

（1）环境搭建

测试时间：2月2日，2月4日，2月5日，2月6日。测试环境：奥运版复兴号CR400BF-C-5162动车组5G超高清演播室，京张高铁清河—太子城双向路测，使用高铁5G-吉讯网络、高铁5G-PIS网络两种5G网络。

（2）测试方法

高铁编码设备把第8车厢演播室视频传输到总台47层解码设备解码后输出给渲染服务器，渲染完成后输出给编码设备，编码设备进行编码后存储视频MP4文件到笔记本电脑，通过多次反复播放MP4文件来观察卡顿情况以及音视频同步问题。

对高铁编码设备接入不同链路进行测试，通过虚拟终端的异构多链路聚合传输能力选择一种最佳组合方式，测试数据为在高铁设备一侧对阿里云服务器的ping包时延，用于统计网络的延时，抖动和连通性。

（3）测试结论

在未进行异构多链路聚合传输算法优化之前的清河—太子城视频卡顿情况如表4和表5所示，可以看到卡顿十分频繁，无法开展业务。

随着泛在网络由泛在互联阶段向泛在协同阶段演进，网络的异构性及终端的多接入特性为终端在网络重叠覆盖区域通过多种接入方式并行传输提供了基础及条件。多径并行传输系统，通过聚合多条链路的传输性能，可以有效提升网络资源利用率，提高业务传输速率及负载均衡能力。另外，通过及时将传输中断链路的数据迁移到其他并行链路可以有效提升网络的鲁棒性，保证数据可靠性。

在多种网络形式重叠覆盖的异构网络环境中，当一个终端具有多个网络接口时，理论上可以同时利用多种无线接入技术进行数据传输，以聚合网络吞吐能力，这种同时使用多条链路的数据传输方式称为多径并发传输。然而，现有的TCP/IP协议架构并不支持多径特性，因此，如何在兼容现有协议架构的基础上设计多径并发传输方案，成为异构网络融合技术中的重要研究方向。此外，由于不同链路无线信道环境的差异性，多径并发传输将造成接收端数据包的乱序到达，从而严重影响数据传输性能，因此，数据包乱序问题也是多径并发传输技术中急需解决的关键问题。

本课题针对高速移动下跨运营商异构5G-NR网络环境下多径并行传输中的数据包乱序、网络资源公平性分配、拥塞控制机制等关键技术进行了研究，提出了基于虚拟终端的多径并行传输架构及优化方法，并通过时速350公里的冬奥高铁专列平台对以5G+虚拟同框为主要应用场景的异构终端设备实现的多流业务并发传输等关键技术进行了验证。

主要研究工作包括以下几点：

针对多径并行传输中影响传输性能的数据包乱序问题，通过多组路测实验对多组场景的多个影响因素进行了分析并提出了解决方法。

为解决多径并行传输中所面临的链路公平性问题，对多路径拥塞控制的设计原则进行分析，在保证网络资源公平的前提下，提升系统的整体性能，实现多路径传输效率的最大化并验证了系统的稳定性。

为解决单个终端在资源及能力上的不足，提出一种基于单终端异构多链路的虚拟终端系统，基于该系统研究聚合终端的多路径并发传输控制。针对虚拟终端系统中如何实现基于LTE和5G-NR在多频段多运营商网络下多径并行传输过程中的业务流控制问题，利用分流控制解决方案整体提升系统的传输性能。

在进行异构多链路聚合传输算法优化之后，可以通过数据看到4个链路的信号稳定性优于双链路，即多链路聚合可以互补，通过测试数据还可以看到，PIS移动的波动小于吉讯移动的波动，吉讯联通的波动小于PIS联通的波动，并且在测试中发现吉讯移动和吉讯联通（从清河站发车9~10分钟）有闪断现象（即速率瞬时掉底），5G视频通信终端设备需要有一条稳定的网络链路维持设备端到服务端的心跳，故最终选用PIS移动来挂设备心跳，保持设备稳定在线；PIS联通的抖动在数据上来看比较频繁，稳定性较吉讯联通较差，决定采用双吉讯联通进行互补聚合传输。

最终采用设备使用PIS移动+吉讯移动+吉讯联通+吉讯联通的四链路聚合传输方案，提高设备直播的稳定性。

优化后的卡顿时间点如表6和表7所示，可以基本保证有连续的时间段开展业务。

四、课题成果

2022年1月6日，北京冬奥列车暨高铁5G超高清演播室在京张高铁清河站上线。在中国国家铁路集团有限公司组织相关单位精心打造的这趟首发冬奥列车上，由中央广播电视总台联合相关单位创新建设的高铁5G超高清演播室正式运行。这是全球首次在350公里时速的高铁列车上，依托5G技术打造超高清直播演播室，实现超高清信号的长时间稳定传输。

冬奥专列经过400余个5G基站、8个隧道群、3个声屏障，搭载了总台创新研发的双向低时延实时同框互动技术、远程虚拟渲染等功能，利用5G网络低时延特性可在时速350公里的奥运列车上及总台演播室内，呈现出主持人“面对面”同镜互动效果，让没有登车的主持人或嘉宾通过虚拟抠像技术实现随时“云登车”，身临其境般地与车上主持人进行对话交流和同场录制，300ms左右的超低时延完全可以实现交互式的互动场景，形成一种全新节目效果与制作模式。

高铁5G超高清演播室在节目中得到广泛应用。如1月27日，CCTV-1《开讲啦》，主持人撒贝宁跟嘉宾跨越不同时空进行“面对面”访谈，高铁和演播室无缝转场。