基于IP公网的融合媒体直播的探索与实践

浙江广播电视集团借着数字化改革成果展的东风，在浙江省档案馆设置了“浙里直播”的云上直播办事窗口，以《交警直播帮》栏目为实际展示场景，由政务主播团队现场为广大网友在线答疑，同时通过远程制作的方式将档案馆和演播室的信号进行实时融媒直播，完美契合了数字化的主题和呈现方式，获得了省领导和省两会代表们的一致认可。

本文作者：
林凡—— 男，1985年生，硕士学位，浙江广播电视集团广电制作中心录制部高级工程师，主要从事视频技术方面的研究。
来源：本文为论文精要，原文刊发于《广播与电视技术》2023年第2期。

1  项目方案

1.1 系统需求

本次融媒直播以演播室端作为控制中心，包含4路摄像机信号和2路投屏信号，前方档案馆4路摄像机信号加嵌音频通过编码器远程回传。如图1所示，档案馆和演播室都需实现摄像机竖屏画面的监看和主要人员间的语音沟通，包括现场摄像机采用竖拍板方式旋转90度取景，现场工作人员通过手机拉流实时监看播出画面，演播室屏墙需旋转90度，通过编解码器一体化传输内通音频，推流机需支持90度翻转竖屏直播等。

在网络方面，编解码两端都需要提供主路和备路各上下行百兆带宽专线保证，主备路均提供至少2个接入主备交换机的公网IP地址。网络传输协议应有效对抗公网网络波动，能提供包括综合前向纠错能力、链路带宽预测和实时监测能力、数据复用和解复用能力在内的各种功能，并能将暴露在公网中的风险降到最低，具有端口加密、信息加密、白名单访问、漏洞扫描等安全手段，确保重要保障期间的信号传输安全。

1.2 技术创新

节目跨度时间长，需要实时传输包括档案馆现场的画面、主持人和嘉宾的声音、导播和主持人间的通话指令、摄像机的切换Tally等，按照传统的制作方式这些必须是由转播车或卫星车来完成，但如果使用便携式的远程制作设备可以借助公网轻松完成系统的搭建。

目前横竖屏转换主要有旋转和裁切两种手段，只播出竖屏时选择旋转无疑是最好的，但如果横竖屏同播则需要采取丢弃部分画面或者两套拍摄设备等方式。以境界指代分辨率，对于同境跨屏同播来说，无论是在制作域还是播出域进行裁切都会有问题，除非跌境播出，超境跨屏同播可以在低成本、高质量的前提下实现同一套广播级设备的横竖屏同播。

在保证节目既定效果的前提下，还在演播室中进行了闭环测量远程传输链路上图像质量的损失、时延量的大小、衡量电视端、手机端的播出效果等，实现传统局域网环境下的指标测量或者服务质量保障。

2  链路保障

2.1 视音频链路

对需要重点保证的视音频信号传输，规划了有线传输的Matrox编码器（SRT）和无线传输的TVU移动背包（ISSP）作为主备链路。SRT协议使用了改进后的ARQ（自动重传请求）技术、设定接收端和发送端的缓冲区大小（Latency）、封装精准时间戳等技术，能够很好地解决公网环境下的随机丢包和抖动问题，通过不同缓冲区大小设置带来差错控制机制和更高的安全等级，实现低时延、高质量的视音频信号端到端的稳定传输。TVU使用5G/4G网络进行多网聚合（IS+）传输，将多路信号整合并通过一个固定的信道发送，将一个单一的信号源通过反向复用多个信道用于传输，然后在接收端重新聚合。

一组Matrox编解码器可以同时传输4路HD-SDI信号，两个TVU发射背包对应一个接收机。4路摄像机的视频信号加嵌音频再经过视分后给到主备链路，通过编码、封装之后成为IP数据包进行网络传输，经由Matrox解码器和TVU接收机分别将流格式转换为信号格式，再跳线进入帧同步器X85解出视频和音频分别处理。视音频传输链路图如图2所示。需要注意的是，主备路视音频能够做到相对各自声画同步，但如需切换视频则需保证音频同步进行切换，否则会出现明显声画不同步。X85在使用帧同步功能的基础上需要进行音频解嵌的设置，由于使用的均是模拟通路，需将AA Out1/2/3/4分别选择SRC1a/1b/5a/5b，这样即可将一台X85包含的4个ch分别送给调音台。

从传输链路可以看出，考虑低时延和通话即时性，以Matrox的传输通路作为主链路，音频使用主调音台的音源；当主链路出现问题时，视频和音频都需切换到备链路上，用TVU回传的视频和音频进行播出；当摄像机或者话筒出现问题的时候，因为有多个接收机和备份设备，可以直接切换备份的视频源或音频源，实现受众无感的无缝切换。

2.2 辅助链路

视音频和Tally/Intercom信号聚合在编解码器中进行传输，但是走的不同传输协议，其中Tally信号使用HTTP协议和443端口（TCP） ，Intercom信号使用RTSP协议和3049端口（UDP） 。

切换台第一个Tally并口输出作为演播室现场CCU的指示灯用，额外的Tally输出使用Kahuna Tally13-24口的13/14/15/16（第二排25芯） ，对应Kahuna GUI上GPIO out 13/14/15/16选择EXT1/2/3/4（input23/24/25/26） ，切换台GPIO out通过转接线连接解码器Tally in，通过网络传输给到编码器，编码器连接无线Tally基站，再发送给提前匹配好的无线Tally灯。

通话矩阵Cronus使用第18个RS422串口，AZ上配置导播通话面板上对应的通讯按钮（M） ，热备的另一组编解码使用通话矩阵第19个串口，相应导播面板和其他面板设置备份通话（B） ，档案馆现场通过无线通话基站实现和演播室的通讯，现场主持人或摄像通过无线腰包上的耳返或者耳机实现听或说的功能。无线通话系统还支持分组通话，比如发射端是耳机接口，可以做一根耳机孔到通话腰包的卡侬转接线，接收端是USB或PL接口，也可以做一根从相应接口到系统内通话矩阵的转接线，理论上都可以实现双向的听和说。

应急通话使用Vlink或直接手机通讯。VLink（Virtual Link Intercom）是一个支持远程用户使用RTS内部通信系统矩阵接口的互联网应用软件，Vlink服务器通过外置声卡与通话矩阵互联，本身相当于一个虚拟矩阵，Vlink服务器使用独立于编解码的公网地址或者映射地址（NAT） ，远端使用方式为手机应用，APP的登录用户名、密码、Vlink服务器地址、接口设置、音频编解码均在VLink Virtual Matrix、VLink System Administration、VLink Device Interface三个软件中进行设置。

3  服务质量

3.1 图像质量

图像质量的测量主要集中在数字视频的应用层，包含客观指标、图像质量主观评价的客观化测试、主观评价三类。PQA提供了一种快速的、实用的、可重复的客观测量，用它来代替主观DMOS评估，是一种全参考（FR，Full-Reference）图像质量测量。PQA采用两个视频文件作为它的输入：一个文件是原始的参考视频序列，另一个文件是该参考视频序列经过压缩、损伤后或经处理过的测试序列。PQA首先使这两个视频序列在空间域和时间域中对准，在这一过程中无需使用嵌入在视频序列中的校正数据，然后仪器对基于人类视觉系统（HVS）和提示模型（attention models）的测试视频的质量进行分析，分别经过格式转换、显示模式、观看模式，再经过人类视觉/感知模式、认知的/提示模式，最后进行基于任务的综合测量，输出与主观评测高度相关的质量测量结果。这个测量结果包括总的图像质量累计度量值、逐帧的测量度量值以及每帧的损伤映射图示，例如基于人类视觉模型的PQR（图像质量比） 。PQA也可以提供传统的图像质量测量结果，例如PSNR（峰值信噪比），以此作为测量典型视频损伤和失真检测的基准损伤诊断工具。

可以将国标参考序列（.yuv）提前从PQA设备输出给蓝光/EVS等存储介质（.m2ts/.mxf）或者拥有YUV格式采集播放功能的非编设备，再拿到远程制作的远端进行播放，信号经过编解码链路到达演播室，PQA同时捕获被测器件的输出视频作为测试序列（.vcap），这样即可经由手动对齐时码进行两个序列的比较分析，得出编解码链路的图像质量。主路Matrox使用H.264/4:2:2/10bit/6-8Mbps（VBR）/GOP60/IP进行编码，备路TVU使用H.264/4:2:0/8bit/6Mbps（VBR）/LongGOP/IP进行编码，两端信号格式均为1080/50i，编解码图像质量在横屏或者竖屏端显示基本肉眼无损。

3.2 时延量

时延是指数据从网络的一端传送到另一端所需的时间，网络中的总时延是发送时延（传输时延）、传播时延、处理时延、排队时延之和。实际使用中可以借助网络往返时间（RTT）来作为参考，往返时间包括了传播时延、处理时延、排队时延等因为公网传输带来的时延，有助于SRT协议中缓冲区大小的相应设置。对于广播电视的实时流来说，必须将网络时延控制在极低的范围内，在切换的时候才不会带来明显的卡顿或者滞后感。特别是异地互动对唱这种对时延要求极高的场景，可以采用裸纤或者专线的方式实现超低绝对时延，也可以通过卫星、移动背包等实现较为稳定的相对时延，不需要互动的场景可以小幅度上下波动。

测量远程制作中的时延量需要两套编解码设备:首先使用一台可出毫秒级时钟信号的电脑信号输出给编码器，通过网络到远端解码器输出给显示器，再通过摄像机等拍摄手段将显示器画面输出给远端编码器，终端收到回传信号之后跟原始毫秒级时钟信号进行对比，即可得出链路来回传输的时延量，多次测量取平均值可得单向传输平均时延。使用SRT协议和H.264编码格式进行传输时，理论上硬件时延至少有100ms以上，平均链路时延视网络路由和波动在300～500ms之间。使用ISSP协议和H.264编码格式进行传输时，在传输码率和时延间会有个平衡，基本上在1s以上可保证稳定传输。总体来看，使用SRT协议可以达到更低的时延，但对有线网络的要求会比移动背包更加严格。

3.3 跨屏同播

对人眼来说，影响屏幕清晰度的因素有PPI、物理分辨率、观看距离、视分辨夹角等。PPI（Pixels Per Inch）指的是每英寸像素数或像素密度，PPI取值为屏幕对角线分辨率和对角线长度的商。受发光元器件和排列顺序的影响，这里只考虑等效PPI，PPI数值越高清晰度越高。PPI=SQRT[SUMSQ(X,Y)]/分别指屏幕的横向像素数、竖向像素数和对角线长度（inch），SUMSQ函数作用为求数值平方和，SQRT函数作用为求算术平方根。以50寸横屏（Panasonic）和6.1寸竖屏（iPhone 13 Pro）为例，采用4K横屏机位拍摄时，电视端PPI=88，裁切出竖屏时手机端PPI=406；采用4K竖屏机位拍摄时，手机端PPI=722，裁切出横屏时电视端PPI=50。相比手机原生的460PPI和全高清电视的44PPI来说，使用4K拍摄HD播出时无论横屏裁切出竖屏还是竖屏裁切出横屏清晰度均符合要求，或者是采用4K横屏拍摄，同时播出4K横屏和裁切HD竖屏，即所谓超境。

两个相邻像素点与眼睛之间构成的夹角小于视分辨夹角，人眼就无法分辨出两个像素点，根据视网膜结构和晶状体曲度能力，研究表明视觉健康的人的视分辨夹角大概在1角分，当某一距离下相邻像素与人眼夹角≤1′，可以认为此种分辨率下的这个距离是合适的。两个相邻像素点与人眼呈一定程度的夹角弧度，取直角三角形的弧度为α，则α=arctan(H/L)=arctan{[(25.4/PPI)/2]/L}，其中arctan为反正切函数，已知正切值可求夹角弧度，H为两个相邻像素间距的二分之一（假定像素间无缝隙），L为人眼和屏幕距离（毫米），25.4为1英寸对应毫米数。可计算得出相邻像素与人眼夹角弧度为2α（rad），转为角分后为2α×(180/π)×60。所以在已知PPI或分辨率的情况下，可以反推出适宜的观看距离L=(180×60×2×25.4)/(PPI×2×π)=87318.768/PPI，只要大于这个距离人眼和相邻像素夹角就不大于1角分。也可以根据给定的观看距离，计算出适宜的屏幕PPI值，从而选择更加适合的屏幕比例。

4 总结

对专业内容生产者来说，选择合适的传播渠道，意味着媒介传播效果的最大化和受众黏性的自主提升。横屏与竖屏的背后，不仅是呈现信息方式的区别，还有对媒介消费习惯的改变和对用户需求的精准把握。在游戏竞技、政务连线、带货直播、疫情发布等多类型场景下，低时延、高质量的远程制作和跨屏同播的需求越来越频繁，这也成为节目形态转型升级、技术手段更新迭代的试金石和敲门砖。