电视伴音与大屏视频协同呈现技术的应用

本文从业务场景、应用方案和关键技术应用等方面介绍了“百城千屏随身听”系统，详细阐述了户外大屏视频与手机电视伴音在混合网络中的独立传输和同步呈现功能的业务实现。

作者：中央广播电视总台马健
来源：选自2022年第9期《现代电视技术》

一、背景

“百城千屏”项目通过新建或改造4K/8K超高清大屏，丰富超高清视音频服务场景，加速推动超高清视音频在多方面的融合创新发展，催生新技术、新业态、新模式。通过展播社会主义核心价值观、党的建设、北京冬奥会、文化旅游等优质超高清内容，充分发挥时事政策宣传、公益发布和弘扬社会主义核心价值观主阵地、主渠道、主力军作用，弘扬民族精神，呈现中国文化，提升超高清视频产业的渗透性。

为了配合“百城千屏”项目的落地推广，在原有超高清视频观看的基础上，在不造成声音干扰的前提下，通过移动终端提供超高清视频的伴音服务——“百城千屏随身听”，达到创新户外大屏节目形态、提高用户体验的目的。

二、业务场景

“百城千屏随身听”的业务场景如图1所示，在使用专用链路传输8K视频的同时，利用互联网音频直播技术，实现超高清视频与电视伴音在异构网络的协同传输。用户可扫描视频中嵌入的二维码关注“百城千屏随身听”小程序，该小程序会通过手机定位信息确认用户观看的大屏位置并进行动态绑定，然后通过云端服务进行延时测算，将最为匹配的伴音链路音频流推送至移动端，实现户外大屏超高清视频与用户手机大屏伴音的音画同步播放，同时“随身听”小程序上还支持查看大屏在播节目内容和节目列表信息等。

三、应用方案

“百城千屏随身听”是百城千屏公共大屏项目的重要组成部分，其系统是在原有8K超高清播出平台、8K超高清AVS3编码压缩平台、8K超高清IP集成分发平台及专业解码终端、运营管理平台等功能基础上，增加音频编码推流及移动终端收听伴音服务，系统总体架构如图2所示。该机制能够实现终端的大屏视频和手机上伴音准实时同步播放。

“百城千屏随身听”系统由“音频编码系统”提供持续音频流，“音频流分发服务代理”实现播出系统面向公有云的安全对接，“随身听公有云服务平台”提供后台服务。

1. 音频编码系统

音频编码系统架构如图3所示，前端连接8K超高清播出系统，系统部署主备2台音频编码器，将8K播出信号的音频流进行AAC编码（码率256Kbps，采样频率44.1kHz），输出RTMP音频数据流，在通过系统边界防火墙后将音频流送至音频流分发服务代理到公网，为“百城千屏随身听”公有云服务平台提供安全稳定的音频数据流。

所部署的音频编码设备可支持多种格式的音频编码，能够支持SDI over IP音频信号输入，用以接入8K播出系统所提供的SMPTE ST 2110-30音频信号，配置多格式协议接入与输出单元，能够为“随身听”公有云服务平台输出所需要的RTMP音频数据流。

2. 音频流分发服务代理

为了满足总台8K播出系统的网络安全要求，在总台云数据中心部署音频流分发服务代理，通过安全访问代理功能把大屏伴音直播流推送到百城千屏随身听公有云服务平台，避免总台8K播出系统直接暴露于公有云接口上。

3. 随身听公有云服务平台

“随身听”公有云服务平台由伴音管理应用、伴音网关服务、音频流直播云、监控等4个主要功能模块组成，其系统架构如图4所示。

（1）伴音管理应用

伴音管理应用主要完成与8K运营管理平台和8K IP集成分发平台对接，实现频道信息、大屏视频延迟信息、节目单的同步。同时，音频流管理模块进行音频流与频道和节目单的对应关系维护，实现频道、音频流、节目单的匹配。

（2）伴音网关服务

网关服务部署在云端，主要提供移动端数据上报接口、音频匹配服务和节目单接口等功能，供“随身听”小程序调用。

a. 移动端数据上报

接收从移动端随身听小程序上采集的终端信息、用户信息及终端小程序延迟数据，便于服务状态监控及音频匹配。

b. 音频匹配

利用终端小程序提供的采集数据，通过延迟测算并进行音频匹配，从延迟推流列表中选择适合的推流地址，返给终端小程序进行播放。

c. 节目单接口

“随身听”小程序获取从节目生产管理系统同步的节目单数据，用于终端查看收听节目信息调用。

（3）音频流直播云

音频流直播云提供音频流服务、延播推流服务，供“随身听”小程序进行流选择和播放服务，同时还提供了安播及防盗链等相关保护。

a. 音频流服务

基于流媒体服务器实现实时音频推流服务，用于终端小程序拉取播放。

b. 延播推流服务

延播推流服务根据延迟列表将一路输入流拆分成多路输出，满足终端不同延迟输出流的需求。

c. 安播/防盗链

安全播放是通过主备两路汇聚流切换实现，在主路流发生安全问题时，切换至备路流作为输入源，从而保证下游业务正常运行；防盗链功能是采用相关技术实现播放地址的保护，防止音频流被盗播。

（4）监控

监控功能主要完成系统应用服务状态监控和各路音频信号的监听。同时，收集小程序端的采集数据在服务端进行用户访问数据统计。

4.“随身听”小程序

基于微信小程序开发“百城千屏随身听”小程序，通过延迟计算实现音频流的智能匹配播放。同时，通过节目单呈现功能可以查看近期节目列表和当前收听节目信息。

（1）启动引导页

“随身听”小程序启动后，用户可以通过启动引导页对“随身听”功能进行简要了解。在北京冬奥会期间，“随身听”小程序启动引导页采用冬奥滑雪动画，突出冬奥特色。

（2）延迟计算

延迟计算功能是在“随身听”小程序启动时，截取用于延迟测算的信号流画面，并同时获取移动端截图时间，将截图和截图时间提交给后台服务用于计算延迟时间。

（3）音频播放

“随身听”小程序的音频播放通过调用微信小程序的live-player播放器实现。live-player是微信小程序提供的实时音视频播放组件，支持自动播放、静音等功能。

（4）节目单呈现

节目单呈现功能是同步总台节目生产管理系统的电子节目单，用户在收听大屏伴音的同时，可以查看当前收听的节目信息和近7天的节目播出列表。

（5）移动端数据采集

移动端数据采集是指“随身听”小程序在运行过程中，会采集移动终端设备信息、位置信息、延迟数据以及用户的操作行为数据。

四、关键技术应用

面对大屏视频与大屏伴音使用不同链路传输导致的无法同步呈现的问题，解决问题的基本思路是通过获取高码视频分发和音频传输的延迟差后，动态调整音频延迟来实现，其中的关键技术包括音视频播放的延迟测试、低延迟延播控制等。

1. 面向混合网络的音视频播放的延迟测试技术

在百城千屏业务中，视频信号通过专线以组播方式进行传输，而伴音信号则通过互联网传输。两种不同的传输通路会导致信号传输时效不一致，因此需要对音视频播放延迟差进行测算。全链路的延迟是指从播出系统到大屏播放之间的总时延，为了更准确地测量延迟和更好的方案适应性，在百城千屏系统中，基于不同的网络情况通过如图6的方式来进行延迟测量。

大屏视频信号的总延迟由8K播出系统到AVS3编码器延迟、AVS3编码器到机顶盒终端延迟和机顶盒终端到大屏延迟三部分构成。其中8K播出系统到AVS3编码器延迟以及机顶盒终端到大屏延迟值相对比较稳定。

AVS3编码器到机顶盒终端延迟传输链路比较长，情况比较复杂，具体测算过程为：视频信号在编码过程中进行信息的嵌入，即在编码器端将时间戳以字符串形式放入信号流中传输，赋予直播流连续时间码，经过链路传输分发至客户端。在终端解出嵌入信息，结合解码时间和缓冲区状态，可以计算得到编码器到终端的延迟。

移动端音频总延迟由8K播出系统到音频编码器延迟、音频编码器到延迟推流服务延迟、延迟推流服务到手机终端延迟等三部分组成。其中8K播出系统到音频编码器延迟以及音频编码器到延迟推流服务延迟相对比较稳定。而从延迟推流服务到手机终端延迟网络路径比较复杂，在不影响主音频信号传输情况下，采用延迟测算信号流进行测算。

在延迟推流服务端使用一个延迟测试信号生成器，产生带有可见时间戳的视频流，推送给下游直播分发系统。在终端“随身听”小程序截取测试流中的画面，并记录截取时间，一并提交给云端服务利用图片文本识别还原视频中的时间戳，再通过视频时间戳与截取时间差计算出信号生成器到手机终端播放之间的延迟，作为延迟推流服务到手机终端的延迟值。

2. 基于异构网络下的音视频低延播控制技术

音视频低延播控制技术首先对音频编码器提供的RTMP流进行AAC音轨demux解嵌，以数据帧计数的方式在转码程序运行内存中进行缓存。其次在转码过程中采用多线程并发处理，开启多路RTMP纯音频流mux输出。

同时，主线程分配CPU时间将缓存的音频数据帧以直接透传方式分发给各路音频输出处理线程。当处理线程收到主线程调度分发的数据后，根据当前线程延时设置对数据帧进行延迟缓存，并将数据帧时码按延迟时间进行偏移输出，最后以RTMP方式推送到音频流直播云服务，供下游小程序播放端拉流播放使用。

流延播推流服务采用分布式架构设计，支持计算资源和数据资源分离，适合容器化云部署，支持多种直播流格式的协议、封装、编码转换，同时提供安播、延时等功能支持。

核心延时功能支持一进多出功能，每路输出根据业务场景进行独立计算，准实时输出多路不同延时音频流。同时对于信源单AAC音频RTMP流的特殊性进行demux优化，降低输入延时。整个传输链路对音频数据进行透传，最大限度降低直播流处理所造成的延时消耗。

五、总结

“百城千屏随身听”于2022年1月上线后，伴随“百城千屏”项目在北京、上海、广东、浙江、湖北、江苏、安徽、四川、山东、福建、江西等十多个省份多块户外大屏落地，为观看上述大屏超高清视频的观众同时提供了伴音收听功能。在本次春晚及冬奥会过程中，“随身听”分钟级并发访问人数超过11000人。

随着总台“百城千屏”项目在全国更大范围的落地，用户在观看体验8K超高清节目视频的同时，同步收听高保真的节目音频将成为必然趋势。本项目采用大屏8K视频与移动终端伴音两条异构网络链路的延时自动对齐技术应用和实践，基本满足了用户收听大屏伴音的需求，未来将进一步结合CDN技术和客户端播放缓冲技术，通过优化算法实现更精准的动态匹配。

本文受超高清视音频制播呈现国家重点实验室资助，“面向混合网络的电视伴音与大屏视频协同呈现技术研究”项目，项目编号CMGSKL2021KF020。