浅谈超高清现场制作场景中延时器的设计思路与研究

一、超高清IP信号延时处理器的使用需求与设计思路

随着IP网络技术的逐渐成熟以及落地应用，IP网络系统的规模会弹性扩展，一个复杂的分布式系统，其覆盖地域也会不断扩大，其更大的带宽，更灵活的扩展性，更灵活的备份机制，都使传统广播电视技术享受IT技术带来的利好，也会因为系统中网络设备数量不断增加，网络节点变得复杂，信号传输方式的改变，使得传统管理手段变得越来越不能满足安全播出需要。

传统的延时设备采用PC服务器作为硬件平台，具有开机时间长、维护复杂的缺点。而超高清固态延时器采用集成芯片，嵌入式处理器，操作、运维简单，更稳定可靠，比传统PC服务器方案的延时器更适用于广播电视节目的直播环节。

超高清延时器通常采用模块化架构，处理板和接口板分开模式，在统一的接口总线上扩展各个功能模块，如多画面监看处理模块、音视频采集模块、音视频播出管理模块、音视频加解嵌模块、SDI输入输出模块、IP输入输出处理模块等，在一个硬件平台上，用户可以根据实际需求选择或者增加功能选件，提高了系统的稳定性、可靠性及性价比。基于无压缩基带视音频缓存技术，可以在延时过程中准确地执行插入AUX辅助视音频或静音MUTE操作，全面保障播出的安全性和可靠性。

1. 超高清延时器在现场制作场景中的使用需求

首先，超高清延时器需要具备两路双向光纤通道，可配成接收或者发送；并且支持SMPTE ST 2022-7协议（A/B路无缝切换协议），满足两路IP流信号的备份接收或者发送，这也是直播演播室安全接入的基础。

其次，设备要拥有两条独立的延时总线，具有相同的延时时间，分别完成PGM播出与PST监看，让播出值班人员拥有充足的时间，可以根据视音频的故障点判断何时进行处理，最大程度保留了延时中的有效信号不被丢弃。

作为超高清的延时时间至少达到120秒，才能满足赛事、专题、访谈等类型节目对延时功能需求。根据广电行业对延时器的使用习惯，用户可以在线采集至少60秒以上的现场信号，作为垫片或内部辅助信号源。

在一套符合安全播出要求的直播系统内，主、备两通路的视音频信号是完全同步的，包括其中的延时信号。即使在延迟器触发垫片机制中，亦是如此。那么在操作层面，主机须支持多个遥控面板联动控制，避免人为操作两块面板造成的时间差，导致节目主、备路信号不同步的问题。

在多数制播环境中，延时工位无需监看全尺寸超高清画面，合理利用监看空间非常必要。多画面分割器处理模块可以很好地解决这个问题。其可以将重要信号合成后输出，为多信号的监看提供了便利性，大大简化了系统复杂性。此外，系统应通过内嵌Web server等方式提供系统程序升级、在线维护、日志查看备份等功能。

2. 超高清延时器在现场制作场景中的硬件平台设计思路

就硬件平台而言，中央处理单元完成所有模块的功能处理、调度、控制、分配等功能，是延时器的核心部分。由于目前超高清制播系统设计类型多样，为保持该设备的良好兼容性，其应具备模块化架构。例如SDI/IP信号输入处理单元，其在制播系统中满足不同4K信号接入。基带信号用来支持12G SDI或者4×3G SDI；IP信号通过25G、40G等光纤接口接入冗余IP链路。

延时处理单元负责完成信号实时缓存、延时处理以及垫片采集功能；需采用多组高速内存硬件模组单元，用于缓存海量数据，此单元对于PCB设计水平和稳定性要求极高；须采用高速处理算法实现精确到帧的双通道延时输出功能，在有限的存储空间内实现无压缩超长的延时时间和双段延时输出。

同样采用高速内存硬件模组单元的还有采集单元，须使用延时算法和控制逻辑，实现精确到帧的、可任意调整入出点的、无压缩地采集外部SDI信号，并在内部循环播放功能。为了无损地保留图像的有效数据和全部辅助区数据，有必要使用多个帧同步处理模块，以提高系统的稳定性和实现相位调整。

如前所述，延时工位需监看延时前、延时后、垫片等画面，其通常需要通过缩放、拼接、合成后输出图像，在有限的存储空间内采用Deinterlacer、Scaler、Filter、Mixer等算法，叠加音频柱及UMD信息等，实现多路信号的显示、调度。设备应采用工业机箱方便机柜、机架的部署，双路无缝切换电源，也是对直播演播室设备的电路要求。

同时在操控环节，遥控面板单元应可以完成主机工作参数配置及控制功能；包括人机界面的交互，如按键和菜单的选择和设置、液晶面板的显示、倒计时、网络访问、内部软件的升级等功能。超高清延时处理器内部设计思路框图如图1。

依据上述需求，若主FPGA模块与信号输入输出接口双路连接，则一路直接连接所述信号输入输出接口，另一路通过多画面处理模块与信号输入输出接口连接；控制面板按键模块与主FPGA通讯实现BYPASS、DELAY、MUTE和AUX功能切换控制。

二、超高清IP信号延时处理器关键技术研究

在超高清IP信号延时处理器的设计研究过程中，有一些关键节点需展开讨论并做细化设计方案，现分享如下。

1. 延时处理功能及垫片采集功能的实现

有些的固态延时器不具有单独的延时监看母线，即监看与播出为同一条母线，且仅提供延时前或延时后监看接口，这会导致延时器在延时中做应急处理时播出的安全性低，且会浪费延时过程中有效的视音频数据。

针对此项问题，应该设计一种双通道同步延时处理机制，即处理器内部把输入信号同时做两路延时处理，一路用于直通信号的延时监看，另一路用于PGM信号输出，两条独立的PGM播出通道与PST监看通道，可以调整为不同的延时时间。利用独立的PST监看通道，就可以让播出值班人员拥有充足的时间准确地根据视音频的故障点判断何时进行何种处理。如图2所示。

两者的区别在于PGM允许被插入垫片信号或者切换到AUX辅助信号。通过对直播信号实时监看，可以控制应急切换点，因此在现场出现意外情况时，可以在故障点前把故障缓存数据处理掉，而不是把整个缓存数据全部处理掉，因此这种方案最大程度地保证了现场信号实时播出的完整性与安全性。

设备需提供延时中的AUX与MUTE应急处理方法，以最终输出信号为基准进行快速处理，从而实现了准确、高效地去除错误视音频的出现，最大程度地保证了播出的安全性，并且易于操作。

2. 垫片采集及循环播放实现

为适应电视台对直播节目安全的考虑，避免在直播中出现不宜转播或设备故障引发的异常画面，延时器设计内置垫片功能，操作人员可以现场采集画面作为备用素材，节目出现故障时可以作为紧急垫片素材。这种设计的好处在于现场采集，当进行切换时观众感觉不到是异常播出，从而保证了节目的连续性和观赏性。

垫片切换处理过程如图3。

垫片采集及播放实现原理为：预先将采集到的超高清画面数据实时保存在缓存里，收到切换指令后，使用FPGA处理器将垫片素材从缓存进行精确到帧的读取，在场消隐区完成净切换处理，然后调度到PGM总线进行输出。

3. 在超高清IP信号延时处理器中冗余链路IP流接收效率的研究

在广电领域多数的IP制播系统中，为了保证数据安全而采用基于SMPTE ST 2022-7协议进行主备链路传输。SMPTE ST 2022-7:2019《Seamless Protection Switching of SMPTE ST 2022 IP Datagrams》标准定义了基于在潜在不同路径上传输相同内容的多个流的RTP数据报流的无缝重构概念，见图4。

超高清IP信号延时处理器需要支持该协议，才能安全地接入视频系统。这个多路无缝切换的概念，具体实现过程为：信号源发送设备同时将相同数据包依次发送到多个网络路径，接收设备也同时从多个网络路径同时接收数据包。

由于网络传输存在一定延时差，且网络传输数据流本身会有误码或丢包风险，因此ST 2022-7协议使信号接收设备内部有一个数据包自动重构机制，接收设备同时接收两路流的数据包，当来自某一个网络数据流出现丢包，接收设备会检测到该错误并自动去拾取另一个网络数据流中的对应包，重构出一个新的IP流信号，主观不会发现任何数据扰乱出现，也不需要人为干预。

虽然标准提供了重构的依据和方法，但实际上IP接收端数据包重建方法的精确性由实施者决定，也就是基于接收设备缓存处理模式不同，会有不同的实现方法。在以FPGA集成芯片为核心的超高清IP信号延时处理器硬件平台上，数据包重构在接收设备的DDR里实现。

接收设备一般会将A、B两路数据缓存在集成芯片的片上Buffer，然后按照SDI视频信号数据重构需求把有效数据包读入到DIMM缓存，等待SDI发送驱动器调用。对于4K超高清IP流，视频数据带宽约为9.0Gbps，这种双倍读写带宽的占用，这在实际应用中同一个接收设备在处理多通道超高清数据时，高速数据读写并发有可能会造成DDR无响应，以致影响整个接收设备的处理能力和性能稳定。

在SMPTE ST 2100协议里定义了PTR基于帧的分组传送定时特性，为了提高IP流传输的安全性，考虑各种的交换设备和接收设备不同的缓冲区大小等因素，SMPTE ST 2100-21提出一种虚拟接收器缓冲区模型。在该模型中数据包在实际传输时刻存放到接收设备缓冲区，并且按特定时间表删除，这个时间就是数据包读取间隔（PRS）。如图5。

时间标度值源于SMPTE ST 2059-1中定义的SMPTE Epoch，即数据包所携带的时间戳信息，在当前系统时间达到读取时间的情况下，IP接收设备处理系统从A路缓冲器和B路缓冲器中随机任一个缓冲器中读取待处理IP媒体流数据包，写入设备DDR存储器中，完成数据包重构等待发送处理。采用这种方法无需占用两倍带宽，即可实现对IP媒体流的读写相关处理，完成两路备份IP流数据包重构实现无缝切换。

4. 超高清延时器与系统中媒体节点设备互操作兼容性处理研究

在实际IP系统中具有各种各样的交换机以及媒体节点设备，超高清IP信号延时处理器也位列其中。其接收缓冲区的大小各不相同，保证研制的媒体节点设备能与各厂商的媒体节点设备IP流互通非常必要。

为了提高兼容性，SMPTE ST 2110-21提出了当视频RTP流离开发送方的传输接口时基于帧的分组传送定时特性指定了两个参数化模型Gapped schedule和Linear schedule。这样接收设备通过在两种模型中使用相同的TROFFSET值，给定足够的VRXFULL值，线性PRS处的接收器读数也可以容纳满足间隙PRS要求的信号，从而保证了兼容性。图6显示了渐进信号的线性和间隙PRS之间的关系。

同时为了保证IP发送端发出的IP数据包经过复杂网络路径被不同类型的IP接收端有效接收，SMPTE ST 2110-21还提出了一个漏桶模型，如图7。

IP媒体节点设备视频RTP发送器在网络出口接口上测量的实际传输瞬间序列在所有时间和所有操作配置下均通过图7所示的网络兼容性模型，来自发送方的数据包在从发送方发出时应立即进入一个容量无限的漏桶。如果数据包可用，则存储桶每个TDRAIN秒排出一个数据包。为了精确建模，从SMPTE ST 2059-1中定义的SMPTE历元开始，存储桶排空数据包的特定瞬间为N*TDRAIN秒。

根据发送端配置不同，定义了三种发送类型：Narrow Senders（Type N）、Narrow Linear Senders（Type NL）和Wide Senders（Type W）。N型发送器采用间隙PRS方式发送，适合媒体节点设备采用的FPGA集成芯片处理方案，因此媒体节点设备发送端均采用N类型方式发送数据包。

因此媒体节点如IP网关卡、多画面处理器以及超高清IP信号延时处理器IP发送端均采用了Gapped方式处理。按照PRS定义的公式在每一帧画面的第41行有效区数据加入Timestam，使用N类型发送，保证C_MAX和VRX_FULL的符合性。两者的计算公式如图8。

其中N_PACKETS为帧包数，T_FRAME为相邻帧之间的时间段，R_ACTIVE为有效行数比。

VRX_FULL规范提供了至少8个数据包的虚拟接收器缓冲区，可用于处理更高速率的信号。对于高分辨率图像和高帧率图像，使用RTP协议进行数据包封包处理时要注意在有效时间内SDI信号的视频有效载荷，并在数据包满时进行数据包的发送；而对于小图像或低帧速率的情况要确保最小值，每帧N_PACKETS的数据包数量要相应地减少，按比例计算的较小C_MAX值（N类型是4）。如果要容纳通过交换机的所有流上的同时突发，还需要注意交换机缓冲区和加载的配置。

5. 超高清延时器中高速缓存读写技术研究

由于超高清信号具有超高图像分辨率、高帧率的特点，研制在超高清IP信号延时处理器中最核心的技术就是解决高速数据缓存读写问题。另外在调研中，为了保证延时数据最大利用率，设计了双母线延时处理机制，这样对高清无压缩信号的实时缓存处理，提出了更高的难度。

信号延时处理机制内部是一个把视频信号连续“边写缓存、边读出”的工作过程，如果DDR读写控制出现瑕疵，会造成因画面读写不及时造成的画面卡顿现象，或者丢数据造成的画面不连续问题。为了保证高速度、高带宽数据处理速度和效率，使用DDR内存使用DIMM（Dual Inline Memory Model）即双列直插内存模块，即IP延时器核心技术是实现DDR的读写时钟控制。

FPGA使用的FIFO（First In First Out，即先进先出）指的是对数据的存储具有先进先出特性的一个缓存器，用于跨时钟域数据信号传递。FIFO从输入时钟的角度来分，有两种类型：单时钟FIFO（SCFIFO）和双时钟FIFO（DCFIFO）。单时钟FIFO具有一个独立的时钟端口Clock，所有的输入输出信号都同步于Clock信号，单时钟FIFO常用于同步时钟的数据缓存；在双时钟FIFO结构中，写端口和读端口分别有独立的时钟，所有与写相关的信号都是同步于写时钟WRCLK，所有与读相关的信号都是同步于读时钟RDCLK，双时钟FIFO用于跨时钟域的数据信号的传递。

DIMM在高频（如1333MHz）下工作，采用DCFIFO做读和写的跨时钟域处理，根据读写数据带宽灵活设定WRFIFO和RDFIFO域值，同时采用分时复用方案进行读写逻辑的控制。

针对超高清大带宽数据实时监看及切换需求，方案应采用多帧缓存方案，能够流水线完成存储算法，最大程度解决读写交替和图像流畅度问题。

三、结语

以上是针对超高清演播室现场制作场景中延时器的一些设计思路和遇到的些许问题的思考，在此加以小结与大家分享。随着超高清节目需求量的增加，希望有越来越多的产品和设计思路为提高制作水准，保证节目安全播出，减少劣播做出更大的贡献。

本文受国家重点研发计划资助（National Key R&D Program of China），“4K 超高清电视制播系统研制”项目，项目编号：2019YFB1804300（课题一：2019YFB1804301）

来源：选自2023年第5期《现代电视技术》