视频浅压缩技术是什么(视频浅压缩技术方案和应用)

1. 视频压缩目的

随着互联网尤其是移动互联网的飞跃发展、智能终端的普及，给数字化音视频行业带来新的商机，也给行业带来了新一轮的挑战。

为用户提供更高分辨率、更高画质、更低延时的视觉体验，也成为行业内各大厂商提升产品核心竞争力的重要手段。

然而随着视频画质的提升，其对应的数据量也随之上升，举例来说，1080P分辨率的视频，有1920*1080个像素点，若每个像素用红蓝绿三个256色（8bit位深）的数据表示，当视频帧数为60fps时，那么一秒钟画面的数据量是：1920*1080*3*8*60≈3Gbps，即通过网络观看这个视频，每秒要从流媒体服务器传输3Gb的数据至客户端（播放端），终端用户才能流畅的观看。

如此巨大的网络传输带宽占用，对当前的互联网络而言，无疑是捉襟见肘的。因而，采用合适的视频图像压缩技术，减少传输数据量，是在当前网络环境下，迎合用户需求的不二之选。

2. 视频压缩技术

2.1. 视频图像压缩编码技术

最常见的视频压缩编码技术包括：预测编码、变换编码、统计编码。

（1）预测编码的基本原理是先得到预测值，这个值是根据数据的统计特性获得，接着传输预测值与图像像素差值信号，进而减小传输码流中代表图像像素的数值，而较小的数值具有较小的bit占位，以实现压缩。

（2）变换编码的基本原理是通过某种变换来消除数字图像像素间存在的高度相关性。变换编码利用离散余弦变换（DCT）和小波变换（Wavelet）在先将空域图像变换到频域，获得一组变换系数，再通过量化、编码来达到压缩目的。

（3）统计编码对视频数据进行压缩是由信息码字出现的概率分布特性决定的，寻求码字长度与这种概率之间的最优化的匹配关系，统计编码算法主要采用哈弗曼编码和算术编码。

2.2. 视频图像压缩编码标准

目前业内主要采用H.264/AVC、H.265/HEVC、VP8、VP9、AVS1等几种视频编码标准。这些标准有着相似的编码技术原理：将图像看成是二维波形，经由预测编码、变换编码、统计编码后，消除运动图像空域和时域上的冗余，以此达到压缩数据，进而减少传输带宽占用的目的。

经过视频图像压缩编码后的视频，数据量大幅减少，以目前主流的压缩编码标准H.264举例，1080P分辨率、60fps的视频，经过压缩编码后，4Mbps的网络带宽占用，就可以在移动端（小屏侧）给用户带来不错的观看体验。

3. 视频压缩带来的新问题

虽然视频图像压缩编码技术，可以较好的解决高清高质量视频的大带宽占用问题，但事物往往都有两面性，压缩编码技术也同样是一把双刃剑，它也会带来一些新的问题。

3.1. 直播播放延时

由于主流的视频图像压缩编码标准都使用了帧间“预测编码”技术，如下图所示，为了提高压缩比率，两个可独立解码的关键帧（I帧）之间，夹杂若干不可独立解码的预测帧（P/B帧），一般情况下，关键帧的编码数据量要比预测帧大十几倍甚至更多。

当客户端随机接入流媒体服务器观看直播时，极有可能其接入时间点不是可独立解码的关键帧而是预测帧，所以，即使流媒体服务器将当前预测帧传输给客户端，客户端的播放程序也不能进行解码，而必须要等到关键帧后，才能正常解码、播放。

因此，假设关键帧间隔2s，仅仅是由于压缩编码带来的关键帧和依赖帧的影响，客户端观看直播，最大会有2s的延时，即一个关键帧间隔时间的延时。

3.2. 云导播台切换延时

导播台主要作用是将多机位音视频信号整合到一起，根据现场需求，由导播人员进行实时切换。而云导播台，则是把这些功能放到云端，导播人员可以随时随地接入云导播台，完成之前必须到现场才能完成的导播工作。

云导播台带来了极大的便利性，但由于它部署在云端，所有视频信号都需要经过互联网传输至云端，因而，正如前文所述，必须采用视频图像压缩编码作为传输方案。

与3.1小节的场景类似的，当导播人员在云导播台进行A路视频信号切换至B路视频信号时，处于切换时间点的B路视频极有不是可独立解码的关键帧而是预测帧，此时，云导播台的后端音视频节目制作程序，也必须要等到B路视频的关键帧后，才能做真正的A->B的切换，然后输出展现给终端观众。

这也会导致最大一个关键帧间隔时间的源视频信号切换延时，而这个延时往往会使观看直播的观众错过一些精彩瞬间，尤其是体育赛事。

4. 视频浅压缩技术

如何解决视频图像压缩编码带来的这些问题，一直以来是音视频工程师们提升终端用户观影体验的方向之一，有些技术采用追帧技术来缩短延时，如当下比较流行的WebRTC。

视频图像浅压缩技术，也可以有效缓解此类问题。

4.1. 什么是浅压缩

视频图像浅压缩技术，依旧采用预测编码、变换编码、统计编码，对视频进行压缩编码，但浅压缩采用视频帧间无差别编码，只进行帧内预测编码。可以在宏观上认为浅压缩技术为“全关键帧编码”，没有预测帧。如下的三幅图，形象的展现了原始图像、压缩编码、浅压缩编码三者的关系：

原始画面：

压缩编码（H.264/265等）后画面：

浅压缩编码后画面：

视频图像浅压缩技术不存在不可独立解码的预测帧（B/P帧），每一帧都可以独立解码，所以不存在第3小节提及的由于存在预测帧导致的延时问题；同时，“浅压缩”，其实压缩率并不浅，目前业内较成熟的解决方案，可做到100Mbps左右的带宽占用，就能承载1080P，60fps的视频。

这样的带宽占用，在5G已经大规模商用的当下，已经不是不可能完成的任务了，尤其是在云导播这样2B的行业应用中落地实现，前景将更加明朗。

4.2. 解决方案

目前业内有若干基于视频图像浅压缩的技术解决方案，其中NDI是使用较广泛的一个。

NDI（Network Device Interface）协议是NewTek公司于2015年推出的IP网络设备接口协议。它是音视频的编解码和网络传输协议（基于UDP），即有两重性，第一重对视频进行编码压缩和解码，第二重是在这个基础上进行低延时的传输。

早期，NDI并非针对浅压缩而设计，而是为了解决音视频信号IP化传输的问题。用户可以基于NDI协议，打造AV over IP的作业流。

直到2019年IBC展会，NewTek公司发布了基于关键帧浅压缩的Full NDI协议。一般情况下，Full NDI的一路1080p分辨率、60fps的视频流占用100Mbps左右的带宽，一路4K、60fps视频需要250Mbps左右，如下表：

NDI是版权免费的技术，并且已被广播电视设备供应商广泛采用，包括一些有时被视为NewTek自有产品竞争对手的厂商。NewTek提供了可用于Windows、Linux和MacOS平台的免费的NDI代码库和示例。NDI同时支持iOS，Android，Raspberry Pi和FPGA平台的开发应用。

4.3. 应用设想

基于浅压缩技术全关键帧压缩的特性，可在云导播系统中，实现帧级别的实时导播画面切换（多机位画面切换），提升云导播系统的2B（导播人员）、2C（终端观众）的用户体验；同时，云导播系统内，媒体流使用局域网传输，可减缓由于浅压缩带来的带宽压力。

基于浅压缩技术的云导播系统架构构想如下图所示：

• 本地视频源通过SDI/HDMI线缆，连接NDI编码器设备，设备编码后，通过局域网，传输NDI信号给导播台；
• 远程视频源，通过传统流媒体协议RTMP/SRT等，通过互联网，连接接入网关，网关进行协议转换，通过局域网，传输NDI信号给导播台；
• 导播台接受NDI信号，按导播人员指令，实现帧级别实时机位画面切换；
• 经由导播后的输出NDI信号，通过局域网，连接输出网关，网关进行传统流媒体协议协议转换后，通过互联网，对外提供传统媒体流；
• 2B（导播人员）远程监看，使用RTC进行监看；
• 2C（终端观众）观看，使用HLS/RTMP/RTC/FLV进行观看。

5. 结束语

5G+新技术的不断涌现，使得人们的世界变得越来越精彩。作为新媒体行业的从业人员，我们有责任、有义务提供更佳用户体验的音视频产品。愿我们在技术铺就的大道上，越走越远，越走越好。

6. 参考文献：

https://www.wenmi.com/article/pys6i1034b4y.html

https://www.bilibili.com/read/cv7263749

https://www.bilibili.com/read/cv12619033

作者：陈旻 | 来源：公众号——青榴实验室