什么是视频编解码？视频编解码发展史

编解码 • 2023年2月7日下午3:51 • 技术文章

什么是视频编解码？

维基百科：视频编解码器（Video Codec）是指一个能够对数字视频进行压缩或者解压缩的程序或者设备。

为什么要进行视频编解码？

一个时长1小时的1080P、30FPS无损视频，需要约660G的存储空间，显然超出了我们现有介质的存储能力和传输能力，因此我们有必要进行一些有损压缩——即视频编解码。

一小时1080p无压缩的视频大小 1920pixel x1080pixel x 24bit x 30fps x 3600s ≈ 660G

视频编码器发展史

ITU-T： H264/AVC -> H265/HEVC -> H266/VVC
Google：VP8 -> VP9 -> AV1

h.264是目前最通用的视频编码器之一，发布于2003年，距今已有16年历史。而h.264的下一代技术——h.265（hevc）发布于2013年，拥有着更高的压缩效率。

通常来说，编码器每十年就会更新一代，通常可能以十倍计算量为代价，可以获得约50%左右的压缩率提升。但编码器的实际压缩效率会与编码分辨率、编码设置、编码内容均相关，目前来看，在我们的业务上h.265相比于h.264 可以达到 30%-40%的码率节约。

下面是附上了比较常见的编码器简介，目前有两大编码器技术在互相竞争，一条是ITU-T VCEG和MPEG组织共同提出的编码标准，包括h.264、h.265等；另一条则是Google开发的VP系列编码。

H.264 /MPEG-4 AVC，高级视频编码（MPEG-4 Part 10, Advanced Video Coding，简称MPEG-4 AVC）, 发布于2003年，是目前最常用的视频录制、压缩格式。

H.265 /HEVC /MEPG-H Part 2，高效率视频编码（High Efficiency Video Coding，简称HEV），发布于2013年，h.264的下一代技术，压缩率达到了h.264的两倍。

H.266 /VVC /MPEG-I Part 3，多功能视频编码（Versatile Video Coding，简称VVC），最新版本由JVT 发布于2020年7月6日。

VP9，由Google为了与h.265竞争所发布的免费、开源视频编码格式，初始版本发布于2012年，是Youtube使用的视频编码格式。

AV1，（AOMedia Video 1），VP9的下一代技术，初始版本发布于2019年。

组织：JVT（Joint Video Team，联合视频小组）是由ITU-T 与ISO/IEC 联合成立的视频编码技术标准小组，成立于2001年，H.264/AVC，H.265/HEVC均是由其提出。

编码器的基本结构

下面我们来看下编码器的基本结构。

同代编码器之所以具有相近的性能，是因为他们的框架是相似的，如上图展示了编码器的基本框架。编码算法都会有两个步骤：帧内预测和帧间预测。帧内预测就是使用单帧内的信息做编码的优化，这一帧也就会成为I帧；帧间预测，则是结合前后帧的特点，采取运动搜索、运动补偿等减少冗余性的算法来进行压缩。

同编码器框架还有另一个研究方向——深度学习，目前如AutoEncoder、GAN等。深度学习架构在部分情况下可以获得比传统视频编码更好的性能，但并不适用于所有的视频，而且面临着如计算量过大、编码效率过度依赖训练集等其它问题，因此深度学习的编码框架仍没有取得可以商业化的进展。

编码标准定义的是解码器的格式和流程，而编码端是可以被各家公司各自优化的，如对于运动搜索的模块，可以在范围、大小、模块的选择上再进行算法设计和优化。因此同样一个标准的编码器，是可以有不同的编码器算法的，各个公司都有自己独特的设计。