Apple Vision Pros使用的MV-HEVC编码格式

MV-HEVC其实是Multiview High Efficiency Video Coding的缩写。是我们大家所熟知的HEVC视频编码标准的Extension部分，记为HEVC version 2。HEVC视频编码标准发布于2013年7月，而MV-HEVC相关标准发布于2014年10月。下图是MV-HEVC官网：

就这么一个发布已经快十年的视频标准，其实一直都没有在具体业务中被用起来。

让MV-HEVC这个标准能够“枯木逢春，老树发芽”的是，在2023年6月的WWDC2023开发者大会上，苹果公布使用iOS 17.2 Beta版本就能用iPhone 15 Pro拍摄出Apple Vision Pro的空间视频，而Apple Vision Pro采用的视频编码格式，就是MV-HEVC。

那苹果为什么要用MV-HEVC格式来实现3D视频编码呢？其实大家可以去看看这次大会上介绍3D视频的10071这个视频。链接地址就在下面：

https://developer.apple.com/videos/play/wwdc2023/10071/

Apple Vision Pros使用的MV-HEVC编码格式

正如苹果在开发者大会上所说，MV-HEVC就是HEVC，而目前对HEVC视频编码格式支持最好的或许就是苹果了。不管是基于HEVC的HEIF静态图片格式，还是HEVC的动图live photo，或者是苹果的HEVC视频hvc1。

苹果在这次大会上所提到的“空间视频”，其原理和我们大家在电影院看的3D电影一样，是利用人眼的左右眼视差来制造和表现“立体”效果。

从我们视频编解码角度来看，使用MV-HEVC方案的好处是，它可以在不改变slice层以下的HEVC原有语法和解码过程下，通过layer间预测技术实现对3D和多视角视频的支持。这也意味着MV-HEVC可后向兼容和使用现有的HEVC编码器和解码器，不需要有较大的修改，仅修改high level语法即可。

如果对MV-HEVC格式做了Block Level语法的修改，此时对应的便是JCT-3V制定的3D-HEVC格式，它的压缩性能要比MV-HEVC更高，会有额外的压缩性能的工具。

不过目前MV-HEVC和3D-HEVC的参考软件都是同一套代码，叫做HTM。

https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/branches/

HTM的代码是使用SVN进行版本管理的，如果想下载源码，在macOS上可以在终端直接使用下面的命令检出代码：

Apple Vision Pros使用的MV-HEVC编码格式

在HTM源码的TypeDef.h头文件中，可以看到有一个HEVC_EXT宏，如果这个宏的值是1，此时编译的就是MV-HEVC，而如果是2，此时就是3D-HEVC。

Apple Vision Pros使用的MV-HEVC编码格式

在MV-HEVC标准中语法元素LayerId，表示该NALU所归属的view。在空间视频中，通常用LayerId 0表示该帧属于左视点(通常也是主视点)，LayerId 1则表示属于右视点(辅视点)。

属于主视点的图像编码参考帧规则保持和沿用标准HEVC，它得到的码流就是标准HEVC码流，而辅视点每一帧图像编码多了视点间的参考帧，如果显示设备还不支持解码和播放MV-HEVC格式，那就可以只解码和显示主视点的标准HEVC码流，就像把3D电影用2D来看一样。

下图是HEVC视频编码标准spec中关于MV-HEVC内容的附录G，有兴趣可以看看。

Apple Vision Pros使用的MV-HEVC编码格式

实际上3D-HEVC，MV-HEVC以及Scalable HEVC有一样的层间预测技术，都可以抽取出base view码流，且能用支持Main profile的HEVC解码器来解码。而3D-HEVC里还可以抽取出MV-HEVC的码流，因为MV-HEVC加上Depth信息就是3D-HEVC，而HEVC加上delta信息就是MV-HEVC。

最后，再来看一下MV-HEVC名字里的view具体是什么？

view表示All layers belonging to the same camera perspective，包括像苹果的MV-HEVC格式，通常是有2个view，分别是left view和right view，对应人眼的左眼和右眼。

当然也可以有多个view，下图是4个layer和2个view的编码结构和图片参考依赖图。

Apple Vision Pros使用的MV-HEVC编码格式