虚拟现实VR视频技术介绍

本期文章为大家带来VR视频技术的相关知识。文章主要从VR视频压缩编码，视频传输，渲染显示等几个方向进行简单的介绍。

01 3DoF VR和6DoF VR

VR视频是指全景视频，如水平360°×垂直360°全景视频、水平180°×垂直180°全景视频等。

3DoF是指用户可以在任何方向（偏转、俯仰和滚动）自由地观看节目素材。典型的应用场景是坐在椅子上的用户通过HMD观看VR 视频内容。
3DoF+是指用户可以在任何方向（偏转、俯仰和滚动）自由地观看节目素材，同时用户头部可以进行一定的平移运动。典型的应用场景是坐在椅子上的用户通过HMD观看VR视频内容，并且用户头部可以进行小幅度的上下、左右、前后移动。
6DoF是指用户可以在物理空间内任何位置、任何方向自由地观看节目素材。用户移动可以被传感器或输入控制器捕获到，同时支持用户空间位移和头部姿态变化。典型的应用场景是用户自由走动并同时通过HMD观看VR视频内容。

02 3D是如何形成

人眼产生立体感的原因主要是双眼效应。

由于两眼相距一定距离，看到的两幅图像是基本相同的但又稍有差异，经大脑综合后就能更好的判断距离，产生立体感。所以3D图像的核心方案，都是为双眼提供具有视觉差的画面。

03 VR视频映射及压缩编码

VR视频映射是VR视频编码的预处理环节，目前专门针对VR视频的编码标准仍在研究中，通常将360°的二维球面视频图像映射成为二维平面矩形视频图像，再送入编码器进行编码传输。VR视频有多种映射表示方式，从压缩编码的角度看，不同的映射方式其压缩效率也不同。

VR视频映射是指将球面全景视频表示为适于压缩编码的平面视频，即将球面全景图像转化映射成为二维平面图像。球面全景图像映射成为二维平面图像的映射模型有多种，为了进一步提高编码效率以及达到尽可能好的映射效果，映射模型还在不断地研究和丰富中。MPEG等标准中提出了多种映射模型，最常用的是等距圆柱映射和正六面体映射模型。

04 VR视频传输方案

VR视频传输主要有两种技术路线：全视角传输方案和基于FOV。

全视角传输方案

全视角传输方案就是将360°环绕画面都传输给终端，当用户头部转动需要切换画面时，所有的处理都在终端本地完成。VR视频在相同单眼可视分辨率情况下，由于帧率、量化电平、360°环绕等原因，码率要比普通平面视频大很多，前者一般是后者的5～10倍，这对于传输来说是个极大的挑战，成本也大大增加。

FOV传输方案

虽然整个VR视频是360°的，但是观看者在观看时，实际只能看到当前视野部分，看到的内容只是占了部分带宽，采用全视角传输方案对带宽资源造成了比较大的浪费。针对这种情况，业界提出了基于FOV的传输方案。FOV传输方案主要传输当前视角中的可见画面。一般都是将360°全景视野划分为若干个视角，每个视角生成一个视频文件，只包含视角内高分辨率和周围部分低分辨率视觉信息，终端根据用户当前视角姿态位置，向服务器请求对应的视角文件。当头部转动视角发生变化时，终端向服务器请求新视角对应的视角文件。以基于金字塔投影的FOV传输方案为例，如图11所示，将用户在虚拟环境中的视觉信息对应的全部球面数据放入金字塔投影。用户视点正前方的平面为FOV平面，使用高分辨率编码，其余四个平面为非FOV平面，分辨率从与FOV平面相交的边到视角反方向的顶点逐渐降低。传输网络根据终端返回的用户视角信息，向终端提供FOV范围内的高质量画面和非FOV范围内的低质量画面。