Varjo专利分享注视点渲染图像相关的编解码方法

Varjo是一家专注于研发人眼分辨率头显的VR硬件厂商。为了实现这个目标，他们关注的重点技术是利用人眼特性的注视点渲染。作为说明，对于人类的视觉系统，小小的中央凹为视场中心提供了最清晰的视觉，而占比较大的外围视场的视觉质量则相对较低。所以，注视点渲染利用这一特性来减少头显外围视觉的空间分辨率，从而减少每像素的计算。

对于这一点，Varjo的设备采用了一种特殊的设计：焦点显示屏+外围显示屏。焦点显示仅覆盖视场中心约20度的区域，并具有更高的像素密度，而外围显示提供通过缩放像素填充的宽视场。然后，设备使用半透明镜（即光束组合器）来组合这两个显示屏的图像。最终结果是视场又宽，细节又高。

在名为“Display drivers, apparatuses and methods for improving image quality in foveated images”的专利申请中，这家公司就介绍了相关的注视点渲染：亦即第一图像帧缩放填充，并用额外的像素数据来提升第二图像帧的质量。

另外，在名为“Foveation-based image encoding and decoding”的专利申请中，Varjo介绍了与注视点渲染图像相关的编解码方法。

注视点渲染方法

概括来说，这一发明主要描述了包括显示器、显示驱动器和配置为向显示驱动器发送输入信号的处理器的显示设备。其中，输入信号的第一部分和第二部分分别包括与第一图像帧相关的第一像素数据和与第二图像帧相关的第二像素数据。输入信号的第一部分同时包括与第二帧相关的额外像素数据。

额外像素数据与第二图像帧相关，并提供与第二帧相关的附加信息。换句话说，用额外的像素数据补充第二像素数据，从而改善第二图像帧的图像质量。所以，与第一图像帧的像素相比，第二图像帧的图像将以更高的质量显示。

所以，显示驱动器配置为：基于显示分辨率重新缩放第一像素数据的像素；基于额外像素数据更新第二像素数据的像素；基于重新缩放的像素和更新的像素生成控制信号；使用控制信号驱动显示器以呈现视觉场景。

给定像素的重新缩放意味着根据显示器的显示分辨率而改变，例如增加或减少。例如，基于显示器的显示分辨率放大从第一像素数据生成的像素。第一像素数据的像素重新缩放，使得像素填充显示器的整个显示区域。在放大中，第一像素数据的分辨率随着单个像素用于生成多个像素而降低。

由于额外像素数据提供用于改善第二图像帧的图像质量的额外数据。通过添加与第二图像的像素相关的额外像素数据，第二图像帧的每个像素可以获得更多数据，即来自第二像素数据的原始数据和来自额外像素数据的额外数据。所以，这提高第二图像帧的像素的质量。

Varjo指出，与第一像素数据的重新缩放像素的分辨率相比，第二像素的更新像素具有更高的分辨率，即更高程度的视觉细节。所以，视觉场景可以具有可变分辨率，使得分辨率在整个视觉场景中实现空间变化。

图1示出了显示设备100的架构框图。显示设备100包括显示器102、显示器驱动器104和处理器106。显示驱动器104连接到显示器102，并且处理器106连接到显示驱动器104。

图2A是输入信号200的第一部分202和第二部分204的示例性图示，而图2B是构成视觉场景的像素的示例性图解。

在图2A中，输入信号200的第一部分202包括第一像素数据（具有像素A、B、C、D、E、F、G和H）和额外像素数据（描绘为Z1、Z2、Z3和Z4），而输入信号200第二部分204包括第二像素数据（具有像素X1、X2、X3和X4）。

在图2B中，第一像素数据的像素A重新缩放，以获得像素A1、A2、A3和A4；第一像素数据的像素B重新缩放以获得像素B1、B2、B3和B4；第一像素数据的像素C重新缩放以获得像素C1、C2、C3和C4……像素H重新缩放以获得像素H1、H2、H3和H4。

另外，分别基于额外像素数据Z1、Z2、Z3和Z4更新第二像素数据的像素X1、X2、X3和X4。为了简单起见，第二像素数据的更新像素在图2B中表示为（Z1，X1）、（Z2，X2）、（Z3，X3）和（Z4，X4）。在视觉场景中，第一像素数据的重缩放像素A1-A4、B1-B4、C1-C4、D1-D4、E1-E4、F1-F4、G1-G4和H1-H4围绕第二像素数据的更新像素（Z1、X1）、（Z2、X2）、（Z3、X3）和（Z4、X4）。

参考图3A和3B。图3A示出了第二像素数据中的相邻像素的给定组300，而图3B示出了如何更新第二像素的像素数据。

在图3A中，相邻像素的给定组300包括四边形排列（例如矩形）的四个像素P1、P2、P3和P4。在图3B中，增加四个像素P1、P2、P3和P4中的每一个与给定组300的中心之间的距离，从而重新排列四个像素P2、P3、和P4，并且在给定组300中的中心处布置额外的像素P5。

显示驱动器（未示出）配置为从给定组300的相邻像素和额外像素P5中确定显示器（未示）的显示区域（未显示）的对应区域302的像素值。

图4示出了显示器404的显示区域402。与显示器404的显示区域402内的区域406有关的信息包括在输入信号中。所述信息可以由区域406的一个角的位置（描绘为（x，y））和以像素为单位的区域406的尺寸来定义。

显示驱动器（未示出）配置为以如下方式生成控制信号：第二像素数据的更新像素显示在显示区域402内的所述区域406处，而第一像素数据的重新缩放像素显示显示在显示区402内的剩余区域408处。

图5是显示驱动器502的架构。显示驱动器502与处理器504和显示器506连接。

图6示出了所述注视点渲染的步骤。

在步骤602，显示驱动器接收输入信号，其中输入信号的至少第一部分和第二部分分别包括与第一图像帧的一部分相关的第一像素数据和与第二图像帧相关的第二像素数据。同时，输入信号的第一部分包括与第二帧相关的额外像素数据。

在步骤604，基于显示器的显示分辨率，在显示器驱动器处重新缩放第一像素数据的像素。

在步骤606，基于额外的像素数据在显示驱动器处更新第二像素数据的像素。

在步骤608，基于第一像素数据的重新缩放像素和第二像素数据的更新像素，并在显示驱动器处生成控制信号。

在步骤610，使用控制信号驱动显示器以呈现视觉场景。其中当显示在显示器的显示区域上时，第一像素数据的重新缩放的像素围绕第二像素数据的更新的像素。

相关专利：Varjo Patent | Display drivers, apparatuses and methods for improving image quality in foveated images

名为“Display drivers, apparatuses and methods for improving image quality in foveated images”的Varjo专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。

编解码方法

除了介绍，Varjo同时在另一份相关专利中介绍了相关的编解码方法。

Varjo指出，当对平面XR图像执行基于极坐标系的注视点编码和解码时，给定XR图像在其注视相关区域中的分辨率最高，并且在远离注视相关区域时分辨率逐渐降低到最低。然而，这样的平面XR图像不能处理为具有足够宽以覆盖人眼视场。

另外，当在对数极注视点坐标系使用平面映射时，需要使用偏心投影矩阵作为所述坐标系在注视位置的原点。结果是，XR图像中的像素密度不是在所有方向均匀地改变，而是PPD曲线和密度曲线的乘积，导致在实现诸如重投影、滤波等处理技术时的各种不准确。

传统的图像编码器和解码器在其提供这种注视点XR图像的能力方面受到限制，并且经常牺牲图像质量以执行用于传输的高度图像下采样。当下采样的XR图像被上采样并在XR设备呈现时，这种损失可感知为变形和不正确排列的像素，从而减损了用户在XR环境中的沉浸感。

对于这一点，Varjo提出的编码方法包括：

创建XR环境的视觉场景在虚拟3D几何形状的内表面上的投影，从而生成曲面图像。其中，所述虚拟3D几何形状在至少一个维度上弯曲，而虚拟3D几何形状的中心对应于用户眼睛在所述XR环境中的位置
将所述曲面图像划分为输入部分和多个输入环
将所述曲面图像的所述输入部分和所述多个输入环分别编码为第一平面图像和第二平面图像
将曲面图像的输入部分存储到第一平面图像中
将所述曲面图像的所述多个输入环打包到所述第二平面图像中，所述第二平面图像具有多个行，并且所述曲面图像的给定输入环打包到所二平面图像的对应行中
将所述第一平面图像、所述第二平面图像、以及指示所述输入部分的尺寸和所述多个输入环的尺寸的信息传送到显示设备

然后是解码方法，Varjo提出的解码方法包括：

获得第一平面图像、第二平面图像和指示输出部分的尺寸和多个输出环的尺寸的信息
基于输出部分的大小从第一平面图像中提取输出部分
基于所述多个输出环的尺寸，从所述第二平面图像的多行中拆包所述多输出环
组合所述输出部分和所述多个输出环以生成曲面图像。其中，所述曲面图像表示XR环境的视觉场景在虚拟3D几何形状的内表面上的投影。所述虚拟3D几何形状在至少一个维度上弯曲，二所述虚拟3D几何形状的中心对应于所述XR环境中用户眼睛的位置
从所述曲面图像生成用于在所述显示设备处显示的平面图像
对于所述平面图像中的给定像素，确定所述曲面图像中的对应位置
采用曲面图像中相应位置的像素样本来生成平面图像中给定像素的像素值。

图2A示出了虚拟3D几何形状200和使用虚拟3D几何形状生成的曲面图像202。

虚拟3D几何形状200示为球体，并通过创建XR环境的视觉场景在虚拟3D几何形状200的内表面上的投影来生成曲面图像202。视觉场景从假想3D几何形状200的中心204投影。虚拟3D几何形状200的中心204对应于用户眼睛（未示出）的位置。

参考图2B，虚拟3D几何形状206示为圆柱体，通过创建XR的视觉场景在虚拟3D几何形状206的内表面上的投影来生成曲面图像208。

图2C示出了根据图2A的假想3D几何形状200的图像投影表面210的俯视图。

从假想3D几何形状200的中心204沿着天顶方向（未示出）的中心区域212几乎平坦，并且与中心区域212相对应的视觉场景的投影的一部分是曲面图像202的输入部分。

与区域214相对应的视觉场景的投影的一部分（形成围绕中心区域212的边缘）是曲面图像202的第一输入环，与区域216相对应的可视场景的投影（形成围绕区域214的边缘）的一部分是曲面图像202的第二输入环……。

参考图3A、3B和3C。曲面图像300划分为输入部分302和多个输入环304、306和308。

在图3A中，曲线图像300示出为分为输入部分302和与输入部分302同心的多个输入环304、306和308。仅为了简单起见，输入部分302和多个输入环304、306和308成形为圆形。每个输入环对称，并且在其所有部分具有相同的厚度。

多个输入环304、306和308的厚度随着从曲面图像300的中心朝向外围而增加。

在图3B中，曲面图像300示出为分为输入部分302和多个输入环304、306和308。输入环308关于输入部分302以及输入环304和306不对称，使得输入环308的厚度在其不同部分中不同。

在图3C中，曲面图像300示为被划分为输入部分302和形状为矩形的多个输入环304、306和308。多个输入环304、306和308被示出为与输入部分302同心。

图4A示出了第一平面图像400，而图4B示出了从图3A-3C中的任意一个的曲面图像300生成的第二平面图像402。

在图4A中，第一平面图像400示出为存储曲面图像的输入部分302。第一平面图像400的大小取决于输入部分302的大小。第一平面图像400示为具有与输入部分302的给定形状相对应的正方形形状的平面图像。

在图4B中，第二平面图像402示出为封装曲面图像300的多个输入环304、306和308。第二平面图像402具有多个行404（分别描绘为行404A、404B和404C）。多个行404具有相同的高度。值得注意的是，输入环304填充到行404A中，输入环306填充到列404B中，而输入环308填充到排404C中。

参考图5A、5B、5C和5D，像素样本500布置在虚拟3D几何形状（未示出）的内表面上。