苹果AR/VR专利申请多视图视频解码器

对于AR/VR，注视点成像主要基于图像内的感兴趣区域，亦即用户注视点来改变整个图像的图像分辨率，从而优化负载。然而，由于感兴趣区域在图像流内的位置会改变，所以必须并行解码具有不同注视点的多个图像流。

在名为“Multi-view video codec”的专利申请中，苹果就介绍了一种相关的多视图视频解码器。

在图1中，图100是由鱼眼摄像头捕获的图像。白色圆圈110指示表示场景的图像数据，图像数据110划分为编号为0–6的七个圆形区域，并且可以用于指示场景的不同注视点区域。

图150描绘了图像数据110的七个副本，其中每个副本基于特定区域特有的高分辨率区域而不同。如图150所示，编号为0–6的七个区域中的每个区域都包括场景特定部分的高分辨率内圈和包含场景剩余部分的低分辨率外圈。

换句话说，七个副本中的每一个都包括整个图100，但具有不同的高分辨率区域。

随着场景中的感兴趣区域从第一位置移动到第二位置，具有包括场景内第一位置的高分辨率区域的图像流的副本可以交换为具有第二位置的高清晰度区域的图像串流的副本。在图100中，七个圆形区域中的每一个至少部分地与其他区域重叠，这可以平滑从图像流的一个副本到另一个副本的转换。

图2示出了具有变化的感兴趣区域的注视点图像流的示例图200。例如，图像流200示出了篮球比赛场景。部分210是显示篮球场和球员的场景部分，而外部区域显示体育场座位等。

具有高分辨率的区域5的图像流的副本包括高分辨率篮球场左侧和低分辨率场景的剩余部分，并且具有高分辨率区域2的图像流副本包括高分辨率篮球场右侧和低分辨率场景的其余部分。

随着比赛区域和篮球从球场的一侧移动到另一侧，用户的感兴趣区域从图像流200内的一个位置改变到另一个位置，并且可以显示具有相应高分辨率区域的图像流的副本。

在一个实施例中，可以基于用户的注视位置来确定感兴趣区域。例如，用户的目光可以跟随篮球及持球者。当篮球在部分210中从球场的左侧移动到球场的右侧时，用户的视线将从图像流的左侧跟随篮球移动到图像流的右侧。

可以在图像数据中追踪篮球。可以将具有高分辨率的区域5的图像流副本换成具有高分辨率区域0的图像流，然后换成具有低分辨率的区域2的图像流。图像流的副本的两个相邻高分辨率区域之间的重叠区域可以用于平滑从一个副本到下一个副本的转换。

图3以流程图的形式示出了用于生成自适应注视点图像流的示例过程300。

在框310，电子设备接收具有原始图像分辨率的图像流。例如，电子设备从摄像头接收图1所示的图像流100。

在方框320，电子设备生成具有原始图像分辨率的图像流的多个副本。可以基于由图像流捕获的场景的大小和/或形状等来确定多个副本中的副本的数量。例如，电子设备生成图像流100的七个副本。

在框330，电子设备为图像流的每个副本确定图像流的唯一和/或不同的第一区域。例如，图像流100的七个副本的不同第一区域对应于编号为0–6的区域。可以基于原始图像分辨率、多个副本中的副本数量、预期显示分辨率等来确定唯一第一区域的大小。

在框340，电子设备以第一分辨率对图像流的唯一第一区域进行编码，并以第二分辨率对第二区域进行编码。例如，对应于图150中的区域5的唯一第一区域以第一分辨率编码，并且对应于区域5周围的外环的第二区域以第二分辨率编码。可以使用任何适当的编码技术以第一分辨率对第一区域进行编码，以第二分辨率对第二区域进行编码。

在框350，电子设备向播放设备提供图像流的多个编码副本中的至少一个编码副本。例如，电子设备可以在第一时间确定场景内感兴趣区域的位置，并将具有与所述位置相对应的第一区域的编码副本提供给播放设备。

随着感兴趣区域在场景内的位置在第二时间改变，电子设备可以确定感兴趣区域的更新位置，并将具有与更新位置相对应的第一区域的编码副本提供给播放设备。

图4以示出了用于生成具有UV纹理映射的自适应注视点图像流的示例过程400。

在步骤410，电子设备确定唯一的第一区域的大小以减少图像流的多个副本的第一区域之间的重叠，congress减少用于向播放设备提供编码副本的带宽量。

在步骤420，电子设备利用第一翘曲函数对图像流第一副本进行编码。在430，所述电子设备利用第二翘曲函数对所述图像流的第二副本进行编码。任何适当的翘曲函数都可以用于对图像流的多个副本进行编码。

在框440，电子设备可以可选地为图像流的多个副本中的每个副本生成第一和第二区域的UV纹理图。UV纹理图可以描述分别以第一分辨率和第二分辨率编码第一区域和第二区域的翘曲函数。

在框450，电子设备可以可选地针对每个副本确定看起来像素化的第三区域。

在框460，电子设备可以可选地向播放设备提供至少一个对应的UV纹理图。播放设备可以使用至少一个对应的UV纹理图，以将图像流的编码副本解码为分别具有第一分辨率和第二分辨率的第一区域和第二区域。

在框470，电子设备可以可选地提供指令以选择性地模糊图像流的第三区域，例如减少第三区域的像素化外观。

在一个实施例中，服务器可以基于所提供的场景中感兴趣区域的位置来确定要提供给客户端设备的特定编码副本。

图5示出了基于感兴趣区域的指示来提供特定注视点图像流的示例过程500。

在框510，电子设备可以从播放设备接收感兴趣区域的指示。返回到上面参考图2描述的篮球比赛示例。在图像流200中所示的篮球比赛场景的部分210内，播放设备提供用户在篮球场的注视位置的指示。

在框520，电子设备可以确定具有与感兴趣区域相对应的第一区域的图像流的特定编码副本。例如，电子设备确定具有包括篮球场的中心线的第一区域的特定编码副本。在步骤530，电子设备可以向播放设备提供图像流的特定编码副本。

在框540，电子设备可以从播放设备接收更新的感兴趣区域的指示。返回到图像流200中所示示例，播放设备可以提供用户的注视位置已经从篮球场中心线处的第一注视位置改变到篮球场一端的篮筐处的第二注视位置的指示。

在框550，电子设备可以确定具有与更新的感兴趣区域相对应的更新特定编码副本。在步骤560，电子设备可以向播放设备提供图像流的更新的特定编码副本。

在方框560，提供更新的特定编码副本可以可选地包括方框570和580。

在框570，电子设备可以可选地提供指令，以在显示特定编码副本和显示更新的特定编码副本之间的过渡时段期间选择性地模糊图像流的第三区域。例如，电子设备可以提供指令以模糊用户的第一注视位置和用户的第二注视位置之间的图像流的第三区域。

在框580，电子设备可以可选地提供指令，以在感兴趣区域和更新的感兴趣区域之间的转换时段期间混合特定编码副本和更新的特定编码副本。

图6示出了用于基于感兴趣区域来显示注视点图像流的示例过程600。

在方框610，播放设备接收图像流的多个编码副本。图像流的每个编码副本包括具有第一图像分辨率的不同第一区域和具有第二图像分辨率的第二区域。

在方框620，电子设备确定场景内感兴趣区域的位置。例如，电子设备可以基于用户的注视位置来确定感兴趣区域的位置。

在框630，电子设备用与感兴趣区域相对应的第一区域来识别图像流的特定编码副本。换句话说，电子设备识别图像流的哪个特定编码副本具有包括感兴趣区域的唯一第一区域。电子设备在步骤640解码图像流的特定编码副本，并在步骤650呈现图像流的具体解码副本。在方框660处，电子设备显示图像流的渲染副本。

图9示出了基于感兴趣区域显示注视点图像流，并基于感兴趣面积的变化混合两个注视点图像。

在步骤910中，电子设备确定图像流场景内的更新感兴趣区域的位置。在框920，电子设备用与更新感兴趣区域位置相对应的第一区域来识别图像流的更新编码副本。在方框930，电子设备对图像流的更新的编码副本进行解码。

在步骤940，电子设备在以高分辨率示出感兴趣区域的解码副本。例如，电子设备可以在转换周期的早期时间将较大权重的解码副本与较小权重的更新的解码副本混合，并且在转换周期期间的稍后时间将较小权重的解码副本与较大权重的更新解码副本混合。

在框950，电子设备渲染图像流的混合副本，并且在步骤960显示图像流的渲染混合副本。

名为“Multi-view video codec”的苹果专利申请最初在2022年9月提交，并在日前由美国专利商标局公布。

原文链接：https://news.nweon.com/106967