Meta专利探索改善AR/VR设备的视频录制的控制、分享方法

AR/VR头显都包含一系列的输入传感器阵列，并用于捕获关于周遭区域的大量信息。但在操作期间，用户不知道系统正在捕获的具体区域和具体分辨率。另外，有时用户会希望将基于自己视点捕获的视频版本分享给第三方。

针对所述问题，Meta在名为“Artificial reality device capture control and sharing”的专利申请中提出了一种关于设备捕获视频的控制和分享方法。

图1是设备的概述框图。所述设备可以包括控制人造现实设备如何捕获和共享环境信息的计算系统100硬件组件。在各种实现中，计算系统100可以包括单个计算设备103或多个计算设备，并通过有线或无线信道进行通信以分配处理和共享输入数据。

图2A是一个头显200的示意图。头显200可以包括一系列的传感器。例如，与头显200集成的一个或多个摄像头可用于捕获周遭区域的视频。

图4示出的组件400主要用于实现视频捕获的控制和分享。组件400可以包括在计算系统100的一个设备中。组件400包括硬件410、中介器420和专用组件430。

中介器420可以包括在硬件410和专用组件430之间中介资源的组件。例如，中介器420可以包括操作系统、服务、驱动器、基本输入输出系统（BIOS）、控制器电路或其他硬件或软件系统。

专用组件430可以包括配置为执行用于控制人造现实设备如何捕获和共享环境信息的操作的软件或硬件。专用组件430可以包括传感器数据捕获模块434、输出视图创建器436、人物标记器438、滤镜应用器440，以及可以用于提供用户接口、传输数据和控制专用组件的组件和API。

在一个实施例中，组件400可以位于分布在多个计算设备的计算系统中，或者可以是到执行一个或多个专用组件430的基于服务器的应用程序的接口。

传感器数据捕获模块434可以获得与传感器视图请求相对应的传感器数据。这可以包括收集由人造现实设备捕获的图像、深度、音频或其他数据。根据请求是针对视点还是世界视图输出视图，所获得的传感器数据可以是针对人造现实设备的整个周围区域，或者仅是用户可查看的区域。

输出视图创建器436可以从传感器数据捕获模块434接收传感器数据，并且可以将其格式化为输出视图。在各种情况下，这可以包括从传感器数据创建世界视图输出视图作为3D模型，将这样的3D模型平坦化为图像或全景图像，或者通过选择或裁剪传感器数据来创建视点输出视图，以仅反映用户可见的区域。

人物标记器438可以识别并标记来自传感器数据捕获模块434的传感器数据中描绘的人物。人物标记器438可以使用例如面部识别和体型识别等技术来实现这一点。然后，人物标记器438可以用相应的用户标识符标记传感器数据的区域。

滤镜应用器440可以检查由人物标记器438标记的用户是否满足用于应用滤镜规则，并且如果满足，则可以应用模糊、叠加（例如文字、动画、化妆等）、变形人物的一部分、对人物应用阴影或高亮显示等滤镜应用。

在方框502，接收传感器视图请求。当请求来自第三方系统时，过程500可以包括各种隐私和认证步骤，例如获得请求者证书以证明其身份，请求人造现实设备用户对所述请求进行批准，检查允许的观看者列表等。当请求来自当前人造实现设备用户本身时，它可以包括选择将结果输出视图发送给哪些用户，和/或结果输出视图是公开可见的还是对特定用户见。

在方框504，获得与传感器查看请求相对应的传感器数据。感器数据可以包括图像数据、深度数据和音频数据等。请求可以指定输出视图应该是世界视图还是视点视图。当过程500正在创建视点输出视图时，传感器数据可以只是包括用户可查看的区域部分。

需要注意的是，“视点”是指用户可以从人造现实系统看到的显示器区域。这与世界视图相反，世界视图包括人造现实设备可以查看的所有区域。

在方框506，创建输出视图。输出视图是由人造现实设备收集的传感器数据的可显示表示。过程500可以根据在框504获得的传感器数据创建输出视图，从而将视图形成到3D环境中。在各种实现中，输出视图可以是一个或多个图像、3D模型或网格、点云、全景图像、视频等。

在方框508，过程500可以响应于传感器视图请求而提供在方框506创建的输出视图。在各种实现方式中，这可以包括在热俺早现实设备显示创建的输出视图（当请求来自内部系统时）或将输出视图发送给第三方（当请求来自经验证/授权的其他用户或系统时）。

在一个实施例中，可以将输出视图提供给中央系统，然后其他用户可以访问该中央系统以查看单个设备正在捕获什么内容。中央系统可以组合来自多个人造现实设备的输出视图，并允许用户看到哪些区域正在被一个或多个设备捕捉。在提供输出视图之后，过程500可以结束。

图6示出了将滤镜器添加到捕捉的传感器数据的过程600。

在方框602，过程600可以识别并标记传感器数据中描绘的人。在框602，可以例如分析图像数据和设备通信数据，以应用各种识别技术来识别人，例如面部识别和体型识别等。传感器数据的部分可以用相应的用户标识符进行标记。另外，用户的图像可以被分割，使得所识别的用户的部分可以被单独地掩码，以便将滤镜器应用于用户的部分。

在方框604，过程600可以将方框602中识别的人的标签与滤镜器列表进行比较，以识别哪些应该应用滤镜器。滤镜器可以向用户应用任意数量的效果，例如模糊、叠加（例如文字、衣服、动画、化妆等）、变形人物的一部分、对人应用阴影或高亮显示等等。

在方框606，过程600可以跟踪传感器数据中的被标记任务，并应用在方框604处选择的滤镜器。在应用滤镜器之后，过程600可以结束。

图7示出了输出视图的世界视图版本。在示例700中，世界视图示出了基于人造现实设备捕获的深度图像的周遭环境的全景图像702。全景图像702是通过从热俺早现实设备的角度令3D模型变平而创建，其中3D模型基于点云，每个像素具有相关联的深度。

图8是输出视图的视点版本。在示例800中，视点版本仅包括世界视图版本的一部分，亦即图像802。所述图像802基于用户视点，并对用户是可见。随着人造现实设备用户移动，可以更新图像802以说明用户的当前可视区域。

图9A是示出应用滤镜器的第一示例900的。在示例900中，人造现实设备已经确定人造现实设备的用户的当前焦点在人702A和702B。人造现实设备同时识别出了视场中的其他多个人。基于非焦点人物的面部应该应用模糊效果的规则，人造现实设备将模糊效果704A-H应用于非焦点人物。

图9B是第二示例950的概念图。在示例950中，人造现实设备已经捕捉到描绘了几个人的图像。人造现实设备已经识别并标记了人702和704。通过将标签与人造现实设备用户已经指示她想要提醒的人的列表进行比较，人造现实设备确定用户702在列表上。作为响应，人造现实设备对用户702应用了高亮显示叠加滤镜器，使得人造现实设备用户看到高亮显示706，提醒她用户702在她的列表上。