关于XR扩展现实虚拟制作系统的思考

本文介绍了扩展现实虚拟制作技术目前的应用情况，分析了此技术带来的制作优势，并对此制作方式的关键技术及挑战进行具体的阐述。

作者：中央广播电视总台郭淼
来源：选自2022年第6期《现代电视技术》

一、扩展现实虚拟制作技术现状

近年来元宇宙、数字偶像、虚拟现实制作不断升温。2021年3月Roblox的上市让Metaverse元宇宙概念引爆市场，近400亿美元市值彻底打开了“元宇宙”行业的想象空间。Metaverse中，用户不再刻意区分物理性的真实存在还是数字化的虚拟存在。

Metaverse的概念最初来源于1992年美国科幻小说家尼奥·斯蒂文森的《雪崩》，描述了一个平行现实世界的网络世界Metaverse，所有现实世界的人在Metaverse中都有一个化身，在其中交往和生活。Metaverse包含5G、AI、区块链、内容制作等多种元素，其核心是通过虚拟体验XR（Extended Reality，扩展现实），XR技术及设备的持续迭代，不断优化用户的数字化生活体验；基于XR的数字化服务也在围绕各类应用场景不断渗透，成为开启元宇宙时代的重要载体。

电视媒体扩展现实虚拟制作系统（扩展现实虚拟制作系统本文主要指基于LED渲染背景+ 真实前景的虚拟节目制作系统）是XR技术在媒体领域的重要应用，也是媒体行业迈向“元宇宙”时代的第一步。

XR扩展现实虚拟制作为广播电视节目制作带来了一个全新的创作手段。近年来，国内外众多电视台、媒体机构对这一技术逐步展开探索、实践。SMPTE在2021年下半年更是提出了RIS（Rapid Industry Solution）行业快速解决方案，其中把现场虚拟制作（On-Set Virtual Production）定义为广播电视行业第一个快速解决方案。目前参与On-Set Virtual Production探索的公司主要有ARRI、CANON、Cooke、Disguise、Sony、Epic Games、Unity等业内知名公司。

虚拟制作，广义上是一系列计算机辅助制片和可视化节目制作的方法。可以简化定义为以实时交互的方式进行节目制作，创建媒体数字虚拟世界的过程。广播电视传统的虚拟化制作主要采用绿箱+色键抠像+虚拟包装系统实现。

在电影《曼达洛人》的制作中，GolemCreations公司和工业光魔合作，共同研发了端到端的实时虚拟拍摄解决方案，以LED幕墙代替绿幕，综合摄像机追踪、实时渲染和协同工作等技术，将游戏实时引擎图像输出与摄像机追踪相结合，实时生成最终的节目信号，将虚拟制作技术带到了一个新的高度，从而打开了XR扩展现实虚拟制作的大门。

继《曼达洛人》之后，已有多部影视剧和艺术作品采用了LED大屏背景+ 前景混合现实技术的制作方式。

在英国，Sky Studios、Dimension、DNEG、ARRI联合两次奥斯卡最佳视觉效果奖获得者Paul Franklin（2015年第87届奥斯卡金像奖最佳视觉效果《星际穿越》、2011年第83届奥斯卡金像奖最佳视觉效果《盗梦空间》）一同在西伦敦搭建了第一个基于LED大屏及实体前景的混合虚拟拍摄系统，这个项目被命名为Virtual Production Innovation Project，主要用于高端虚拟拍摄的探索。

目前，这个虚拟舞台被大量用于电影、广告和电视节目的拍摄。同时ARRI、NEP、Creative Technology于2021年在西伦敦也一同搭建了名为“state-of-the-art”的虚拟演播室系统，主要用于电影、电视拍摄及XR扩展现实虚拟制作系统产品的研发探索等。

在韩国，VA Corporation公司看到了传统制作系统的不足和疫情带来的影响，更是看中了虚拟现实拍摄的巨大商业前景，在Hanam搭建了3套XR扩展现实虚拟制作系统作为他们下一代内容生产的重要工具，他们的目标是打造未来一站式元宇宙平台。

VA Corporation的第一套XR 扩展现实虚拟制作系统演播室为一套5m×5m×5m的立方体结构，配合灯光和虚拟系统。第二套系统为一个半径为14m、高6m的曲面结构，同样配置灯光和虚拟系统，配合镝灯、高性能Orbiter LED可以拍摄出不同环境氛围的场景。第三套系统为全封闭的360度LED墙，环形墙直径20m，配合有LED天屏，通过调整LED，灯光系统可以实现不同的拍摄场景。

在德国，ARRI、ROE、NVIDIA、Frontline等16家公司合作在靠近柏林Babelsberg打造了DARK BAY虚拟制作平台，该系统采用椭圆形LED设计，LED墙直径23m、高7m，该布局非常适合广角和普通镜头拍摄。目前正在用于Netflix电影《1899》的拍摄。在慕尼黑附近的Bavaria另一套投资超800万欧元的XR扩展现实虚拟制作系统，也将于2022年底前建设完成。

二、XR扩展现实虚拟制作带来的优势

国内外媒体、电影巨头、生产厂商大手笔对扩展现实虚拟制作系统的投入、研发、探索，原动力在哪里？这一系统的前景优势到底有多少？总结下来主要有如下几方面：

◆演员能更好地感知表演环境的背景、身临其境的真实感，可以更好地融入节目场景中。拍摄的节目信号“所见即所得”，可以让导演更加准确地用镜头语言表达自己节目创意的想法；

◆虚拟舞台，只需要通过调整、渲染背景大屏，调整现场的灯光系统，便可调换现场环境，打破了时间、空间的限制。可以大大提升节目的创意，进一步实现通过先进的技术推动节目创新；

◆与演播室实景布景拍摄相比，减少了不同节目的布景时间，提升了效率，同时也减少了反复建设、拆装带来的“碳排放”；

◆与绿箱虚拟演播室相比，混合现实虚拟化系统场景光线可以更加真实，通过大屏的自发光，光线可以很好地照射在演员场景中，从而达到以假乱真的程度，同时也可以减少绿箱局部反光问题，带来抠像困难、场景失真偏色问题；

◆虚拟现实系统，可以减少人员在不同真实景区的外拍奔波，节省拍摄时间、拍摄成本，同时也可以避免类似“新冠病毒”影响的外拍取景，影响电视电影的节目制作；

◆大量积累的虚拟场景背景，可以逐渐形成电视台的数字资产，从而使电视台逐步向下一个风口“元宇宙”时代过渡融合，带来巨大的商业机会。

三、XR扩展现实虚拟制作系统的关键技术与挑战

XR系统中主要包含了LED大屏系统、摄像机拍摄系统、同步系统、灯光系统、传感跟踪系统、渲染系统、信号处理与监看系统、电力系统几大部分。各个部分协调工作，必须成为一个有机的整体，才能完成实时虚拟现实节目的拍摄。接下来我们介绍一下影响XR扩展现实虚拟制作系统的关键技术，以及针对广播电视系统节目制作XR的巨大挑战。

1. 大屏幕的选择、匹配与场景布局设计

大屏幕作为虚拟场景的核心呈现设备，对最终节目的真实感有着较大的影响。大屏也是整个虚拟系统中占用资金最多的一个部分。合理选择大屏幕LED点间距可以有效控制成本，经过大量的系统实践测试，建议选择P2.0~P2.6点间距的大屏，这样的点间距不影响节目呈现，具有最好的性价比。同时要选择具有高刷新频率、帧率可调、高动态范围且亮度可调的优质LED，这样有助于后续跟摄像机的匹配。

拍摄区域的布局目前主要有X-Y-Z垂直正交方式、弧形方式（椭圆形方式、弓形方式、圆形方式）几种，选择哪种方式的布局主要跟拍摄的节目类型有关，早期电视拍摄习惯性选择X-Y-Z正交方式较多，电影选择弧形方式的较多。

目前随着对XR扩展现实虚拟制作的不断理解及适应不同节目、不同场景的需要，越来越多的高端电视XR制作开始选择弧形布局方式。竖屏的高度往往跟拍摄角度、距离有关，一般选择6m~8m。

电视制作往往会选择地屏，地屏可以选择与竖屏不同点间距的LED，但如果想实现更好的呈现效果，建议跟竖屏选择同样规格的LED。天屏可以有效地作为环境光的补充，一般不会进入拍摄区，是系统的选配，我们可以选择点间距较大一些的LED，可以参考5.9mm附近的点间距。当然我们也可以通过灯光系统代替天屏。为适应不同的拍摄环境，往往需要配置一定量的可移动LED屏，作为环境光线的补充，这类移动屏的点间距也可以选择在5.9mm附近。

2. 抑制摩尔纹的出现

摩尔纹是由于规律的纹理重叠引起的干扰，这一问题在LED大屏应用于演播室的第一天就一直存在。诱发出现摩尔纹的因素有很多，其中包括摄影机型号、LED光珠类型、LED光珠间距、低通滤镜、镜头的光学特点、光圈和焦距等。在我们的XR系统中，当摄像机传感器的成像单元与LED背景墙发光点重叠时就会出现较严重的摩尔纹。所以在构建XR系统时，一定要结合考虑节目选用的摄像机、镜头特点、结合选用的LED屏进行测试，形成拍摄手册，用于节目创作时的参考。目前，国际上也相应地出现了结合固定系统，提前可以对拍摄角度进行摩尔纹告警的配套系统。

3. 灯光系统

灯光系统在XR系统中也尤为重要，在XR系统中灯光不再是简单的照明工具。要想真实地模拟环境光，同时配合视频节目的拍摄，需要有一套完善的灯光控制、调色系统。灯光控制系统要能通过视频信号源模拟软件Madmapper，将灯光的metadate与LED背景大屏实时匹配，从而实现闪电、乌云、火焰、警灯、日出等效果。还要注意的是，我们自然界的光线光谱是连续的，要想在摄像机上真实呈现物体的本来颜色，我们需要选择光谱连续且尽可能地接近BT.2020色域的灯光，且灯光要具有连续可调的色温。

4. 摄像系统与大屏系统的调校

摄像机是系统的眼睛，摄像机成像器件、内部色彩矩阵、处理算法之间的匹配、调校水平决定了摄像机的图像质量和图像风格。XR系统的摄像机系统除具有基本的拍摄能力外，还需要具备镜头数据输出能力，通过输出的镜头数据虚拟引擎系统完成相应的数据匹配。目前，像ARRI等一线XR摄像机还针对Mo-Sys和UE4进行了深度开发，虚拟引擎能够直接远程控制摄像机的录制、回放、参数调整、画面风格、时间码、ND滤镜、媒体信息等，摄像机的元数据能够实时地输入到虚拟引擎中，从而简化整体流程。

为了让摄像机能够记录到准确的色彩，ARRI也正在开发一种有针对性的色彩校正方案，有了标准的校色标准后LED屏幕可以更加容易简单地与ARRI摄像机进行颜色灵敏度和色彩重现匹配。

此外，由于人员看到的大屏和摄像机拍摄的大屏呈现是不一致的。素材源通过大屏，人眼舒适地接收图像时，在摄像机拍摄出来再次显示则图像往往是过亮的。大屏的显示一般会比真实物体的亮度高1.2倍左右，在XR系统拍摄时，为更好地实现虚拟背景的真实感，我们要注意大屏到摄像机OOTF曲线的调校。

5. 传感追踪定位系统

传感系统主要分为光学追踪和机械追踪两种。光学追踪一般可以在规定的跟踪区域内通过3D空间计算，配合一些专有的预知镜头推、拉、摇、移、变聚焦算法完成移动跟踪。光学追踪方式比较灵活简单，可以使用脚架、Dolly车、摇臂、升降台、斯坦尼康甚至是手持拍摄。机械追踪拍摄主要用内置的传感器感知摄像机和镜头在各个轴向的运动，算法软件根据这些数据完成空间位置的计算确认，这种追踪相较光学追踪不会受到光线、天气等环境的影响。目前，应用比较广泛的一线追踪系统主要有TrackMen、Mo-Sys和Vicon等。

6. 多机位拍摄问题

广播电视系统的XR拍摄和电影拍摄最大的难点之一是要考虑多机位拍摄，不同角度摄像机下保证所有背景拍摄的真实性。系统讯道的增加，增加了系统的难度。就此问题，业内有过很多的探讨，其中一种值得思考的方法就是使用不同刷新率，让不同摄像机拍摄不同刷新率下的图像，保证不同位置的摄像机拍摄的是不同角度的图像。目前，业内某些大屏处理配合相应的处理设备已经具备了这样的多机位拍摄不同内容的基本功能，为广播电视的多机位拍摄提供了相应的技术手段。

7. 虚拟引擎渲染系统

目前，久经业内考验且被大家认可的虚拟引擎主要是Epic公司的Unreal Engine，该引擎从使用高品质的视效预览准确沟通创作意图，到设计动作序列和VFX，从虚拟制片和动画到短篇内容，应有尽有。Unreal Engine是目前世界上最强大且免费的虚拟制片平台。虚幻引擎的综合性虚拟制片工具套件具有摄像机内VFX、虚拟探查工具、平板设备驱动的虚拟摄像机和多用户控制等功能，可以让我们的广播电视XR系统讲出更加精彩的故事。

8. 系统同步

XR是一套完整的系统，不同设备间，尤其是摄像机和大屏之间的协调工作至为重要。当大屏的帧率和摄像机偏移时，会引起图像闪烁、变形等。所以XR系统一定要考虑摄像机和大屏的同步锁定，我们一般选用三电平同步或LTC码对摄像机和大屏处理器锁定，结构如图7所示。

LED背景墙的信号处理器性能各不相同，极短的曝光时间有可能导致拍摄成像瑕疵。但曝光时间过长，也有可能因为画面重叠带来问题。到目前为止，经过大量的实践发现，LED背景帧率和摄影机之间快门角度180度时是最不容易出现瑕疵的。

XR扩展现实虚拟制作系统是媒体行业未来节目生产的重要生产工具，是我们面向“元宇宙”时代的重要手段之一。广电人不断地探索扩展现实的应用，不断地改进相关的系统技术，未来的拍摄效果必将给观众带来更加真实的实时、非实时电视节目。同时这一技术的应用也会给我们的电视节目创作带来新的灵感。以上关于XR扩展现实虚拟制作系统思考，希望能为探索这一技术的同行带来启发帮助。