初探XR虚拟制作技术及其在电视制播中的应用

摘要：本文从LED显示屏、摄像机跟踪系统、图形渲染引擎三方面阐述了XR虚拟制作的技术基础，并结合XR虚拟演播室业务实践，探讨了XR虚拟演播室实现技术、基本流程和方案选型。

作者：广东省深圳广播电影电视集团蒋麟征黄理俊张培仕
来源：选自2023年第1期《现代电视技术》

在“内容+科技”发展趋势的推动下，虚拟制作技术及应用越来越成熟。扩展现实（Extended Reality，简称XR）虚拟制作就是近两年内容科技领域最热门的话题。特别是元宇宙概念兴起，更是为XR虚拟制作增添了一层绚丽的光环。

扩展现实（Extended Reality，XR）是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是虚拟现实（VR）、增强现实（AR）和混合现实（MR）等多种技术的统称。在内容制作领域，XR是一套虚实结合的视频制作系统，主要包括一套精细的LED显示屏（实）、一套强大的3D图形渲染引擎（虚）以及一套摄像机跟踪系统。

在XR虚拟制作过程中，摄像机在LED屏幕构成空间环境中实际拍摄，虚拟引擎根据预设的3D场景模型和摄像机空间位置参数，将3D场景画面输出到现场LED屏幕，并实时将摄像机拍摄内容与3D场景无缝扩展合成和输出，形成虚实结合、更具沉浸感、画面更逼真的视频内容。XR虚拟制作技术目前可广泛应用于影视拍摄、演唱会、商业发布会、电视演播和视频直播等领域，增强观众的视觉冲击感和艺术创意感，在有限空间创造出无限可能。

一、XR虚拟制作的技术基础

LED显示屏、摄像机跟踪技术、实时图形渲染技术是XR虚拟制作的三大技术基础。近几年，该三大技术发展快速，技术应用成熟度不断提高，使用门槛不断降低，推动了XR虚拟制作技术应用及业务迅猛发展。

1. LED显示屏

高密度小间距的LED拼接屏可以实现完全无缝，显示色彩自然真实，为XR虚拟制作提供了很好的拍摄环境基础。

在XR虚拟制作中，利用LED显示屏替代传统绿幕，实时显示虚拟场景内容，为虚拟制作提供了一种更快、更高质量拍摄方式。通过LED显示屏，演员、主持人等能够实时看到虚拟场景中的CG（计算机动画）内容，并能够与他们进行互动。同时，由于虚拟场景的内容都是实时渲染生成的，因此制作人可以在现场实时作出更有创意的视觉决策。

目前，较为通用的XR虚拟制作LED屏幕解决方案一般由两块相邻的立面屏幕和一块地面屏幕构成，如图1所示。

由于存在虚实结合的合成处理过程，XR虚拟制作对LED显示性能要求更高。在实际拍摄场景中，可以在以下六大方面提升XR虚拟制作的效果。

（1）减轻反射

LED屏幕通过在显示屏表面添加防反射处理，确保屏幕不会在强光下反光，同时LED表面更黑，图像显示对比度更高，从而呈现出更逼真的色彩和拍摄效果。

（2）减轻摩尔纹

XR拍摄中，LED厂商往往采用经过特殊处理的LED显示屏面罩，可巧妙减轻显示屏在成片中产生摩尔纹的影响，最终呈现出逼真的虚拟影棚沉浸式效果。

（3）使用低延迟模式+Genlock功能

低时延模式在虚拟拍摄时可以保证信号同步。Genlock功能可用于锁定处理器至相机快门，避免在显示刷新时，帧间的黑屏时间被镜头捕捉。使用Genlock功能也可使多台处理器设备同步，避免图像撕裂错位。现在的LED屏幕可达到低至1帧的延迟，同时使用Genlock功能，显示效果更加流畅紧凑。

（4）采用HDR

HDR动态显示，可以使虚拟拍摄最终呈现的图像更细腻逼真，色彩及亮度更还原。现在的LED屏幕已经可以支持10bit/12bit色深的图像输入及16bit的图像输出，更好地反映出真实环境中的视觉效果。

（5）采用16bit LED显示屏

显示屏位深太低，会导致显色不均，在低亮情况下还会出现大面积的细节丢失。XR拍摄中采用高达16bit的LED显示屏，能更好地呈现图像层次、细节，提升低亮高灰的效果。

（6）使用超高刷新率

显示屏刷新太低，摄像机拍摄的画面会出现扫描线，无法显示正常画面。现在的LED屏幕已经可以支持高达7680Hz的夸张刷新率，使得屏幕在摄像机中的表现更好，精准呈现真实画面。

2. 摄像机跟踪系统

摄像机跟踪系统是XR虚拟制作的重要组成部分。跟踪系统为虚拟引擎中的虚拟摄影机提供真实摄影机在三维空间中的位置和姿势信息（六个自由度，6DOF），以及镜头焦距、光圈等参数信息，使虚拟摄影机与真实摄影机的运动轨迹保持同步。实时渲染引擎媒体平台根据摄像机跟踪数据，对虚拟场景内容进行实时渲染并生成输出到LED屏幕上，使输出的虚拟场景内容随着摄像机移动而实时变化，以同步视差，这样摄像机拍摄到的画面更加逼真，达到拍摄实景的效果。

随着国内数字影像技术持续发展，国内摄像机跟踪系统产品取得了重大突破，相关技术不断成熟并得到推广应用，大幅减低了摄像机跟踪系统使用成本，加快了该技术在虚拟制作中的应用。摄像机跟踪系统的技术特点主要有以下几个方面。

（1）摄像机镜头及云台控制

经优化的虚拟摇臂电路设计，能够实现同一控制器，兼容传统半伺服控制镜头、主流的全伺服控制镜头以及轻型DV摄像机三种镜头，提高单机设备对不同品牌镜头的互通性。

（2）云台动力电路设计

常见的12V直流电机空载启动电压往往在1V以上，导致其启动速度较高，因此云台低速运动特性不理想。虚拟摇臂采用可配置0.01V极低电压下启动的优质马达，采用高效率MOS电桥驱动电路，无须散热结构，从最底层为系统提供优质动力源。

（3）数字化控制

虚拟摇臂则可采用高度数字化电路控制，通过硬件电路设计和程序优化，保证稳定性的同时，提供更多可扩展性和兼容性。手柄采样电路实现模数转换，将云台水平、俯仰、Z轴控制量，以及速度、阻尼、方向设置量和半伺服镜头需要的镜头聚焦伺服电机控制量等整合。在系统内实现数据共享，从而实现线缆连接提示、手柄插入检测等智能功能。

（4）云台自动化控制

摇臂提供云台自动化控制功能，可使云台自动跟踪标记特征物。目前国产摄像机跟踪系统在成熟操控电路设计基础上，优化线缆布局，采用高可靠性的编码器连接方式，并提供简洁的客户操作端和人机界面设计，使虚拟摇臂可和普通摇臂一样方便运输和快速组装。让摇臂不仅满足演播室录制，也适用更长臂身、更高机动性舞台节目录制。

3. 实时图形渲染引擎

实时图形渲染引擎根据摄像机轨迹数据实时渲染并输出内容。随着摄像机的移动，在LED显示屏上投射内容也随之移动，在屏幕上创造出一种虚假的深度感，同时也将虚拟场景延伸超越了LED屏幕的空间，并与摄像机拍摄内容进行合成输出。

实时图形渲染引擎在广电节目制作领域已经使用多年，广电影视从业人员比较熟悉的既有Vizrt、Orad、Brainstorm等外国公司，也包括国内的大洋、新奥特、艾迪普等公司，在虚拟演播室和在线包装领域提供的产品和解决方案，上述公司都有自己独有的实时图形渲染引擎，各有千秋。

自从2016年，来自土耳其的Zero Density公司首次将原生基于Epic Games公司实时的游戏渲染系统Unreal Engine 4（虚幻引擎）进行深度研发并引入虚拟演播室系统以来，似乎一下子打开了潘多拉盒子。曾经专属于电子游戏开发的虚幻引擎跨界进入广电影视行业，为影视内容制作产业带来了巨大的创新空间。

目前，应用于XR虚拟制作的解决方案基本上都是围绕着虚幻引擎开发的，就XR虚拟制作而言，存在几个技术关键点，具体如下。

（1）虚拟场景内容准确同步投射到LED屏幕上

XR系统所支持的实时渲染场景，是纯三维的虚拟场景。场景内所有的模型，都各自在三维空间中拥有其自身的X、Y、Z以及P、T、Z，也就是说各自在三维空间中拥有一个空间定位。在实际演播室执行中，系统会在虚拟场景中架设一台虚拟摄像机，结合摄像机跟踪系统实时传输的数据，便可将真实摄像机与虚拟摄像机合二为一。

在XR系统中，通过系统开窗，为若干块LED屏幕，在虚拟场景中开辟出了若干块对应大小与旋转的窗口，这些窗口通过统一的场景定位，就好像前文中提到的如何将虚拟摄像机与真实摄像机位置统一一样，将若干块虚拟LED屏幕，与对应的LED真实架设的屏幕，统一在了一起，而这些虚拟LED屏幕的尺寸，也完全参照真实LED屏幕的尺寸，在系统中进行数值赋予（这些数值与真实LED屏幕的参数单位一致）。

如此一来，在完成上述操作之后，在虚拟场景中，现在便存在下列不同的数字资产：虚拟场景（模型）、虚拟摄像机、虚拟LED屏幕。而所有这些，都被统一的摄像机跟踪信号所控制，这就在拍摄期间，让所有的数字资产形成了统一的空间逻辑。

（2）屏幕内外的内容色差校正

因为LED屏幕控制器及现场灯光等因素，通过XR服务器SDI输出信号投射到LED屏幕上的画面，与直接通过AR服务器SDI输出信号传输到PGM上最终合成画面的颜色会存在色差，这就涉及对屏幕内外的合成信号进行统一的色差分析与调整。

XR系统内自置Color Correction节点，该节点可以对输出画面进行非常详细的色差调整，这一调整可以细致到输出画面的每一个色度选项，诸如R/G/B通道下的色值数值、亮度、灰度、对比度等一系列节点操作。

而对于XR系统的最终输出合成AR画面，如何拥有一个近乎完美的颜色校正，需要做这些处理：为所有输出信号（包括AR、XR的每一面屏幕）输出5种颜色，即红、绿、蓝、白、黑。通过这5种颜色的最终输出，可以最终AR合成画面，借助摄像机的拍摄，看到每一块屏幕，以及屏幕之外AR部分的最终输出颜色。借助颜色分析软件，可以对每一块屏幕区域以及AR区域的最终输出画面进行颜色的具体数值读取，由此可轻松获取每一块屏幕和AR区域的颜色差异，进而通过校正软件将演播室内每一块LED屏幕的颜色值与AR区域的颜色数值进行统一。

在虚拟系统中，为每一块LED屏幕都在输出前添加一个Color Correction节点，借助每一个节点各自的数字调整，便可将每一块LED屏幕的最终输出画面无限地与AR合成画面靠近，进而得到一个近乎完美的最终合成画面。

（3）跟踪系统对XR拍摄的限制与挑战

在拥有了可以投射在对应LED屏幕上画面的系统输出以及进行单屏幕校色的最终合成画面后，在XR拍摄时，依旧存在一个非常大的挑战，就是需要一套精准的跟踪系统。

XR拍摄不同于AR与VR拍摄，因为是在场景中开设了若干个虚拟LED屏幕窗口，那么在摄像机运镜的时候（包括在X、Y、Z轴上的移动，以及P、T、Z上的推拉摇移等），LED屏幕输出画面会同步调整，跟踪存在偏差时，屏幕内外画面因为摄像机跟踪的数据不准确，合成画面就会出现较大问题。所以，在XR拍摄环境中，一套高精度的虚拟跟踪系统就变得至关重要。

标准FreeD协议的跟踪系统，在传输跟踪数据的时候，是无法将完整的镜头数据文件传输给虚拟演播室系统的，随着镜头的推拉摇移，会出现LED屏幕内与外的画面不统一、变形等情况，这是XR拍摄环境中常见的问题。

为了改善这一效果，XR系统有两种解决方法：首先，系统配置一个内置的镜头文件校准软件工具，有了这一工具，系统工程师便可以有针对性地对每一只实际拍摄使用的镜头进行单独的镜头文件校准操作。其次，就是选用可以直接传输镜头文件数据的跟踪系统，如Egripment、Stype或者NCam，此类跟踪系统在传输跟踪数据的同时，不仅仅像FreeD协议的跟踪系统一样传输标准的X、Y、Z以及P、T、Z数据，同时还可以将所使用镜头的FOV、K1、K2等关键数据传输至XR系统，有了这些关键数据，我们便不需要进行复杂的镜头文件校准工作，便可以直接得到一个非常完美的跟踪结果。

二、XR虚拟演播室系统的技术实现

XR虚拟制作采用虚实结合的拍摄方式，优势比较突出，包括拍摄协同效率大幅提升，后期制作量和制作成本降低，拍摄现场感和互动性更强，拍摄手法更丰富、更灵活，场景变换更加快捷。这使得XR虚拟制作技术在虚拟演播室的应用越来越多。

1. XR虚拟演播室的技术系统构成

一套XR虚拟演播室系统，除了传统演播室中的摄像机、灯光系统、音频系统之外，还包括LED屏幕及其播控系统、摄像机跟踪系统、三维图形虚拟引擎服务器，其技术构成示意图见图2。

在传统演播室灯光音频设备系统基础上，对上述软硬件系统进行集成配合，组成一套完整的XR虚拟演播室技术系统，就能制作出各种奇幻炫酷的XR视觉效果。在此基础上，还可以加入动态跟踪系统或动态捕捉传感器，从而实现AR跟踪等AR互动效果。

在XR虚拟演播室系统实际搭建中，一套XR媒体服务是核心。常见的XR虚拟演播室系统架构见图3。

2. XR虚拟制作的基本流程

首先，将预先设计好的虚拟3D场景导入XR服务器，配置好摄像机位置、LED屏幕空间位置等信息。

拍摄过程中，跟踪系统将摄像机参数传输到XR媒体服务器以及虚拟引擎中。

XR服务器渲染引擎根据摄像机位置跟踪数据对场景图像进行计算处理，将虚拟3D场景的部分内容实时投射到LED屏幕，与现实世界的人物和事物融合在一起，主持人、演员等现场参与者可以实时看到自己在虚拟空间的状态，并融入虚拟空间。

同时，摄像机将拍摄到的LED屏幕空间的现实场景内容（包括人物在内）传输回XR服务器。XR服务器将现实场景位置与虚拟场景位置进行匹配，经过定位校正和色彩校正，将摄像机拍摄内容与虚拟场景内容进行扩展合成，最终输出的画面是整体合成的扩展现实场景。

整个过程中，投射到LED屏幕的虚拟3D场景内容会跟着摄像机的位置变化而同步变化，补偿视差，确保摄像机拍摄到的虚拟3D场景内容具有真实空间感。

3. 核心软硬件系统方案选型

随着XR虚拟制作的兴起，支撑XR虚拟制作的软硬件平台解决方案也越来越多。目前比较成熟的解决方案有Disguise虚拟演播平台和Zero Density虚拟演播平台，以及Pixotope、Brain Storm等解决方案。

（1）Disguise虚拟演播平台

Disguise为XR虚拟制作提供了一整套解决方案，包括媒体服务器、实时渲染引擎服务器、光纤网络交换机等。其媒体服务器相当于真实世界与虚拟世界的桥梁，将虚拟摄影机与真实摄影机运动信息进行匹配并将图像信息映射到LED屏幕上，在范围外进行拓展，其功能还包括摄影机及镜头校正、空间映射、颜色校正，支持Unreal、Unity、Notch等渲染引擎。

（2）Zero Density虚拟演播平台

Zero Density是一家致力于为广播电视、增强现实、现场活动和电子体育行业开发创意产品的科技企业。Zero Density基于UE虚幻引擎自主研发了一套XR虚拟制作解决方案Reality Engine以及其专有的键控技术Reality Keyer，可被用于大型广播电视、体育赛事、电子竞技等直播领域，让直播类节目的效果达到电影视觉效果呈现。

Zero Density虚拟制作方案不仅提供了主要系统，还提供了必要的自动化、监控和控制接口，支持主流的跟踪系统解决方案，并支持软件提取镜头数据。该系统经设计可在多个虚幻引擎实例上运行，并且这些实例都被视作同一个实例进行控制和管理。

（3）摄像机跟踪技术系统

在跟踪设备的选择上，与绿幕虚拟制作类似，专业级的跟踪设备及服务供应商包括Mo-sys、Stype、BlackTrax、Optitrack、Vicon等，分为主动式和被动式红外光学捕捉，其跟踪数据和定位调整都可以整合到XR媒体服务器上。这些传统虚拟制作跟踪设备，专业性较强，能满足各类中大型虚拟制作需求，但同时设备使用成本也很高，小型工作室一般负担不起。

随着虚拟制作技术的发展，低成本的跟踪解决方案也在不断推出。最近，HTC在其VIVE基础上，正式发布了其首个一站式虚拟制片解决方案VIVE Mars CamTrack。该方案有软硬件结合，将整个复杂的摄像机跟踪工作流整合进一个紧凑、即插即用的专业级功能模块中，具有像Genlock同步、摄像机和镜头校准、多摄像机支持以及通过LiveLink与Unreal Engine集成等功能，可实现快捷、轻松、经济的虚拟制作。这套方案大幅降低了虚拟场景拍摄难度和制作成本，提高了虚拟制片效率。

三、深圳广电XR虚拟制作实践探索

深圳广电集团一直非常关注XR技术发展及其在电视制播中的应用。台内技术及设计制作团队持续对相关技术进行研究，并结合自身演播室资源和虚拟制作技术优势，开展了XR虚拟演播室技术培训及业务实践。

在2021年第十七届中国（深圳）国际文化产业博览交易会上，深圳广电与合作伙伴搭建一套基于4K摄像机机位、两套杰讯自动跟踪系统的XR虚拟制作展示系统，设计尝试采用元宇宙概念+穿越中国风展示XR+AR现场效果，为文博会增添了一道亮丽的风景，见图4。

在电视节目制作中，深圳广电也利用XR虚拟制作技术，制作了台内首个虚实结合的电视节目《中医有术》，这是全国第一档基于XR虚拟制作的弘扬中医文化融媒体视频节目。为更好地体现中医的博大精深和呈现效果，技术团队配合节目团队制定了详细的基于4K超高清视频的采用XR+虚拟抠像技术的拍摄方案。

根据现有LED屏的尺寸，采用2台Reality渲染服务器，其中包含1台AR渲染服务器及系统，1台XR渲染服务器及系统，两台渲染服务器均通过视频I/O板卡接入一路GenLock信号，以保证渲染及输出同步保持一致。其中，XR渲染服务器系统负责对投射到LED屏幕内的UE4内容进行实时渲染，接入信号为项目中摄像机跟踪信号（通过FreeD Serial或FreeD UDP方式，由XR渲染服务器对应串口或网口接口进行跟踪信号接收）。AR渲染服务器系统则负责对LED屏幕外的UE4内容进行实时渲染，接入信号同样为摄像机跟踪信号。

该方案结合XR技术的特点和优势，在主持人解说、嘉宾介绍等环节设计了三维立体的场景化呈现。XR技术理论可以在LED屏幕成像介质上呈现出一个完整的虚拟三维空间，但在实际节目制作时，受限于场地条件、施工难度、预算成本等多种因素，我们在节目录制现场搭建的始终是一个有限的屏体空间。

因此，为了丰富三维虚拟空间的整体视觉效果，我们应用了XR+AR的全新制作模式，在XR场景基础上，添加前景的AR元素，并以AR延展的方式来弥补屏体外的物理空间，从而形成了背景为XR+AR环境、前景为AR元素的立体化的电视端画面呈现，打造一个沉浸式的无限延展的三维立体空间，见图5。