XR沉浸式虚拟演播室的技术分析

本文介绍了辽宁广播电视台根据自身需要设计的XR沉浸式虚拟演播室，该演播室依据XR虚拟技术的工作原理进行系统设备搭建，利用多维LED屏幕和虚拟扩展画面相结合的技术制作方式，为节目内容呈现提供了更加丰富的想象空间。

作者：辽宁广播电视台周渊年
来源：选自2023年第3期《现代电视技术》

近年，随着电视制作手段的不断增加，XR技术在广电行业逐步推广发展，辽宁广播电视台演播室技术升级改造后也开始尝试使用。XR技术的应用为节目画面提供了更加丰富的信息，更加灵活多样的创作空间，该系统从2022年3月起正式投入使用，录制卫视频道和体育频道自办节目。节目类型风格迥异，系统设定也随之改变，在此将我们的使用经验与大家分享。

随着VR和AR技术不断发展成熟，VR和AR技术被越来越多的人所熟知，它们在日常生活中广泛应用并且为人们的生活带来便利和乐趣。目前，虚拟技术有多种技术路线用于各种不同的应用场景，XR虚拟技术相较于VR与AR，究竟有什么特点，我们为什么选择XR？

一、VR、AR、MR、XR四种视频虚拟技术对比

VR指虚拟现实技术，它利用计算机图形技术通过佩戴VR设备构建出一个独立的虚拟世界，实现一种沉浸式体验效果。但是VR设备的画面刷新率、眩晕等技术问题一直无法改进，导致用户体验感无法得到跨越式提升。

AR指增强现实技术，又称虚拟前景技术，它将计算机生成的图像用前景图层形式叠加在实景上。由于AR图层的遮挡关系，因此只有电视观众可以看到虚构出的物体，因而更适合应用于体育赛事、综艺晚会的播出画面使用。

MR指混合现实技术，以LED背景墙和实物置景构建虚实结合的拍摄环境。LED屏幕内的场景视角和透视关系随着摄像机的移动而变化，让观众难以分辨虚拟画面和真实画面的边界。应用于电视制作却受限于演播室的空间体积因此无法展现其技术特点。

XR指扩展现实技术，以LED屏幕为电视拍摄背景，利用摄像机追踪与实时图像渲染技术，使LED屏幕及屏幕外的虚拟场景实时跟踪摄像机视角，同时图像合成技术将摄像机拍摄的LED屏幕、真实物体以及LED屏幕外的虚拟场景进行图像合成，从而营造出无限空间感的技术。在XR技术的支持下，主持人可自由地穿梭、游走于层次分明的三维场景中，呈现出沉浸式的表演，实现虚拟和现实的互动。

辽宁广播电视台采用的XR虚拟技术能够在较小的真实空间营造出无限的虚拟仿真环境空间感，更加适合在电视演播室环境下使用，这也是选择XR沉浸式虚拟技术作为新型演播室发展方向的重要原因。

二、XR虚拟技术建立沉浸式观看感受的技术原理

三维模型的二维透视转换是XR虚拟技术贯穿连通虚拟与现实的桥梁。采用透视投影法和中心投影法从新构建三维模型的LED显示场景。以图1中半透明的虚拟LED屏幕为界，场景中的物体如果在屏幕后则运用“透视投影法”进行图像计算与渲染，如果在屏幕前则运用“中心投影法”进行图形计算与渲染。

透视投影法是指当被摄物体发出的光线，穿越虚拟屏幕到达摄像机的过程中与虚拟屏幕相交，这些交点会构成一个扭曲变形的图像。但是在标定的角度上观看LED的显示画面却能够得到更加真实而富有纵深感的视觉体验。

中心投影法是指通过标定拍摄角度和距离，再结合LED屏幕的搭建结构，反求场景透视关系并设计LED屏幕的显示画面，在标定位置利用人眼的视觉误差效果从而实现模型的3D显示。

图3左侧画面富有立体感的信箱影像是由右侧上下两块LED屏幕画面共同显示的结果。可以看出其本质上更准确的描述是“具有裸眼3D的视觉效果”，它的实质是平面二维屏幕配合特别制作的2D视频内容，但却形成超越屏幕限制的3D显示效果。

另外内凹的LED屏幕结构也使得站在地屏上的主持人能够更好地融入量身设计的场景之中，成为画面的一部分，也让电视观众得到了更加沉浸式的观看体验。

三、XR虚拟系统的硬件架构

辽宁广播电视台XR虚拟制作依据第二部分的透视原理可以分为MR背景渲染、AR虚拟拓展渲染两部分。系统架构采用两套实时渲染引擎负责各自的渲染工作。

1. 大屏背景渲染

◆摄像机追踪系统将真实摄像机的实时运动位置、姿态及镜头参数传输到大屏控制服务器；

◆大屏控制服务器对摄像机空间位置信息进行实时解析，按照透视关系分析三维场景并将该场景画面分解映射到三块LED屏幕，再驱动三台实时渲染引擎渲染该视点的显示画面；

◆大屏渲染服务器接收控制机指令对模型进行渲染，再将渲染好的虚拟画面输出至三块LED屏幕，由摄像机完成拍摄。

2. AR虚拟拓展渲染

◆AR控制服务器读取摄像机追踪系统数据，驱动AR实时渲染引擎生成前景虚拟植入和LED外虚拟拓展内容的渲染画面；

◆同时AR控制服务器也对该渲染画面进行自动校正功能，使虚拟扩展画面与LED屏幕显示内容达到颜色统一、材质统一、灯光统一，实现LED屏幕内外的无缝衔接；

◆AR渲染服务器根据控制服务器的指令进行模型渲染，实现大屏“背景”、实拍真实物体、AR“前景”以及LED虚拟拓展之间的完美融合与组合。

图5是辽宁广播电视台体育频道CBA篮球联赛的XR演播区，在MR展示区由LED屏幕构成的背景是镜头中的主要场景，画面中顶棚和左侧是演播室实景。

四、硬件架构的分析

在XR虚拟系统中LED显示屏是搭建基础，实时渲染引擎是运算核心，跟踪系统是镜头运动前提，控制服务器是运行中心。实时渲染引擎需要强大的运算能力，输出场景分辨率应与LED屏幕点对点定制。虚拟扩展内容与LED显示内容可以无缝衔接一体化过渡。控制服务器对实时渲染引擎的实时控制，能够完美实现对异形显示载体的素材映射及校正功能。

1. 屏幕系统

根据演播室的建筑结构，辽宁广播电视台XR虚拟系统的LED屏幕采用L形90°直角安装，3块LED屏幕进行无缝拼接使用。与传统的平面安装方式相比，夹角的安装形式能在很大程度上减少摩尔纹的出现。这种屏幕拼接方式能把平面的图像“立体化”显示出来，把图像显示的方式从一个平面变成三维空间。

同时，LED需要应对摄像机的全程跟踪拍摄，屏幕更注重图像的细节表现确保摄像机拍摄的质感与清晰度。为了达到更好的显示效果，屏幕具备重高刷新、高灰阶、高动态对比度，以及曲面/转角平滑过渡。

2. 实时渲染引擎

实时渲染引擎接收控制服务器的指令依靠其强大的运算能力，实现输出场景分辨率与LED屏幕点对点映射。虚拟扩展内容与LED显示内容可以无缝衔接一体化过渡。

辽宁广播电视台XR系统的实时渲染服务器采用4台惠普的定制工作站，3台负责屏幕渲染，一台负责AR虚拟扩展，所有渲染服务器的渲染引擎均为UE虚幻引擎（4.27版本）。场景渲染是通过在GPU上执行的大规模并行计算来实现的。UE对于材质、光影和色彩的实时渲染，能够呈现近乎真实的视觉效果，让观众体验到更加精彩的影像世界。

以LED屏幕的三维结构为出发点，渲染服务器采用分布式设计。3台渲染服务器分别负责左、右立屏及地屏的渲染画面输出，保证了屏幕场景渲染的稳定性。3台渲染工作站还都安装了帧同步卡来保证LED屏幕渲染输出的同步性，确保了影像跨屏幕播放的稳定一致。

AR虚拟扩展及最终播出画面则由第四台渲染服务器负责输出。

3. 跟踪系统

跟踪系统主要涉及摄像机运动的问题。运动镜头能使得观众产生身临其境的错觉，提高了观众的参与感。跟踪系统要保证实时传输定位信息并有足够的精准度，避免屏幕画面的卡顿和丢帧，保证屏幕与扩展画面运动中的稳定性，扩展画面无错位抖动等现象。

跟踪系统选用Mo-Sys的光学跟踪系统，采集包括摄像机运动位移和镜头聚变焦等数据。Mo-Sys红外摄像机拍摄预先粘贴在演播室屋顶的反光贴片通过移动红外摄像机计算形成整个演播室的光学地图，利用光学地图实现对摇臂摄像机的位置跟踪定位。对于摄像机的推拉变焦则通过安装在镜头上的传感齿轮实现对摄像机镜头的参数读取。

Mo-Sys系统通过UDP传输协议将跟踪定位数据及镜头参数传输到大屏和AR控制服务器，由控制服务器将物理空间中的位置关系、镜头信息映射到UE场景中的虚拟摄像机和LED屏幕，这样就可以实现真实空间与虚拟空间的关联与同步。

4. 控制系统

整个XR系统的设备连接、配置、输出、跟踪、扩展等功能的实现全都依赖于控制系统。控制系统分为屏幕渲染控制和AR渲染控制两部分，控制数据均通过网络进行传输。屏幕控制服务器将摄像机的移动位移、画面信息经过精确计算处理，还原现场投影画面的正确透视关系，并将透视关系发送给实时渲染引擎驱动图像输出。AR控制服务器完成前景AR效果的计算与分析并将图像分析结果传送给实时渲染引擎驱动图像输出。

屏幕控制服务器负责网络设置、渲染设置、效果设置、应用配置。主要包括控制数据及媒体数据的传输工作；调整渲染输出的图像质量；对渲染引擎进行参数设置，优化图像显示效果；配置信号传输接口，摄影机跟踪设置。

AR渲染控制负责管理场景中现实增强的物品状态，是否遮挡主持人和前景功能，包含虚拟拓展、校准微调、场景调节、同步设置。可以实现羽化的开启与关闭；调节场景节点参数、跟踪偏移参数、同步矫正参数；实时调节场景中物品的位置、旋转、缩放参数，设定物品的显示与隐藏；处理跟踪延时保证运动画面的稳定。

另外，在屏幕控制服务器中集成了XR播控软件，在播控界面中可以添加播放素材、编排内容播出方式、设定取景区域、播放动画、调整屏幕颜色等编播动作。

五、XR沉浸式虚拟演播室对节目制作形式的推动

通过分析XR虚拟沉浸式系统的技术特点，可以看出这种新型的演播室系统相较于传统演播室或虚拟演播室具有以下方面的优势。

1. AR植入和虚拟拓展增强节目的互动性

XR技术支持虚拟场景视频开窗，满足微博、微信、实时视频等全媒体信号接入。同时依托辽宁广播电视台“云平台”项目，实现公网5G的高速数据传输，使得异地实时云制作成为现实。主持人与视频内容的互融互通更能够体现电视节目实时播出互动性。XR虚拟技术的综合性，实现前后背景的无缝悬接，LED屏幕也可以与各种实物道具搭配，让观众难分真假，达到虚实结合互动的最佳效果。

2. 一次性搭建所见即所得实现场景自由转换

XR沉浸式虚拟演播室只需要搭建一个“LED箱体”，利用不同风格的虚拟场景就可满足不同栏目的制作需求。在有限的演播室空间中，展示空间和主持空间任意转换，拍摄角度的任意调整，使主持人与表演环境相结合的效果及时呈现，并且更方便场景创作团队及时修改创作想法。

3. UI交互成就无限可能

2023年春节期间，辽宁广播电视台第一个虚拟卡通人物主持人成功上线。虚拟人物的面部表情采集就是依托UE引擎开放的接口特性，通过Live-Link接口实现了面部表情数据轻量化采集，借助苹果手机摄像头实时采集被捕捉人物的面部表情数据，并将数据从手机设备通过局域网实时传送到UE虚幻引擎中的数字虚拟角色中，实现实时驱动。

六、结语

为谋求先进技术为节目内容赋能，辽宁广播电视台在节目制作方式上不断寻求突破，综合各频道栏目节目的制作特色，采用了XR沉浸式虚拟演播室。依托完善的系统设计和UE超强的渲染能力及开放性的结构，XR沉浸式虚拟演播室开创了一种三维拍摄的演播环境，实现了真实与虚拟的结合，真正达到了一景多用并打破了传统演播室的限制，提升节目制作效率。未来还将不断尝试开发XR虚拟系统更多的表现形式，推动辽宁广播电视台沉浸式虚拟技术逐渐走向成熟。