省级卫视跨年演唱会AR技术应用

近年来江苏省广播电视总台在AR技术应用方面深入探索，积极在节目拍摄、制作、分发等环节创新实践，AR技术成功在多年的江苏卫视跨年演唱会中充分应用，极大增强了节目传播效果，成为AR技术在大型综艺晚会中应用的典范。本项目技术系统由摄像机跟踪系统、实时渲染系统、虚拟播控系统、视音频灯光系统、其它同步辅助系统等组成。江苏台对AR技术的应用不仅在于关注实时渲染效果，更多是结合舞美制景、灯光设计、节目内容等多种元素，打破现实界限，从观众视角出发设计节目中的虚拟元素。

本文作者：
李君：江苏省广播电视总台
本文为论文精要，原文刊发于《广播与电视技术》2023年第4期。

NO.1    技术特点和典型案例

AR 技术的主要特征是使虚拟元素与现实环境在时间和空间上实现统一，而AR技术与电视节目的结合就是要突破传统舞台舞美置景的思维模式，为节目带来更多的创意空间。江苏台作为全国领先的媒体单位，品牌节目跨年演唱会和长期以来强有力的技术储备为AR技术的呈献提供了绝佳的平台。

在近年来的江苏卫视跨年演唱会中，出品过“鲸鱼出海”“猛犸象”“洛天依”“美人鱼”等经典AR案例，如图1所示，数字人“邓丽君”更是一次多种AR前沿技术复合应用的成功案例。

NO.2 系统概述

江苏卫视跨年演唱会的AR技术系统包括摄像机跟踪系统、实时渲染系统、虚拟播控系统、视音频灯光系统、其它同步辅助系统。

2.1 摄像机跟踪系统

摄像机跟踪系统由多组摄像机伺服及云台传感器、编码器组成。跟踪系统获取摄像机位置和运动参数，如图2所示，传递给渲染引擎控制不同视角三维虚拟元素的实时生成，在摄像机移动过程中需要获取精确的位置和运动参数来“锁定”实拍画面和计算机生成的虚拟画面。近些年来虚拟摄像机跟踪系统从获取镜头参数与云台俯仰与水平转动角度参数的二维跟踪，发展到增加摄像机位置参数的三维跟踪，机械、红外、超声等各种摄像机传感器获取Pan/Tlit/Focus/Zoom等系列参数，编码为特定协议的数据流，传递给实时渲染引擎控制虚拟元素的渲染。同时也从原始单一的座机摄像机抓取实时画面，扩展到摇臂、天眼、伸缩塔、轨道机器人等多样化机位。

2.2 实时渲染系统

实时渲染系统用于虚拟元素的制作、实时渲染和画面合成。近年来图形制作和渲染技术大幅进步，得益于GPU+ CPU算力的提高、法线贴图、PBR等算法方法的改进，虚拟元素的复杂度、精细度显著提高，渲染技术也在实时和真实感方面突飞猛进，原先只能通过离线渲染实现的艺术效果现在可在节目直播中同步生成。江苏卫视跨年演唱会综合应用Vizrt、Unreal等优秀实时渲染引擎，如图3所示，组成健壮、稳定的渲染系统，实时渲染包含数千万级多边形的高质量虚拟画面，保障跨年晚会顺利完成直播。2022年跨年演唱会上，在既往AR技术实现节目虚拟元素的基础上，还首次应用AI技术，实现了真实嘉宾与AI数字人“邓丽君”的同台表演，过程中将多机位跟踪切换、实时渲染合成、AI语音合成、实时调色等多维前沿科技复合使用，为了保证直播流畅，优化编码模式，实现了现场合成过程中对场景站位、音乐节奏、台词顺序、歌曲控点、歌手口型等各方面的精准对位，并同步播出。节目播出后广受好评，技术运用复杂度、成熟度创业内先河。

2.3 虚拟播控系统

虚拟播控系统用于节目中虚拟元素的控制，包括其形态、移动、动画、特效等，是虚拟元素与节目完美融合的重要环节，见图4。在大型综艺晚会中，对于唱歌类节目要注意风格的融合，在虚拟元素的制作阶段对相应的动画做好设计，对于晚会特定的时点还要做好与节目的衔接和配合。如新年的10s倒计时是跨年演唱会的关键环节，对AR虚拟元素的精确控制尤为重要，需要做到倒计时口令与电视播出的倒计时画面严格统一，项目实践中将题词器连入AR播控系统，在相应虚拟元素开始播放的同时触发题词器的走时，实现不同节目环节的统一控制。

2.4 视音频灯光系统

虚拟画面和实拍画面的叠加合成，涉及精确控制、画面匹配、颜色的调整、灯光的配合，需反复磨合调整，在直播中尤其需要多技术工种的紧密配合，一个环节的质量缺失，就会导致最终输出画面的“假”“飘”。音频方面，虚拟节目的呈现不单是视频，还包括音乐、音效，在大型综艺晚会中尤其如此。如虚拟偶像洛天依和嘉宾歌手的对唱、周深与“邓丽君”的对唱等，同时存在人声、音乐和音效。为了保证虚拟节目声音播出的效果，需对每个虚拟系统的音频输出路数、每路音频信号中对应的分轨信息进行详细规划，直播中，所有AR相关音频路由全部由各自的 AR 控台至现场Monitor处，在音频OB间实时监听虚拟节目的声音电视播出效果，在照顾到电视观众的视听体验的基础上，我们同时在音频PA控台实时监听，保证现场观众的虚拟AR视听体验。另外，由于虚拟画面的渲染，还要考虑处理延时，还需将视音频画面“对齐”。

NO.3  业务流程

3.1 前期需求对接

3.1.1 电力分配

由于澳门场地原因，每年跨年演唱会我台会额外对场馆电力进行1:1的备份。由于参与演唱会制作的单位部门较多，我们会针对每个工种提前了解其用电需求，提前做好用电方案的规划，指定专门的空开给各个单位部门使用，并且对各单位部门的用电进行规范管理，主要要求如下：

1. 电源输入端须服从统一调度，严禁超负荷使用；

2. 用电设备必须符合当地的相关规定，严禁违规使用用电设备；

3. 由于当地对用电设备漏电使用严格，各部门需仔细查清各自用电设备，用电设备须有接地线，而且接地线不得与零线相通；

4. 特种设备操控点、AR、新媒体、音频终混等部门系统相关设备需接入UPS不间断电源，由各自承接方自行准备UPS不间断电源，自备的UPS不间断电源输入端必须具备隔离变压器。

3.1.2 虚拟机位选取

每年跨年演唱会机位达30多个，根据节目效果需要我们会在其中选取部分机位作为虚拟AR机位参与到虚拟AR节目的制作。在机位选择上，首先考虑正面的全景广角以及正面长焦特写机位，侧面角度考虑选择二维或者三维的摇臂。在江苏台多年的实践与尝试下，逐渐将一些特种机位也纳入到虚拟AR的制作，例如天眼、伸缩炮、轨道机器人等，它们能够提供传统机位无法展现的独特视角，具有独有的镜头展现能力。2019年澳门跨年演唱会上，林俊杰在演唱《那些你很冒险的梦》时，舞台摇变波光粼粼的海面，他乘坐小舟仿佛在海面行驶，一条通过天眼用AR技术打造的美人鱼随着歌声翻越海面，“她”趴在船沿，与林俊杰深情对望，徜徉于听觉和视觉双重享受的观众，一时间分不清那是真实还是虚拟，只觉如梦似幻，叹为观止。

3.2 项目实施

我台会派出经验丰富的技术人员，协调AR技术系统的搭建，实现各子系统之间视频、音频、控制等信号的互联互通，对项目实施的技术细节进行监督、优化以及调整。同时技术人员实时和节目组人员进行沟通，对项目实施的时间节点进行把控，按时交付系统参与彩排。在彩排中及时关注视频以及音频素材的质量，规划好音频通道分配，调整视音频延迟，给观众带来最佳的视听体验。NO.4  技术创新

江苏卫视跨年演唱会AR技术系统不断创新应用模式，结合多种科技手段，打造全新观感体验。如2019～2020年跨年打造的机械姬形象，是采用升级的AR Touch光影传感模块，实现地面的开合结构，令机械姬的皮肤现场实时反射灯光颜色、强光、炫光、形状等，如图5所示，达到AR真实存在于舞台的效果。

2021～2022年跨年中AI数字人“邓丽君”与周深的同台演出，综合应用了多机位跟踪、数字雕刻建模、面部捕捉、动作捕捉、动画绑定、实时渲染、AI语音合成、实时调色等前沿科技，使已故艺术家穿越时空来到现场，如图6 所示。

NO.5  结束语

截至目前，大量跨年演唱会中都出现了AR 技术与电视舞美设计相结合。打破现实界限，让人进入现场氛围，是AR 技术与舞美设计所达到的最高程度的舞台效果。江苏卫视跨年演唱会的AR技术让人们真切地感受到了场景所带来的真实氛围，如今已成为现象级的技术应用。与此同时，AR技术还在不断扩大应用市场，开辟了新的赢利模式，拓展了新的产业空间，促进了传媒行业整体竞争优势新格局、新模式、新动力的形成。