轻量化动作捕捉在数字虚拟人驱动中的应用研究

近几年，随着虚拟现实技术的不断发展，数字虚拟人得到了越来越广泛的应用。以手机和PC摄像头为代表的基于图像识别的轻量化动作捕捉方式大幅降低了数字虚拟人驱动的实现门槛。本文将针对轻量化动作捕捉技术在数字虚拟人中的实现应用进行研究和探讨。

作者：中央广播电视总台任宝身仲祥成
来源：选自2022年第10期《现代电视技术》

如今，科幻电影、次世代游戏以及虚拟主播等应用中的数字虚拟人物的动作驱动大多采用了传统的动作捕捉技术，如机械式运动捕捉、光学式运动捕捉、惯性式动作捕捉等一系列方案。但以上动作捕捉方案都需要穿戴专业的动作捕捉设备，而且成本相对较高。伴随着图像识别技术的愈发成熟，有必要开发一种低成本、操作简单、方便快捷的动作捕捉技术，摆脱沉重又昂贵的动作捕捉设备，让每个普通人都可以通过手机或家用PC摄像头等轻量化采集设备来实现数字虚拟人的实时动作驱动。

一、轻量化动作捕捉实现思路

1. 轻量化肢体动作捕捉

轻量化动作捕捉技术可以使用户脱离传统笨重而昂贵的动作捕捉辅助设备，以神经网络框架图像智能识别的底层能力为基础，仅需要手机摄像头或普通PC摄像头等单目拍摄设备，就可以捕获人体肢体的关键点信息，实现实时获取身体和肢体的动作状态。

此次研究以ThreeDPose Tacker为示例，ThreeDPose Tacker是一款开源的Windows的应用程序，支持VMC协议，不但可以通过手机摄像头或PC摄像头拍摄表演者的肢体动作进行实时动作捕捉，也可以采用事先录制好的视频或者影视片段进行动作采集。

此应用采用了机器学习技术进行姿势估算，从图像中计算出人体的关节坐标并生成数值，实现动作的实时捕获。结合常用的图形渲染引擎Unreal Engine，其本身即支持开放接口MOP协议，控制数字虚拟形象仅需要通过ThreeDPose Tacker和VMCtoMOP两个应用程序配合，完成VMC协议到MOP协议的转换，即可完成动作捕捉数据对数字虚拟形象的实时动作驱动，从而可以快速、便捷地应用到各种实际场景中去。

2. 轻量化面部表情捕捉

面部表情是通过眼、口和面部肌肉的运动来表达不同的情绪状态，在传递互动信息中面部表情发挥了至关重要的作用。随着影视和游戏行业的不断革新，诞生了越来越多的数字虚拟形象，而针对面部的表情捕捉技术的诞生让数字虚拟角色的神情更加生动且充满活力。

面部捕捉技术涉及被捕捉扮演对象的面部尺寸测量、物理空间的定位以及方位测定等技术，而且相较于稳定的人体来说，面部捕捉更加细微和复杂，对数据的精度要求也更高。同时，与手动关键帧动画制作的面部表情相比，面部捕捉生成的角色动画可以更加真实地模拟真实人脸表情，情感表现能够更加的逼真和丰富。

传统的面部表情捕捉设备一般需要佩戴专用头盔和捕捉套件，便捷性较差。本次轻量化的面部捕捉方法的思路是以手机摄像头拍摄采集为基础，实现表情数据捕捉。以Live Link Face应用为示例，Live Link Face是一款高质量的免费面部捕捉手机App应用，可以借助手机摄像头实时采集被捕捉人物的面部表情数据，并将数据从手机设备通过局域网实时传送到Unreal Engine虚幻引擎中的数字虚拟角色中，实现实时驱动。

该应用的面部识别追踪功能利用了苹果的ARKit和新款iPhone的TrueDepth前置深度摄像头，可以对表演者的面部进行Z轴深度检测和交互式追踪，并通过Unreal Engine虚幻引擎内置的Live Link接收功能直接将该数据从手机发送到Unreal Engine虚幻引擎中。该面部表情捕捉方式摆脱了传统头戴式面部捕捉设备的枷锁，将头部和颈部的转动数据一同包含在了面部追踪数据流中，只需一台iPhone就能让数字虚拟化身面部活动自如，实现了真正意义的轻量化“面捕模式”。

二、轻量化动作捕捉应用实践

借助上述研究内容，即可以完成数字虚拟形象肢体动作和面部表情的整体轻量化动作捕捉驱动，下面将结合实际应用对轻量化动作捕捉的相关流程要点进行归纳介绍：

1. 数字虚拟形象制作

在数字虚拟形象创作方面本次应用实践选择了CG业界最新的超写实数字虚拟人云端免费制作工具Metahuman Creator。该工具具备一套完整的框架，可以让任何创作者在能够想象到的任何领域使用上极其逼真的人类角色，工具内预制了大量人物形象和结构元素模板的同时，允许用户对数字虚拟形象的面容、五官、肤色、毛发甚至瞳孔等方面进行自定义设计，大大降低了数字虚拟人制作的成本，它可以让你在几分钟内创建出带有完整骨骼绑定的逼真数字虚拟人，大幅提高制作效率。

数字虚拟形象制作完成后自动保存在免费的Quixel Bridge平台中，进入Quixel Bridge平台可以下载制作好的Metahuman模型文件，导出至Unreal Engine虚幻引擎，未来将在该引擎中进行数字虚拟形象的实时渲染呈现。

2. 肢体动作捕捉驱动

将PC摄像头对准动作扮演者进行实时画面采集，PC端使用ThreeDPose Tacker和VMCtoMOP两个开源应用程序，为了与VMCtoMOP进行联通，要在ThreeDPose Tacker中设置IP与端口及VMCtoMOP一致。

Unreal Engine虚幻引擎安装启用MOP插件，ThreeDPose Tacker即可与Unreal Engine进行联通。

运行Unreal Engine虚拟形象工程文件，需要先期启用Osc协议和Control Rig这两款插件。Control Rig是一套绑定系统，我们可以利用这套系统在 Unreal Engine中直接驱动模型，也可以快速地利用此系统来对动作捕捉产生的数据进行修复。

Unreal Engine虚拟形象蓝图相关配置中，在类设置菜单下的父类需要选择BP Mop Pawn，在组件中需要选择Body，在动画模式中选择“使用动画蓝图”选项，动画类选择“ABP-MetaHuman-RotationOnly-C”选项，在进行编译后，蓝图设置就基本完成了。

完成动作捕捉数据与Unreal Engine虚幻引擎的联通还需要再次统一接口配置，在放置actor下选择BP-MopReceiver拖拽到虚拟形象附近，进入BP-MopReceiver组件下设置与VMCtoMOP的Port端口值一致，完成上述接口设置，就可实现肢体动作捕捉数据与数字虚拟人的联通驱动。

3. 面部表情捕捉驱动

运行Live Link Face手机App应用，将手机摄像头对准表情扮演者面部，进行实时画面采集，在App设置中输入的IP地址需与Unreal Engine虚幻引擎所处网络IP地址一致。

打开虚拟形象工程文件，菜单中选择Live Link选项，打开面板选择匹配源，在组件中Live Link Face Subject菜单里选择需要链接的手机目标之后，就可以将面部表情捕捉数据与Unreal Engine进行联通。

以上是轻量化动作捕捉的其中一种方法的制作流程示例，仅使用一部手机和普通PC摄像头即可代替传统的动作捕捉穿戴设备，能够实现让肢体动作捕捉和面部表情捕捉同时进行，完成高效率、便携化的数字虚拟形象的整体动作驱动。

三、轻量化动作捕捉的优势及应用前景

1. 优势

（1）便捷性

可以满足当前新媒体应用制作的移动化、轻量化需求，轻量化动作捕捉技术无需搭建专门的采集场地及使用专用动作捕捉穿戴设备，仅使用手机或PC摄像头即可开展工作，同时便携化设备也极大地节省了设备运输负担，提高了移动化制作的灵活性和自由度。

（2）低成本

无需购置昂贵的动作捕捉穿戴设备和外部设备，一至两部手机或 PC 摄像头即可完成真人实时动作捕捉，极大地降低了数字虚拟形象的动作捕捉驱动成本。

（3）低门槛

仅使用手机或PC摄像头采集图像作为数字虚拟形象的表情、肢体动作驱动数据来源，常人即可操作，无需传统动作捕捉穿戴设备复杂的安装、调试过程，极大地降低了数字虚拟形象驱动的专业技术门槛，使更多的创意人员可以参与到数字虚拟形象的创作当中，可以增加数字虚拟形象在传媒领域内的使用与出场机会，加速数字虚拟形象内容的普及，提高大众对于数字虚拟形象的认知度与接受度。

2. 应用前景

轻量化动作捕捉能力最广泛和直接的应用场景是用来驱动数字虚拟形象，在数字虚拟人直播、游戏互动、电视节目和新媒体短视频等场景中都有着越来越多的应用需求。

◆在数字虚拟人直播中，动作捕捉技术一直是其中最为关键的部分，传统的数字虚拟人动作捕捉穿戴设备价格昂贵，专业性强，让很多普通从业者望而却步。随着单目摄像头图像识别动作捕捉技术的发展，使轻量化、便捷化的动作捕捉和数字虚拟形象驱动成为可能，数字虚拟人与观众进行的实时互动提升了数字虚拟人主播的感染力和亲和力，同时大幅降低了虚拟人直播的制作成本；

◆在游戏互动体验中，利用轻量化动作捕捉能力，用户可以打开手机摄像头实时采集或上传一段视频即可捕捉其中的人物动作，产生对应的数据来实时驱动游戏中的人物，大大提升玩家游戏互动参与感；

◆在电视节目制作中，伴随大小屏融合媒体进程的不断推进，愈发需要适合新媒体形态的轻量化动作捕捉技术来支持节目内容创新，例如虚拟主持人的出现已成为一种新的潮流体验，轻量化动作捕捉技术会推动数字虚拟主持人互动呈现的真实感，表现出的拟人仿真视觉效果也将更加生动形象，从而推动虚拟主持人领域的快速发展和普及，相信未来虚拟主持人也会为观众带来更多的出乎意料的惊喜；

◆在新媒体短视频领域，轻量化动作捕捉技术也大有可为，手机摄像头可以根据人工智能算法生成人体网格，在此基础上可以添加基于人物动作和表情的各种短视频特效。

除了以上行业，轻量化动作捕捉技术也可以应用到体育、医疗、培训等领域，还有更多的应用场景和更多元的应用价值等待着被挖掘和开发。

四、小结

轻量化动作捕捉技术在虚拟现实领域的实践应用，实现了以更加便捷的方式进行数字虚拟角色的动作捕捉驱动。大幅降低了动作捕捉的技术门槛，提高了工作效率，使移动化的数字虚拟角色应用制作成为可能，使动作捕捉技术更加平民化、大众化。当然，轻量化动作捕捉技术目前也有一定的局限性，比如动作幅度过于剧烈会导致动作捕捉偏离，需要限定运动范围或是进行后续修正；比如虽然现有的算法在简单的室内场景中表现得已经足够好，但仍然很难处理遮挡情况和杂乱的背景环境下的主体动作识别精度问题，这些方面也将是在今后一段时间的重要研究课题。

在未来，可能每个人都会拥有自己的虚拟化身，沉浸在虚拟空间里，如同在真实世界一般自然、便捷、无障碍地进行行动与交流，轻量化动作捕捉技术驱动即可帮助用户实现虚拟化身与真实自我的完美匹配，用户通过虚拟化身驰骋在虚拟世界中，实现打破次元壁的全新互动体验。