非约束环境下的轻量级实时多人三维动作捕捉

研究意义

基于多视角的多人三维姿态估计技术可以实现非接触式的多人三维动作捕捉，因而在影视动画、游戏、虚实互动和体育运动分析等领域存在广泛应用。基于该技术，我们可以通过若干个标定好的相机来观察并捕捉各个目标对象的三维人体运动序列。

一个有效可用的动作捕捉系统需要同时考虑软件和硬件以及它们的集成与优化，不仅需要算法创新，并且需要整体视角下的系统分析与构建。否则，即使掌握并实现了基于多视角的多人三维姿态估计算法，仍然难以为之研建一个高效实用的动作捕捉系统。

本文工作

为了解决上述问题，本文提出了一种面向非约束环境下的轻量级多人三维动作捕捉系统，该系统便于组装，仅需少量的普通 (4-6个) 相机或摄像头，并且适用于一般的室内外环境，对场景中的背景和人物对象的着装没有特殊要求。

首先，为了提升三维人体动作捕捉的精度，设计并实现了一个鲁棒的基于多视图的多人三维姿态估计算法，它充分利用了多视角的信息互补，并引入了一个跨帧连贯性约束来过滤异常的二维人体关节点检测结果，以抑制其对三维人体姿态估计的影响。

其次，围绕多视图数据的实时采集、传输及有效处理，构建了一套轻量级的硬件系统，同时提出了一种数据流向可控的模块化并行处理机制，最终实现了一个灵活、易维护扩充且高效的软硬件系统框架。

最后，基于多个公开数据集与自采数据集，通过大量实验充分验证了本文所提出算法与系统的准确性、高效性和鲁棒性。

本文的创新点如下：

(1) 设计并实现了一个轻量级的实时多人三维动作捕捉系统，它不仅有效集成了各种硬件和软件算法，并且通过一种数据流向可控的模块化并行处理机制，实现了内部数据和算法的高效组织与鲁棒处理。

(2)提出了一个鲁棒的基于多视图的多人三维姿态估计算法，它充分利用了互补的多视角信息，并且采用了一个跨帧连贯性约束来过滤异常的二维人体关节点检测结果，以抑制其对三维人体姿态估计的影响，最终有效提升了三维人体动作捕捉的精度。

实验结果

为了验证本文系统的有效性，我们分别对系统的性能优化和系统的运行结果进行实验分析。此外，我们分别在公开数据集Campus和Shelf，以及两个自己采集的数据集上定性和定量地验证了本文所提出的系统及其核心算法的有效性。

针对系统运行过程中的性能瓶颈，我们分别给出了对应的优化策略，最终取得了接近50帧/秒的实时运行速度 (在6视角下5人场景中测算得到)。

本文系统对场地和环境无特殊要求，适用于较平整的室内场地和凹凸不平的室外草地等各种场地环境。此外，在光线较暗、外部有遮挡物、多人聚集或者快速运动且身体接触频繁的各种场景，本文系统均能够产生高质量的三维人体动作捕捉结果。

文章信息

杨文武, 李跃, 邢帅, 蔡佳航, 王勋. 非约束环境下的轻量级实时多人三维动作捕捉. 中国科学: 信息科学, doi: 10.1360/SSI-2022-0397