NVIDIA 赋能 Cyanpuppets 打造实时 2D 视频生成 3D 骨骼 AI 转换模型

青色木偶科技 Cyanpuppets 致力于 AI 图像算法技术和实时渲染平台工具，是一家以卷积神经网络和深度神经网络算法为核心，打造自研 AI 模型架构、实现虚拟与现实世界驱动协作的 AIGC 技术公司。其自研 CYAN.AI 平台结合 NVIDIA GPU 算力，实现了 2D 视频生成 3D 动作数据，具备三维空间自由人体运动，能够为全球用户提供 AI 无穿戴动作捕捉技术、虚拟社交全身互动技术、3D 动画制作工具与三维空间预演技术。

数字化身的低成本实时驱动

成为一大挑战

游戏开发商 Epic Games 的首席执行官 Tim Sweeney 曾提到，“元宇宙将是一种前所未有的大规模参与式媒介，所有用户都可以参与、创造、分享并从中获利，而用户的虚拟数字化身（Avatar）可以自由地在不同平台之间穿梭”。随着 AI 算力和计算机图形渲染技术的蓬勃发展，人类对于自由地在不同数字平台中穿梭，并随时进入虚拟世界的数字化身 Avatar 提出了更高的要求：如何轻便快捷地让数字化身真实地表达人类的动作意愿与情感，并将人类的动作实时迁移至虚拟化身上，成为关键性挑战之一，细分为以下几个具体的问题：

复杂的技术流程从面部表情、手指动作到肢体动作，每个模块往往由不同的技术方案构成，数据的同步性与流程的一体化构建面临巨大的技术投入和人力成本挑战。

高昂的捕捉成本体验与成本不可兼得，市面上效果较为一般的半身视觉动捕无法满足 Avatar 的技术要求，而较为精准的光学捕捉与惯性捕捉，动辄数十万的投入又使得 Avatar 成本居高不下。较高的成本让普通民众无法参与数字内容体系的建设，也无法享受技术时代带来的新体验。

割裂的数字孤岛虚拟化身的骨骼标准难以统一，不同的制作软件、绑定系统和图形渲染引擎会形成割裂的多个数字孤岛，因此不仅每次虚拟化身穿梭到不同平台带来的资产迁移成本很高，而且难以形成一个整体性的虚拟化身世界。

糟糕的捕捉体验身上穿戴着复杂且繁重的动作捕捉传感器，使得数字化身的使用体检较为糟糕，长时间穿戴带来的不适感与疲惫感也让元宇宙成为了难以进入的宇宙。

NVIDIA GPU 助力 Cyanpuppets

打造 AI 驱动模型赋能 Avatar 发展

基于以上问题，Cyanpuppets 选择了 NVIDIA 平台多个产品提供支持，在多张 NVIDIA GeForce RTX 3080Ti 的算力支持下，参考主流 AI 框架 TensorFlow、PyTorch、Caffe 等，对 COCO、ORGBD 等数据集进行长期训练。硬件终端上采用  GeForce RTX 3060 /3070/3080 等系列硬件给软件系统带来了稳定性保障和流畅体验感。同时，使用 Deep Learning Super Sampling（DLSS）这项 AI 深度学习技术，为用户提供极致的画面渲染效果。

在 NVIDIA GPU赋能下，CYAN.AI 以 CNN 和 DNN 为底层核心训练了近万小时的数据集，在同步的 2D 视频流中提取人体动作的关键特征做人体姿态识别，追踪人体超过 208 个关键点，结合动力学、生物力学生成人体运动的建模算法，一体化完成面部、表情与肢体共 208 点无穿戴、无标记的高精度捕捉。

CYAN.AI 构建了一个全新的骨骼系统，通过合成数据算法对主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系统进行匹配映射，让虚拟化身的全身驱动不再是一个个割裂的数字孤岛。

在硬件优化环节，通过对 NVIDIA GPU 算力进行分布式的算力调配，仅需成本数百元的 RGB 摄像头就能获取视频流，进行插值异构即可实现更低延迟的数据信息吞吐与数据画面合成。

结合 NVIDIA GPU 算力支持，算法模型以低至 0.1s 的延迟实现了超低延时的视觉动作捕捉，同时辅助动捕特征平滑算法、图像识别多目协同算法、空间检测、定位算法和重定向算法等多种算法，即使在复杂、狭小且充满干扰物的使用环境中，CYAN.AI 依然可以稳定、高效、高精度地动作捕捉迁移。

“AIGC 行业是当前最受关注的人工智能领域之一，算力与算法带来的生产力提升，让每个个体都切实感受到新时代的来临。传统的行业纷纷拥抱 AI 生成科技进行产业升级，从文字生成图片，图片生成视频再到视频生成 3D，这是一个长久进化的趋势，Cyanpuppets 正处于 2D 生成 3D 的关键环节。NVIDIA 提供的 GPU 解决方案，解决了深度学习和机器学习的技术难题，使得我们可以持续不断地创新算法模型，拓宽应用场景，并通过 CYAN.AI 平台为全球不同行业、不同场景的用户搭建虚拟现实协作的桥梁、虚拟化身的实时驱动方案。” 青色木偶科技 Cyanpuppets CEO 李宗兴表示。