快手虚拟世界互动平台及解决方案

快手针对虚拟世界互动的技术方案主要分为两方面，分别是平台和软件。在平台侧快手构建了快手虚拟世界互动平台（KMIP），基于 PAAS 技术基础支撑各种上层应用。在软件侧，面向不同应用场景和用户群体的虚拟世界应用产品包括快手虚拟演播助手（KVS）、快手面捕助手（KFC）等。

分享嘉宾｜万鹏飞博士 快手 Y-tech AI技术中心负责人
编辑整理｜杨佳慧
出品社区｜DataFun

　　01 虚拟世界互动的背景与现状

　　首先分享一下目前虚拟世界互动的一些基础概念、背景及现状，以及快手在已有内容社区基础上对虚拟世界进行的技术拓展与思考。

　　1. 背景与现状

　　虚拟世界互动的定义：虚拟世界互动是指在虚拟空间中进行的沉浸式多人互动。人可以是真人和数字人（主要是数字人），互动多为社交、游戏和展览类的活动。在此概念下，市场上涌现出许多优秀的产品，比如：游戏类产品 Roblox、工具&社交产品 Zepet、开放剧情类产品 Rival Peak 、娱乐类产品腾讯音乐 Tmeland、展会类产品网易瑶台、营销类产品百度希壤等。

　　（1）快手虚拟世界新形态平台

　　环绕着快手短视频和直播内容生态，虚拟世界平台衍生出更多不同的展示形态。例如云蹦迪、线上演唱会以及直播互动游戏等，观众可以通过发送弹幕以及基于 H5 的各种互动形式来增强参与感和沉浸感，并能够通过互动的方式成为虚拟活动中的决策参与者。另外，基于短视频和直播的虚拟世界互动无需改变用户对快手平台一贯的使用习惯，对用户更加友好。　　

　　2. 快手技术方案总览

　　快手针对虚拟世界互动的技术方案主要分为两方面，分别是平台和软件。在平台侧快手构建了快手虚拟世界互动平台（KMIP），基于 PAAS 技术基础支撑各种上层应用。在软件侧，面向不同应用场景和用户群体的虚拟世界应用产品包括快手虚拟演播助手（KVS）、快手面捕助手（KFC）等。　　

　　02 平台方案：快手虚拟世界互动平台（KMIP）

　　第二部分内容会从平台的角度给大家介绍一下快手在虚拟世界的一些技术建设。我们构建了快手虚拟世界互动平台（KMIP），作为一个统一的底座支撑各种在虚拟世界中的互动能力（云蹦迪、云演唱会等）。下图为快手虚拟世界互动平台的用户交互流程图。

　　用户（主播或观众）的设备软件（PC软件/App/H5）通过集成我们的 KMIP SDK 将各种交互信号传递给 KMIP，同时接收 KMIP 处理发送的流媒体信息，实现多端低延时接入的媒体交互和场景应用功能。　　

　　快手虚拟世界互动平台由三部分技术构建而成，分别为基础层、计算层和接入层。

　　基础层：基础层是支撑平台成功运转的服务底层，主要管理通用的计算、网络以及存储等资源。既支持自研云平台也具备兼容第三方云平台的能力。

　　计算层：计算层作为快手虚拟世界互动平台（KMIP）的核心能力层，包含了四大模块分别为 AI 引擎、图形引擎、音视频、资产库。虚拟互动中需大量运用 AI 能力，渲染能力，以及 RTC 和边缘计算能力。

　　接入层：接入层包括鉴权、智能调度和端云协同等。

　　以下为快手虚拟世界互动平台（KMIP）的特性。　　

　　特性一：多终端接入

　　多终端接入是指可以支持 PC/手机/XR 等各种设备的接入，便于用户参与。快手作为一个以内容为核心，连接观众和创作者，打通短视频和直播内容的分发平台，将用户群体划分成两大类：终端观众和创作者。创作者相较于终端观众而言在设备上会有着更高阶的需求，终端观众则更需要能够低门槛的参与，支持多终端的接入能够满足用户在使用上的差异。

　　特性二：RTC 结构化数据传输

　　RTC 结构化数据传输的定义通俗来讲就是支持传输各种各样的数据，比如动捕/语音/文本/控制参数等。通过支持丰富多元的互动信号的输入和对应的数据反馈，在满足适配不同交互形式和数据传输要求情况下同时可以保证系统在交互整个链路上的完整性并且降低了延迟风险。

　　特性三：多种渲染模式

　　快手虚拟世界互动平台（KMIP）不仅支持端渲染、云渲染，同时也支持端云协同渲染，以满足各种不同场景下的渲染需求。

　　特性四：支持多种角色

　　快手虚拟世界互动平台（KMIP）能够支持真人(通过绿幕抠图接入)和数字人（虚拟 IP、Avatar 等）等多种角色参与其中。

　　特性五：千人千面同屏

　　基于快手虚拟世界互动平台（KMIP）的设计理念，能够承载多人互动的开放生态，开放世界多人同屏，用户能够自由切换视角以第一或第三人称视角参与其中，体验不同视角的场景。

　　03 软件方案：快手虚拟演播助手（KVS）等

　　第三部分内容会从实用性角度主要介绍两个应用于特定场景的软件，主要作用为提供给主播和创作者们更友好的交互方式。

　　1. 快手虚拟演播助手（KVS）

　　关于快手虚拟演播助手的定义：KVS 是一款面向 PGC 场景的数字人驱动及开播的工具。

　　主要面向的用户群体为追求高品质的数字人直播的用户。KVS 为其提供了一站式服务，不仅能够满足数字人所需的驱动和渲染能力，在其基础上还能够满足 3D 场景的互动能力。

　　特点一：数字人驱动方面，从普通摄像头到专业动作捕捉设备都支持

　　特点二：支持多平台高清推流直播，提供丰富的特效玩法和 3D 场景融合

　　特点三：打通了快手直播间数据，可解锁各种虚拟世界玩法。

　　以下是快手虚拟演播助手 KVS 的架构逻辑：

　　从业务层面来说虚拟演播助手可以渗透到智能文娱、直播电商和虚拟拍摄等场景。借助快手对音视频的高效处理和数据的埋点统计等中台能力，利用 MVC 等交互框架，和诸多 AI 能力，实现虚拟人的高仿生及达到虚拟世界的高效互动。　　

　　2. 快手面捕助手（KFC）

　　关于快手面捕助手的定义：KFC 是一款面向 UGC 的数字人驱动及开播的工具。

　　特点一：仅需一个普通的摄像头即可实现头部、肢体、手部的动作捕捉与驱动。

　　特点二：拥有丰富的预置模型，支持 DIY 捏脸，以及 Live2D、VRM 模型导入等。

　　以下是快手面捕助手 KFC 的架构逻辑：

　　KFC 主要面向于卡通虚拟主播（娱乐、游戏等），在交互层和能力层上也同样有些许的差别，稍特殊的一点是挂件模式，挂件模式是指在最小化当前程序时，虚拟人仍能叠加在桌面上，可增强虚拟世界互动的体验感和参与感，相比 KVS，KFC 的架构在中间件及基础层是基本相同的。　　

　　04 项目案例

　　第四部分会从几个经典案例入手更加清晰的了解快手虚拟世界互动平台的实际应用。

　　1. 案例一：主播与主播互动场景　　

　　虚拟主播同屏直播互动的核心点打破了时间和空间的限制，多位主播可以同时呈现在同一个数字空间中并进行相应的互动。PC 端和手机端都支持。

　　2. 案例二：主播与观众互动场景　　

　　虚拟主播+真人主播+观众虚拟化身云蹦迪

　　真人主播和虚拟主播同屏共处的形式更能够带动用户，增强用户的体验感。

　　虚拟/真人 IP+观众虚拟化身演唱会

　　此处的虚拟主播均为实时驱动和专业演绎，所以对于用户反馈做出的反应也是即时且深度的，可加深用户的互动性和参与度。

　　3. 案例三：其他创新场景　　

　　真人 IP+观众虚拟化身互动剧

　　主播+观众虚拟化身互动

　　此处的互动剧是指用户可以充分参与到该活动中来，并且主播会根据观众的一些行为反馈来解锁不同分支的剧情走向从而形成不同的故事结局。基于虚拟化身的互动则可以拉近主播和观众的距离，营造更加个性化的体验。

　　无论从内容效果还是呈现方式上，都体现出基于直播形式的虚拟世界互动的场景在未来具有着巨大的想象空间和发展前景。

　　05 总结与展望

　　第五部分会从综合角度出发探讨虚拟世界的后续发展。

　　1. 内容形态迭代

　　内容形态的迭代发展由过去的文字图像内容，逐渐演进至今日视频和直播的形式。未来以 XR 作为新媒介衍生的新内容形式，其沉浸感和互动性会呈指数型增长，我们相信相关的研究领域中仍存在着待挖掘的巨大价值。

　　2. 资源整合实现共赢

　　快手作为以用户为核心、视频和内容为驱动力的社区开放平台的产品，整合资源共同挖掘数字人和 XR 内容的潜力，对于快手生态来说具有重要意义。我们欢迎各个领域的生态合作伙伴和我们一起合作共建共赢。也欢迎在数字人及 XR 方面有需求的客户联系我们，试用和采买我们的解决方案。