多模可信交互：从多模态信息融合到人-机器人-数字人三位一体式交互模型

研究意义

随着科技的发展，人-机器人交互已经成为了一个重要的研究领域。我们的研究旨在通过多模态信息融合和增强现实技术，提出一种新的人-机器人-数字人三位一体式交互模型，以实现更自然、更有效、更可靠的共享式多模可信交互。

本文工作

多模态信息融合：介绍了多模态信息融合的概念、类型和策略，分析了多模态信息融合在人-机器人交互中的优势和应用。

信任在三位一体式交互中的作用：阐述了信任在三位一体式交互中的重要性，并指出了当前人机信任研究存在的“失衡”现象，即忽视了机器人对人的信任。我们提出了构建和维护相互信任的必要性，并介绍了信任评估方法。

增强现实技术：探讨了增强现实技术在建立和维持三位一体式交互中的信任关系方面的可行性和未来发展方向。我们利用增强现实技术将机器人的意图、情感和行为等信息以更直观的虚拟知识形态呈现在现实空间中，实现虚实深度融合。

创新点：

三位一体式交互模型：我们提出了一个由自然人、虚拟人和机器人组成的三元交互模型，旨在通过增强现实技术将真实空间和虚拟空间进行无缝融合，从而实现更加自然、更加有效、更加可靠的沉浸式多模态互信人-机器人交互。该模型包括真实空间、虚拟空间和内部关系三个部分，以及人机信任评估机制。

多模态认知线索共享：我们探讨了多模态认知线索（如面部表情、身体动作、语言、触摸等）在建立和维持人类与机器人之间可信关系方面的作用，并提出了通过增强现实技术实现认知线索共享的方法。认知线索共享有助于提高人和机器人之间的相互理解和信任，从而促进更深层次的协同和创新。

人-机器人-数字人三位一体式交互框架

下图展示了我们提出的人-机器人-数字人三位一体式交互框架。该框架包括以下几个部分：

真实空间

真实空间是指物理世界中存在的自然人和机器人。自然人可以通过语言、肢体动作、面部表情等方式与机器人进行多模态交互。机器人可以通过自身的面部结构或显示屏模拟出不同的面部表情，并根据自身的状态或任务进行调整，从而向人类传达自己的情绪和意图。机器人还可以通过触摸、声音等方式向人类提供触觉反馈，以模拟人类之间的肢体接触。

虚拟空间

虚拟空间是指通过增强现实技术在真实空间中叠加的虚拟信息。虚拟信息可以包括虚拟人、虚拟物体、虚拟环境等。虚拟人是指由计算机生成的具有人类外貌和行为的虚拟角色，可以与自然人和机器人进行语言和非语言交互。虚拟物体是指由计算机生成的具有一定形状和属性的虚拟实体，可以与自然人和机器人进行触觉交互。虚拟环境是指由计算机生成的具有一定场景和背景的虚拟空间，可以与自然人和机器人进行视觉交互。

内部关系

内部关系是指自然人、虚拟人和机器人之间的信任关系。信任关系是基于多模态线索和增强现实技术建立和维护的。多模态线索是指通过多种感官渠道（如面部表情、身体运动、语言、触摸等）传递信息，从而促进人-机器人交互并建立及维持人和机器人之间的信任。增强现实技术是指将机器人的意图、情感和行为等信息以更直观的虚拟知识形态呈现在现实空间中，实现虚实深度融合，消除人机沟通障碍，并提供高带宽和低模糊度的替代交互机制。

信任评估机制

信任评估机制是指用于评估和调整自然人、虚拟人和机器人之间信任水平的方法。信任评估机制包括主观评估和客观评估两种方式。主观评估是指通过问卷、访谈等方式直接获取自然人对虚拟人和机器人的信任感受。客观评估是指通过分析多模态线索、行为数据等方式间接推断自然人、虚拟人和机器人之间的信任程度。

王国庆, 裴云强, 杨阳, 等. 多模可信交互: 从多模态信息融合到人-机器人-数字人三位一体式交互模型. 中国科学: 信息科学, doi: 10.1360/SSI-2023-0133

论文地址：http://engine.scichina.com/doi/10.1360/SSI-2023-0133