基于增强现实的多线索远程工业协同系统

引文格式：赵青, 张越, 张崇斌, 田东, 崔文凯, 单桂华. 基于增强现实的多线索远程工业协同系统[J].数据与计算发展前沿, 2023,5(6):138-152.

文章摘要

【目的】为解决工业传统巡检方式因工作效率低下、巡检不到位造成人员伤亡和财产损失等问题，提出一种基于增强现实技术的远程工业协同系统。

【方法】该系统设计了双向线索的交互模式，在远程专家和本地工作人员之间创建丰富多样的线索和双向注释来增强双方协作的效率，更高效地完成远程协作任务。为保证专家和工作人员在各自场景中手绘的二维线索信息实时映射为三维线索信息，采用一种基于深度相机焦距的线索信息的扩散虚实算法，该算法可实时获取手势绘制信息，工作人员的目光注视可实时呈现在专家端。为验证该系统的可用性与优势，选择在真实复杂的场景下模拟了远程异地协同巡检任务和设备操控任务，并设计完备的实验和用户问卷调研。

【结果】对比实验结果，表明该系统的新型交互模式具有更高的用户认可度，相比于传统纸质维护说明、音视频电话指导可大幅降低工作人员任务负荷，并提高任务完成效率。

【结论】最后研究了多种形式下用户认知的主观反馈，提出在工业场景下引导用户行为的建议。

文章引言

……

目前，增强现实（Augmented Reality，AR）技术已被大量引入工业，在远程协作方面具有良好的效能。AR能将3D模型、视频、图片文字等信息以虚拟元素的形式叠加到真实作业现场，可对标准化作业的生产步骤、特殊维护说明等任务以直观、便捷、可交互的方式呈现在现场作业人员眼前^[1]；另一方面，增强现实远程协作指导针对复杂难以排查的问题，可通过专业技术人员的远程诊断让现场操作人员在指导下完成巡检及维修任务^[2]，现场工人通过这种技术跟随叠加到真实环境中的注释及指令引导，能快速、准确地完成工作^[3]。然而现有远程协作可视化系统大多是单向注释且交互线索单一，多为专家单向传递指令给工人，无法及时捕捉两者之间对指令理解的偏差，在复杂场景的远程交互中对现场作业人员巡检帮助有限，容易给作业人员带来心理压力。本文开发的AR多线索远程工业协同系统有望解决上述问题，实现工业维护任务中专家和工作人员之间双向注释的远程合作，在此基础上通过两项工业场景下的任务探索了该系统的适用性。本文的贡献有以下3点：

（1）设计了基于双向线索的交互模式，在远程专家和工作人员之间创建多样线索和双向注释增强双方协作的效率。

（2）通过多项对比实验及问卷调研，证实此新型交互模式的高效性并具有更高的用户认可度。

（3）研究了多种形式下用户认知的主观反馈，实现了一个多线索远程协同系统，通过用户研究证明了系统在复杂工业场景下巡检与施工任务中具有提高工作效率、减轻工作难度的效果，并提出在工业场景下引导用户行为的建议。

文章图表

本文系统设计目的是完成一个用户不对称的远程协同工作系统，该系统可以将远程专家和本地工作人员实时联系在一起。远程专家可通过PC端实时获取处于异地的工作人员的物理环境，同时专家可实时向工作人员发送线索信息以支持其完成工作，线索信息包括：语音线索、视频线索、图片注释线索等。

该系统结构图如图1所示，整个系统分为远程专家和本地工作人员两个用户主体，其中专家拥有实时可用的专家知识库系统，该系统数据分为两类：一类为通过传感器、工业相机等手段从工程作业现场实时收集来的工业数据；另一类是专家平时在日常工作中人为获取的数据，如CAD施工图纸、作业文档等。控制工具组为专家提供图像信息调整、基于线索的指针、注释标记以及远程专家的手势信息等，通过控制工具在核心系统中生成虚拟线索。

在传统远程协同工作中经常容易因缺乏交流的上下文和互动性而受到局限^[18]，所以如何提供连续的上下文交流信息并增强互动性是需要关注的问题。本文在系统中利用了虚拟指针提示和标注来让远程协作的双方感觉到更好的社会存在感，这两种视觉线索（指针和注释）都能显著增加协作双方的社会存在感，从而促进双方更流畅的交流^[6]。在远程专家界面上（图2a），专家可通过箭头指示和标注来向远程用户提供稳定的线索，远程工作人员可以在AR画面中观察到专家提供的注释（图2b），并且可以通过冻结画面以获得稳定的虚拟注释线索。

为保证双向通信的实时性，让处于物理空间的工作人员进行实时的注释绘制（图2c），以提供给远程专家充足的上下文。通过双向的注释线索绘制，可以克服远程协同工作中由于缺乏上下文和互动性而限制交流的问题。同时，这样的注释绘制能唤醒本地工作人员（或者知识接受者）的主人翁意识，通过让本地工作人员主动绘制交流线索而增强其工作的专注度和交流的参与感。

WebRTC是基于Web浏览器通信技术，其通过浏览器提供的API接口就可实现实时音视频通信能力^[26-27]。本系统利用WebRTC进行远程通信线索的实时绘制与传输，本地工作人员端通过HoloLens2 AR HSD的相机和Unity游戏引擎构建的原型软件实现对现场环境的深度感知，实时采集工作现场的音频信息和三维空间信息，通过无线网络（WI-FI）将信息传送到云服务器平台上，如图3。同时，云服务器平台也实时接收远程专家主机端Unity引擎所构建的原型软件采集的现场音频、视频、图片标注等线索信息，通过WebRTC技术建立实时音频、视频链接，使远程专家与作业人员保持实时音视频双向沟通，指导作业人员进行现场施工与作业。在保持流畅的音视频双向沟通的过程中，通过远程协同技术，远程专家可将图片、视频等信息同步到工作人员作业端，并支持对图片、视频信息的远程协同标注且不受真实场景的遮挡，辅助作业人员进行现场作业。

整个实验环境中“远程专家”和“工作人员”在物理空间上是完全隔绝的，他们只能通过电话会议或AR设备完成相互交流。将工作人员的本地工作空间称为本地工作环境。在两个任务中将使用不同的工作环境：任务1：巡检任务，工作环境为中铁上海工程局集团有限公司郑济铁路濮阳至省界段桥墩预制场的工地现场（见图4a），在该工作环境中每次实验将在不同位置分布30个待检查的区域，其中20个待检查点正常，10个待检查区域有异常。任务2：操控任务，工作环境为中铁上海工程局集团有限公司工厂车间的操作台（见图4b），该工作环境中，工人需要完成3台不同机器的控制工作。

任务1：巡检任务。工作人员在图4a场景下的工作空间内完成对预设好的30个待检查区域的检查工作，这30个区域是专家在平时巡检中会重点观察的区域，其中20个待检查区域用绿色进行标记（图5a）表示专家比较关注；10个待检查区域用红色进行标记（图5b）表示专家非常关注。组2、组3的专家组会被提前分配到一张标有待检查区域的地图以告知远程专家哪些地方需要检查，同时组2、组3的专家可通过远程电话会议或远程AR设备对工作人员进行指引。工作人员需完成对工作区域所有待检查点的寻找工作，并通过记录方式向主试汇报每个工作点的工作情况。

任务2：操控任务。模拟工人在车间内通过工程机器完成具体的施工作业，工人需要分别依靠钢筋弯箍机、钢筋弯曲中心、双柱式墩柱焊接机器人3台机器（图6），完成对钢筋的形变、弯曲以及最后的焊接工作。操作过程中请4位来自中铁上海工程局集团第七工程有限公司的专家（E1-E4）对不熟悉3台机器的工作人员进行指导，这些远程专家提前已经熟悉机器作业的具体流程，他们可通过远程会议或AR设备向工作人员提供任务指引，组1无远程指导的工作人员则必须通过设备说明手册完成对机器进行使用。

首先，比较3组用户完成巡检任务（任务1）的时间，如图7a所示。远程专家通过AR指导[M=13.25 min，SD(平均差)=1.13]完成任务所需时间（组3）明显少于无专家指导（M=18.8 min，SD=0.87）和专家远程音视频会议指导（M=15.03 min，SD=0.51）。同时经过Wilcoxson符号秩检验下可以得出结论：工作人员在AR远程专家指导下完成巡检任务所需时间与无专家指导情况下（Z=2.2014，p=0.0277<0.05）、远程专家音视频会议（Z=2.2075，p=0.0273<0.05）比较下呈现显著差异。

统计3组用户完成设备操作任务所需时间，如图7b所示。为了使数据尽可能精确地反应工作人员思考和操作设备所需要时间，剔除等待设备执行时间（7分钟）和观察设备反馈时间（2分钟）。其中工人在无远程专家指导的情况下完成设备所需的时间（M=210.03 s，SD=15.67）明显大于专家音视频会议指导所用时间（M=91.32 s，SD=3.01）和专家远程AR指导所需时间（M=101.77s，SD=5.20），经过Wilcoxson符号秩检验可以发现，无远程专家指导情况下工作人员完成设备操作任务所用时间与远程专家通过音视频会议指导（Z=2.2014,p=0.0277<0.05）和远程专家通过AR指导所用时间（Z=2.2043,p=0.031<0.05）相比都具备显著性。在设备操控任务完成过程中远程专家通过AR指导所用平均时间略大于远程专家用音视频电话会议指导所用时间，可能由于专家在绘制线索时消耗了额外的时间，但该差异不具备统计学规律（Z=1.9917,p=0.0564>0.05）。

本文记录了无指导、专家音视频会议指导以及专家AR指导3组条件下完成巡检任务（任务1）和设备操控任务（任务2）的任务情况，如图8、图9所示。

采用NMM社会存在问卷^[28]对不同组别下工作人员的社会存在感进行了测量(如图10a所示)。

采用NASA TLX问卷^[29]对工作人员的工作负荷进行了测量（如图10b所示）。

除了上述的一些客观指标和量表问卷，在访谈过程中要求参与者（包括12名工作人员和4名专家）评选出他们心中最喜欢的系统（如图11所示）。12名参与者（工作人员）中共8位将AR设为自己最喜欢的系统；3个参与者将no guidance选择为自己最喜欢的系统，Au/Vi仅有1名工作人员将其设置为最佳。专家组这边，3名专家将AR设置为自己最喜欢的系统，1名专家将Au/Vi设置为自己最喜欢的系统。

文章结论

本文提出了一个基于AR的实时多线索远程工业协同系统，该系统允许远程专家通过多线索指导本地操作员执行程序性任务和注释。此外，探索使用基于AR稳定的同步协作远程场景的注释方法。在本文中，描述了系统架构、软件组件和用户互动，包括线索虚实扩散算法、眼动追踪和注释的稳定性。最后，在复杂的真实工业场景下进行了完善的用户研究实验，将AR远程支持系统与纸质维护说明、传统电话指导进行对比分析，实验结果表明使用AR 远程支持时，错误任务数量有明显减少，同时任务完成速率有所提升。通过两种量表问卷以及用户主观调查的分析，发现用户对解决方案都表达了积极的看法，并强调了与远程专家支持、注释相关的功能以及发送照片、图表和其他多媒体内容对他们非常有价值。同时，本项工作得到了领域内专家和作业人员的认可，他们的建议将指导本文后续开展的工作。

作者简介

赵青，中国科学院计算机网络信息中心，高级工程师，中国计算机学会会员，硕士，主要研究方向：人机交互技术、大数据智能交互与混合现实。

单桂华，中国科学院计算机网络信息中心，研究员，博士，主要研究方向：大数据可视化与可视分析、智能交互。