基于虚拟现实的自闭症筛查和分类系统

自闭症是一种以沟通和社交互动的差异为特征的疾病，但也存在各自的行为。尤其是自闭症患者，可能会在非语言领域表现出这些差异。例如，在互动或对话期间，他们可能不会建立眼神交流。由于这些差异，许多自闭症患者可能在日常生活中挣扎，有时会导致抑郁或焦虑等。因此，早期诊断可能对患者有益。但目前这个过程并不总是可靠的，因为它使用主观测量，而且非常耗时。因此，这可能会导致许多自闭症患者在成年后仍未被诊断出来。

任务目标

我们的目标是开发自动筛查自闭症非语言行为的工具，以提供潜在的帮助并减少诊断过程中漫长的等待时间。

在之前的一项研究中，作者指示参与者去执行他们必须去某个地方的任务，而眼睛注视被抛开，他们在他们的方法中使用机器学习，准确率为 74%。在另一项研究中，此案例定义了感兴趣的条款并分析了参与者与您的办公桌对话的视频记录。他们可以获得高达 75.9% 的分类准确率。最后，一些研究表明，在记录注视数据时，两名参与者之间的社交互动是否更多地注视着背景而不是眼睛。他们达到了 92.9% 的准确率。

因此，虽然以前的方法已经表明这种技术是可见的。我们想创建一个筛选工具，通过自动程序跟随单个用户评估。

场景设计

我们设计了一个虚拟现实环境，其中包括参与者之间在完全虚拟代理中的交互。我们还决定在虚拟超市中实现这一点。

对于许多自闭症患者来说，购物是一项具有挑战性的日常生活技能。因此，我们使用男性和女性虚拟化身来相应且相似地代表模拟中的参与者。我们使用虚拟角色来表示无效代理，如果您需要更多详细信息，请查看论文。因此，在旨在熟悉控制器但又确保用户有身临其境感的教程之后，参与者被要求购买购物清单上显示的一些产品作为主要任务。你现在可以看到了。是的，所以他们通过指出产品并按下触发按钮来做到这一点。选择一个项目之后。代理商会制造产品，现在会讲一个关于该产品的小故事。如果参与者选择了不在列表中的项目，代理会要求重试。一旦清单的最终产品交付，代理就会要求付款。

数据采集和记录

对于数据采集和记录，我们亲自定义了眼睛、嘴巴、头部和所有其他区域的兴趣区域以及环境背景，然后我们收集了参与者的非语言行为。这不仅是通过眼动追踪的视线，还包括身体运动数据，包括头和手的位置和旋转。我们的系统旨在根据购物场景中的社交设置收集日志，并将对代理人、购物者卖家谈论问题的每个独白完整记录。

作者将自闭症患者简称为ASD，典型对照组简称为TD。他们总共收集了 28 名参与者的数据。为了分析，他们在分组时使用了相同数量的ASD和TD。为了分析收集的数据以获得更适用于机器学习分类方法的平衡组比较，六名 TD 参与者（3 名女性，3 名男性，年龄 M = 23.16，SD = 2.0）根据年龄与 ASD 参与者进行个案匹配，智商和性别。结果表明，参与者可以根据性别和智商得分进行匹配。对于年龄，Levene 检验显着 (p < .05)，表明违反了等方差假设。此外，还进行了一项基于将 6 名 ASD 参与者与 6 名随机选择的 TD 参与者相匹配的单独分析。结果显示，随机选择的性别和智商分数在两组之间匹配，但年龄不匹配。

上图中展示了结果，可以发现在不同人群中，被测试者观察区域时间的区别非常显著。

分类方案

作者使用了 LSTM 作为分类网络，并用多种不同的方法，如 MLP、逻辑回归和支持向量机进行评估。

通过不同的方法，我们可以达到我们的（有限）样品的准确度高达 100%。我们的结果表明，在虚拟代理的眼睛区域和杂货店背景区域的平均注视时间存在很大差异，可以在自闭症参与者和 TD 个体之间观察到。与之前显示嘴部区域聚焦时间差异的研究相反，我们没有观察到这项措施的显着差异。一种解释可能是，在关系中，ASD 参与者的整体焦点主要是背景区域，因此头部和头部区域通常根本没有受到太多关注，因为有足够的上下文线索可以完全避开该区域。

论文名称：A Virtual Reality Based System for the Screening and Classification of Autism
论文作者：Marta Robles, Negar Namdarian, Julia Otto, Evelyn Wassiljew, Nassir Navab, Christine M. Falter-Wagner, Daniel Roth
论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9714809