AI/AR 对患者来说是一种范式转变吗？

智能眼镜供应商越来越多地将 AR 设备作为改变商业和消费者客户模式的硬件景观来推广。

Meta、RealWear 和高通公司等领先的 AR 设备代表正在强调轻量级沉浸式硬件如何通过辅助现实视觉效果简化工作任务。

此外，由于 XR 培训、远程医疗等带来的新机遇，身临其境的医疗保健解决方案部分推动了行业的发展。

AR 解决方案能让医疗保健专业人员受益匪浅，而 XR 也有可能彻底改变病人的生活。

最近，澳大利亚悉尼科技大学（University of Technology Sydney）和悉尼大学（University of Sydney）的研究人员制造出了一款 “声学触摸 “耳机，这是一个具有重大革命意义的基准。

研究人员与当地初创公司ARIA Research共同创造了这款设备，利用AR/空间计算硬件帮助低视力者导航空间并与物体互动。

声学触摸 “设备通过空间跟踪摄像头检测用户所处的环境，然后向低视力用户发送信息音频反馈。

该研究部门引用世界卫生组织的数据指出，全球大约有 3900 万人失明，2.46 亿人视力低下–借助 AR/AI 解决方案，这一群体可以获得与周围世界互动的新机会。

该研究团队正致力于通过身临其境的解决方案来帮助这一庞大的群体完成日常任务。

通常情况下，智能眼镜是作为一种解决方案出现的，它可以通过提供视觉沉浸式信息面板等方式帮助完成烹饪或导航等任务。这项基于 Sydeny 的研究证明，随着 XR 在日常工作和个人生活中越来越普及，该技术可以继续引领无障碍环境，让广大用户从中受益。

一种新的互动方式

得益于周围的 3D 沉浸式环境，空间计算允许用户以新的方式与数字内容交互。此外，通过叠加在用户环境上的 AR 视觉效果，空间计算还改变了用户与现实世界的交互方式。

大学研究人员正在利用空间计算和技术扫描用户环境的方式来开发“声学触摸”智能眼镜。

“声学触摸”使用智能眼镜的外置摄像头来检测现实世界的环境和物体数据，并将其作为音频反馈转发，以帮助低视力人士进行导航。

悉尼科技大学脑机接口研究领域的全球领导者 Chin-Teng Lin补充道：

智能眼镜通常使用计算机视觉和其他感官信息将佩戴者的周围环境转化为计算机合成的语音。然而，声学触摸技术可以使物体发声，在物体进入设备视野时创造出独特的声音表现。例如，树叶沙沙作响的声音可能代表植物，或者嗡嗡声可能代表手机。

针对弱视者的无障碍 AR 取得了积极成果

悉尼研究人员正在开发该设备，同时研究声学触摸技术对弱视人群的有效性。

悉尼科技大学的 Howe Zhu 博士最近在 PLOS ONE 期刊上发表了一篇研究论文，该论文研究了 14 名参与者（其中一些参与者患有弱视）的声学触摸技术的结果。

在研究过程中，该大学的研究人员在七名失明或视力不佳的人身上测试了他们的声学触摸耳机。与此同时，由七名蒙眼视力正常的人组成的对照组也参与其中。

Howe Zhu 博士得出的结论是，声学触摸设备利用设备的空间信息传输到音频助理管道，帮助七名失明或视力不佳的人识别并伸手拿取物体。

研究人员还发现，识别和寻找物体的过程并没有给七名失明或视力低下的人带来负面的精神压力。

Howe Zhu 博士解释说：

听觉反馈使用户能够非常准确地识别并伸手拿取物体。我们的研究结果表明，声学触摸有潜力为视障群体提供一种可穿戴且有效的感官增强方法。

研究人员指出，辅助现实技术及其集成技术可以帮助低视力个体通过日常辅助提高生活质量。

Nreal 和微软利用 AR 为盲童提供支持

XR 仍处于新兴阶段，医疗保健研究还不成熟。不过，其好处正在迅速显现。

医疗保健和医学在 XR 领域迅速崛起，以提高病人和被护理者的生活质量标准。

不过，随着研究的不断深入，积极或消极的结果很快就会出现。不过，为了支持 Sydey 最近的积极发展，去年，微软和智能眼镜供应商 Xreal（当时是 Nreal）合作开发了一个 AR/辅助现实解决方案，以改善盲童的社交互动。

与悉尼的声学触摸设备一样，微软和 Xreal 还创建了一项研究技术，通过利用空间计算和音频反馈来帮助弱视儿童定位和识别他人。

2022 年的合作成果是 PeopleLens，这是一种头戴式设备 (HMD)，它位于佩戴者的眼睛上方，利用空间检测来定位房间中的人，然后提供音频提示，当孩子看向某人时，可以大声读出某人的名字。他们。

HMD 使用空间音频来定位空间中的个人，以创建儿童周围环境的心理地图，微软将其称为“人物地图”。

Xreal当时提供了Light AR智能眼镜。该产品利用数字视线来检测个人的位置并将其转发给用户，使盲童或弱视儿童能够了解群体的相对位置和距离。

PeopleLens 也处于领先地位，利用人工智能平台实时跟踪佩戴者的周围环境。

微软研究人员正在使用四种最先进的计算机视觉算法来了解弱视儿童的周围环境，其中人工智能平台可以定位、识别、跟踪和捕捉附近同龄人的视线。

人工智能平台还根据记录的真实世界数据将数字世界地图拼接在一起，其中耳机通过空间音频通知将真实世界数据转换给佩戴者以创建人物地图。

微软根据这项研究取得了积极的成果。此后，作为布里斯托大学领导的多阶段研究的一部分，该公司在英国招募了 5 岁至 11 岁的儿童，以增强该产品的性能。

AR：人工智能的眼睛和耳朵

AR 智能眼镜的研究旨在帮助低视力人士，而 AR 与 AI 结合在一起，可以帮助广泛的最终用户完成日常任务。

上个月，在2023 年 Snapdragon 峰会上，Meta 登上高通的舞台，讨论了 XR 与日常生活的持续融合。

Meta 硬件合作伙伴关系主管 Jenniffer Hom花时间介绍了与雷朋 (Ray-Ban) 的合作关系，从而推动了 AR 智能眼镜产品组合的持续开发。

雷朋智能眼镜旨在通过提供协助日常任务的人工智能助手来改善日常生活。

通过外置摄像头使用 AR 检测，该设备可以有机地响应用户的周围环境，就像 Syndey 声学触摸设备等现代设备一样。

詹妮弗·霍姆指出：

智能眼镜将成为虚拟人工智能助手的眼睛和耳朵，让人们以最人性化的方式体验人工智能：用我们的感官。指导您准备下一顿家庭聚餐，帮助年长的父母阅读带有小字的菜单，或者通过实时翻译两个陌生人的对话来消除他们之间的障碍。我非常高兴地宣布，我们有多个 OEM 合作伙伴正在开发基于 Snapdragon AR1 的智能眼镜。这些眼镜不仅具有摄像头、音频和人工智能功能，而且还具有单目或双眼显示屏。我们预计明年将看到这些客户推出的这些设计。

此外，Hom 还表示，“很快，你就可以向你的 Meta AI 提出问题，人工智能将通过你的智能眼镜看到和听到的背景来回答你。”

另一方面，微软也有类似的看法。

今年8 月，微软业务应用程序和平台公司副总裁 Lili Cheng撰写了《一线员工 MR 成功的关键》，强调了 AI 如何成为 XR 工作场所成功背后的核心技术。

智能眼镜和易于使用的 XR 解决方案提供了适合一线工作的沉浸式工具集。此外，由于外形更轻，智能眼镜和辅助现实设备凭借免提数据可视化在维护和其他一线角色中获得了巨大的优势。

Cheng 解释说，在工业一线环境中，有价值的见解“仅限于个人、团体或部门”，但是 AR/AI 有能力“改变这种动态”。

Cheng 还补充道：