触觉传感在机器人技术中起着至关重要的作用，它能帮助机器有效地了解环境并与之互动。然而，基于视觉的触觉传感器的现状带来了巨大挑战。传感器的形状、光照和表面标记各不相同，因此很难构建通用的解决方案。传统模型通常是专为某些任务或传感器开发和设计的，这使得这些解决方案在不同应用中的扩展效率低下。此外，获取力和滑移等关键属性的标记数据既耗时又耗费资源，进一步限制了触觉传感技术在广泛应用中的潜力。
Meta AI 发布 Sparsh：首个基于视觉的触觉传感通用编码器
为了应对这些挑战，Meta AI 推出了首个基于视觉的触觉传感通用编码器 Sparsh。Sparsh 以梵语 “touch ”命名，恰如其分地体现了从特定传感器模型向更灵活、可扩展方法的转变。Sparsh 利用自监督学习（SSL）的最新进展，创建了适用于各种基于视觉的触觉传感器的触摸表示。与依赖特定任务标签数据的早期方法不同，Sparsh 是利用从各种触觉传感器收集的超过 46 万张无标签触觉图像进行训练的。通过避免对标签的依赖，Sparsh 为传统触觉模型无法提供的应用打开了大门。
Sparsh 的技术细节和优势
Sparsh 建立在多种最先进的 SSL 模型之上，例如 DINO 和联合嵌入预测架构 (JEPA)，这些模型适用于触觉领域。这种方法使 Sparsh 能够泛化到各种类型的传感器，例如 DIGIT 和 GelSight，并在多个任务中实现高性能。在超过 460,000 张触觉图像上进行预训练的编码器系列充当主干，减轻了对手动标记数据的需求并实现了更高效的训练。Sparsh 框架包括 TacBench，这是一个基准测试，由六个以触摸为中心的任务组成，例如力估计、滑动检测、姿势估计、抓握稳定性、纺织品识别和灵巧操作。这些任务评估了 Sparsh 模型与传统传感器特定解决方案相比的表现，突出了显著的性能提升——平均 95%——同时仅使用其他模型所需的 33-50% 的标记数据。
Sparsh 在机器人和人工智能中的重要性
Sparsh 的意义重大，尤其是对于机器人而言，触觉感知在改善物理交互和灵活性方面发挥着至关重要的作用。通过克服需要标记数据的传统模型的局限性，Sparsh 为更高级的应用铺平了道路，包括手部操作和灵巧规划。评估表明，在基准场景中，Sparsh 的表现比端到端任务特定模型高出 95% 以上。这意味着配备 Sparsh 驱动的触觉传感器的机器人可以更好地了解其物理环境，即使标记数据最少。此外，Sparsh 已被证明在各种任务中都非常有效，包括滑倒检测（在测试模型中取得最高 F1 分数）和纺织品识别，为现实世界的机器人操作任务提供了强大的解决方案。
结论
Meta 推出 Sparsh 标志着通过 AI 推进物理智能的重要一步。通过发布这一系列通用触摸编码器，Meta 旨在帮助研究界为机器人和 AI 构建可扩展的解决方案。Sparsh 依靠自我监督学习，可以避开收集标记数据的昂贵而费力的过程，从而为创建复杂的触觉应用程序提供更有效的途径。它在 TacBench 基准测试中的出色表现表明，它能够跨任务和传感器进行泛化，这凸显了它的变革潜力。随着 Sparsh 得到更广泛的采用，我们可能会看到从工业机器人到家庭自动化等各个领域的进步，在这些领域，物理智能和触觉精度对于有效的性能至关重要。
GitHub：https://github.com/facebookresearch/sparsh
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/jishu/53558.html
