增强现实 (AR) 和虚拟现实 (VR) 旨在人工重现导航特定环境的体验。近年来，视频游戏和娱乐公司一直在可以通过这些技术，制作与访问这些越来越身临其境的内容。
一些计算工具可以帮助创建VR或AR内容，让工程师能够制作真实世界环境的逼真模型。这些工具包括所谓的环境声学模型，旨在可靠地表示声音如何通过不同室内环境的物理特性进行转换。
德克萨斯大学奥斯汀分校的研究人员最近推出了ActiveRIR，这是一种有效评估和建模环境声学的新方法。这种方法在一篇发布在预印本服务器arXiv上的论文中进行了介绍，利用强化学习仅依靠少量声学样本即可生成高质量的声学模型。
该论文的共同作者Arjun Somayazulu和Sagnik Majumder告诉Tech Xplore：“我们对环境声学的有效评估这个话题已经感兴趣一段时间了。”
“在这种情况下，‘效率’是指在新的3D环境中使用一组有限的声学测量来估计整个场景的声学效果。估计场景声学效果可以促进AR/VR应用，人们希望在这些应用中为3D场景渲染空间上合适的声音。”
传统的声学建模方法只有在分析从目标环境中收集的大量音频样本后才能做出可靠的估计。这使得它们不切实际，因为它们会耗尽VR/AR设备的电池，并且需要很长时间才能进行估计。
Somayazulu和Majumder解释说：“出于这个动机，我们首先提出了对环境声学进行少样本视听学习的想法，其目标是使用来自场景的极少量视听样本来预测场景声学。”
“然而，这项工作和其他同时进行的工作都存在局限性，因为它随机选择场景中的几个点来收集样本，这可能不是最优的，因为就捕捉整体场景声学而言，随机选择的点可能不是最佳的样本集。
“此外，他们假设事先了解环境平面图，而这对于以前未见过的环境可能无法获得，并且忽略了物理覆盖所有随机选择的点所需的时间和精力，这使得它与现实世界的应用有点脱节。”
作为他们最近研究的一部分，Somayazulu和Majumder着手解决他们之前提出的环境声学建模方法的局限性，使用一项称为主动声学采样的新任务。这项任务需要使用一个在未知的3D环境中移动的实体代理，同时主动决定在哪里收集最有助于估计环境声学的视听样本。
Somayazulu和Majumder表示：“代理在时间预算和样本预算下运行。时间预算确保代理高效导航，而样本预算确保代理不会收集无法提供有关环境声学的重要信息的样本。这两个预算的结合通过限制用于该任务的时间和能量来提高声学估计任务的效率。”
本研究团队提出的ActiveRIR模型由两个相辅相成的主要组件组成，第一是视听采样策略，第二是声学估计模型。
Somayazulu和Majumder表示：“采样策略采用第一人称视角拍摄环境快照，并做出两个重要决定：a）如何在场景中移动，b）在哪里收集样本以估计场景声学效果。”
“声学估计模型采用这些样本，并不断改进对整体场景声学的估计。这两个组成部分具有共生关系。”
ActiveRIR的两个组件紧密协作，最终生成逼真的环境声学模型。采样策略与声学估算器共享最具信息量的视听样本，使其能够可靠地估算给定环境的声学。反过来，声学估算器帮助采样策略将实体代理引导到收集样本对声学预测最有利的地方。
研究人员通过一系列测试评估了他们的方法，并将其性能与其他声学评估技术进行了比较。他们发现，他们的采样策略比许多现有的运动规划和声学样本收集方法（包括学习在场景中的新位置收集样本的最先进的技术）表现得更好。
Somayazulu和Majumder表示：“我们的框架是模块化的，具有足够的通用性，可以支持多种不同的声学估计模型，这表明它可以用于提高您选择的任何现有现成模型的采样效率，同时尽量减少对其声学估计质量的影响。”
该研究团队提出的新方法很快就可以在更广泛的环境中进行测试，使用不同的代理来收集视听样本。最终，它可以用于制作更多能够真实再现特定3D场景声音的VR和AR内容。
Somayazulu和Majumder补充道：“到目前为止，我们已经在高度逼真的室内场景模拟平台上测试了我们的模型。然而，展望未来，通过评估ActiveRIR在真实室内空间中对物理机器人的表现，探索弥合模拟与现实世界之间的差距将会很有趣。”
原文链接：
https://techxplore.com/news/2024-05-approach-efficiently-acoustics-environment.html
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
