卡内基梅隆大学研究人员开发的相机系统可以精确和详细地看到声音的振动。即使是功率最高、定向性最强的麦克风，在捕获音频时也无法消除附近的声音、环境噪声和声学影响。计算机科学学院机器人研究所（RI）开发的新型系统使用两个摄像头和一个激光来感测高速，低振幅的表面振动。这些振动可用于重建声音，在没有参考或麦克风的情况下捕获分离的音频。
“我们发明了一种看到声音的新方法。”RI照明与成像实验室（ILIM）的博士后研究员Mark Sheinin说。“这是一种新型的摄像系统，一种新的成像设备，能够看到肉眼看不见的东西。”
该团队成功完成了几次演示，展示了其系统在感知振动和声音重建质量方面的有效性。他们捕获了同时演奏的独立吉他和同时演奏不同音乐的单个扬声器的独立音频。他们分析了音叉的振动，并使用扬声器附近物体的振动来捕捉来自扬声器的声音。该演示向麻省理工学院研究人员先前所做的工作致敬，他们在2014年开发了首批可视麦克风之一。
CMU系统在过去使用计算机视觉捕获声音的尝试的基础上有了显著的改进。该团队的工作使用普通相机，其成本只是过去研究中使用的高速版本的一小部分，同时产生更高质量的记录。双摄像头系统可以捕捉运动中物体的振动，例如音乐家演奏吉他时吉他的振动，并同时感测来自多个点的单个声音。
“我们使光学麦克风更加实用和易用。”RI教授兼ILIM负责人Srinivasa Narasimhan说。“我们在降低成本的同时提高了质量。”
该系统的工作原理是分析使用卷帘快门和全局快门拍摄的图像的斑点图案的差异。算法计算两个视频流中斑点模式的差异，并将这些差异转换为振动以重建声音。
斑点图案是指相干光从粗糙表面反射后在空间中的行为方式。该团队通过将激光瞄准产生振动的物体表面来创建斑点图案，就像吉他的琴身一样。这种斑点图案随着表面振动而变化。卷帘快门通过快速扫描图像（通常从上到下）来捕获图像，通过将一行像素堆叠在另一行像素上来生成图像。全局快门可同时在单个实例中捕获所有图像。
与Sheinin和Narasimhan一起进行这项研究的是计算机科学博士生Dorian Chan和RI和计算机科学系助理教授Matthew O’Toole。
“这个系统推动了计算机视觉可以做到的界限。”O’Toole说。“这是一种捕获高速和微小振动的新机制，并提出了一个新的研究领域。”
计算机视觉领域的大多数工作都集中在训练系统上，以识别物体或在空间中跟踪它们——这些研究对于推进自动驾驶汽车等技术非常重要。这项工作使系统能够更好地观察到不可察觉的高频振动，这为计算机视觉开辟了新的应用。
该团队的双快门光学振动传感系统可以让音响工程师监控单个乐器的音乐，而不受乐团其余部分的干扰，以微调整体混音。制造商可以使用该系统来监控工厂车间中单个机器的振动，以发现需要维护的早期迹象。
“如果你的车开始发出奇怪的声音就是时候检测了。”Sheinin说。“想象下，工厂车间里到处都是机器。我们的系统允许您使用单个固定摄像头感应个体的振动，从而监控个体的状况。”
信息源于：techxplore
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
