Apple Vision Pro如何做到“声”临其境？

2023年6月6日的WWDC23大会，苹果官方推出了多年筹划的MR产品：Apple Vision Pro，并将于2024上半年在美国上市，随后扩展到更多市场。首先介绍三个类似但截然不同的技术，他们分别是VR、AR以及MR。虚拟现实（Virtual Reality，VR）的概念大家并不陌生，VR是一种创建和体验虚拟世界的计算机仿真系统，增强现实（Augmented Reality，AR），AR是促使真实世界信息和虚拟世界内容综合在一起的技术，而我们将要提到的混合现实（Mixed Reality，MR）是一种能够在虚拟和现实之间自由切换的技术。这三个技术我们统称为扩展现实（Extended Reality，XR），而Apple Vision Pro则属于MR产品。

MR技术既可以虚拟一个现实，也能在物理现实中叠加虚拟物品，被视为一种能带来人机交互革命的技术。MR技术的实现涉及到各种技术的叠加，就Apple Vision Pro来说，包含高像素的micro-OLED显示面板提供细腻的视觉反馈；开放式音频设计与空间音频技术提供身临其境的听觉体验；双眼代替光标负责定位，手指负责确定，语音负责输入的方式提供了简单又精妙的人机交互体验，另外相关的VisionOs操作系统、模块化佩戴方式、Apple M1芯片与Apple R1的双芯片组合都给Apple Vision Pro的使用体验带来了较大的提升。

我们聚焦于Apple Vision Pro的音频系统，在Apple Vision Pro的宣传片中，我们可以看到用户通过头带中的放置在耳朵上方颞部区域的内置换能器接收声音，该换能器区域被称为双“音频仓”，每只耳朵旁边的两个双驱动音箱，在提供个性化音效的同时，还可以让用户听到周围的声音，利用音频射线追踪技术使得听到的声音仿佛来自周围环境，并且Vision Pro还可以同时分析房间的声学特性，使得声音与空间相匹配。由于该换能器位于头带的外侧，不会对用户的头部施加压力，并且没有使用骨传导或者触觉换能器等技术，而是利用双驱动音箱将声音投射到耳朵里面，因此音频质量取决于耳朵上方的双驱动音箱音频系统，此外在Apple Vision Pro中具有6个麦克风，并且采用了开放式的扬声器方案。

在已有的Airpods Pro设备中，Apple已经通过在数千人不同耳朵轮廓的基础上建立了一个通用头相关传递函数（Head-Related Transfer Function, HRTF），来打造适用性较广的空间音频能力，Vision Pro在引入该技术的基础上，进一步融合了声音在房间内的传播特性，来达到虚实融合的目的，该技术被称为“音频射线追踪技术”。并且在使用之前通过iphone原生感相机扫描耳朵轮廓，来为Vision Pro体验提供更适合个人的空间音频效果。

“音频射线追踪技术”作为Vision Pro中主打的音频算法，它是一种空间音频与声境融合的技术，例如同一段音频，在一个宽敞的客厅中或者在卧室中听到的音效可能也是不同的，而Apple已经在FaceTime通话中对系统做了优化，使得对方在使用FaceTime通话时仿佛在你的房间一样，这便是声境融合的技术。然而在Apple Vision Pro这种MR设备中，实现用户身临其境的感觉需要多种声学技术的叠加，由于扬声器位于耳朵上方区域，并未入耳，因此空间音频系统通过使用定向传声技术将声音传入耳朵，并结合Apple的头部自动跟踪技术，让用户具有声音从四面八方传来的沉浸感。并且根据Apple官方所说，可以分析用户周围的声学特性，因此Vision Pro可能也搭载了HomePod的声学测算技术，利用Vision Pro的6个麦克风向周围发射声波或超声波，通过接收返回的声波来感知设备所处空间中的位置，并进一步分析音频的变化分析声场信息，从而测算用户周围声场。依据Vision Pro的硬件配置，我们可以猜想其他声境融合的实现方式，例如Vision Pro也可以通过摄像头的激光雷达扫描房间场景信息，根据光线的反射情况辨别物体的光滑程度，进而提供渲染参数，获得用户周围声场信息，从而给用户身临其境的听觉体验。

作为Apple推出的一款革命性产品，虽然还没有上市，但就苹果官方以及各个博主的体验来看，它让许多科幻片中的场景变成了现实，不同于目前存在的XR类产品，Vision Pro独特的交互方式和各项优异的性能体验，引起了科技行业的广泛关注，但是Vision Pro究竟能否成为一代里程碑式的产品，还得拭目以待。

参考文献：

https://www.apple.com/apple-vision-pro

https://developer.apple.com/videos/play/wwdc2023/10271