最近很多公司都在谈论他们通常称之为元宇宙的东西。对于什么是元宇宙没有一个明确的定义，但类似这样的东西听起来已经很接近了：”一个高度连接的环境，有很多互动的玩家和复杂的模拟，创造丰富的体验，比游戏更多，但比现实世界更少”
对我来说，理解它的最简单方法是思考类似于《头号玩家》（Ready Player One）电影中的世界，用户可以利用虚拟现实设备和传感器在数字环境中相互交流。
在元宇宙这方面Facebook下了很大的赌注，他们从一个 “社交公司转向元宇宙公司”。也有许多游戏公司在朝这个方向努力，或至少在谈论它。 在这篇文章中，我们可以找到围绕这一趋势的市场的良好代表。
考虑到这一背景，我开始思考实时通信（RTC）在这一生态系统中的作用，或者更准确地说，我们需要对现有的RTC解决方案进行哪些差异或定制，以提供这一未来的元宇宙愿景所需的功能和质量。
为了试图确定问题的框架，我开始思考这个象限的两种通信类型（面对面的通信和与远程人员的通信）和两种可能发生通信的世界（现实世界和虚拟世界）。 鉴于这样的分类，更有趣的或者至少是元宇宙的特定的是虚拟世界中的面对面的交流。
高质量的空间音频
一个明显的要求是使用高质量的空间音频。 为了在元宇宙中获得身临其境的体验，音频质量必须非常清晰，人们的声音必须来自他们在虚拟空间中应该在的地方，并且音量要与虚拟世界中用户化身之间的距离造成的衰减相对应。
这方面所需的所有技术都已经到位了。有许多应用程序已经在做类似的事情，你可以看到，从简单的应用程序如hubbub到花哨的产品如谷歌Starline。 关于空间音频的一些介绍可以在杜比的这个有趣的演示中找到： Improving intelligibility with spatial audio
音频效果
来自参与者的声音也需要适应你在虚拟空间中所处的环境，以便听起来很真实。 例如，如果你在一个山洞里，混响和回声需要与你在一个开放空间里不同。
此外，如果你能在元宇宙里冒充或采取不同的形式（机器人、动物……），如果这些定制也适用于你的声音，以改变你的外表，或只是在你疲惫或沙哑时 “改善 “你的声音，那将是很酷的。
对于前者（适应空间和条件），这些效果可以在接收方应用，而后者（声音调整）可能在发送方应用。
基于虚拟位置的大规模路由基础设施
当你在元宇宙中时，你是在与你周围的人交流，而不是或不仅是与预定义房间里的人交流。 这意味着音频路由的架构有以下的特点：
- 路由必须基于位置而不是房间标识符。
- 路由必须能够扩展到非常多的参与者（想象一下有人在音乐会场上唱歌/喊话，或者成千上万的人在该场地上同时说话）。
为了满足这些要求，我们需要一个架构，参与者连接到靠近他们物理位置的语音服务器，以获得尽可能低的延迟，但音频路由是基于虚拟位置的。 因此，你的服务器将订阅与你的虚拟位置（元宇宙中的地理位置）接近的用户的音频，并在接收这些服务器的音频时，根据音频源和目的地之间的距离进行过滤（甚至是混合）。
除了距离，还有其他参数（比如中间是否有墙）需要考虑，以决定什么是与用户最相关的音频流，所以语音服务器可能需要从三维世界服务器获得更多信息，而不仅仅是位置。
考虑到与3D环境的紧密耦合，以及已经要求的低延迟覆盖，我们可能并不真的需要特定的RTC服务器，而只是在现有的游戏服务器上增加一些新的功能，以正确地路由和过滤音频数据包，以及其他3D互动。
视频是次要的，取而代之的是面部特征/表情的传输
我的期望是，传统的视频传输将变得不那么相关，甚至是边缘化。 它将主要被发送方的非常详细的人脸特征提取和接收方的非常逼真的3D人脸渲染所取代。 类似于高质量的三维动画，在某些使用情况下甚至是逼真的。
这方面的技术是存在的，你可以看到NVIDIA的视频会议演示，以及Epic产品中惊人的数字人类。
这是否也适用于语音，以便我们不需要发送我们的语音，而只需要发送其 “功能”？ 我们已经看到一些编解码器，如Lira，试图减少带宽消耗，也许这就是未来的音频编解码器的样子，但我不是专家，对此没有明确的意见。
任意的数据通道已经存在
除了音频和视频之外，RTC的第三个维度有时是数据（例如在WebRTC的情况下，这是由DataChannels提供的）。 根据定义，在元宇宙里，它需要有非常低的延迟和高规模的消息覆盖来分发和同步世界的状态，所以我不期望在RTC层中有任何对数据能力的需求。
其他功能
一些标准的要求，如无障碍的字幕，甚至录音也可能适用（希望我们不会在一个所有东西都被记录的元世界中结束），但看起来它们并没有与今天不同的挑战。
总结
很明显，元宇宙的愿景正在以某种方式到来，而且看起来其中一个关键的组成部分将是实时通信，特别是语音通信支持。 我们目前的RTC解决方案需要发展并达到新的水平，特别是在音频处理（效果和适应3D环境）和大规模架构方面，而视频通信有可能在这些元宇宙用例中不那么重要。
作者：Gustavo Garcia
原文：https://www.rtcbits.com/2021/09/real-time-communications-metaverse.html
本文为原创稿件，版权归作者所有，如需转载，请注明出处：https://www.nxrte.com/jishu/yinshipin/26582.html
