扩展大型群组通话的音频和视频

本文整理了YUN ZHANG与BIN LIU在RTC@SCALE 2023关于扩展大型群组通话的报告，视频主要由研究动机、扩展大型群组通话的音频、扩展大型群组通话的视频、未来工作等部分组成。

来源：RTC@SCALE 2023
主讲人：YUN ZHANG，BIN LIU
内容整理：高弈杰

研究动机

RTC已经逐渐成为一个重要的工具，用于实现人与人之间的联系。在近几年，尤其是在疫情发生后，在远程办公和线上合作等场合中，支持大型群组的通话变得越来越重要。在过去几年，研究更倾向于提升一对一和小型群体通话的质量，而支持大型群体的通话则是呈现出一系列的棘手问题，如处理大量的音频和视频数据包，以及保证通话对于所有的参与者都是可以进行的，无论他们的设备和网络状况如何。在本次报告中，YUN ZHANG和BI LIU针对其中的一些挑战进行了探索，并给出了相应的解决方法。

扩展大型群组通话的音频

一方面，扩展大型群组通话的音频的挑战在于不是所有的人都是静音状态，尤其是由于视频通话的社交性质。每个人都可以接触静音并发出声音，这就会造成巨大的音频流量峰值。另一方面，即便所有人都处于静音状态，其中的一个接收者仍会接收大量的无声音频数据包。

为了解决这些问题，报告中提出主发言人检测与音频限制相结合的方法，如图所示。

在这个系统中，Dominant Speaker是一个运行在server端的集中式的模块。输入部分是所有参与者的音频流，输出部分经过audio capping的前向计算逻辑只会输送N个最活跃的speaker，而会舍弃余下的。

具体来讲，输送端会首先向主发言人发送带有音频电平的音频数据包，接着主发言人进行了一个集中式的计算，并将已排序的发言者列表传回媒体串联。接下来媒体串联会运行audio capping逻辑，将N个最活跃的流向前输送，并舍弃余下的。

根据报告，这种做法会带来下行带宽使用的良好改善，并缓解了server端到receiver端的堵塞，进而减小了丢包率，提升了视频和音频的质量。

扩展大型群组通话的视频

目前大型群组通话的视频的挑战主要有以下几方面：

1. 最低共同标准。一个参与者糟糕的网络条件将会成为整个通话的瓶颈，并会拉低整体的通话体验。
2. 视频震荡。为了最大化带宽的使用，BWA会考虑所有人的网络情况，任何一个参与者的网络波动都会显著影响全局的通话质量。
3. 并未以用户体验为导向。下行的带宽是均匀分配的，会为缩略图流和固定流提供相似的质量。
4. 低带宽的拥塞。每一个参与者都需要一个最小的下行带宽去接收所有订阅的流。

通过simucast，可以在不同的比特率下提供具有不同质量的多个空间层，以满足不同用户的需求或适应不同的网络条件。通过同步播放，可以在不同的比特率下提供具有不同质量的多个视频流，以满足不同用户的需求或适应不同的网络条件。这样的技术在流媒体传输和实时通信中非常有用。

video pause是一种能用来处理极低带宽的策略，它降低了对于不那么重要的流的订阅的数量。它可以优先保证更重要流的稳定性，而在必要时牺牲较不重要的流的稳定性，这样能够更有效地利用网络资源，提供更好的用户体验。

为了使前面介绍的技术能够正常使用，报告中引入了PE-BWA模块，首先独立决定每个上行链路的视频层及其目标比特率，这样的处理方式可以根据各个上行链路的具体情况（如带宽、网络稳定性等），来最优化视频的质量和流畅度。接着为不同的网络条件和使用场景（如缩略图、网格视图、固定用户）分配设计好的恒定比特率阶梯，以确保在各种条件下都能提供良好的视频播放体验。最后使用户的体验稳定并解决最小公分母问题。

Stream Subsciption Manager是一个针对每个参与者的智能流订阅逻辑。在处理流媒体时，会考虑可用的视频流、下行网络的状况（例如带宽、延迟等）、以及用户视窗的信息（例如用户查看的视图大小、视图的位置等），以做出下行（即从服务器到客户端的）订阅决策，这种决策过程可以确保用户得到最优的视频播放体验。它会进行基于优先级的订阅日志，系统会根据这些优先级来决定如何处理或存储订阅日志：音频>固定用户/主要发言人>其他视频。它会确保稳定的下行订阅决策。避免仅仅追求最大化带宽使用。这种考虑是因为如果仅仅追求最大化带宽使用，可能会导致网络拥塞，影响用户体验。稳定的下行订阅决策考虑了网络状况、用户需求等多方面因素，以达到最佳的效果。

有了这些技术的加持，视频在质量和稳定性上都得到了巨大的改善。

未来工作

未来关于扩展大型群组通话的工作有以下几方面：

1. 音频的动态限制。
2. 针对不同视窗的动态视频层结构。
3. 更智能的流订阅管理器。