RTC @SCALE | 实时通信与智能设备的融合

在数字时代，实时通信正日益影响着我们的生活和工作方式。微软 Teams 的集团首席产品经理 Sandhya Rao 在视频中分享关于实时通信与连接设备的重要议题：实时通信在各种连接设备上的潜力。该视频深入探讨新兴形态设备如何推动实时通信革命，并介绍如何在不同领域应用人工智能，以实现更强大、便捷的通信体验。

题目：TOP CONSIDERATIONS FOR INTEGRATING RTC WITH ANDROID APPLIANCES
主讲人：Sandhya Rao
来源：RTC @SCALE 2023
视频地址：https://www.youtube.com/watch?v=LicEIcjmchg
内容整理：刘潮磊

引言

实时通讯在今天仍然存在着挑战。例如，在 WiFi 覆盖不佳的地区，实时通讯将难以实现。另外，实时通讯将在未来几年内延伸到许多连接设备中，这将是一个不断增长的趋势；同时，借助人工智能的力量，实时通讯将得到加速和改进。

未来几年内，持续改善实时通讯将至关重要。这样，无论身在何处，都能够与他人有效地连接，提高工作效率。

机会和趋势

我们知道，实时通讯是一个重要的行业，并且还在不断增长。到2030年，这将是一个价值约3,500亿美元的行业。单就对于其中的视频会议（这也就是我们在微软Teams中关注的领域），到2030年，其市值将达到160亿美元。最近我看到的一个有趣的统计数据是，有多少人将去上班，而有多少人将远程工作。最近的一项 Gallup 民意调查显示，未来八成的人将是混合型或远程工作。这是人们对工作和相互连接思考的一个重大转变，这使得实时通讯变得更加重要，因为您并不总是在同一个地方。

当我们考虑这些统计数据时，这些数据主要关注企业世界和信息工作者。但是当我们关注连接设备领域时，这个机会会更加巨大。如果我们考虑到到2030年，市场上将有约300亿个连接设备，这将是一个价值6.2万亿美元的机会。我确实看到了实时通讯注入到这些不同设备中，可以真正改善用户体验，开辟新的场景，共同解决问题。

不同形态设备的实际应用

接下来分享一些使用案例。

上图看起来像是一个放在桌子上的电话，但实际上它是一台安卓设备，上面运行着Microsoft Teams。对于像接待员、律师或销售人员这样每天都在进行通话的人来说，这个设备非常重要，因为他们需要一台性能优越的设备，可以拿起话筒，进行私密通话，拨号键盘，快速加入通话，快速浏览并找到需要转接的号码。这就是这个设备提供的功能。当我们在手机或电脑上使用 Microsoft Teams 时，您仍然需要打开应用程序，找到拨号盘，进行软键点击，有时这样的方式不太理想。

另一个使用案例是陪伴设备。您可能会使用笔记本电脑或台式机，但同时，您可能希望在旁边有一些辅助设备帮助您，无论是语音助手，还是另一个设备上有您的日历，或者运行一些其他应用程序。在这种情况下，我们认为陪伴设备可能会非常有帮助，您可以使用该设备进行通话和会议，而将台式设备用于其他应用程序，无论是创建幻灯片、设计还是其他程序。

还有一种情况是团队展示设备。在与他人协作的白板或某种协作工具上，您可能需要一个更大的画布，也许您想要一个24英寸或27英寸的画布，可以写字并更无缝地协作，同时在背景中进行实时通讯。上图是一个团队展示设备，我们在这个更大的外形尺寸上提供了这种功能，它仍然可以放在您的桌子上。我自己的桌子上就有这个设备，而且我经常使用它。

还有一种始终处于开机状态的设备，对我来说非常重要，特别是在早上参加会议时。当我到我的工位时，也许我的笔记本电脑还没有启动，或者需要时间登录。但是这个始终开机的设备会显示我的会议，显示哪一个会议最重要。我只需要点击按钮，就可以迅速加入会议，保证我不会迟到。而且，我仍然可以在另一边登录我的笔记本电脑，或者做一些其他事情。

最后，就是共享空间设备。通过共享空间设备，我们有机会与办公室里的人进行协作。现在，有很多人都在远程工作。那么，如何将办公室的人与远程工作的人连接起来呢？一种选择是大家都围绕着一个笔记本电脑，尝试让办公室的所有人与远程的同伴联系在一起。但更好的方法是通过工作中的共享设备来实现。您不需要共享任何个人信息，只需走到设备旁，就能加入通话和会议开始协作。

设备整合的关键考虑因素

当我们在这些不同的连接设备上进行工作时，有很多需要考虑的因素，我想分享三个主要的关键因素，这些因素对于整合实时通讯与连接设备至关重要。

首先，了解用户体验。其次，了解您正在使用的硬件和操作系统，以及它们的能力和限制，比如：它们是否能够真正满足您的用户体验需求？最后，真正深入思考您的维护和支持基础设施以及平台，以便在整个设备的生命周期内能够确保维护和支持。

在用户体验方面，应该仔细考虑您要解决的特定案例，以及您需要解决的问题或需要考虑的人群。

当您开发时，要避免瑞士军刀式的解决方案（那就是手机或电脑提供的方案）。您在连接设备领域构建的内容很可能不会取代手机或电脑体验。您真正需要考虑的是，您的连接设备是如何提供一些桌面或移动体验无法提供的东西的。

最后，一旦确定了案例和您想要构建的解决方案类型，务必仔细思考人们在设备上要执行的具体工作，并确保对应的工具非常容易访问和使用。无论是接近设备并且通过触摸加入会议，还是迅速拿起话筒拨号。这些都是需要仔细考虑的点。

在硬件和操作系统方面，我们需要考虑许多因素，每个方面都会涉及质量与成本的权衡。而且，它与您正在市场上推广的案例有关。

例如对于手机而言，假设音频是最重要的，那么即便视频功能不太好，或者根本没有视频摄像头，音频也必须表现出色，而且芯片组也必须能够处理相关内容。

除此之外，了解硬件资源和能力也非常重要，当您开发连接设备解决方案时，需要考虑到您正在上面设置的功能，因为每个功能都会占用CPU或GPU，您甚至需要了解哪些功能需要GPU而不是CPU，以及了解它将如何影响整体设备的性能。

最后，也是非常重要的一点，但有时人们会忘记考虑，那就是您使用的硬件和操作系统的生命周期是多久？今天，我们可能在两年内会换一部手机。但是对于一些其他设备来说情况并非如此。您不会在两年内更换冰箱或汽车。因此，您需要仔细考虑使用的硬件的生命周期是多长，操作系统的生命周期是多长，需要确保它状态保持完好，并且能够处理基于它们设置的功能，有时候操作系统的生命周期不仅仅是两年，也许是五年，也许是七年。

最后，在维护和支持方面，也有很多需要考虑的因素，这些因素涉及到系统的性能和可靠性。

您需要设置后备机制，以便在某些带宽较低或照明较低的地方使用设备时，尽可能低地影响您要提供的体验。另外，还可以监控这些设备，了解何时出现问题。以及您是否有远程访问和诊断这些情况的方法，以便提供更好的服务。此外，仔细深入思考设备安全性也很重要。您设置的设备上是否放置了安全应用程序或协议？除此之外，还需要考虑别人可能在未经允许的情况下接管您的设备的各种形式，以便更好地杜绝。

最后，可扩展性方面。应该要确保有良好的平台来部署和测试新功能，还应该要能够确定当每个新功能出现时，它会如何影响性能，并且它能不能得到持续监控。

人工智能赋能实时通信

在连接设备领域还有另一种趋势，即：将人工智能融入所有这些设备中。

我认为最重要的是：基于AI技术，我们需要扩展我们对实时通讯的理解。传统上，实时通讯主要关注单一的音频或视频流，而现在，当我们考虑到人工智能以及连接设备的能力和案例时，我们需要开始考虑多流的音频、视频和数据，以便远程用户能够获得更好的体验。

例如，上图右上方的智能扬声器。它在发送会议的音频之外，还会发送附加的音频。它可以发送原始音频，以便您用来进行转录。事实上，它除了可以进行说话人属性转录，还可以进行语音助手操作。这些都是我们正在看到的新功能，它不仅提供了出色的会议体验，还为会后提供了可用的资源，并且为会议期间提供了可以利用的语音助手。

上图中间是一个音频视频设备。该设备上有多个摄像头，它会发送多个视频流，并将其在云端处理，远程参与者可以从不同的视频流中获取最佳的角度和房间视图。这对于远程参与者来说非常有帮助，他们可以更丰富地了解会议室内发生的事情，从不同的视频中获得更多的细节，整体上加强参与感和沉浸感。

除此之外，我们知道虚拟现实和增强现实正在与实时通讯融合。为了支持虚拟现实和增强现实，我们需要考虑发送多个流，例如通过数据通道发送数据或是定位音频，这些都是提供沉浸式体验所需的关键要素，您可以通过自己的虚拟现实头戴设备与使用头戴设备的其他远程参与者共享沉浸式体验。