RTE2024：聚焦生成式AI 时代的 RTE，声网发布 RTE+AI 能力全景图

10月25日，由声网和 RTE 开发者社区联合主办的 RTE2024 第十届实时互联网大会在北京正式开幕。本届大会以“AI 爱”为主题，推出了覆盖AI、出海、社交泛娱乐、IoT、Voice AI、空间计算等20+行业及技术分论坛。

在全新的生成式 AI 时代，RTE 与 AI 也将迎来更多可能性。25日上午的 RTE2024 主论坛中，声网创始人兼 CEO 赵斌、Lepton AI 创始人兼 CEO 贾扬清、声网首席科学家、CTO 钟声分别带来主题演讲。

赵斌：生成式 AI 将驱动 IT 行业四大变革

生成式 AI 正在驱动 IT 行业发生大变革，赵斌认为，这一趋势主要体现在四个层面：终端、软件、云和人机界面。在终端上，大模型能力将驱动 PC 和 Phone 往 AI PC 和 AI Phone 的方向进化。在软件上，所有的软件都可以、也将会通过大模型重新实现，并从 Software with AI 发展至 AI Native Software 。在云的层面，所有云都需要具备对大模型训练和推理的能力，AI Native Cloud 将成为主流。此外，人机界面的主流交互方式也将从键盘、鼠标、触屏变成自然语言对话界面（LUI）。

随着生成式 AI 成为下个时代 IT 行业进化的主题，RTE 也成为了多模态应用和基础设施中一个关键的部分。10月初，声网的兄弟公司 Agora 作为语音 API 合作者，出现在了OpenAI 发布的 Realtime API 公开测试版中。

在此次大会中，赵斌表示，声网与 MiniMax 正在打磨中国第一个Realtime API。赵斌也展示了声网基于 MiniMax Realtime API打造的人工智能体。在演示视频中，人与智能体轻松流畅的进行实时语音对话。当人类打断智能体并提出新的疑问时，智能体也能够非常灵敏的快速反应，实现了与人类自然流畅的对话。

在生成式 AI 的大潮下，RTE 将会提供更为广阔的空间。赵斌也在分享中宣布，声网正式发布了 RTE+AI 能力全景图。在全景图中，声网从实时 AI 基础设施、RTE+AI 生态能力、声网 AI Agent、实时多模态对话式 AI 解决方案、RTE+AI 应用场景五个维度，清晰呈现了当下 RTE 与 AI 相结合的技术能力与应用方案。生成式 AI 与RTE 结合带来的场景创新，将成为下一个十年的主题。

RTE2024：聚焦生成式AI 时代的 RTE，声网发布 RTE+AI 能力全景图

贾扬清：AI 是云的第三次浪潮

随着 AI 技术的发展，AI 时代的大模型应用开发、AI 云、以及 GPU 等基础设施建设逐渐成为热门话题，也成为了支撑整个行业发展、催生新应用诞生、新商业价值实现的基本底座。Lepton AI 创始人兼 CEO 贾扬清在 RTE2024 主论坛上分别从 AI 应用、云、GPU 算力云技术以及企业大模型自主性等层面带来了他对 AI 基础设施进化的解读。

针对 AI 应用，贾扬清指出，今天是最容易建设 AI 应用的时代，越是简洁的 AI 模型思路越容易产生优秀的效果。AI 能力加持后，应用本身的开发范式也在从数据、模型、应用构建三个维度发生变化，未来的应用开发将从“以流程为中心” 转化为“以模型为中心”。

除了 AI 应用层面，传统的云架构也在大模型、GPU 优化等需求的催化下发生了翻天覆地的变化。贾扬清认为，AI 是云的第三次浪潮，继 Web 云、数据云之后，AI 将成为第三朵云。AI 云有以下三个特征：算力会成为智能的基础、AI 云需要大量计算与大规模的异构集群，以及少量但高质量的通讯。总体而言，云的产品形态，本质是计算和传输的平衡。贾扬清指出，在 AI 云的形态下，实时的交流和智能的结合在用户体验环节非常重要。毫不夸张的说，实时将直接与生产力划上等号。

企业在构建自己的大模型自主性上，到底该如何决策？贾扬清强调，企业应该将开源和闭源大模型都纳入考虑范畴。采用开源模型+定制化的优势不仅仅是具备更强的可定制性，还有更低的成本以及更高的速度，开源+定制化能够达到比闭源模型更好的效果。

钟声：分布式端边云结合的AI系统将成为现代基础设施的基本形态

在已经到来的 AI 时代，现代化基础设施应该是什么样？声网首席科学家、CTO钟声提到，大量用户设备往往会先接入边缘节点、并在需要的时候再接入云端，数据将在端设备、边缘节点和云之间往返传递。AI 时代的数据中心会包含以大量异构算力组成的超级计算集群（SuperScaler）。但是，停留在仅依赖超级计算集群的系统是远远不够的，万亿参数、多模态引入所造成的高昂计算成本、缺乏机制约束的数据隐私保护、几秒钟的延时都将阻碍大模型的普惠，极大地限制其在很多场景下的应用。

钟声认为，分布式端边云结合的 AI 系统将有效解决这些痛点。这个系统将把计算和传输在各节点做合理地配置，系统会智能地以自适应的方式把任务编排到端与边上执行，非常有效地降低了成本，同时提供了更低延时（低于1秒级的响应速度）、更高网络抖动容忍度、优秀的抗噪声能力，并且完整的用户数据只会保留在端上。

分享过程中，钟声还在大会现场演示了一个由STT、LLM、TTS 、RTC四个模块组成的端边结合实时对话AI智能体，这也是全球首次有厂商在比日常实际场景更具挑战的环境下展示实时AI 对话能力。大会现场观众规模超过千人，面临复杂的噪声、回声、麦克风延迟等困难，但智能体与钟声的互动仍然表现出了优秀的对话能力，在普通5G网络环境下实现了流畅、自然、有趣的双向实时对话，对话模型的极快响应速度、及时打断与被打断的自然程度、对抗噪声能力、遵循语音指令做等待能力都非常突出。

正如钟声在最后分享的，随着端设备的多样化以及能力的提升，AI 基础设施会变得更优化合理，使得 AI 无处不在，AI助理、AI分身帮助我们有效缓解时间稀缺性，改善工作效率和生活体验。