实时音视频技术作品《读懂实时互动》发布

RTE 实时互动作为一种未来数字生活的基础设施，已经全面深入人们的社交、娱乐、工作、购物等方方面面，并撬动各行各业的价值增长。甚至在当下的 AIGC 热潮中，实时互动也在扮演重要角色，推动人与 AI 的交互方式从文本升级为音频、视频的多模态。

然而实时互动究竟是什么？它是如何从 RTC 实时音视频演变来的？它背后的技术原理是什么？目前 RTE 已经落地了多少个应用场景？未来在大模型中实现实时语音对话，还存在哪些技术难点？

8月27日，由机械工业出版社出版，声网研究院组编的实时互动行业书籍《读懂实时互动》正式发售上架，这也是全行业首本系统介绍实时互动的技术型科普图书。

Granite Asia 高级管理合伙人Jixun Foo、CSDN 创始人兼董事长蒋涛、五源资本创始合伙人刘芹、36氪创始人兼董事长刘成城、清华大学教授李东红、北京大学教授马思伟、西北工业大学教授谢磊、IDC中国副总裁兼首席分析师武连峰等联合力荐。

读懂实时互动看这本书就够了《读懂实时互动》全书详细介绍了实时互动发展的过去、现在与未来，涵盖实时互动的发展历程、概念解析、技术原理、应用场景、大数据观察等，主要分为五个部分。

第一章：回溯与洞察实时互动的过去、现在与未来

从1996年全球第一款可拨打电话的 VoIP 电话诞生，到如今人类可以实现与 AI 的实时语音对话，这中间经历了哪些场景的进化，技术的升级，企业的创新？从狼人杀、直播连麦、在线教育、互动播客、元宇宙，到今年大火的 AIGC，声网从底层音视频服务提供商的角度为大家解析实时互动的技术升级、行业变迁之路。

例如实时互动是如何成为泛娱乐应用的标配功能？在 RTC 功能的加持下，IoT 设备如何实现万物皆可互动。从1964年视频会议的概念首次出现，到现在开发者可以在任意 APP 内嵌入视频会议功能，视频会议是如何从单一的通信工具升级为一种普适能力。

第二章：实时互动与相关概念辨析

总是说 RTC 和 RTE，但是你真的懂两者间的区别吗？等等，还有 PaaS、SaaS、IaaS、 aPaaS，还在为这些概念分不清楚而绞尽脑汁？相信读完这个章节，你会对这些概念有更清楚、明确的认识。

第三章：实时音视频技术流程解析

重头戏来了，作为一个行业的入门者，这一章是你了解实时音视频技术的不二之选。从音视频采集、前处理、编码、传输，再到音视频后处理，我们联合声网的多位技术专家用了较长篇幅、较多笔墨，一一道来。

在本章节，你能看到音视频前处理中音频 3A 处理与美声的最佳实践；直播与视频通话等场景中如何实现美颜；VP8、VP9、H.264、H.265 以及 AV1等不同的视频编解码标准在 RTC 中的应用有何不同？等等。

第四章：深入剖析近200个实时互动应用场景

当下，AIGC 产业发展如火如荼，在实时互动的加持下，人与AI 交互也从文字升级为音频、视频的多模态，也涌现出许多对话式 AI 场景，比如 AI 语音助手、AI 口语老师、AI 游戏NPC、AI 虚拟恋人等。以AI 语音助手为例，通过多模态大模型+RTC，能够让用户与 AI 助手进行1v1实时语音对话。通过 Prompt (AI指令或AI提示词)为助手设置丰富的人设，配合 RTC 的超低延迟传输，能够让 AI 像真实的助手一样互动，提供帮助。

在这类对话式 AI 的场景中，存在多个技术难点，例如 AI 语音对话通常延迟较高，很影响对话体验，非常考验 RTC 传输的低延迟，通常延时要做到1-2S内，人机对话的体验才会自然、流畅。同时，在流式对话中，周围人声和噪声极容易对人机对话造成干扰，需要通过AIVAD、AGC、AINS等音频功能，有效地抑制周围噪声的干扰，并能够更好地识别用户说话的完整语义，让语音识别更加完整准确。

除了新涌现的对话式 AI 场景以及我们耳熟能详的秀场直播、语聊房、在线K歌等场景，书中还介绍了很多你未曾可知的物联网场景，比如平行操控领域的云赛车，云赛车基于云计算和人工智能，主要用于爱好者和专业赛车手进行远程驾驶的赛车比赛。通过云平台的控制，驾驶员可以在家中就能参与远程的赛车比赛。

在这类场景中，技术难点主要集中在延时与传输方面，例如赛车速度快，对延时要求高，需满足实时画面低延时性和传输稳定性，同时还需要具备多路高清回传的技术能力。

第五章：实时互动大数据观察

全球用户都在实时互动？相信作为一个 APP 运营者，或者关注本行业的同仁，对于实时音视频大数据，比如，全球热门区域 RTC 用量机型清单、机型常用网络占比，不同机型对于音视频的用量占比、热门区域 RTC 用量等等数据都有所关注。另外，音视频卡顿率对于用户使用时长与留存有何影响？该如何优化？这些内容对于一个 RTC 行业从业者都不容错过。

本书还准备了丰富且实用的配套资源，包括与实时互动相关的图表、图谱、行业发展报告和白皮书等电子文档，绝对干货满满，物超所值，具体获取方式为扫描封底的二维码进入本书专属云盘进行下载即可。

目前，《读懂实时互动》已登陆京东、当当等各大电商平台及实体书店，敬请关注。