2024 年 WebRTC 应用必备的人工智能

在这个季节，我们要总结过去的一年，展望未来的一年。在商业世界里，我们必须将狂热的时尚与值得在 2024 年投入较少预算的基本产品区分开来。从时尚到食品，当然还有科技行业都是如此。

2023 年，人工智能无疑是年度科技话题，2024 年也不会改变。我们的首席执行官兼创始人 Arin Sime 在10月举行的2023年TADS峰会小组讨论 “人工智能在视频和语音应用中的作用 “中指出：”人工智能有可能极大地影响我们的行业以及我们与客户和用户的互动方式。从音频转录到通话过程中的人工智能助手，现在看来可能性是无限的！”

这是事实，但 Arin 接着警告说，这并不意味着您应该跳上所有人工智能选项的巴士。你需要考虑你的用例、你的团队和你的用户。不要仅仅为了技术炫酷因素而添加人工智能功能。这就引出了一个问题：在通讯应用程序中，有哪些人工智能功能能真正增加价值，值得在 2024 年进行投资？

人工智能驱动的机器人

人工智能对话和自然语言处理（NLP）改变了效率、客户服务和整体用户体验。当用户需要以下服务时，可以考虑使用人工智能机器人：

全天候处理日常咨询和常见问题，几乎无需等待
通过分析用户数据和历史记录提供个性化支持，从而提供量身定制的解决方案
安排预约和发送提醒

使用案例和工具多种多样。一些针对不同场景的示例机器人：

使用亚马逊 Lex 和开放式人工智能（ChatGPT 3.5）的人工智能机器人简化招聘流程。将人工智能驱动的招聘机器人集成到招聘流程中，标志着雇主和求职者在简化招聘流程方面的重大飞跃。招聘流程或其他业务流程中的许多其他任务也可以通过类似的方式实现自动化。
使用 NLX 对话式人工智能平台的人工智能预订机器人。我们的示例用例是一个帮助食客预订餐厅的机器人，但它的功能在许多行业都很有用。
银行支持机器人，可为复杂的任务提供自助银行服务，如设置定期账单支付。

人工智能助理

与帮助用户的机器人相差无几的是帮助员工的人工智能助理。当你的团队需要时，可以考虑使用人工智能助理：

自动化重复步骤
利用数据洞察力实现个性化
检测异常并发出警报
通过处理日常工作简化工作流程并提高生产率
在视频通话中进行总结、记笔记和添加字幕
促进多语言沟通和互动

针对不同场景的人工智能助理示例：

利用 Vonage 视频实时字幕和 OpenAI，为远程会议提供人工智能助理。”Sushi “可以记笔记、回答问题、创建摘要和行动项目，并进行完整的自然对话。
人工智能驱动的临床笔记，例如我们的合作伙伴 Daily 今年发布的 API。大型语言模型（LLM）为远程医疗就诊后固有的耗时工作提供了惊人的效率。
机器学习增强通话录音。作为亚马逊 Chime SDK 的系统集成商和亚马逊合作伙伴网络的成员，我们对这一新的语音增强功能尤为兴奋，该功能利用机器学习的强大功能消除背景噪音，恢复窄带通话录音的宽带语音质量。

大型语言模型 (LLM)

大型语言模型是一种先进的自然语言处理（NLP）模型，通过在海量数据集上进行训练，可以理解并生成类似人类的文本。LLM 是生成式人工智能的一种，它指的是任何可以创建新内容的人工智能算法。LLM 已经存在多年，但真正进入公众视野还是 OpenAI 推出 ChatGPT 之后。

LLM 需要大量的初始培训，而且是资源密集型的，但它们也非常有用。如果您需要，可以考虑学习 LLM：

内容生成
数据摘要
内容编辑
内容分组、聚类或分类
实时翻译
问答

将 LLM 添加到上述任何人工智能机器人或助手中，对其进行产品培训，让其访问您的数据库，这样就能大大增强其能力！

情感分析

Amazon Rekognition、Azure Cognitive Services 和 Symbl.ai 等情感分析工具使用 NLP 和机器学习技术从文本数据中识别、提取和量化主观信息。当您需要以下工具时，可以考虑集成情感分析：

根据对话的情感基调，更高效地优先处理和解决各种问题或冲突。
监控代理或员工提供的服务质量，找出需要改进的地方。
实时反馈与会者对演示或协作会议的反应
根据感知到的兴趣或参与程度调整内容交付或节奏。

实践中的一些想法：

最近，我们利用 Amazon Chime SDK 和 Symbl.ai 构建了一个品牌 WebRTC 音频应用程序，用于跟踪和显示手术室中的对话，通过监控是否符合规定的最佳实践来保护患者、外科医生和医疗机构。
我们还演示了航空公司的呼叫中心应用程序，该应用程序通过 Vonage Video API 将客户与座席连接起来。利用 Symbl.ai 情感分析 API，座席人员可以实时了解客户对其问题的解决方式是持肯定还是否定的态度。我们还使用 Symbl.ai 创建通话摘要，并设置通话后的行动项目。

面部识别身份验证

根据面部特征对用户进行身份验证，可轻松提供对视频会议或协作平台的安全访问。远程身份验证对电子按揭贷款公司等金融科技公司尤其有用。

语音识别和转录、语音转文本、图像转文本、实时字幕

其中一些人工智能功能已经过时，但这并不意味着它们的用处就会减少！它们还在不断发展。例如，转录可以实时完成，这在几年前是不可能的。

无障碍

随着能够实时处理音频和视频的人工智能服务的出现，我们有可能大大提高通信应用的可访问性。在 1 月 10 日的 WebRTC 现场直播节目中，我们将看到这样的例子：一款移动应用程序可将盲人和低视力者与视力正常的志愿者通过视频对话联系起来，志愿者会帮助他们；一款对话智能套件可利用人工智能转录语音并生成定性见解；还有一款软件可将文本翻译成三维动画手语，由数字头像再现。