评估在 UCaaS 平台中使用 Gen AI 的风险和回报，第 3 部分

本文是关于 Gen AI 在 Microsoft Teams、Zoom、Cisco Webex 和 Google Meet 中的应用的三篇系列文章的最后一部分，对在这些平台中使用 Gen AI 的相关风险和回报进行了评估。

作者：Brent Kelly 和 Kevin Kieller
译自：https://www.nojitter.com/ai-automation/assessing-risks-and-rewards-using-gen-ai-ucaas-platforms-part-3

人工智能的风险与回报

我们相信，Gen AI 有很多机会来改善与许多通信和协作用例相关的业务成果。根据我们的测试，我们还认为人工智能的回报需要与潜在的人工智能风险相平衡。在某些情况下，那些更好地了解潜在风险的人就不太可能遇到本文讨论的风险所带来的负面结果。

我们将从三个方面探讨 UCaaS 基因人工智能的风险：

• 信息不准确。
• 生产力损失。
• 数据丢失。

信息不准确的风险

《麻省理工学院技术评论》最近一篇文章的标题恰如其分地描述了这种情况：”大型语言模型可以做出令人瞠目的事情。但没人知道究竟是为什么”。

人们常说的 “精神错乱”（insanity）的定义是：重复做同样的事情，却期望得到不同的结果。然而，”LLM 精神错乱 “的更确切定义是，重复同样的提示却期待同样的结果。

LLM 是概率性的，而不是程序性的，这意味着相同的输入不太可能产生相同的输出。正如共同基金广告中所说，”过去的表现并不代表未来的结果”。

虽然 Gen AI 的结果可能经常是正确的，但偶尔也会出错。这就是作者强烈主张建立鼓励和促进审查人工智能生成结果的机制和最佳实践的原因。

下图说明了我们对与不同用例相关的未被发现的不准确 Gen AI 信息的风险的看法。一些价值最高的用例与出现不准确信息的最高机会相关联。

翻译

例如，翻译具有很大的价值，可以让使用不同语言的人进行有效交流。这很有可能导致信息不准确而不被发现，因为从概念上讲，使用翻译是因为不同的参与者并不精通两种语言。因此，即使密切关注，也可能无法发现翻译不准确的内容。明确地说，这并不是说人工智能驱动的翻译经常出错；而是说，如果翻译出错，不准确的信息很可能会被传播。

总结

与摘要类似，假设用户不会阅读整篇文档、冗长的电子邮件或聊天主题，因此依赖于 Gen AI 生成的摘要。这样做的风险在于，摘要会遗漏注意到的例外情况、将属性从一个项目分配到另一个项目或产生幻觉。我们在会议摘要测试中遇到了所有这些情况。

如果参加会议的人员负责审核（最好是纠正）任何不准确的 Gen AI 总结，那么会议总结不准确的风险就会降低；这些不准确之处可能包括总结的细节不正确或遗漏了行动项目。在一些组织中，我们看到未参加会议的项目经理向项目团队发送 Gen AI 总结。我们认为这是鲁莽之举。

我们已经指出，依赖语音转文本然后进行人工智能摘要的用例值得格外谨慎。要想在这些场景中提供准确的结果，有两件事必须正确进行：

• 语音转文本流程需要正确捕捉所说内容。如果会议室里有多个人、背景噪音或音频设备不佳，就可能出现错误。
• Gen AI 对会议（或通话）记录的总结必须正确。

虽然我们极力主张对 Gen AI 的结果进行审核，但我们预计不久之后，Gen AI 的结果在绝大多数情况下都将是正确的，因此我们都将越来越信任人工智能生成的结果，即使是在我们不应该信任的情况下。我们认为，为了提高生产力和产出，我们很可能会接受人工智能在许多商业环境中偶尔出现的错误。

生产力损失的风险

人们对 Gen AI 如何加快特定业务流程的关注是可以理解的，它可以快速创建详细的解释，减轻对会议记录的需求，利用总结来消除对冗长文档、聊天和电子邮件线程的阅读。

然而，在某些情况下，使用 Gen AI 会产生不可接受的结果，然后需要手动完成流程，这比一开始就手动操作要花费更多的时间和精力。

例如，在使用 Gen AI 创建特定图像时就会出现这种情况。在某些情况下，即使经过多次精心提示，生成的图像也不符合要求，或者有奇怪的手、眼睛或其他元素，特别是在包含人物的情况下。

当需要高度格式化的输出时，也会出现这种情况。Gen AI 在生成文本方面非常出色，但根据最终要求的布局，将 Gen AI 文本格式化为最终输出的过程可能要比使用某种形式的模板文档花费更长的时间。

因此，我们面临的挑战是跟踪总体生产率的增减，以便更好地了解那些使用 Gen AI 确实有意义的用例，以及如何更好地使用它。

数据丢失的风险

UCaaS 平台可能会通过 API 使用第三方 LLM。在这种情况下，企业的知识产权 (IP) （如会议记录）可能会被发送到 UCaaS 供应商的云之外。

这不一定是个问题，但企业应该意识到这种可能性，并应向其 UCaaS 提供商了解正在使用哪些第三方服务，以及有哪些协议来保护其知识产权。

不过，不提供经认可的 Gen AI 工具可能会鼓励一些用户使用基于网络的公共工具。使用其中一些公共工具可能会带来更大的风险。

使用 UCAAS Gen AI 工具时，您的数据将流向何处？

如上所述，Microsoft Copilot、Zoom AI Companion、Cisco AI Assistant for Webex 和 Google Gemini for Workplace 中使用的 LLM 都使用预训练的 LLM 模型。这些 LLM 都不使用企业的私人数据来训练模型。

现在，如果员工在这些 UCaaS 解决方案框架之外的网络上使用 LLM，就不能保证其公司数据和/或个人数据不会被用于训练 LLM。因此，许多公司都制定了人工智能政策，禁止员工使用开放的基于网络的LLMS（但是，除非组织将LLM所在的网站列入黑名单，否则执行此政策将很困难）。

对于 Microsoft Copilot，训练好的 OpenAI LLM 参数在 Microsoft Azure 云中运行。所有公司数据都包含在公司的 Microsoft Teams 租户中，任何进入 OpenAI LLM 的数据都包含在 Azure 云中。

对于 Zoom AI Companion，Zoom 可以选择使用三种不同的 LLM： Zoom 自己的 LLM（基于 Meta 的 Llama 2）、OpenAI 的 LLM 和 Anthropic 的 LLM。如果您选择在 Zoom 中使用 OpenAI 的 LLM 或 Anthropic 的 LLM，您的数据将进入这些公司的云中；但是，Zoom 向我们保证，已签订合同义务，这些 LLM 提供商不会使用您公司的数据来训练他们的模型。这些 LLM 提供商也不会保留贵公司的任何数据。

用于 Webex 的思科人工智能助理也使用 Azure 云中的 OpenAI。因此，员工输入 AI 助手的任何数据都将从思科 Webex 云传输到 Azure 云。这两种云都非常安全。

对于 Google Gemini for Workspace，训练好的 LLM 参数在 Google 云中执行，因此您的数据不会离开 Google 云。

结论

Kevin 的想法

人工智能在 UCaaS 中的应用现状如何？Kevin 认为，许多个人和组织正处于 “混乱峡谷 “的悬崖边上。这与 “炒作曲线 “明显不同，在 “炒作曲线 “中，人们的期望超过了能力。

在过去的 18 个月里，人工智能（尤其是生成式人工智能）的能力明显提高。这些由 LLM 驱动的功能集成到 UCaaS 解决方案中的速度令人印象深刻，有时甚至令人眼花缭乱。

现在的挑战是如何帮助用户避免陷入 “混乱峡谷”（Canyon of Confusion），使他们能够利用人工智能向前迈进，并为他们的角色和整个组织实现更高的业务价值。

如果您作为个人或组织误解、错误应用或未能正确实施 UCaaS 工具中的新人工智能功能，您将面临过度共享机密信息、传播错误信息或落后于竞争对手的风险。所有这些结果都有可能导致您的人工智能计划提前 “死亡”，您的项目将在混乱峡谷的底部苟延残喘。

Kevin 建议，企业和供应商都需要采取措施弥合差距，从 UCaaS 人工智能中提升业务价值。

具体来说，企业应该

• 让 IT 专业人员有时间了解在企业的 UCaaS 平台内安全启用人工智能所需的风险和配置。
• 允许并鼓励用户尝试使用企业认可的人工智能工具。现在还不是对生成式人工智能采取 “不予理睬，它就会消失 “政策的时候。人工智能不是一种时尚。它是未来通信和协作工具使用方式的根本转变。
• 提供明确的政策（在人工智能工具使用方面）和培训，帮助所有用户了解生成式人工智能工具的机遇和风险。用户不需要成为数据科学家，但他们确实需要对人工智能的工作原理以及使用人工智能可能导致的潜在问题有一个总体了解。随着这些工具的快速发展，对用户和 IT 专家的培训都需要持续进行。
• 监控这些新人工智能工具的使用情况，尤其是在需要增加许可成本的情况下。但是，即使 “人工智能是免费的”，监控使用情况也很重要，因为它可以帮助您了解那些反复为企业带来价值的用例。
• 确定具体的使用案例，为人工智能前后的生产率和质量设定基准。这在联络中心最容易实现，但也适用于销售角色和其他知识工作者角色。
• 如果在 UCaaS 解决方案中添加生成式人工智能需要增量许可（微软和谷歌），则应建立商业案例。但即使人工智能功能无需额外费用（Zoom 和思科 Webex），正确配置、监控和培训用户使用人工智能所需的时间和精力，也应通过初始部署收集的量化数据来支持。

即使有了这些建议，单靠组织也不可能跨越混乱的峡谷。跨越这座峡谷的桥梁的后半部分需要由供应商来搭建。

Kevin 建议供应商需要：

1. 简化整体解决方案

• 大多数 “人工智能助手”（Gen AI）功能在 UCaaS 解决方案中推出的时间还不到 12 个月。因此，供应商仍有机会简化用户界面（UI），更清晰地标注 Gen AI 输出，并简化这些由 AI 驱动的新功能的初始配置和调用。
• 与微软具体相关的是，各种 “Copilot “许可证和与 “高级 “许可证捆绑的 Copilot 功能很难解读。微软有很大机会简化和优化 Gen AI 功能的许可。

2. 提供一致的人工智能体验

• 目前，对于某些 UCaaS 解决方案来说，调用 Gen AI 功能的位置会影响作为提示的一部分提供给 LLM 的信息上下文。例如，在某些情况下，用户的日历、以前的电子邮件、聊天记录和其他文档都会被考虑在内。而在其他情况下，在提供摘要或回答询问时，只会参考会议记录。

3. 通过用户界面提示和相关培训，强调用户应在分享人工智能生成的内容之前对其进行审查。

• Gen AI 通常能提供 “神奇 “的结果；但有时，无论是由于语音到文本的问题，还是仅仅是不准确的总结，我们都会看到与讨论内容截然相反的结果。
• 因此，如果将人工智能生成的摘要或行动项目作为会议成果保留，供应商应允许对这些摘要或行动项目进行编辑。理想情况下，应建立一种机制来跟踪谁审查和批准了人工智能创建的内容。(目前，Webex 是这一机制的最佳实现方式，但如果有更强大的机制，如 Word 中的 “跟踪更改 “机制，将会非常有用）。

4. 确保供应商的文档更新流程与开发流程一样 “敏捷”。在审查的所有 UCaaS 平台中，Gen AI 功能的开发和部署速度都快得令人难以置信。然而，在某些情况下，这意味着 IT 专业人员或用户文档已经过时。

5. 创建培训和采用材料，为有效使用 Gen AI 功能提供支持。微软在这方面值得特别一提，因为他们最近发布了一个 “Copilot Success Kit”，其中包括技术准备、用例场景、培训和采用材料，大部分材料都可以根据特定组织的要求进行定制。

如果实施和采用得当，Kevin 预计 Gen AI 将在未来三年内成为与通信、协作和业务流程改进相关的变革性技术。

Brent 的结论

Brent 认为，总结和记笔记可能会成为 UCaaS 终端用户使用最多的 Gen AI 功能。每个参加或主持会议的人都可能受到会议摘要的影响。

如上所述，不同的 UCaaS 提供商在获取会议摘要和编辑会议摘要的人工智能界面上存在很大差异。根据 Omdia 的研究数据，超过 60% 的企业在内部使用三种或三种以上的 UCaaS 解决方案。因此，如果希望人们学会如何获取会议摘要以及如何审查和编辑多个 UCaaS Gen AI 工具，这将是一项艰巨的任务。这种情况可能会导致更多的人倾向于使用单一的 UCaaS 工具，而不是其他工具。

微软和谷歌都分别对其 Teams 和 Workspace 中的 Gen AI 功能收取费用。在 Brent 看来，鉴于 Zoom 和思科等公司免费向许可证用户提供人工智能生成的会议摘要功能，每月向每位用户收取 20 或 30 美元的费用有点过高。他认为微软和谷歌可能需要专门为会议摘要案例创建一个特殊的 SKU，因为这将是 UCaaS 解决方案最广泛使用的案例。另外，如果免费提供会议摘要的经济效益难以为继，Zoom 和思科最终可能需要对这项功能收取小额月费。

最后，Brent 鼓励 Gen AI 用户在发送笔记和摘要之前对其进行审核。他自己在审查人工智能生成的笔记和摘要时，经常发现异常或错误。在他亲自参与的两个案例中，Gen AI 工具总结的内容与会议中表达的意思完全相反。他预见到，你的组织中有人没有审查会议摘要，这可能会造成一些严重的误解。

另一个忠告是：继续编写会议记录。Brent 最近参加了几次会议，在这些会议上，他只选择了会议总结，而没有会议记录，结果他发现总结非常不准确，以至于他希望有一份誊本可以回去参考。与其依赖 Gen AI 助手知道得最清楚，还不如提供更多信息供人工审核。现在，只需创建会议记录即可——Gen AI 助手虽然不错，但可能无法为每位与会者提供最佳的会议总结。

系列阅读：

测试 UCaaS 平台中的 Gen AI 用例，第 2 部分

学习如何与 UCaaS LLM 共处，第 1 部分