将 LAM（大型动作模型）与 WebRTC 集成

本文内容来自 WebRTC.ventures 的 Alberto Gonzalez，探讨 WebRTC 应用程序作为使用大型行动模型接口的潜力，包括机遇、挑战和用例。

LAM（大型动作模型）是大型多模态模型（LMM）的一个子集，可以执行动作。与大型语言模型（LLMs）类似，LAMs 将符号推理与神经网络相结合，并利用从大量文本中得出的统计关系进行训练。不过，大型多语言模型通过使用代理将交互转化为具体操作，如点击或键入等用户界面操作，从而扩展了这一能力。

LAM 如何工作？

LAM 利用大型多模态模型 (LMM)，可以处理和理解来自图像和文本等多种模态的输入。它们通过以下方式运行

做出决定：根据上下文（屏幕上的内容和用户想要做的事情），模型会决定采取什么操作。例如，如果用户想要预订酒店房间，模型可能会点击 “立即预订 “按钮。这通常是由代理应用程序在模型之外完成的。

下面是使用浏览器 LAM “查找 ABC 博文 “的高级流程。首先，我们使用一个工具与浏览器交互，打开一个特定的网站。然后，通过图像分析，LAM 提取有关网站和 HTML 元素的信息。然后，LLM 返回推荐的下一步操作。

任何流行的 LLM（如 GPT-4o）都可以使用。但您需要一些将响应转换为操作的逻辑，以及一个执行操作的代理。对于浏览器应用程序，这样的代理可以是 Webdriver.io、Playwright 或 Puppeteer。此外，还可以使用 WebRTC 在代理执行操作时向用户提供可视化反馈。

如果您对开源项目感兴趣，一个显著的例子是 OSU-NLP-Group/SeeAct ：[ICML’24]。SeeAct 是一个为通用网络代理设计的系统，可在任何网站上自主执行任务，强调大型多模态模型（LMM），如 GPT-4V(ision)。

利用大型动作模型的功能可以带来以下机会：

增强用户体验和效率： LAM 可以通过自动执行复杂任务并提供实时、高效的解决方案来显著改善用户体验。这可以提高用户满意度和参与度。例如，在实时视频咨询期间，LAM 可以在咨询过程中自动填写表格、安排后续预约并提供文档。
差异化竞争优势：早期采用并成功实施 LAM 可以带来竞争优势。利用这项技术的企业可以提供独特的服务和解决方案，从而在市场上脱颖而出。