IBM AI 发布 Granite 3.2 8B Instruct 和 Granite 3.2 2B Instruct 模型：提供实验性思维链推理功能

大型语言模型 (LLM) 利用深度学习技术来理解和生成类似人类的文本，这使得它们对于文本生成、问答、摘要和检索等各种应用都非常有用。虽然早期的 LLM 表现出了卓越的能力，但它们的高计算需求和低效率使它们不适合企业级部署。研究人员已经开发出更优化和可扩展的模型，以平衡性能、效率和企业适用性，以应对这些挑战。

尽管现有的 LLM 取得了成功，但企业用户仍然需要高效、可扩展且量身定制的解决方案来满足特定的业务需求。许多公开可用的模型太大，无法有效部署，或者缺乏企业应用所需的微调。组织还需要支持指令跟踪能力的模型，同时保持跨各个领域的稳健性。平衡模型大小、推理效率和指令调整优化的需求促使研究人员开发更智能、更适合企业的语言模型。

现有的 LLM 通常设计用于通用文本生成和推理任务。领先的模型（如 GPT 式架构）依靠大规模预训练和微调来增强其功能。然而，大多数此类模型都面临着效率、许可约束和企业适应性方面的限制。虽然较小的微调模型可以提供效率，但它们往往缺乏稳健性，而较大的模型需要大量的计算资源，这使得它们不适用于许多企业应用。公司已经尝试了指令调整模型，这提高了业务环境中的可用性，但在实现大小、速度和能力的最佳平衡方面仍然存在差距。

IBM Research AI 推出了Granite 3.2 语言模型，这是一系列针对企业应用程序设计的指令调优的 LLM。新发布的模型包括 Granite 3.2-2B Instruct，这是一种针对快速推理进行了优化的紧凑而高效的模型，以及 Granite 3.2-8B Instruct，这是一种能够处理复杂企业任务的更强大的变体。此外，IBM 还提供了一个早期访问预览模型 Granite 3.2-8B Instruct Preview，其中包括最新的指令调优进展。与许多现有模型不同，Granite 3.2 系列的开发重点是指令跟踪功能，允许根据业务需求进行结构化响应。这些模型将 IBM 的 AI 生态系统扩展到 Granite 嵌入模型之外，为实际应用程序提供高效的文本检索和高质量的文本生成。

Granite 3.2 模型利用基于转换器的架构，采用分层优化技术来减少延迟，同时保持模型准确性。与仅依赖标准预训练数据集的传统生成模型不同，这些模型采用了自定义指令调整过程，增强了生成结构化响应的能力。这些模型使用精选的企业数据集和各种基于指令的语料库进行训练，确保它们在各个行业中表现良好。20 亿参数变体为需要快速高效 AI 解决方案的企业提供了轻量级替代方案，而 80 亿参数模型则提供了更深入的上下文理解和改进的响应生成。IBM 还引入了自我提炼技术，使较小的模型能够从较大的模型的知识中受益，而不会增加计算开销。

IBM AI 发布 Granite 3.2 8B Instruct 和 Granite 3.2 2B Instruct 模型：提供实验性思维链推理功能

大量基准测试结果表明，Granite 3.2 模型在关键企业用例中的表现优于同类指令调整的 LLM。8B 模型在结构化指令任务中的准确率高于类似大小的模型，而 2B 模型的推理延迟比领先的替代方案低 35%。对问答基准、摘要任务和文本生成数据集的评估表明，这些模型在提高效率的同时保持了高流畅性和连贯性。Granite 3.2-8B 模型在特定领域检索任务上的准确率为 82.6%，比之前的迭代高出 7%。此外，该模型在结构化提示跟随任务中的表现比竞争对手高出 11%。多轮对话的性能测试表明，Granite 3.2 模型生成的响应在 97% 的测试用例中保留了上下文感知，使其对企业聊天机器人和虚拟助手具有高度可靠性。