Llamafile 0.8.1 发布，为更多 AMD 图形处理器/加速器提供了 GPU 支持

就在几天前，Llamafile 0.8 发布，支持 LLaMA 3 和 Grok，并提高了 F16 性能。现在，这个来自 Mozilla 的项目又发布了一个新版本0.81，该版本用于自包含、易于重新发布的大型语言模型（LLM）部署。

周五发布的 Llamafile 0.8.1 最重要的一点是为更多 AMD 图形处理器/加速器提供了 GPU 支持。由于 Llamafile 中的一些 AMD 卸载代码只假定数字 “GFX “图形 IP 版本标识符，而不是字母数字，因此一些 AMD Instinct / Radeon 部件的 GPU 卸载被错误地破坏了。对于采用 GFX90A IP 的 Instinct MI250 等硬件，”A “没有被正确解析，也没有传递给 HIP 编译器。反过来，如果 AMD GPU 的 GFX 标识符中包含非数字字符，则会出错并破坏 Llamafile GPU 加速。现在，Llamafile 0.8.1 修正了这一问题，因此 AMD GPU 加速可以在更多硬件上运行，适用于基于 Llamafile 的大型语言模型部署。

此外，Llamafile 0.8.1 现在还为 Windows 和 Linux 用户提供了预置的 NVIDIA 和 AMD ROCk 模块，进一步简化了同时支持 CPU 和 GPU 执行的 Llamafile 单文件 LLM 的部署。

Llamafile 0.8.1 还增加了对 Phi-3 Mini 4k 模型的支持，修复了导致 GPU 模型崩溃的错误。

有关新版 Llamafile 0.8.1 的下载和更多详情，请访问 https://github.com/Mozilla-Ocho/llamafile/releases/tag/0.8.1 上的 Mozilla-Ocho。