Llamafile 是 Mozilla 的一个开源项目，它允许将大型语言模型以单个文件的形式发布，可以跨操作系统运行，也可以在 CPU 或 GPU 上运行，全面简化了 LLM 的发布和运行。这个 Mozilla Builders 项目在周末发布了一个新功能版本。
Llamafile 0.8.14 在一夜之间发布，该开源代码用于简化大型语言模型的部署。在 Llamafile 0.8.14 版本中，新增了 CLI 聊天机器人界面。这个新的 CLI 聊天机器人界面支持多行输入、Python / C / C++ / Java / JavaScript 代码语法高亮以及其他各种功能。如果不指定其他参数，运行 Llamafile 文件时，这个新的聊天机器人界面就是默认操作模式。该聊天机器人的灵感来源于 ollama。
Llamafile 0.8.14 的其他一些变更包括：使用 BF16 KV 缓存以提高性能、在 tinyBLAS 中始终优先使用 FP16 算法、支持 GPU 的 llamafile-bench 以及其他各种变更。
有关 Llamafile 0.8.14 发布的下载和更多详细信息，请访问 https://github.com/Mozilla-Ocho/llamafile/releases/tag/0.8.14
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/53021.html
