英特尔致力于 OpenVINO AI 工具包的软件工程师近日发布了 OpenVINO 2025.0，它支持备受关注的 Deepseek 模型以及其他大型语言模型 (LLM)，对一些现有模型支持的性能改进以及其他变化。
英特尔 OpenVINO 2025.0 开源 AI 工具包支持的新模型包括 Qwen 2.5、Deepseek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-7B 和 DeepSeek-R1-Distill-Qwen-1.5B、FLUX.1 Schnell 和 FLUX.1 Dev。
OpenVINO 2025.0 还通过 OpenVINO 的 GenAI API 在 CPU、集成 GPU 和独立 GPU 上提供了更好的 whisper 模型性能。此外，英特尔 NPU 还初步支持 torch.compile，以便在英特尔 NPU 上使用 PyTorch API。
OpenVINO 2025.0 还改进了 LLM 的第二个令牌延迟，现在为 CPU 上的 INT8 启用了 KV 缓存压缩，支持 Core Ultra 200H“Arrow Lake H”处理器，Triton 推理服务器支持 OpenVINO 后端，OpenVINO 模型服务器现在可以在 Windows Server 部署上本地运行。
了解 OpenVINO 2025.0 更多详细信息：https://github.com/openvinotoolkit/openvino/releases/tag/2025.0.0
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/55601.html
