2024年3月7日，英特尔发布了开源 OpenVINO 2024.0 工具包，用于在各种硬件上优化和部署人工智能推理。
OpenVINO 是英特尔出色的开源 AI 工具包，不仅可以在 x86_64 CPU 上加速 AI 推断，还可以在 ARM CPU 和其他架构、英特尔集成显卡和独立显卡等硬件上加速 AI 推断，包括最近推出的 NPU 插件，用于利用新酷睿超 “Meteor Lake “系统芯片中的英特尔神经处理单元。
今天发布的 OpenVINO 2024.0 更注重生成式人工智能（GenAI），为 TensorFlow 句子编码模型提供了更好的开箱即用体验，支持专家混合（MoE），提供了 JavaScript API 以无缝访问 OpenVINO API，并为 Mistral 等提供了经过验证的模型。
OpenVINO 2024.0 还提高了 LLM 的 INT4 权重压缩质量，增强了 LLM 在英特尔 CPU 上的性能，简化了 Hugging Face 模型的优化和转换，并改进了其他 Hugging Face 集成。
OpenVINO 2024.0 不再使用英特尔之前的高斯和神经加速器（Intel GNA），而是专注于 Meteor Lake 及更新版本的 NPU。OpenVINO 的英特尔 NPU 插件现在也作为 PyPi 上 OpenVINO 主软件包的一部分发布。对于非英特尔用户，OpenVINO 2024.0 还具有更好的 ARM CPU 性能和各种平台改进。
有关今天发布的 OpenVINO 2024.0 功能的下载和更多详细信息，请访问 GitHub。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/44490.html
