英特尔发布了 OpenVINO 2023.2 作为其开源工具包的最新版本，用于优化和部署人工智能推理。OpenVINO 将继续永无止境地追求深度学习性能和效率的最大化，同时继续扩展其模型支持和功能。
随着 OpenVINO 2023.2 版本的发布，他们继续扩大生成式人工智能的覆盖范围和集成度。新版本可以处理用于聊天机器人、指令跟踪、代码生成等的模型。现在支持的模型包括 LLaVA、chatGLM、Bark 和 LCM。此外，还改进了对 PyTorch 模型和 Hugging Face 模型的支持。
OpenVINO 2023.2 还通过 Int8 模型权重压缩加速了对大型语言模型 (LLM) 的推理，扩大了对动态形状的模型支持以提高英特尔 GPU 性能，在英特尔 CPU 和 GPU 上预览了对 Int4 模型格式的支持，以及其他 LLM 支持方面的进步。
OpenVINO 2023.2 版本现在也可通过 Conan 软件包管理器获得，并通过启用 FP16 模型格式支持提高了在 ARM 处理器上运行 OpenVINO 的性能。
有关 OpenVINO 2023.2 版本的下载和更多详细信息，请参见 GitHub。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/37827.html
