2024年6月17日，英特尔发布了 OpenVINO 2024.2，这是其开源人工智能工具包的最新版本，用于在一系列人工智能框架和广泛的硬件类型中优化和部署深度学习（A）推理模型。
在 OpenVINO 2024.2 中，他们继续对 Meta 的 Llama 3 大型语言模型进行优化。OpenVINO 2024.2 为在 CPU、集成 GPU 和独立 GPU 上的执行带来了更多 Llama 3 优化，进一步提高了性能，同时也提高了内存使用效率。
OpenVINO 2024.2 还增加了对 Phi-3-mini AI 模型的支持、更广泛的大型语言模型支持、对英特尔凌动处理器 X 系列的支持、对英特尔至强 6 处理器的预览支持以及更多的 AVX2/AVX-512 调整。英特尔发现，在利用小批量时，英特尔酷睿处理器上的 AVX2 和英特尔至强处理器上的 AVX-512 在 FP16 重量 LLM 的秒令牌延迟和内存占用方面都有 “显著改善”。
有关 OpenVINO 2024.2 发布的下载和更多详细信息，请访问 https://github.com/openvinotoolkit/openvino/releases/tag/2024.2.0。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/49465.html
