Supermicro 推出三个基于 NVIDIA、全栈、可立即部署的生成式 AI SuperCluster

2024年3月19日，Supermicro, Inc. 是一家面向人工智能、云、存储和 5G/边缘的整体 IT 解决方案提供商，宣布推出其最新产品组合，以加速生成式人工智能的部署。Supermicro SuperCluster 解决方案为当前和未来的大语言模型 (LLM) 基础设施提供了基础构建模块。三个强大的 Supermicro SuperCluster 解决方案现已可用于生成 AI 工作负载。4U 液冷系统或 8U 风冷系统是专门为强大的 LLM 训练性能以及大批量和大容量 LLM 推理而构建和设计的。第三个 SuperCluster 配备 1U 风冷 Supermicro NVIDIA MGX 系统，针对云规模推理进行了优化。

“在人工智能时代，计算单位现在以集群来衡量，而不仅仅是服务器数量，随着我们每月扩大 5,000 个机架的全球制造能力，我们可以比以往更快地向客户提供完整的生成式人工智能集群以前，” Supermicro 总裁兼首席执行官 Charles Liang 说道。“通过我们的几个可扩展集群构建块以及 400 Gb/s NVIDIA Quantum-2 InfiniBand 和 Spectrum-X 以太网网络，64 节点集群可支持 512 个具有 72 TB HBM3e 的 NVIDIA HGX H200 GPU。SuperCluster 解决方案与 NVIDIA AI 相结合企业软件是企业和云基础设施的理想选择，可以使用多达数万亿个参数来训练当今的LLMs。互连的 GPU、CPU、内存、存储和网络在跨机架中的多个节点部署时，构建了当今 AI 的基础。Supermicro 的 SuperCluster解决方案为快速发展的生成式人工智能和LLMs提供了基础构建模块。”

NVIDIA GPU 产品管理副总裁 Kaustubh Sanghani 表示：“NVIDIA 最新的 GPU、CPU、网络和软件技术使系统制造商能够加速全球市场的一系列下一代人工智能工作负载。” “通过利用 NVIDIA 加速计算平台和基于 Blackwell 架构的产品，Supermicro 为客户提供了他们所需的尖端服务器系统，并且可以轻松部署在数据中心。”

Supermicro 4U NVIDIA HGX H100/H200 8-GPU 系统通过使用液冷将 8U 风冷系统的密度提高一倍，从而减少能耗并降低数据中心 TCO。这些系统旨在支持下一代基于 NVIDIA Blackwell 架构的 GPU。Supermicro 冷却分配单元 (CDU) 和歧管 (CDM) 是将冷却液体分配到 Supermicro 定制的直接芯片 (D2C) 冷板的主要动脉，使 GPU 和 CPU 保持在最佳温度，从而实现最佳性能。这种冷却技术可以使整个数据中心的电力成本降低高达40%，并节省数据中心的房地产空间。

配备 NVIDIA HGX H100/H200 8-GPU 的系统非常适合训练 Generative Al。通过 NVIDIA NVLink 实现的高速互连 GPU、高 GPU 内存带宽和容量是经济高效地运行 LLM 模型的关键。Supermicro SuperCluster 创建了大量 GPU 资源，充当单个 AI 超级计算机。

无论是从头开始拟合在包含数万亿个令牌的数据集上训练的庞大基础模型，还是构建云规模的 LLM 推理基础设施，具有非阻塞 400 Gb/s 结构的脊叶网络拓扑都允许其从 32 个节点扩展到数千个节点节点的无缝连接。凭借完全集成的液体冷却，Supermicro 经过验证的测试流程可在发货前彻底验证操作有效性和效率。

Supermicro 采用 NVIDIA GH200 Grace Hopper Superchips 的 NVIDIA MGX 系统设计将为未来 AI 集群创建蓝图，解决生成式 AI 的关键瓶颈：GPU 内存带宽和运行具有高推理批量大小的大型语言 (LLM) 模型的能力，以降低运营成本。256 个节点的集群可实现云规模的大容量推理引擎，易于部署和扩展。

凭借 GPU-GPU 连接可实现的最高网络性能，美超微的 SuperCluster 解决方案针对 LLM 训练、深度学习以及大容量和高批量推理进行了优化。Supermicro 的 L11 和 L12 验证测试与其现场部署服务相结合，为客户提供无缝体验。客户可以获得即插即用的可扩展单元，以便在数据中心轻松部署并更快地获得结果。