Rafay 推出用于生成式 AI 的基础设施模板，为企业平台团队提供帮助

全球领先的云计算和 Kubernetes 自动化平台提供商 Rafay Systems 宣布推出针对生成式人工智能（GenAI）用例的基础设施模板，许多企业正在探索这些用例。这些模板旨在将 Rafay 的环境管理和 Kubernetes 管理功能与开发人员和数据科学家使用的一流工具结合起来，从 GenAI 中提取业务价值。

Rafay 的 GenAI 模板使平台团队能够有效地指导 GenAI 技术的开发和利用，其中包括各种用例的参考源代码、预构建的云环境模板以及与 GenAI 生态系统预集成的 Kubernetes 集群蓝图。客户可以轻松尝试使用亚马逊 Bedrock、微软 Azure OpenAI 和 OpenAI 的 ChatGPT 等服务。模板内置了对基于 GPU 的高性能计算环境的支持。此外，还支持数据科学家使用的传统工具，如用于资源管理的简单 Linux 实用程序（SLURM）、Kubeflow 和 MLflow。参加本周在芝加哥举行的 Kubecon 2023 的开发人员和数据科学家可以在 C31 展台观看现场演示。所有模板、参考设计和示例代码均可在 Rafay 的 Git 仓库和 Rafay 文档中找到。

根据 Gartner 的预测，到 2026 年，80% 以上的企业将在生产环境中使用生成式人工智能 API、模型和/或部署 GenAI 支持的应用程序，而 2023 年这一比例还不到 5%。在现代技术的动态环境中，平台团队发现自己正处于转型之旅的最前沿。他们肩负着举足轻重的任务–不仅要启动 GenAI 技术，还要为 GenAI 技术的开发和集成制定明确的指导方针。

Rafay 的 GenAI 模板简化了部署 AI 应用程序的环境设置，因此平台团队可以率先进行 AI 开发，并使开发人员和数据科学家能够充分利用 AI 的潜力。

开发人员只需按下按钮，就能以可控的自助服务方式使用企业级人工智能开发沙盒，从而加快创新进程，从而获得竞争优势。Rafay 的原生产品将继续提供平台团队所需的控制和效率，以便在控制成本的同时保持监督。”Rafay 系统产品与解决方案高级副总裁Mohan Atreya表示：”随着平台团队在启用GenAI技术和管理传统人工智能与ML应用方面发挥主导作用，Rafay 的GenAI重点模板加快了从聊天机器人到预测分析等所有人工智能应用的开发和上市时间，为企业带来了GenAI的实时优势。”平台团队可以授权开发人员和数据科学家快速进行GenAI实验和产品化，同时实施必要的防护措施，确保企业级的治理和控制。有了Rafay，任何企业都可以自信地从今天开始他们的GenAI之旅”。

通过可控的自助服务方法释放人工智能的全部潜力

Rafay 的 GenAI 模板为开发人员和数据科学家提供自主权，同时简化云环境和 Kubernetes 集群等 AI 基础设施的集成和资源管理。企业平台团队受益于以下功能：

自助服务体验：开发人员和数据科学家可以通过 Rafay 和 Spotify Backstage 使用自助服务工作流程单独部署、查看和管理他们的 GenAI 应用程序和基础设施。
AI/ML 生态系统支持：Rafay 为 LLM 提供商提供开箱即用的支持，包括 Amazon Bedrock、Azure OpenAI 和 OpenAI。
AI 应用程序和源代码：包括多个带有源代码的 GenAI 和 AI 工作台应用程序，例如文本摘要和使用 GenAI 的聊天机器人应用程序。
任何编排、任何云：公有云以及私有数据中心和边缘位置上的 Amazon ECS、EKS/A、Microsoft AKS 和 Google GKE 的预构建模板有助于简化 AI 资源管理。
集群和工作流标准化：Rafay 的 Kubernetes 蓝图环境模板允许平台团队创建一组标准 GenAI 环境，并使其在企业范围内可用。
安全 RBAC：每个开发人员、数据科学家、研究人员等都可以创建和销毁环境（但不能是平台团队构建的模板）并独立操作它们，由 RBAC 管理。
集成 GPU 和 Kubernetes 指标：Rafay 在控制器上自动捕获并聚合多租户时间序列数据库中的 Kubernetes 和 GPU 指标。
AI/ML 应用程序的多租户：企业让不同的团队共享集群（可能具有特定的 LLM 资源）以节省成本是非常常见的。Rafay 的多模式多租户功能可以轻松支持同一 Kubernetes 集群上的多个 AI/ML 团队。
退款和展示：Rafay 提供每个独立单位的财务指标，包括跨私有云和公共云的 AI 应用程序的退款和展示
支持传统人工智能平台：Rafay 还支持传统人工智能框架，例如 SLURM、KubeFlow 和 MLflow。