计算基础为人工智能的现在和未来提供动力

大众对人工智能兴趣的爆发显然激发了公众对计算的未来会是什么样子以及它将如何改变我们的生活的想象力。然而，我们仅仅触及了其潜力的表面。

这是因为人工智能和机器学习(ML)正在随处部署，从使用无数处理器训练大型语言模型(LLM)的大数据中心到部署在“边缘”也就是实际设备上的增强的人工智能功能。

将数据中心和边缘的人工智能联系在一起的是对高效计算的需求。随着人工智能的发展，人们将更加关注能效和性能。性能和效率的独特结合使Arm能够推动智能手机革命，我们在正在进行的人工智能故事中看到了同样的情况正在发生。

AI训练与推理

最近的大部分新闻报道都是关于大语言模型、他们的发展和训练——以及这样做所需的高成本和能源消耗。最近的一项研究估计，ChatGPT3由1750亿个参数组成，需要1,287MWh来训练，还排放了552吨二氧化碳。这大致相当于驾驶汽车行驶130万英里，但只需一小时！

但根据Omdia的数据中心计算智能服务，这些在数据中心运行的巨大训练工作负载仅占当今人工智能工作负载的15%。

其余的（所有数据中心人工智能工作负载的85%）在于人工智能推理，这还没有考虑到在边缘数据中心之外发生的推理。推理等人工智能工作负载仍将是云中的关键工作负载，但随着更高效模型的不断发展，越来越多的工作负载将转移到边缘。推理是使用已部署到生产环境中的经过训练的模型来对新的现实世界数据进行预测的过程，它将为无数专业用例和行业的人工智能应用程序提供动力，使各个领域的每个人受益。

推动高效计算

全行业对更高效计算的推动将加速边缘人工智能推理的指数级增长。这给用户和企业带来了许多好处，包括改进的带宽和数据隐私。然而，边缘人工智能面临的挑战是许多不同设备的计算需求不断增加，特别是物联网和消费技术领域的设备。幸运的是，随着行业推动人工智能在从最小的传感器到最大的超级计算机的所有技术接触点上大规模部署，我们已经看到模型和实际设备变得更加节能。

人工智能处理器技术

边缘人工智能和高效计算的发展正在CPU上进行，无论是整体处理工作负载还是与GPU或NPU等协处理器结合使用。随着这些处理器随着时间的推移不断发展和改进，具有更高的性能和效率，人工智能工作负载已经开始转移到边缘。

尽管人工智能的兴起是一种相对较新的技术现象，但在过去十年中，Arm的CPU和GPU性能改进使人工智能处理能力每两年翻一番。这有助于使计算更接近数据捕获的位置，为最终用户提供更快、更安全的人工智能体验。

开发商创新

人工智能向边缘的转变正在转化为开发人员体验的改善。我们已经看到开发人员编写了更紧凑的模型来在小型微处理器甚至更小的微控制器上运行，从而节省了时间和成本。

结果已经初见成效。Plumerai为Arm Cortex-A和Cortex-M片上系统 (SoC) 上的神经网络加速提供软件解决方案，在基于Arm的微控制器上运行超过1MB的AI代码，执行面部检测和识别。为了保护用户隐私，所有推理都在芯片上完成，因此不会将面部特征或其他个人数据发送到云端进行分析。

这不是一个一次性的例子。大量的边缘推理已经在Arm驱动的设备上完成。事实上，当今智能手机领域第三方应用程序中超过70%的机器学习 (ML) 都在Arm CPU上运行。

人工智能基础

随着每一代新一代架构和处理器的实现，无论是我们的CPU、GPU还是世界上第一条microNPU，Arm都会增加更多的AI性能和安全功能，作为持续向边缘推理迈进的一部分。对我们IP的投资与开放软件和工具以及庞大的行业领先生态系统相结合，意味着全球数以百万计的开发人员正在使用Arm计算平台进行基于AI的创新。

从数据中心到边缘，随着人工智能无处不在，Arm将成为推理的基础。