Arm AGI CPU

Arm AGI CPU 是什么？

Arm AGI CPU 是 Arm 首款面向大规模 AI 基础设施的量产芯片。它针对现代数据中心的代理式工作负载设计，在这些场景中，软件代理需要 CPU 来协调计算、管理加速器并统筹多个并发代理。

该设计定位于数据中心部署中的机架级性能和高密度。它基于 Arm Neoverse CSS V3，旨在融入 Arm 更广泛的软件和硬件生态，帮助组织加速 AI 系统部署。

主要特性

• 机架级性能优化：通过微架构、内存、时钟频率和 I/O 的协调选择，在机架规模下实现更高性能。
• 高带宽、低延迟内存系统：内存子系统旨在防止内存瓶颈限制性能。
• 高密度部署效率：低每核 TDP 支持更密集部署，并在高利用率下减少热节流。
• 专用核心减少争用：每个核心均为专用设计，有助于在多线程活跃时降低资源争用。
• AI 指令支持：包含 bfloat16 和 INT8 AI 指令（Armv9.2），支持常见 AI 计算路径。
• 高 I/O 通道可用性和现代互连支持：指定 96 PCIe lanes、PCIe Gen6 和 CXL 3.0 Type 3，并支持多条 Gen4 控制通道。

如何使用 Arm AGI CPU

1. 规划部署，围绕代理式 AI 工作负载的机架或密集服务器需求（CPU 协调加加速器管理）。
2. 选择支持 Arm AGI CPU 的参考或厂商服务器平台（本页列出多种服务器形态因子和参考设计）。
3. 使用已发布规格验证系统级配置（核心数、内存类型/速度、PCIe/CXL 能力及插槽支持），匹配您的加速器和 I/O 需求。
4. 在选定服务器上开始安装和工作负载启动，然后基于机架级性能和密度目标迭代优化。

使用场景

• 代理式 AI 数据中心执行：运行软件代理进行推理、决策和行动的系统，CPU 协助协调大量并发代理和加速器。
• 机架规模 AI 基础设施：部署 AI 工作负载，强调现代数据中心中每机架的最大性能和利用率。
• 高密度云部署：使用支持更密集配置的系统，在高利用率下注重功耗和热裕量。
• 加速器密集型服务器平台：构建需要大量 PCIe 连接并支持 CXL 3.0 Type 3 的平台，用于现代 I/O/内存扩展场景。
• 多服务器形态因子部署：根据数据中心约束，在密集节点设计与其他形态因子（如 OCP 标准或传统 2U 设计）间选择。

常见问题

• Arm AGI CPU 针对哪些工作负载？ 针对需要 CPU 协调的工作负载——管理加速器并统筹多个并发代理的代理式 AI 工作负载。

• Arm AGI CPU 基于什么架构？ 本页指出基于 Arm Neoverse CSS V3。

• Arm AGI CPU 是否支持 AI 指令？ 是的。指定 bfloat16 和 INT8 AI 指令（Armv9.2）。

• 指定了哪些内存和 I/O 能力？ 本页列出 12x DDR5 RDIMM（最高 8800 MT/s），以及 96 PCIe lanes（PCIe Gen6） 和 CXL 3.0 Type 3。

• 如何获取运行它的系统？ 本页指向现已上市的 Arm AGI CPU 服务器及多项参考设计；通常选择支持的服务器平台并在其上部署 AI 基础设施。

替代方案

• 针对 AI 加速器的其他数据中心 CPU：与其选择机架优先的代理式专注 CPU，您可以考虑针对通用 AI 服务器性能的 CPU；区别在于此处描述的代理式编排和机架级密度的特定专注。
• 不含 Arm AGI CPU 的基于 Arm 的服务器平台：如果您已在运行基于 Arm Neoverse 的部署，替代方案是使用现有的 Arm 数据中心处理器；权衡在于放弃 Arm AGI CPU 描述的特定代理式、机架密度导向设计。
• GPU 优先的服务器架构（CPU 编排强调最小）：某些部署可能依赖 GPU 处理更多工作负载编排。这可能将工作流从 Arm AGI CPU 描述支持的 CPU 中心协调转向。
• 替代服务器外形设计：如果机架密度是优先考虑，考虑针对您首选机箱/标准的平台（本页列出了多种参考设计和供应商服务器系统，按外形不同）。