Arm AGI CPU

Arm AGI CPU 是什麼？

Arm AGI CPU 是 Arm 首款專為大規模 AI 基礎設施設計的量產晶片。它針對現代資料中心的代理式工作負載，其中軟體代理需要 CPU 來協調運算、管理加速器，並統籌多個並行代理。

設計定位於資料中心部署的機架級效能與高密度。它基於 Arm Neoverse CSS V3，旨在融入 Arm 更廣泛的軟體與硬體生態系，協助組織加速部署 AI 系統。

主要特色

• 機架級效能導向：透過微架構、記憶體、時脈頻率與 I/O 的協調選擇，在機架規模提供更高效能。
• 高頻寬、低延遲記憶體系統：記憶體子系統旨在避免記憶體瓶頸限制效能。
• 高密度部署效率：每核心低 TDP 設計，支援更密集部署，並在高利用率下減少熱節流。
• 專用核心減少競爭：每個核心為專用設計，有助於多執行緒活躍時降低資源競爭。
• AI 指令支援：包含 bfloat16 與 INT8 AI 指令（Armv9.2），支援常見 AI 運算路徑。
• 高 I/O 通道可用性與現代互連支援：指定 96 PCIe lanes、PCIe Gen6 與 CXL 3.0 Type 3，並搭配多條 Gen4 控制通道。

如何使用 Arm AGI CPU

1. 規劃部署，圍繞代理式 AI 工作負載的機架或高密度伺服器需求（CPU 協調加上加速器管理）。
2. 選擇支援 Arm AGI CPU 的參考或供應商伺服器平台（本頁列出多種伺服器外型規格與參考設計）。
3. 使用發佈規格驗證系統級配置（核心數、記憶體類型/速度、PCIe/CXL 功能與插槽支援），以符合您的加速器與 I/O 需求。
4. 在選定伺服器上開始安裝與工作負載啟動，然後依據機架級效能與密度目標迭代調整。

使用案例

• 代理式 AI 資料中心執行：執行軟體代理進行推理、決策與行動的系統，CPU 協助統籌大量並行代理與加速器。
• 機架規模 AI 基礎設施：部署強調現代資料中心每機架最大化效能與利用率的 AI 工作負載。
• 高密度雲端部署：使用支援更密集配置的系統，在高利用率下考量功率與熱裕度。
• 加速器密集型伺服器平台：建構需要大量 PCIe 連線與 CXL 3.0 Type 3 支援的平台，用於現代 I/O/記憶體擴充情境。
• 多伺服器外型部署：依資料中心限制，在高密度節點設計或其他外型（如 OCP 標準或傳統 2U 設計）間選擇。

常見問題

• Arm AGI CPU 針對何種工作負載？ 針對需要 CPU 協調的代理式 AI 工作負載——管理加速器並統籌多個並行代理。

• Arm AGI CPU 基於何種架構？ 本頁指出基於 Arm Neoverse CSS V3。

• Arm AGI CPU 是否包含 AI 指令支援？ 是的。指定 Armv9.2 下的 bfloat16 與 INT8 AI 指令。

• 指定哪些記憶體與 I/O 功能？ 本頁列出 12x DDR5 RDIMM (up to 8800 MT/s)，以及 96 PCIe lanes (PCIe Gen6) 與 CXL 3.0 Type 3。

• 如何取得執行系統？ 本頁指向現有 Arm AGI CPU 伺服器與多種參考設計；通常選擇支援的伺服器平台並在其上部署 AI 基礎設施。

替代方案

• 針對 AI 加速器優化的其他資料中心 CPU：相較於以機架為先、專注代理式 CPU，您可考慮針對一般 AI 伺服器效能的 CPU；差異在於此處所述的代理式協調與機架級密度專注。
• 無 Arm AGI CPU 的 Arm 伺服器平台：若您已運行 Arm Neoverse 部署，替代方案是使用現有 Arm 資料中心處理器；權衡之處是放棄 Arm AGI CPU 所述的代理式、機架密度導向設計。
• GPU 優先伺服器架構（CPU 協調強調最小化）：某些部署可能依賴 GPU 處理更多工作負載協調。這會將工作流程轉離 Arm AGI CPU 所述的 CPU 中心協調。
• 替代伺服器外形設計：若機架密度為優先，考慮您偏好機箱/標準的高密度平台（本頁列出多種參考設計與供應商伺服器系統，按外形而異）。