智能体AI时代，Arm带来CPU性能评估的新标尺

  “智能体AI改变了性能衡量逻辑，生成的Token要能切实应用，我们不仅要从Token角度评估性能，还要从智能体及其任务的角度评估。”Arm云AI解决方案架构总监Ravi Malhotra说道。

  2026年被行业普遍视为“智能体AI技术规模化落地元年”。智能体AI将人工智能的角色从内容生成工具转变为协作伙伴。

  这种能力跃迁，让Token(词元)不再只是单次输出的计量单位，而是贯穿智能体推理、调用、编排等流程的核心消耗单元，直接带动了算力需求的爆发式增长。根据风险投资机构a16z援引的OpenRouter数据，自2026年2月以来，智能体的Token使用量增长约14倍。

  传统Token评估体系已无法适配落地需求

  CPU作为承载着工具调用、任务编排、数据调度、安全隔离等环节的重要算力载体，直接决定了智能体的任务执行效率、并发承载规模与整体部署成本。当智能体的竞争从模型能力转向落地能力，CPU的性能表现与评估体系，就成为了决定产业落地效率的关键。

  正是基于对这一产业趋势的深度判断，Arm发布了《智能体AI时代如何定义CPU与软件栈性能》的白皮书，系统提出面向智能体时代的CPU性能评估体系。日前，比特网采访到Arm云AI产品解决方案总监Ravi Malhotra，围绕不同类型的智能体AI对计算基础设施的差异化需求，以及智能体AI时代CPU性能评估应如何演进进行了深入解读。

  在生成式AI阶段，行业形成了以Token生成效率为主要标尺的性能评估逻辑，但这套标准已经无法匹配智能体时代的价值链路。Ravi Malhotra指出：“在智能体AI出现之前，AI领域主要以Token生成来衡量性能，即每秒Token数、每瓦Token数和每美元Token数。智能体AI改变了这一点，它要求生成的Token能够在真实世界中得到切实应用。”

  完整的智能体工作流可以拆分为两大环节：一是推理与规划，即Token生成过程，通常运行在搭载加速器的AI机架上，侧重大规模上下文处理与模型计算，需要充足的内存与存储空间支撑;二是工具调用与编排，即基于生成的Token采取实际行动，包括访问数据库、调用服务、执行代码、流程串联等，这部分完全运行在通用CPU服务器上，是智能体从输出内容到交付结果的关键一步。

  与此同时，不同领域的智能体应用对CPU的需求呈现出极强的分化特征，没有统一的算力模板。以代码智能体为代表的软件工程类应用，需要完成代码生成、补丁创建、编译测试、错误修复等长链路任务，对单核性能、单线程处理能力要求极高;企业客服、供应链管理、个人助理类场景单次操作多为轻量动作，但任务并发量极大，对CPU的吞吐量、并发调度能力要求更高;科研与金融分析场景则需要多智能体协同完成复杂模拟，同时产出大量领域数据，对数据处理与调度能力有复合要求。

  双维度+机架视角：打造CPU性能评估新范式

  不同场景的算力诉求差异之大，已经让一刀切的性能指标失去了普适参考意义，行业需要一套更贴合真实业务链路的CPU性能评估体系。

  针对传统评估体系的短板，Arm在白皮书中提出了一套完整的智能体AI CPU 性能测评方法，该框架基于三大原则：具有代表性的智能体应用场景、可重复的 CPU性能测试方法、端到端的结果验证。整套方法论采用“组件基准+端到端智能体基准”双维度框架，跳出单一参数对比思路，同时将评估视角从单颗芯片升级到机架级整体效率。

  组件基准是整个评估体系的基础。它针对Web服务、数据库、向量库、模型服务、沙箱等智能体工作流中的关键组件分别开展测试，有助于排除模型推理、网络波动等无关变量的干扰，从而精准评估CPU在各环节的真实性能。不同组件的测试侧重各有不同：工具调用类侧重I/O能力与并发效率，编排类侧重CPU并发度与资源利用率，推理规划类侧重单线程性能、缓存效率与内存带宽。不过组件基准也有其边界：它只能衡量单个组件的表现，无法反映各组件在完整工作流中的协同运行效果，单项参数优秀不代表全流程效率出色。

  端到端智能体基准则是评估体系的核心升级。它采用SWE-bench、Terminal-Bench等行业主流测试集，模拟完整的智能体工作链路，能够直接判断CPU的性能改进能否转化为更好的任务完成效果。

  这套体系的评估目标是持续性能，指的是在满足SLA(服务等级协议)的前提下，系统能够稳定承载的并发量与吞吐量。Ravi Malhotra表示：“性能评估不能只看单颗CPU能够承载多少智能体，也不能单纯追求最高吞吐量，还需要在吞吐量与SLA要求之间取得平衡。”更重要的是，这套方法论将评估视角从单芯片参数转向了机架级整体效率。单芯片性能对比存在天然的认知盲区，它忽略了功耗、内存效率、部署密度、服务器成本等真实影响数据中心总拥有成本的因素。将评估粒度从单颗芯片升级到整机架效率，本质上是让性能评估回归数据中心的真实商业逻辑。

  均衡架构，释放机架级算力效率优势

  在方法论之外，Arm还联合独立技术分析机构对智能体工作负载进行了评估，重点关注Arm AGI CPU在效率、可扩展性和性能之间的平衡。

  相关研究将CPU承担的智能体任务单独考察，尽可能排除GPU推理或Token生成部分，以便更清晰地观察CPU在工具调用、编排、数据处理和沙箱执行等环节的表现。评估结果显示，Arm AGI CPU围绕机架级持续性能进行设计，在相同功耗预算下注重提升每机架可承载的智能体数量和处理效率，并将每核性能、单颗CPU性能与机架级扩展能力结合起来。

  这一思路强调的是性能、可扩展性与效率的均衡。Ravi Malhotra指出，不同CPU架构有不同取舍，Arm更关注在性能、规模和效率之间取得平衡。低功耗是Arm CPU设计的核心，也是Arm三十多年来的优势所在。2018年推出Arm Neoverse系列以来，Arm与超大规模云服务提供商紧密合作，了解SQL数据库、缓存、机器学习推理、视频解码和编码等云端关键负载，并持续改进核心架构和网格互联架构，从Neoverse N1一直到Neoverse V3，而Neoverse V3正是Arm AGI CPU的核心。由于每个核心功耗更低，在相同机架功耗预算下可以部署更多核心;将每核及每颗CPU的性能与每机架更多核心数量结合，有助于形成机架级性能与效率优势。

  沙箱开销是智能体AI应用的一项现实成本。出于数据和隐私考虑，用户希望每个智能体都在隔离环境中执行，但创建沙箱并让其准备好运行任务需要时间，即便以毫秒计，影响也可能相当可观。Arm对沙箱容器创建时间进行了基准测试，覆盖冷创建、热创建，以及多个容器在同一物理核上并行运行形成超额订阅的场景。Ravi Malhotra表示，Arm AGI CPU在这些场景中注重降低额外开销，帮助客户更准确地理解沙箱成本对并发效率的影响。这一差异在企业运营等高并发场景中尤为重要：沙箱开销越低，系统在相同时间内能够处理的客户支持工单就越多，进而提升整体效率并降低单个任务成本。

  在产品落地层面，Arm推出了Arm AGI CPU 1OU双节点服务器参考设计和Arm AGI CPU 2U2P服务器参考设计。同时联合超微电脑、联想、华擎科技等合作伙伴提供一系列量产平台和商用服务器，具有不同尺寸和配置，面向不同用例。例如，Supermicro 5U平台面向AI服务器场景，Arm AGI CPU作为头节点，与客户选用的加速器协同工作。机架层面也有风冷方案，以及由Supermicro打造的液冷方案，涵盖19英寸和Open Rack双宽两种规格。

  写在最后

  智能体技术的演进仍在加速，新的工作负载、部署形态还会持续涌现，指望用一套固定标准定义所有场景的CPU性能，本身就不符合智能体AI多元化的发展规律。Ravi Malhotra的判断一语中的：“没有两个智能体AI应用是完全相同的。为每个用例选择不同的CPU并不是一种可扩展的模式。”

  Arm此次提出的评估体系，与其说是给出了一套标准答案，不如说是为行业提供了一套更贴合落地逻辑的评估思路。从聚焦单颗芯片的峰值速度，到锚定整机架的持续效率;从用单一Token指标衡量算力水平，到用端到端任务完成效果校验落地价值，背后对应的正是企业从技术竞争向价值落地的深层转向。

  当越来越多企业开始从业务视角重新审视算力选型，智能体AI的规模化落地才会拥有坚实的基础设施支撑。一套更科学、更贴合真实场景的性能评估标准，也将成为支撑智能体AI迈向高质量、规模化产业落地的重要基石。