计算机行业动态报告：再谈ARM为何受益GPU与CPU协同

目录AmpereAI推理优化框架，重新定义可扩展AI推理 3跨环境异构推理：从架构趋势到工程落地 5ARMCPU迎来重要机遇：兼具性能与生态的系统性壁垒 8投资建议 11风险提示 12插图目录 13表格目录 13AmpereAIAI推理AIGPU/TPU/NPUAmpereAI（AIO）专为AmpereOneAmpereOne小语言模型混合专家模型推理场景中实现低成本与高能效的双重突破，显著降低专用模型的部署门槛和推理成本。AIO通过多进程多模型并行执行实现CPUFedimossAITHERAI数据验证了AmpereOne处理器在SLM和MoE模型推理场景中的性能，以及在真实生产环境中部署AI推理任务的可行性与效率。根据Fedimoss官网，为验证实际性能，Fedimoss在SupermicroARS-211M-NR服务器上对多个LLM进行了真实推理测试。测试环境配置为AmpereOne192核处理器、1024GB内存、Ubuntu22.04系统。测试结果显示，AmpereOne192ARMCPUtg4242.553tokens/s、pp+tg量达7754.516o/sLlama-3.2-3B分别为1386.766和2637.193o/s；Lma-3.1-8B分别为1000.363和1456.953o/sQw3-30-3（E）分别为769.691和1329.918tokens/s。图1：AmpereOneARMCPU推理吞吐量测试环境 资料来源：Fedimoss官网，国联民生证券研究所图2：AmpereOneARMCPU推理吞吐量测试结果 资料来源：Fedimoss官网，国联民生证券研究所在实际落地案例中，Fedimoss为某加密货币服务提供商部署了AIO+AmpereOne+ATHER方案，提供知识图谱、AgenticWorkflow和Deepresearch260跨环境异构推理：从架构趋势到工程落地AgenticAIARMCPUAgenticKVCache（、异步系统调用（文件I/O、数据库查询、网络请求、外部工具API调用、动态代码执行（生成代码、解释执行并校验输出结果。此类多任务、控制密集、I/O密集型负载难以形成稳定大批量计算，GPU并行单元易处于闲置状态。ARMCPUI/OPromptKVCacheDecode，GPUPrefill工作负载特征 GPU特点 ARM工作负载特征 GPU特点 ARMCPU优势"推理-调-决策交替行 利用率度间化 高核心度适频繁换任务历史/中间状态保留（KVCache）异步系统调用（文件I/O、数据库查

HBM容量有限，成为硬约束

大容量DRAM可承载更大KVCache池询、API调用）资料来源：Fedimoss官网，国联民生证券研究所

并行单易闲置 适合大异步I/OCPU-GPUAIGPU，CPUAgenticAIKVCache、P/D解耦及异构推理的兴起，CPU算力、核心密度和Silicon、NVIDIAGraceBlackwell、DGXSparkCPU、GPUPCIe据搬运的带宽和时延瓶颈。CPU内存管理和任务调度的核心节点。"GPUPrefill+CPUDecode"异构混合推理路径。LLMKV允许的工作负载，可由高核心密度CPUPrefillKVCache，随后持久化到解耦的共享缓存池；ARMCPUDecodeKVCacheGPUKVCachePrefillCPULLM。维度Prefill阶段Decode阶段维度Prefill阶段Decode阶段计算方式对整段输入序列并行计算迭代生成Token算力强度高一般性能瓶颈GPU算力（FLOPS）内存容量、内存带宽、并发调度适合硬件GPU高核心密度ARMCPU资料来源：Fedimoss官网，国联民生证券研究所FedimossFedimossAIOCIKubernetesCPU（CPU+GPU（计算模式与硬件精准匹配GPU（高并发、长上下文。ARMCPUAmpereCPUAI从三个层面进行优ARMARMSMEGEMMNUMASpecRouterEAGLEtokentoken在CPU+GPU异构推理层面，MoE模型内部不同组件的"计算密度与参数量AttentionGPUCPU在GPU高并发推理层面，核心设计包括三级KVCache管理等。三级KVCache，正交联合压缩，互不干扰；模型级结合"注意力头重要性"和"语义区域"二维动态分配GPU内存预算；系统级利用Agent等待工具返回的空闲窗口零开销异步压缩，对关键路径无侵入。三级协同使KVCache内存消耗增长显著慢于上下文长度增长。（OCIAPICPUMoE（GPUARM图3：OCIARMCPU推理界面，展示Gemma426B模型在ARMCPU上运行，输出速度41.46资料来源：Fedimoss官网，国联民生证券研究所ARMCPU统性壁垒Arm是AI时代稀缺的覆盖全场景的统一计算架构，生态优势突出。AIArmAI图4：ARMCPU已经建立强大的生态超大规模云厂商AWSGraviton、AzureCobalt、GoogleAxion等Arm实例均为公有云中性价比最优的选择。根据Arm公布的数据，截至2025年底，向顶级超大规模云厂商出货的算力中，近半数为Arm架构，可充分满足企业大规模AI训练与推理的需求英伟达AI工厂CPU配套超大规模云厂商AWSGraviton、AzureCobalt、GoogleAxion等Arm实例均为公有云中性价比最优的选择。根据Arm公布的数据，截至2025年底，向顶级超大规模云厂商出货的算力中，近半数为Arm架构，可充分满足企业大规模AI训练与推理的需求英伟达AI工厂CPU配套英伟达专为与Rubin、BlackwellGPU搭配运行或驱动Bluefield-4DPU而设计的Grace、VeraCPU均基于Arm平台开发，充分证明了Arm架构可无缝集成至异构计算系统，为平衡型计算节点奠定了基础消费级终端99ArmAIArm汽车与工业场景Rivian、特斯拉、小鹏等头部企业均正在设计基于Arm的定制化自动驾驶栈，覆盖AI模型、软件与芯片全层级。多数机器人系统均依托Arm架构处理器实现智能、控制、感知与系统协同功能资料来源：ARM官方公众号、Futurum，国联民生证券研究所整理Armx86CPUAIAIARMFuturum，2200AIArmAGICPUArmNeoverse基础设施提供核心算力支撑。ArmAGICPU能够在数千核心并行的持续高负I/OArmAGICPUAIAGICPUCerebrasCloudflareOracleF5Meta、OpenAI、Positron、Rebellions、SAP、SK电讯和ArmAGICPU136C（最 ArmAGICPUArmAGICPU136C（最 ArmAGICPU128C（总 ArmAGICPU64C（最大核心数） 成本优化） 内存/核心）参数SKU SP113012 SP113012S SP113012A处理核心CPU

136NeoverseV32x128SVE2MB/核心L2Armv9.2,bfloat16和INT8AI指令

128NeoverseV32x128SVE2MB/核心L2Armv9.2,bfloat16和INT8AI指令

64NeoverseV32x128SVE2MB/核心L2Armv9.2,bfloat16和INT8AI指令系统级缓存系统级缓存最大频率128MB3.5GHz128MB3.5GHz128MB3.7GHz基础基础TDP* 300W12个DDR5,最高可达8800RDIMM内存MT/s300W12DDR5MT/s300W12DDR5MT/s内存吞吐量/核心

每个心6GB/s 每核6.3GB/s 每核13GB/s资料来源：ARM官网，国联民生证券研究所整理ArmAGICPU可实现单机架性能较高：ArmAGICPU具备业界领先的内存带宽，使每个机架能够支持更多高效执行的线程；高性能、高能效的单线程ArmNeoverseV3处理器核心性能出众，每个Arm线程可处理更多任务；更多可用线程与更高单线程处理能力相互叠加，最终实现单机架性能的大幅提升。其中，浙江之江易算科技有限公司成立于2021年8月，注册资本1000万元，坐落于之江易算专注于异构技术集成应FPGACPU、GPU等处理器的软件异构计算核心技术，拥有资深算法工程师和异构智能处理平台研发团队。EasyInferFedimossAgentic时代AIInference生产底座。集智股份通过子公司浙江之江易算控股杭州集智新易算，与潘东创立的Fedimoss(盛见科技)深度技术合作。FedimossAIARMCPUCPU+GPU供EasyInferGPU+ARMAICPU1MAPI网关为开发者提供模型接入、智能路由与成本优化能力，支持48+模型渠道，有望为AI图5：之江易算与Fedimoss在算力领域的合作资料来源：easyinfer官网，国联民生证券研究所投资建议AIAgenticAICPU风险提示CPU工程化落地不及预期风险。CPU在计算集群中部分替代GPU目前理论上AI推理需求增长不及预期风险。若下游AI应用商业化、AgenticAI落地或企业推理需求增长低于预期，相关算力基础设施和CPU行业竞争加剧风险。AI算力、推理优化、CPU/GPU协同和异构调度等方向参与者众多，存在行业竞争加剧的风险。插图目录图1：AmpereOneARMCPU推理吞吐量测试环境 3图2：A