超节点系列报告（一）：万卡一机灵衢铸基

万卡一机，灵衢铸基——超节点系列报告（一）分析师分析师zhengyi@n大模型持续进化与国产芯片制程受限，共同推动超节点成为关键架构路径。（3）系统侧，过去约8年单节点计算能力增长约40倍，而节点间通信带宽仅增Scale-out架构逐渐面临通信墙、内存墙和利用率瓶颈。超节点通过Scale-up高速互联将数百至数千颗芯片组织成一台逻辑计算机，n华为已形成以灵衢UB2.0为底座的全层级超节点产品矩阵。（2）产品覆盖方面，Atlas950SuperPoD将单一Scale-up域扩展至8,19NVL144，Atlas950超节点卡的规模是其56.8倍，总算力是（2）灵衢UB2.0是Atlas950实现万卡级Scale-up的核心底座。UB白Mesh通过分层FullMesh拓扑让带宽随白皮书评估显示，UB-Mesh在多个LLM训练任务中可实现95%以上的线性度，在性能接近传统Clos网络的同时，成本效益达到其约2.04倍、可用点，从而支撑Atlas950将8,192颗NPU组织成一台n超节点产业化将同步拉动芯片制造、先进封装和整机交付需求。（1）算力芯片价值链关注海光信息、寒武纪、北方华创、2n风险提示：核心技术与产品交付风险；市场需求与商业化风险；供应链及产业链映射风险。2供给侧：算力可持续必须建立在实际可获得的芯片工艺上—徐直军，华为全联接大会2025现实起点可获得的制造工艺约束单芯片演进速度供给侧：算力可持续必须建立在实际可获得的芯片工艺上—徐直军，华为全联接大会2025现实起点可获得的制造工艺约束单芯片演进速度↓行业催化AI需求仍持续增长单颗芯片无法独立承载↓竞争单位算力、内存、互联、软件必须联合优化↓架构答案“超节点+集群”把增量转向系统层时间品牌芯片型号FP8算力FP4算力FP16算力内存容量内存带宽2025Q1Ascend910C——800TFLOPS128GB3.2TB/s2024Q4—2025NVIDIAB2004.5PFLOPS9PFLOPS4.5PFLOPS192GBHBM3e8TB/s2026Q1Ascend950PR1PFLOPS2PFLOPS—128GB1.6TB/s2025H2—2026NVIDIAB3007PFLOPS15PFLOPS4.5PFLOPS288GBHBM3e8TB/s2026Q4Ascend950DT1PFLOPS2PFLOPS—144GB4TB/s2026H2NVIDIARubinR10016PFLOPS50PFLOPS8PFLOPS288GBHBM422TB/s2027Q4Ascend9602PFLOPS4PFLOPS—288GB9.6TB/s2027H2NVIDIARubinUltra约32PFLOPS100PFLOPS约16PFLOPS384GBHBM4e约32TB/s2028Q4Ascend9704PFLOPS8PFLOPS—288GB14.4TB/s资料来源：华为全联接大会2025徐直军主题演讲，英伟达官网，浙商证券研究所整理■负载侧——让通信、访存和资源编排成为Token产出的共同瓶颈■约2000卡仿真中，256卡超节点单卡训练性能较8卡服务器高15%。■64/128/256卡收益趋平，说明不是无限堆卡，而是寻找模型并行、互联成本和规模效率的最优Scale-Up域。8年变化：算力增长远快于通信，系统瓶颈从■近8年单节点算力约增长40倍，而节点间通信带宽仅增长约4-8倍。■当模型被切到多卡后，All-Reduce、All-to-All、KVCache搬运会把等待时间放大。■传统Scale-Out更适合松耦合任务；大模型并行训练/推理要求更接近“单机内部总线”的协同效率。负载侧：MoE、长上下文与P/D分化改变资源需求 稀疏激活降低计算量，却增加专家路由、同步与All-to-All通信 长上下文KVCache容量∝并发用户数上下文扩展同时抬升Attention计算量与KV缓存容量，数据放置和访问方式成为系统约束■Prefill需并行处理输入序列，核心约束更多来自计算能力；■Decode则以自回归方式逐Token生成，对内存带宽和互联能力更为敏感。若仍沿用CPU、NPU、内存与网络资源固定绑定的节点架构，则计算密集阶段可能受制于算力不足，而生成阶段则可能受制于访存与通信。超节点的价值正在于扩大资源协同边界，使计算、内存与互联能够围绕实时负载进行更高效的统一调度。有效Token产出并非由单一算力指标决定，而是算力、内存容量与带宽、互联、资源编排及可靠性共同作用的系统工程问题资料来源：HUAWEIUBWhitePape华为Atlas950SuperPoD超节点矩阵亮相WAIC支持8192颗Ascend950DT芯片。满配包括由128个计算柜、32个互联柜，共计160个机柜组成，占地面积1000覆盖全层级算力需求覆盖全层级算力需求AtlasAtlas950SuperPoD最高可达8,192计算卡,灵衢2.0互联,总算力高达8核心定位：单一scale-up垂直扩展域,面向超大规模AI训练的全液适配场景：万亿参数大模型训练、AIforScien双线产品分层，降低落地成本AtlasAtlas850E企业级普惠型智算超节点，支持单个风冷超节点扩展至96到传统机房，大幅降低企业AI算力部署门槛适配场景：中小企业AI智能化升级、边缘计算中Atlas950Atlas950SuperCluster52,4万计算卡,DCN网络互联,总算力核心定位:面向海量AI算力需求的Scal资料来源：华为中国公众号、华为超节点行业发展报告、华为全联接大会2025徐直军主题演讲，浙商证券研究所整理Atlas950集群2025202620272028+单节点8,192卡|万卡级单节点15,488卡|倍增单节点384卡|已商用2028+远期规划已规模交付商用2027Q42026Q12026Q452.4万卡|超大规模突破>100万卡|迈入百万卡级产品HBM容量计算柜互联柜单机柜卡FP16算力FP8算力FP4算力互联带宽训练吞吐量推理吞吐量面积4--约0.29mnTPS约0.74mnTPS--4.91mnTPS-约15.9mnTPS约50.6mnTPS资料来源：华为全联接大会2025徐直军主题演讲，浙商证券研究所整理注：部分数据未披露统一口径用-表示一台超级计算机协同工作。48TiB784GB/S200ns一台超级计算机协同工作。48TiB784GB/S200ns代表产品CloudMatrix384为业界首个底层计算架构接口开源，社区上线67个项目，开源代码超1244万行，月活跃开持续扩展生态协同边界。于2025年3月开始交付750+套750+套2000+家昇腾/华为超节点相对传统AI服务器、改造前训练或推理架构的对比昇腾/华为超节点相对传统AI服务器、改造前训练或推理架构的对比37.3%→37.3%→55.9%华为A3超节点vs传统AI服务器昇腾384超节点vs原MoE训练-40%~-50%-40%~-50%华为超节点MoE推理vs原/业界方案30-5030-50ms→15ms华为超节点MoE推理vs原业务延迟资料来源：华为中国公众号，注：底部四项均来自华为《超节点发展报告》案例披露，浙商证券研究所整理提升。相比华为已经推出的Atlas900超节点，Atlas950超节点的训练性能提升17倍，达到4.91MTPS。通过支持FP4数据格式，Atlas950超节点的推理性能提升达26.5倍，达到19.6MTPS。02总HBM02总HBM容量(TiB)1,15201NPU数量(张)8,19204性能提升倍数对比04性能提升倍数对比多维差异训练TPS推理TPS03系统互联带宽(PB/s)16资料来源：华为全联接大会2025徐直军主题演讲，华为发布会，浙商证券研究所整理资料来源：华为发布会，浙商证券研究所宽上领先幅度最大，推理吞吐达19.6mn8,19284.81,152365750.26NVIDIANVL144NVIDIANVL576Atlas950SuperPoDLLM通信高度局部：TP与SP合计约占97%论文基于华为内部MoE-2T模型的流量拆解；不同模型比例可能略有差异，但同样体现强局部性n设计含义：不再为所有节点提供对称带宽；高带宽优先服务最常各并行方式的通信模式Parallel，数据并行）、SP（SequenceParallel，序列并行）、PP（PipelineParallel，流水线并行）、EP（ExpertParall每个小方块代表一个NPU上的计算分片，不同颜色箭头标示各并行维度上的数据切分与通信方向，直观说明训练任务是如总通信量构成：96.98%并行术语专业解释单次传输数据量总传输次数总通信量流量占比TensorParallelism张量并行：将同一层的权重矩阵和计算任务切分到多张卡，完成后合并结果沿序列维度切分Token和中间激活，不同设备处理不同序列片段每个设备保存一份模型，处理不同数据批次，反向传播后同步梯度高带宽本地通信长距离流量仅约3%资料来源：HUAWEIUBWhitePaper（2025浙商证券研究所整理n性能上：与传统Clos网络相比，UB-Mn成本上：UB-Mesh的成本效益达到传统Clos的2.04倍，以及7.2pcts的可用性提升。UB-Mesh让带宽跟着流量局部性走路由与训练让带宽跟着流量局部性走路由与训练APR+集合通信+并行映射统一互联UB可分配·可池化直接通知+64+1完整闭环五层协同分层拓扑近端粗·远端细流量模式TP/SP约97%不同柜间互联的端到端性能对比不同柜间互联的端到端性能对比相对性能：2D-相对性能：2D-FM(Shortest)、2D-FM(Detour)、2D-FM(Borrow)、2D-FM(Detour+Borrow)与Clos（均以Clos为100%），各柱高度都在99%~100%附近，表明价格较低的2D.FM柜间直连配合APR路由策略即可达到与Clos几乎一致的端到端训练性能。序列长度256K下的线性度分析序列长度256K下的线性度分析资本开支对比资本开支对比CapEx阶段：节省的高性能交换机与长距离光缆/光模块；OpEx阶段：交换机与光模块用量的大幅减少。若将系统的成本效益定义为：成本效益=平均性能/（OpEx+CapExUB.Mesh可实现约2.04倍的成本效益提升。MTBFMTBF可用性估算线性度=（目标规模下的单NPU性能）/（基准规模下的单NPU性能）×100%横轴为归一化集群规模（1×至64×),纵轴为线性度（85%~115%），不同模型上线性度始终保持在95%以上。可用性=MTBF/（MTBF+最终计算得UB.Mesh的可用性为98.8%，较Clos的提升7.2pcts。资料来源：HUAWEIUBWhitePaper传统混合互联：资源跨边界必须不断换协议传统混合互联：资源跨边界必须不断换协议CPUCPU与网卡之间通过PCIe互连；服务器内部的GPU之间通过UB：一套互联语义连接异构资源UB：一套互联语义连接异构资源块——UBProcessing）：栈的组件，并提供软行内存地址翻译和访至LRS交换机等不同模块中复用。资料来源：HUAWEIUBWhitePaper（UB-Mesh的硬件架构设计契合LLM训练的流量模式——解构Atlas950SuperPoD1D单板n所有组件互连采用UB2.0灵衢技术，我们从UB.1D单板n所有组件互连采用UB2.0灵衢技术，我们从UB.Mesh.Pod来看950超节点架构——采用4D.FullMesh拓扑。Rack为2D：64个NPU+16个CPU+1个备用NPU（18台LRS全互连成1个交换平面，共计72台LRS）Pod为4D:16个Rack构成nSuperPod为nD：8个Pod的链接为Clos方式，不再用UB。n与CPU、NPU同板的传统方案不同，这里二者是分离的：CPU通过交换机连接NPU，从而支持灵活的CPU/NPU配比Rack背面光缆2D单Rack4D.4D.FullMesh拓扑资料来源：HUAWEIUBWhitePaper传统数据中心网络架构：Clos传统数据中心网络架构：Clos——多层交换机对称互连所有计算节点传统Clos架构：通过全局交换机（Glob2D-FULLMesh+Clos混合拓扑示意Switch）、骨干交换机（SpineSwit层（Aggregation2D-FULLMesh+Clos混合拓扑示意带宽分配：对称成本效益：低UBUB-Mesh:nD-FullMesh拓扑，短距离高频通信用UB，跨域拓展用Clos→机柜（Rack）→行（Row）→组（Group）表示绝大部分流量集中在本地近距离范围带宽分配：分层局部成本效益：高资料来源：HUAWEIUBWhitePaper（2025），基于灵衢的超节点参考架构白皮书，浙商证券研究所整理nD-FullMesh：高频走短链，跨层带宽递减递归构建：相邻域继续组成更高一维的FullMesh跨域带宽逐层收敛跨机架继续直连局部高带宽域节点间直连为什么有效0-2跳：大多数TP/SP传输可在局部直连域完成，减少数据移动距离。按维分配：每个维度的每节点带宽可按训练需求调整，不必全网对称。论文估算的链路构成86.7%为短距无源电缆资料来源：HUAWEIUBWhitePaper1KNPU以内用4D-FullMe当前实现是4D-FullMesh+Clos当前实现的扩展边界4D-FullMesh：短距电直连4D：兼顾电缆距离、成本与云端切分x56机架内资料来源：HUAWEIUBWhitePaper机架内每个NPU既是计算节点，也是路由节点64-NPU机架的简化工作图18×18×四个关键事实8×8：八块板、每板八个NPU，共64个常规CPU解耦：CPU板与NPU板分离，比例与绑定资源池化：CPU/NPU/DDR通过交换接入，提x512x32x72x72资料来源：HUAWEIUBWhitePaperAPR不只走最短路：把闲置与绕行路径也纳入转发SS多条可用路径并行故障/拥塞时切换多条可用路径并行故障/拥塞时切换闲置链路无法贡献带宽APR的三个底层机制01源路由（SR）8-byte紧凑头部携带逐跳指令，源端决定何时使用非最短路径。按Pod/机架/板划分地址段，以共享前缀与线性偏移缩小路由表。03拓扑感知无死锁流控TFC用2个虚拟通道（VL）支持全路径转发并规避环路死锁。 输出：更高链路利用率+更强故障韧性资料来源：HUAWEIUBWhitePaperTP/SP优先拓扑感知映射接局部直达SDAPR动态选路TP/SP优先拓扑感知映射接局部直达SDAPR动态选路跨域与接收结构化目的地址PPRRBBNN局部直连优先，少数长距离通信逐层上收拥塞/故障APR切到非最短路径；论文的机架间评估还包含Borrow交换带宽策略资料来源：HUAWEIUBWhitePaperAllReduce借用闲置链路；All-to-All同时沿多个维度发送，并可拆成分层广播与归约集合通信把APR的多路径能力转化为训练吞吐All-to-All：多路径+分层AllReduce：MultiAll-to-All：多路径+分层红：原始Ring1灰：借用闲置链路形成Ring2把Token分发/专家回收重写为CCUCCU硬件卸载UBI/O内的集合通信单元可主动读写HBM、发起传输、片上归约，并减少冗余数据拷贝。意义：网络提供多路径，通信库与CCU决定这些路径是否真正转化为吞吐。资料来源：HUAWEIUBWhitePaper仅有分层硬件还不够；错误映射会同时造成拥塞与带宽闲置三步搜索最优映射把最“重”的通信放进最近的域三步搜索最优映射优先级机架内高带宽域TP/SP高01生成可行配置02计算通信成本模型同时考虑拓扑、APR与集合通信行为资料来源：HUAWEIUBWhitePaper直接通知缩短链路故障传播；64+1备份用一跳重定向替代少卡链路故障：直接通知受影响节点链路故障：直接通知受影响节点NPU故障：激活64+1备份0341203412564NPU-3故障预计算通信关系→直接通知节点6→APR切论文对8KNPU网络模块的独立可靠性估算UB-Mesh可用性Clos可用性资料来源：HUAWEIUBWhitePaper在8192卡超节点范围内实现光互连MTBF（MeanTimeBetweenFailures，平 均故障间隔时间）大于6000小时大规模组网：支持超节点以大于90%的线性度从单节点扩展到81资料来源：HUAWEIUBWhitePaper资料来源：浙商证券研究所整理NPO/Hi.One光芯片、光模块、光纤连接器：当前一代机柜内以正交背板电互联为主，下一代产品全面配套赛道：先进封装设备、半导体材料、液冷/产业链环节相关公司AI计算与先进封装华工科技、中际旭创、光迅科技、华丰科技、意华股深南电路、沪电股份、一博科技、兴森科技、华正新材联芸科技、国科微、江波龙、佰维存储、同有科技、中科曙光超聚变、浪潮信息、联想集团、神州数码、软通动力、华勤技术1、核心技术与产品交付风险：Atlas950/960超节点及Ascend950DT等产品仍处于规划或产业化推进阶段，其规模交付依赖芯片量产、HiZQ高带宽内存、灵衢UB2.0、全光互联及液冷系统等环节协同。若芯片良率、互联可靠性、万卡集群线性度、软件适配或产品交付进度不及预期，可能影响超节点性能兑现和商业化落地。2、市场需求与商业化风险：超节点需求与AI资本开支、大模型训练及推理需求、客户预算和采购节奏密切相关。若AI算力需求增速、政企客户投资意愿或国产算力渗透率低于预期，叠加超节点对机房空间、供电、液冷及网络设施要求较高，可能导致项目建设周期延长、产品出货和产业链订单兑现不及预期。3、供应链及产业链映射风险：国产超节点涉及先进制程、HBM、先进封装、互联芯片、光模块、PCB、液冷及供电等多个环节，若关键部件供应受限、产能扩张不及预期或成本上升，可能影响系统交付和盈利能力。同时，报告所列公司主要基于技术环节和产业方向进行映射，不等同于已进入华为供应链，实际供货关系、订单规模及单机价值量仍以报告日后的6个月内，行业指