半导体行业深度报告-AI互连系列报告：围绕CPU-外设及GPU-GPU两条主线探索当前超节点的柜内互连

目 录1、“CPU-外设”+“GPU-GPU”构成了超节点内主要互连 42、CPU-外设：决定超节点层级的基础组网 5、PCIe：应用最广泛，生态最成熟的CPU-外设的互连总线 5、NVLink-C2C：针对CPU-GPU的高速NVLink 6、CXL：建立在PCIe之上的跨设备缓存一致性高速互连标准 73、GPU-GPU：利用多种私有/开放协议实现计算资源高效互连 8、PCIe：在超节点层级实现GPU-GPU间大规模互连 8、NVLink：专属NVIDIA的服务器内部紧耦合GPU高速互连方案 10、InfinityFabric：缓存一致与统一显存提升多GPU协同效率 、华为AscendUB互连：面向昇腾平台形成自主可控高速互连 12、XLink及其他方案：定制化提升局部性能但生态碎片化明显 15、SUE/UALink/ETH+/…：依托于成熟的以太网生态的多种开放scale-up互连方案 15、SUE：利用优化以太网协议栈，为XPU集群提供高效的互连解决方案 16、UALink：全新开放的超节点内部紧耦合高速互连方案 174、投资建议 195、风险提示 19图表目录图1：Scale-up&scale-out在大规模AI集群构建中起到了核心互连的作用 4图2：（超）节点（柜）内互连模式可分为“CPU-外设”与“GPU-GPU” 5图3：PCIe是AI服务器柜内CPU-外设最核心的互连总线 5图4：NVLinkC2C在NVL72机柜中起到CPU-GPU互连的作用 6图5：PCIe同NVLinkC2C一起承担NVL72中的CPU-外设互连 7图6：CXL定义的三类设备及其PHY、控制器与应用层 7图7：利用ScorpioX-Series320Lane实现的HighRadix,Multi-levelSwitchScale-up组网 9图8：AsteraLabs公司ScorpioP-/X-SeriesPCIeSwitch概览 9图9：NVLinkScale-up术成熟，创新步伐加快 10图10：NVIDIA核心GPUxNVLink架构演变史 图AMDInstinctMI300X&MI325X平台利用InfinityFabric实现8GPU全互连 12图12：UB协议架构分层技术说明 13图13：CloudMatrix384节点的对等直连硬件架构及UB交换系统示意图 14图14：华为昇腾新一代Atlas系列产品 14图15：谷歌TPUv4中TPU通过ICI沿着x/y/z三个维度完成互连形成4x4x415图16：标准SUE协议栈及工作流程示意图 16图17：XPU通过部署12个SUE并使用12台64个端口的以太网交换机实现全交换连接（示例） 17图18：XPU利用SUE直接互连网状拓扑结构（示例） 17图19：基于UALink的Scale‑Up机柜架构中的多节点与多平面交换 18图20：基于UALink的多加速器系统 18表1：CXL各代际说明及核心变化对比 8表2：NVLink各代际速率及适配情况 10表3：核心推荐标的汇总表（截至2026年10月15191、“CPU-外设”+“GPU-GPU”构成了超节点内主要互连超节点在算力需求量级增长背景下诞生，已成为支撑万亿参数大模型训练与推GPUAI（Super（CPU/GPU/TPU等）AIAI横向扩展Scale-Up：在单个计算节点或紧密耦合的计算单元内部，通过增加计算单元（PScale-Out：当单个计算单元的扩展达到物理或经济上的限制时，通过高速的外部网络将多个这样的计算单元连接起来，以构建更大规模的分布式计算集群。图1：Scale-up&scale-out在大规模AI集群构建中起到了核心互连的作用半导体行业观察公众号由上文总结可知，随着AIAIAI（CPU/GPU/TPU等率整合在一起，这需要NVLink等高速传输技术在GPU内的GUCUCPU和GPU为中心，构成了CPU-外设以及GPU-GPUsacle-upGPUDGXH100GPUCPUNVLink/NVSwitch等高度集成在一个优化设计的机箱内，这便可以看作一个典型的8卡“超节点”单元。接下来我们将围绕着这两个互连层级，分析各自使用的一般互连方式。图2：（超）节点（柜）内互连模式可分为“CPU-外设”与“GPU-GPU”英伟达、魔形智能MagikCompute公众号2、CPU-外设：决定超节点层级的基础组网、PCIe：应用最广泛，生态最成熟的CPU-外设的互连总线PCIe是通用高速串行总线，在AI（一中详细探讨了以PCIe总线为核心的AIPCIeSwitchPCIeGPU（NVIDIA、AMDGPU）通信时都支持GPU/CPUCPUPCIePCIePCIe图3：PCIe是AI服务器柜内CPU-外设最核心的互连总线HardwareEvaluationwithTelemetryEnablementforGrandTeton》PCIeNVLinkGPUPCIeCPUPCIe100%（PCIeSwich（LICeCPU-GPU-GPU的互连我们会在下一章节详细说明。、NVLink-C2C：针对CPU-GPU的高速NVLink英伟达采用NVLink-C2C来强化CPU-GPU间的互连。英伟达在GPU间NVLinkNVLink-C2CCPUGPU迟传输。例如在英伟达当前的NVL72NVIDIARubin/GB200分别通过NVLink-C2C将两个RubinGPUCPU/两个BlackwellGPUGraceCPU4中第二代NVLink‑C2CCPURubinGPU之1.8 TB/sCPU内存与GPU图4：NVLinkC2C在NVL72机柜中起到CPU-GPU互连的作用英伟达官网在英伟达体系内的CPU-外设层级，PCIe仍承担CPU-GPU根据英伟达官网展示的GB300NVL72NVLinkGPUNVLinkCPUGPUNVLinkC2CGPUPCIeCPUCPU-CPU-CPU-DPUPCIe6.0SwitchCX-8CPU-PCIeGPUNVLink-C2C应对的是CPU与GPU之间的高带宽互连，并将CPU与PUPCIe仍然承担了CPU-其他外设以及GPU-用且PCIeSwitch集成于CX-8超级网卡中。图5：PCIe同NVLinkC2C一起承担NVL72中的CPU-外设互连英伟达官网、CXL：建立在PCIe之上的跨设备缓存一致性高速互连标准CXL建立在PCIe（Cache-Coherent）享的协议，旨在高效连接CPUCXLCXL.ioCXL.cacheCXL.memoryCXL.ioI/OCXL.cacheCXL.memory如GPU慢的I/OCXLPCIe虽然CXL最初聚焦于CPU–设备互连，但（CXL加速器可以通过CXLGPU跨CPU/GPU之间共享内存、横向扩展加速器的一种通用方式。图6：CXL定义的三类设备及其PHY、控制器与应用层SynopsysCXL依托PCIeCXL1.1到CXL4.0带宽持续CXL4.0基PCIe7.0CXLPCIeGPUGPU具备XL.acheL这对GPUGPUCXLPCIe标准，远低于NVLink（涉GPUXL3.0（如支持XL3.0的Ce6.0开始兼容CXLCXL版本 底层PCIeCXL版本 底层PCIe标准&x16链路带宽 核心特点&功能概述CXL1.1CXL2.0CXL3.0CXL4.0

PCIe5.0（32GT/s）单向64GB/s，双向128GB/sPCIe5.0（32GT/s）单向64GB/s，双向128GB/sPCIe6.0（64GT/s）121GB/s242GB/sPCIe7.0（128GT/s）242GB/s500GB/s

低延迟QoS等功能实现跨主机共享一致的内存和信息传递；支持Fabric拓扑；近内存处理，允许在内存附近执行计算，以提高性能和能效CXLRASCXL提升系统性能；提供内存可靠性、可用性和可维护性方面的增强功能Saniffer公众号、半导体行业观察公众号、G-G开放协议实现计算资源高效互连、PCIe：在超节点层级实现GPU-GPU间大规模互连PCIe&PCIeSwitch在超节点大规模GPU组网中依然是重要的选项。在多GPUPCIePCIeSwitch助力大规模GPU现超节点服务器的搭建。根据AsteraLabsScorpioSmartFabricSwitch（X-Series）应用示意图可推断，超节点内众多GPU通过强大的高通道ScorpioSmartFabric320xPCIeGPUCewchCewcGPUall-to-all图7：利用ScorpioX-Series320Lane实现的HighRadix,Multi-levelSwitchScale-up组网AsteraLabs官网结合前文表述，我们认为PCIe在AI服务器逐步迈向超节点的时代，仍然承担着最核心的互连作用：PU（网卡PCewchPCIeNVLinkC2CUBCPU-GPUCPU-/GPU设依然需要依托PCIe链路。综合来看，PCIe依然是该层级下最广泛的互连方式，支撑着超节点CPU侧的基础组网；GPU-GPU：PCIeGPU/PCIe（CeCewch现超节点内大规模GPU正如AsteraLabsScorpioPCIeSwitchP-SeriesScorpioPCIeSwitchCPU-X-SeriesScorpioPCIeSwitch则承担着超节点大规模GPU的组网，二者共同构成了AsteraLabsAI互连图8：AsteraLabs公司ScorpioP-/X-SeriesPCIeSwitch概览AsteraLabs官网、NVLink：专属NVIDIA的服务器内部紧耦合GPU高速互连方案应对GPU-GPUNVLinkNVLink是NVIDIA开发的高带宽GPUGPU-GPU以及GPU-CPU2016年推出以来已迭代多代，广泛应用于NVIDIA数GPUPascalBlackwellNVLink采用高速度差分SerDes点对点链路连接GPU，最初设计用以超越PCIe带宽，满足GPU之间大量张量数据交换的需求。NVLink现已推出第六代，借助RubinNVLink72GPU域中为每个GPU3.6TB/s的GPU到GPU260TB/sGPUGPU310NVLink可提（CSP）型号速率适配情况NVLink1.0每链路约20GB/s型号速率适配情况NVLink1.0每链路约20GB/s；典型4链路总带宽约80GB/sPascalP100时代NVLink2.025（双向30VoltaV100，6条NVLink2链路NVLink3.012条链路；GPU对GPU总带宽约600GB/sAmpereA100（80GBSXM4版）NVLink4.0100Gbps/通道；18条链路总双向带宽约900GB/sHopperH100；8卡HGX系统NVLink5.018条链路；每链路100GB/s；单GPU总带宽约1.8TB/sBlackwell架构GPUNVLink6.0单GPU总带宽约3.6TB/s和260TB/s的机架级GPU带宽Rubin架构GPUSaniffer公众号NVSwitch提供NVLinkGPUNVSwitch2018年，NVIDIA推出了NVLinkSwitch8个GPUGPU300GB/sall-to-allGPUscale-upNVIDIA（SHARP）2024年第五NVLink的发布，进一步增强的NVLinkSwitch72个GPU1800GB/s130TB/s800倍。图9：NVLinkScale-up技术成熟，创新步伐加快NVIDIADEVELOPERNVLink/NVSwitch是目前带宽最高、延迟最低的GPU互联方案之一，使NVIDIAGPU（如系列系统。NVLink仅适用NVIDIAGPU/CPUNVLinkNVIDIASXM尽管如此，依托NVIDIAAIGPU图10：NVIDIA核心GPUxNVLink架构演变史NVIDIA官网、InfinityFabric：缓存一致与统一显存提升多GPU协同效率InfinityFabric是AMD开发的片上AMDCPU和GPUGPUGlobalMemoryInterconnect）InfinityFabricXGMINVLink类似的AD的多GUhv（蜂巢）GPUHBM计算。这类似于把多GPU当作一个统一内存的计算单元，简化并行编程模型。以MI300MI300XGPU7Infinity16通InfinityFabric32Gbps/XGMI128GB（4BCeen5x16的4BsGPU可以通过XGMIhive”架构，所有GPU共享各自HBM组成图11：AMDInstinctMI300X&MI325X平台利用InfinityFabric实现8GPU全互连AMDCDNA3白皮书InfinityFabric/XGMI最大的优势是原生缓存一致性和异构内存共享。XGMIGPUCPU（Load/StoreGPU内存AMD的ROCm结合RCCLGPUAMDInfinityFabricAMD在AIXGMIAMDInstinctXGMINVLinkMI300UALinkInfinityFabric统采用，成为对抗NVLink、华为AscendUB互连：面向昇腾平台形成自主可控高速互连Ascend昇AIIOAscendUB112G/224GEID/CNA免协议转换，极大降低时延。UBPUEntity粒度分配给其他UBPU1D/2D/CLOS8192UBoE图12：UB协议架构分层技术说明灵衢UnifiedBus公众号CloudMatrix384161248台腾90C（34颗NU腾91CUB平面：7（L1）UBSwitch（昇910C为纵向扩展UB平面提供合计19GBs（39B；RDMA每颗裸片配备专用接口，为横向扩展RDMA200Gbps的单向带宽；4L2UBSwitch7颗L2UBL2UBSwitch4828 GB/s7L1UBSwitch7个L2子平面一一对应。每颗L1UBSwitchL2UBSwitchL2UB图13：CloudMatrix384超节点的对等直连硬件架构及UB交换系统示意图ServingLargeLanguageModelsonHuaweiCloudMatrix384灵衢2.0昇腾950卡间通信全面助力腾950昇950Atlas950SuperPoD2.0UB1024MoE2.0UB-Mesh+Clos混合拓扑与统一UBoELLM图14：华为昇腾新一代Atlas系列产品华为中国政企业务公众号、XLink及其他方案：定制化提升局部性能但生态碎片化明显XLink并非统一正式标准，而是对多种自定义高速芯片直连技术的概括。目前已公布的XLink包括阿里xLinkC2C、GraphcoreIPU-Link、谷歌TPUICILink，以EnflameAIGPU/AIXLink有互连可以实现特定产品优化，性能发展潜力大，同时设计灵活，可以根据需要定（和协议层。例如在谷歌TPUv4TPU计算单元包含一个CPU托盘和一个TPU托盘，二者通过PCIe互连。而每个TPU托盘搭载4颗TPUv4芯片，构成2x2x1的ICI网格；16个TPU计算单元共同组成一个数据中心机柜；机柜内部的ICI链路通过ICI互连形成4x4x4网格，该整套硬件集合即为一个cube。图15：谷歌TPUv4中TPU通过ICI沿着x/y/z三个维度完成互连形成4x4x4结构ResiliencyatScale:ManagingGoogle'sTPUv4MachineLearningSupercomputer》成统一生态，且由于缺乏行业标准约束，有些私有互连在可靠性、容错等方面成熟度需要长期验证。、SUE/UALink/ETH+/：依托于成熟的以太网生态的多种开放scale-up互连方案基于以太网构建开放的Scale-upGPUScale-up域的规模也在不断扩大。Scale-up层级的互连从早期的以NVIDIANVLink、AMDInfinityFabric（100G800G1.6TScale-upscale-upSUE和UALink、SUEXPUAI系统内Scale-UpSUE利用以太网的高速SerDesScale-UpSUEXPU.p（T<µE（UE与ELe标准SUE具备对E2ESUELite路层重传SUE打破私有协议壁垒，为大规模AI图16：标准SUE协议栈及工作流程示意图SDNLAB公众号SUE在多XPU系统中提供XPU间的通信，将到另一颗SUEXPUSUE24800GSUE1800G2400G4200GSerDesSUEXPU部署多个SUE实例。例如，单个XPU816SUE64个XPU的示例配置，每个XPU12800GSUE1264U9.bp（1×80UE18，8XPUMesh图17：XPU通过部署12个SUE并使用12台64个端口的以太网交换机实现全交换连接（示例）SDNLAB公众号图18：XPU利用SUE直接互连网状拓扑结构（示例）SDNLAB公众号、UALink依托于以太网基础设施之上的开放互连规范。UALink（UltraAcceleratorLink）2024AMD、BroadcomCiscoIntel、MetaAIUALinkNVLink