2024年人工智能行业专题：网络之辩-英伟达Blackwell背后的光电演绎

2024年人工智能行业专题：网络之辩_英伟达Blackwell背后的光电演绎1.Blackwell：英伟达新架构，变与不变（一）性能跃升：内存、带宽、算力“三大件”。TSMC4NP工艺，2dies，20PFLOPS@FP8(Hopper2.5倍)。HBM3e192GB内存@8TBps带宽（二）NVLink5th，拓展72GPU集群，C2C互联。单GPU18xNVLink，带宽1800GBps（此前H100一代900GBps）。最新NVLinkSwitch交换芯片，可576GPU互联（目前实际应用72GPU互联，此前仅8GPU）。Chiptochip，真正意义上实现跨“服务器”互联，达机柜级（尽管此前H100也有尝试）（三）算力呈现方式：板卡-服务器-机柜系统。GB200NVL72系统，算力的“最小单元”从GPU扩大为机柜，以应对海量参数训推。（四）网络场景：c2c，b2b，m2m，交换机网卡。光、电混合，成本与性能平衡，200GSerDes，集群带宽首次应用1.6Tbps光网络。（五）液冷：高密度，高功率。GB200功率可达2700W，NVL72单机柜总功率190kW+，全液冷必备。2.高速网络：量化测算，迭代提速高速网络：AI竞赛揭开序幕，技术迭代明确加速2024-2025年开始训练+推理密集的产业需求，市场对算力网络的路径与需求有分歧/预期差。预计高速网络需求的持续性强！英伟达GB200NVL72系统，组网推演此外，英伟达GTC2024发布Quantum-XInfiniBand800交换机，1.6T时代来临！其中NVIDIAQuantum-X800Q3400-RA4U交换机：首个200GSerDes交换机；144个800Gb端口，整合72个OSFP口（每个1.6T带宽，后续升级ConnectX-8800Gbps）；2层fat-tree架构下，支持10368个NIC扩容&同时LD版本为液冷系统。NVLink和InfiniBand双体系，训推一体GB200NVL72系统对网络的需求测算，4机柜72GPUs——1）NVLink交换机需求量：9x4=36台（各自机柜内的L1交换机）。2）InfiniBand交换机需求量：L14台+L22台=6台（X8001.6T交换机）。每台交换机144个端口，无收敛网络下，L1交换机上下行端口等分，即上行72+下行72；第1台交换机的72个端口，分别连接4个机柜中18个ComputeNode（共72个Node）中的第1张CX-8（800Gb），以此类推，由于每个ComputeNode中均有4个CX-8，这样L1层的4台交换机，下行的72个端口可插满；继续，对于4台L1交换机剩余的上行72个端口，总计4x72=288个连接，L2交换机仅需288÷144=2台，即可实现端口的全互联。3）光模块的需求量（对应4x72=288GPUs）：GPU侧，4x72=288个800G光模块（GPU比=1:1）。交换机侧，6x72=432个1.6T光模块（GPU比=1:1.5）。以上的2层fat-tree网络，最大可支持10368卡扩容。即144x72；当集群大于10368卡时，L1交换机将大于144台；由于该L2交换机单台端口数最大144，则L1和L2之间无法充分互联，需要增加一层L3交换机。此时会增加1.6T光模块的GPU比，至1:2.5。3.光通信：NVLink启示，硅光未来“光电混合”与“光进铜退”破局市场较多讨论英伟达GB200NVL系统的通信需求，光与铜“孰轻孰重”；我们认为光电混合是当前重要架构，未来更高速的光网络和芯片层面的光互联是长期方向。整体看，单一介质网络连接的性能，最大传输距离与最高带宽成反比，且综合考虑成本。伴随带宽增长，无源铜缆传输的传输半径缩水（光进铜退的核心原因），预计有源铜缆和LPO在短距高速场景下有需求市场。而800G以上，高速模块的中长距离互联、单模光模块下沉至IDC内部成为可能；同时预计硅光渗透加速。在传统云计算场景，距离和带宽几乎是正相关的。尤其是100-200G网络下：DAC（铜缆）解决服务器->ToR交换机、ToR->ToR之间的连接（距离相对固定，低速、短距）；AOC解决ToR交换机-L1交换机/L2交换机之间的连接（距离相对固定，易维护，中速、中距）；光模块解决集群内部、外部互联（架构灵活，高速、中长距离）。AGI集群的网络中，铜连接（DAC等）最大优势是成本与功耗，痛点则是距离。参考英伟达官方配置的800G无源铜缆：最大传输距离3m；但优势是功耗极低，几乎没有额外耗电；以及相较于有源电缆更低的成本（没有驱动芯片）。有源铜缆可以以1.5w的功耗将距离扩展至最大5m；预计1.6T网络下，该距离缩短。硅光路径：硬件大厂“必下”的一步“棋子”高速光通信的下一产业节点是硅光，爆发临近：AI需求与技术演进的交叉点。三场景共进（而非互斥）——chiptochip（芯片间的光学IO），boardtoboard（板卡间的光学模组），machinetomachine（光模块/CPO）。硅光进展：各显神通，剑指通信电子新成长——英伟达我们认为，NVLink是英伟达在网络领域布局的重要一环，预计未来将延伸至光路径。NVLink：在IB/以太网等基础上，专门用于点对点高速互联，多个GPU之间或GPU与其他设备（如CPU、内存等）之间的通信。相比传统PCIe，传输速度更高且延迟更低。第五代NVLink总带宽达1.8TB/s，为PCIeGen5带宽的14倍，且升级速度远高快于传统接口。目前英伟达NVLink和GPU直连，主要基于电通道传输。此前英伟达设计DGXH100服务器，曾在GPU板卡侧引入18个光通信接口，配合NVSwitch交换芯片进行对外连接；当前GB200NVL72系统亦是代表。对比之下，光电共封装的方案在相当的成本水平下，功耗低于线缆；密度高于PCB、长度与AOC等相当；可靠性后续验证。未来光学路径的NVLink，以及光学chiptochip连接，是英伟达算力系统的发展方向。4.液冷：技术奇点，算力同行芯片技术的演进是散热需求的最核心驱动。从技术角度看，散热技术大致经历了风冷到液冷再到风冷的阶段，当前进一步向液冷演进，驱动力在于半导体技术变化和功率密度提升。阶段一：双极型晶体管主导，第一轮风冷到液冷的演进。上世纪80年代前芯片发热量增长较平缓，风冷可以满足绝大多数场景的散热需求；此后发热量指数级增长，液冷发展深入到芯片级。阶段二：CMOS技术迭代下风冷重回主流。90年代后仙童实验室CMOS流行，芯片功耗与发热量下跌，散热技术重新回到了风冷阶段，液冷技术被搁置。阶段三：当前的算力与AIDC。异构、HPC、AI等需求，散热需求复杂化，液冷重回舞台。尽管英伟达液冷产业链以海外为主，但我们需重视本土算力对液冷渗透的刚需。以华为为例，其全液冷方案，（据官网数据）在密闭式液冷机柜中可以将散热功耗下降96%，能源利用效率（PUE）由采用风冷方案的2.2降低至1.1。在50千瓦柜功率设备上，每年可节省约50万度散热能耗。华为Atlas900AI训练集群即采用全液冷方案，支撑＞95%液冷占比（渗透率提高），单机柜50kW散热功耗（高功率即价值量提升）；同时与传统8kW风冷机柜相比，节省机房空间79%（高密度）。若假设冷板式液冷每kW价值量在数千元数量级，则单柜50kW功耗下，Atlas900的液冷单柜价值量在十万元数量级以上，预计后续芯片迭代后TDP提升、机柜功率密度提升，液冷价值量提升空间巨大。结合我国存量IDC“老旧小散”的改造需求，以及AI智算中心的新建需求，我们认为液冷产业链正迎来需求爆发的黄金时期。5.结论AI底层硬件向“大系统”演进。市场较多讨论英伟达GB200NVL系统的通信需求，光与铜“孰轻孰重”；我们认为光电混合是当前重要架构，未来更高速的光网络和芯片层面的光互联是长期方向。基于云厂商视角，我们预计GB200NVL系统是AI训练+推理在云端的较佳选择。而在英伟达B系列芯片更新的节点上，我们预计后续AI芯片迭代出货，对应的800G/1.6T光模块/光器件需求增长，硅光、液冷产业链投资机会也随之增加，看好海外大厂的高速网络需求的持续性。原因及逻辑：1）英伟达的GB200NVL72方案将72GPU高密度配置在一个机柜中，用于大模型训推，其中柜内组网以电气信号背板和铜线的NVLink网络为主，而机柜外扩容组网尤其千至万卡互联则需要2-3层交换机网络和光通信方案。前者是芯片互联增量，后者架构延续但整体升级。2）整体看，单一介质网络连接的性能，最大传输距离