2026智算网络技术白皮书

i 1.1智算网络产生背景 1.1.1算力需求爆发：大模型时代的计算挑战 1.1.2计算与网络协同面临瓶颈：传统架构难以满足智能计算需求 1.1.3智算网络应运而生：新一代计算范式 1.2智算网络面临的核心挑战 2.1技术架构综述 2.2智能无损网络 2.3智能流量调度体系 2.4高可用保障机制 2.5智能运维平台 3.1智能无损网络简介 3.1.1产生背景 3.1.2技术框架 3.2PFC 3.2.1PFC简介 3.2.2PFC的工作流程 3.2.3PFC死锁检测 3.2.4PFC死锁预防 3.2.5PFC的价值 3.3ECN 3.3.1ECN简介 3.3.2ECN的基本原理 3.3.3ECN的价值 3.4IPCC 3.4.1基本概念 3.4.2实现原理 3.5iNOF 3.5.1iNOF简介 3.5.2iNOF的基本原理 3.5.3iNOF的价值 4.1SprayLink 4.1.1产生背景 4.1.2技术价值 4.1.3工作机制 4.1.4应用场景 4.2LBN 4.2.1技术介绍 4.2.2技术价值 4.2.3工作机制 4.2.4应用场景 4.3DLB 4.3.1技术简介 4.3.2技术优势 4.3.3技术原理 4.3.4在智算网络中的应用场景 4.4FGLB 4.4.1产生背景 4.4.2技术原理 4.4.3技术总结 4.4.4在智算网络中的应用场景 4.5TrafficMatrix 4.5.1TrafficMatrix简介 4.5.2TrafficMatrix的生成方式 4.6路径导航 4.6.1产生背景 4.6.2端网协同路径导航技术 4.6.3端侧解耦路径导航 4.7大小流区分调度 4.7.1技术介绍 4.7.2技术价值 5.1DPSH 5.1.1产生背景 5.1.2技术价值 5.1.3应用场景 5.2ISDF 5.2.1产生背景 5.2.2技术价值 5.2.3技术分类 5.2.4有状态流静默工作机制 5.2.5无状态流静默工作机制 5.2.6端口静默工作机制 5.2.7应用场景 5.3M-LAG 5.3.1M-LAG简介 5.3.2M-LAG系统GIR 5.3.3M-LAGVLAN双活网关 5.3.4M-LAG的价值 5.4光模块通道保持技术 5.4.1技术背景 5.4.2技术实现 6.1AD-DC智算版 6.1.1产生背景 6.1.2关键技术 6.1.3系统架构 6.2基于gRPC的Telemetry 6.2.1技术简介 6.2.2组网模型 6.2.3工作模式 6.2.4技术优势 6.3基于ERSPAN的Telemetry 6.3.1技术简介 6.3.2工作机制 6.3.3技术价值 6.4网络显微镜技术 6.4.1技术介绍 6.4.2技术价值 6.5UFA 6.5.1产生背景 6.5.2系统组成 6.5.3技术优势 6.5.4原理机制 6.5.5应用场景 6.6iFIT 6.6.1技术介绍 6.6.2技术价值 6.6.3应用场景 6.7MOD 6.7.1技术简介 6.7.2工作机制 6.7.3技术价值 6.8TelemetryStream 6.8.1技术简介 6.8.2工作机制 6.8.3技术价值 6.9RDMATelemetry 6.9.1产生背景 6.9.2技术优点 6.9.3I/O质量可视功能技术实现 6.9.4吞吐量可视功能技术实现 6.9.5RDMATelemetry可视化 6.9.6典型组网应用 6.10光模块诊断可视化 6.10.1技术简介 6.10.2工作机制 6.10.3技术价值 7.1云上场景部署方案 7.1.1部署场景推荐 7.1.2典型组网 7.1.3资源分区说明 7.1.4网络平面规划 7.2云下场景部署方案 7.2.1部署场景推荐 7.2.2典型组网 v7.2.3资源分区说明 7.2.4网络平面规划 8.1AI大模型训练与移动端部署中的一体化应用 8.1.1客户痛点 8.1.2解决方案 8.1.3客户价值 8.2超大规模AI算力集群中的应用 8.2.1客户痛点 8.2.2解决方案 8.2.3客户价值 1模型参数量已从数亿、千亿级别迅速突破至万亿规模了计算需求的爆炸式增长。与此同时，多模态融合、科学智实时性要求提升能耗压力突显计算需求激增实时性要求提升能耗压力突显计算需求激增传统计算架构与数据中心网络在设计之初并未针对大模型训•计算侧瓶颈：资源孤岛问题：企业、科研机构的算力资源分散且独立，难以扩展性限制：传统数据中心受限于供电与散热能力，传统风冷单个机柜功率密度难以尝试部署更大规模集群时，可能会出现因冷却系统崩溃导致训练中断的端到端时延过高：协议栈处理与交换机排队引入额外延迟，难以满足低时延应用的2•协同失效：计算与网络割裂的代价运维复杂度激增：计算任务与网络故障相互耦合，计算侧瓶颈网络侧瓶颈协同失效为突破上述限制，智算网络作为一种新型计算基础设施范式应运而生。其核心是通过构建高带宽、低时延、智能化的全局资源调度网络，实现对分布模型参数量级跃迁，不仅带来算力需求的指数增长未有的要求。在这一背景下，智算网络亟需突破以下核心挑•超大规模无损传输挑战在大模型训练场景下，传统网络架构难以满足AI计算对零丢•动态流量调度挑战大模型训练采用AllReduce通信模式。AllReduce是分布式深度学习中的核心通信操作，用于全局同步：所有节点必须完成本地梯度计算后才能启动通信，形成严格的同步屏障。合任务分解为多轮有序的点对点通信与计算，以优化带宽利用、减少结果一致性：所有参与节点在操作结束后，都会获得完全相同的全局聚AllReduce通信模式的强同步性和超大规模性，对万卡级集群中，参数服务器架构可能产生数万个并发连接，传统静态负载均衡3重的哈希冲突问题。同时，训练任务不同阶段对网络的需求差异巨大，需要实时感知计•持续可靠运行挑战大规模分布式AI训练（如大语言模型训练）对网络可靠性提数周甚至数月的连续训练任务，要求网络保持极高的可用性与稳定性。在此类场景下，即使是由设备老化或配置错误引发的间歇性、微秒级的网络丢包或延迟抖动，也可能破坏分布式计算的同步过程，导致训练效率下降、任务时间延长，甚至造成训练进程中断，带来算力与•智能运维诊断挑战传统网络监控手段已无法满足智算环境下的运维需求。大模型训练产生的微突发流量远超传运维人员缺乏有效的端到端追踪工具，导致故障定位时间呈指数级增长，严重影响业务连续超大规模无损传输挑战万亿参数模型训练产生的持续可靠运行挑战网络必须高度稳定，微小的波动都可能导致训练效率下降和资微小的波动都可能导致训练效率下降和资源浪费缓冲能力，导致严重拥塞和带宽浪费智能运维诊断挑战微突发流量和计算/存储/网络耦合故障远超智能运维诊断挑战微突发流量和计算/存储/网络耦合故障远超万卡集群中AllReduce通信的数万并发连接使传统负载均衡失效，亟需自适应调度机制传统监控能力，故障定位效率低下系统性不足。从超大规模无损传输到动态流量调度都直接影响着大模型训练的效率和可靠性。突破这些挑立网络与计算深度融合的新型基础设施架构。只有攻克这些难关，才能真正释放智能计算的潜力，4面对超大规模无损传输、动态流量调度、持续智能运维平台四部分。通过这四部分的协同组件既独立演进又深度融合，形成了支撑万亿参数模型训练的全栈PFC、ECN、iNOF等PFC、ECN、iNOF等无损交换芯片协议层硬件加速层智能流量调度体系协议层硬件加速层智能流量调度体系动态流量调度智能负载均衡DDC、SpraylinkDDC、SpraylinkLBN、DLB、FGLBLBN、DLB、FGLB路由优化QoS保障大小流区分调度、大小流区分调度、TrafficMatrix路径导航路径导航高可用保障机制智能运维平台快速故障恢复高可用保障机制智能运维平台快速故障恢复静默故障检测与自愈物理层链路保障M-LAG、DPSH等ISDF光模块通道保持AD-DC智算版-智能管控平台深度监测数据采集网络显微镜、网络显微镜、UFA、iFIT等gRPC、Telemetrystream、gRPC、Telemetrystream、RDMAtelemetry等议栈处理、数据拷贝及基于丢包的拥塞控制机制，往往为突破这一限制，智算网络采用RDMA（RemoteD5•在协议层，PFC（Priority-basedFlowControl，基于优先级的（如梯度同步）进行无损保障，避免缓冲区溢出导致的丢包；ECN（Explici中，智能无损网络还提供了iNOF（Intellig•在硬件层面，采用智能无损交换芯片实现高速、低延迟的数据交换。静态负载均衡算法往往导致严重的哈希冲突，造成部分链路过载而其他链路闲置的资源浪费问题。智算网络通过创新的智能流量调度体系，显著提升了网络资源利用率，降低了通信延•智能负载均衡：通过LBN、DLB、FGLB等多级调度机制，从节•路由优化：基于计算感知的路径导航技术，降低传输延迟。大模型训练任务往往需要连续运行数周甚至数月•静默故障检测与自愈：ISDF静默故障检测技术采用数据面故障检测、远程故障通告和快速路•物理层链路保障：光模块通道保持技术通过灵敏的端口状态检测，实现了光链路通道的实时了传统AI数据中心部署和运维的难题。该平台显著降低了技•深度监测模块采用网络显微镜技术，可捕捉微突发流量，通过拥塞贡献流分析精准定位瓶颈6诊断模块提供光模块SNR信噪比、分通道误码传统的TCP/IP软硬件架构及应用存在着网络传输和数据处理的直接内存访问）技术的内核旁路机制允许应用高吞吐量、超低时延下低CPU开销的效果。•低时延：RDMA的内核旁路机制，允许应用与网卡之间的直接数据读写，将服务器内的数据数据复制发送端本地应用层Sockets发送端本地应用层Sockets本地传输层本地网卡驱动本地网卡远程应用层Sockets远程传输层远程网卡驱动Network远程网卡Network7数据复制接收端远程应用层远程网卡驱动远程网卡接收端远程应用层远程网卡驱动远程网卡Network本地网卡驱动本地网卡Network用于高性能计算用户，成本较高。的RDMA技术，由IETF标准定义。iWARP支持在标准以太网基础设施上使用RDMA技术，）：•RoCEv2协议：基于UDP/IP协议承载RDMA，可部署于三层网络，它的报文结构是在原有的8CPU资源更少，但是由于其不像TCP协议那样有滑动窗口、确一套不丢包的无损网络环境，其关键就是解决网络智能无损网络是一系列网络技术的集合，它•流量控制技术：在节点间应用的防丢包技术，属于“链路”级别技术，而非端到端整网流量交换设备。连接计算或存储节点的边缘网络设备在检测到接收缓存即将溢出时，向发送端发），•拥塞控制技术：是端到端的防丢包技术，避免整网任意位置发生流量拥塞。拥塞控制技术的•存储网络融合：在存储网络应用场景中，智能无损网络提供了iNOF（IntelligentLossless9为了控制以太网交换机之间或网卡与交换机端口防丢包技术，属于“链路”级别技术而非端到端整网流量控制方案，因此又称为链路级流控技术。止发送特定优先级的流量，以防止缓存溢出和数据丢量拥塞时保持流畅，同时防止对其他流量造成0x00e[7],e[6],e[5]...e[0]高8bit低8bit其中，e[n]取值为0或1，n对应不同优先级队列•e[n]=1=>PAUSETime(n)valid，需要反压•e[n]=0=>PAUSETime(n)invalid，无需反压2x8DMAC0180-C200-0001SMACSenderMACEthertype0x8808MACControlOpcode0x0101ClassenablevectorPAUSETime(0)PAUSETime(1)...PAUSETime(7)CRC接收端口收到流量后，根据端口的优先级映... ... 00125667ABABCDCInterfaceDeviceADeviceBPFCPAUSE1停止发送对应优先级队列的报文2启动PFC死锁检测定时器InterfaceDeviceADeviceBPFCPAUSE设备进入PFC死锁状态31在PFC死锁检测周期内，收到多个PFCPAUSE帧2指定优先级队列一直处于PFCXOFF状态BACD正常流量b故障流量bPFCPAUSEBCInterface2ADInterface1InterfaceB1InterfaceB2高风险业务流修改报文的dot1p优先级InterfaceB1InterfaceB2高风险业务流InterfaceA1InterfaceA2DeviceADeviceB队列1队列2有重传机制。一旦网络因拥塞发生丢包，整个数据流就会中断，导致性能急剧下降，完•确保关键业务无丢包：网络需要同时为不同用户或不同业务（如AI训练、视频渲染、在线交级的流量，而高优先级的流量依然可以无中断地传输。这种精细化的流量控制实现037151831VersionVersionIHLTypeofService(ToS)TotalLengthECNECNFieldDSCPECN域RFC3168DifferentiatedServicesCodePointRFC2474•转发设备（CongestionPoint报文在网络中转发路径上经过•报文接收端（NotificationPoint接收端设备网卡支持ECN功能报文时，将每隔时间周期T1发送拥塞通知报文给报）：的降速比率降低当前自身发送报文的发送速率，并开启计时器，当计时器的报文发送速率。当计时器在时间T2（T2> 拥塞通知报文发送端ReactionPoint转发设备Congestion报文发送端ReactionPoint转发设备CongestionPoint报文转发路径拥塞通知路径拥塞发生位置转发设备（CongestionPoint）对接收到的数•当转发设备的报文在出方•当转发设备的报文在出方向进入队列排队，该队列的长度大于下限QL_min按照WRED策略中的线性丢弃概率来修改部分入方向报文的ECN域为11后继续转发该报塞，此时转发设备不处理报文，直接将报文从出接•当转发设备的报文在出方向进塞，此时转发设备不处理报文，直接将报文从出接•时延ECN：时延ECN技术允许管理员为队转发的时间戳减去报文到达入端口的时间戳，得到报文在设备中转发处•AIECN：利用设备本地的AI业务组件，按照一定从根本上避免了因拥塞导致的重传，确保了大流量计算作业的无中断运行，保障了•端到端的协同机制降低传输时延：通过端到端的网络协同，避免网络中出现丢包和重传的过程，减少了传输时延和抖动。这•保障网络吞吐率和资源利用率：通过避免不必要的丢包和重传，ECN减少了网络中的无效流是一种比TCP超时重传或激进降窗更为温和的流量调种通过拥塞通知报文来通知发送端降低报文发送速率的拥塞控制技术。IPCC是由网络设备主动发接口的拥塞情况，主动发送拥塞通知报文通知发送端程度，智能计算需要发送的拥塞通知报文数量，精PayloadExtendedTransportHeaderBaseTransportHeaderGlobalRouteHeaderLocalRouteHeaderInfiniBand报文结构应用层应用层传输层传输层数据链路层数据链路层PayloadExtendedTransportHeaderBaseTransportHeaderUDPHeader(Dport=4791)IPHeaderEthernetHeaderRoCEv2报文结构BaseTransportHeaderOpCodeDestinationQPAckRequestReservedPSN8bits32bits24bits1bits7bits24bits根据InfiniBandArchiteSend：此类操作用于发送端向远端请求传递数据，发送的端都会创建队列，生成一个队列对QP。发送队•ACKRequest：应答响应要求标记位，表示是否要求远端发送ACK的响应。•PSN（PacketSerialNu转发设备RoCEv2数据报文、CM建链报文或ACK应答报文复制上送CPU使能了IPCC功能的接口检测队列长度和缓冲区占用率情况获取RoCEv2报文的源目的IP，使能了IPCC功能的接口检测队列长度和缓冲区占用率情况智能计算拥塞通知报文数量建立RoCEv2报文的转发流表，获取转发出接智能计算拥塞通知报文数量构造拥塞通知报文拥塞通知报文RoCEv2数据报文RoCEvRoCEv2数据报文报文发送端ReactionPoint转发设备CongestionPoint报文接收端NotificationPoint启用IPCC功能的接口•智能计算拥塞通知报文数量：转发设备对接口中启用了I当队列长度增加，队列缓存占用率较少，则发送少量拥塞当队列长度增加，队列缓存占用率较多，则发送较多当队列长度减少，队列缓存占用率较少，则不发送拥当队列长度减少，队列缓存占用率较多，则发送少量发送的拥塞通知报文数量为上一步中计算出的报文数目。发送端收到拥塞通知报文后，通过降低知报文。这种改进方法依赖于对网络状况的实时分机制确保拥塞通知的发送既迅速又精确，以便及时地下降。IPCC功能通过动态调整通知报文的发送，优化了网络流量管理，从而提高了整个网络的数机的加入和离开信息通知给同一域内的其它主机，以便其它主机能够感知同一域内任一主机Zone1Zone1………………DeviceC(Client2)DeviceD(Reflector2)DeviceDeviceD(Reflector2)DeviceDeviceE(Client3)(Client1)Zone2……Zone1Zone1iNOF连接普通业务连接TLVtype=127（7bits）TLVinformationstringlength（9bits）OUI(3octets)subtype(1octets)SubTLVinformation（0≤n≤507octets）版本号(1octet)IP地址类型+订阅服务(1octet)预留字段(2octet)IP地址(16octets)...取值不同。当某主机的网络状态发生变化（例如的iNOF交换机检测到主机网络信息变化，会给使得其它主机能尽快感知到网络状态的变化，以便其•通知报文：在iNOF交换机上生•ACK报文：在主机上生成、发给iNOF交换机的报文，用于对收到的通知消息进目的MAC地址(6octets)源MAC地址(6octets)ETH类型(2octets)通知消息头(8octets)TLV消息1TLV消息2……TLV消息nTLV类型(1octets)TLV消息长度(2octets)通知消息内容subTLV1subTLV2……subTLVnBGP为iNOF新增了BGPiNOF地址族，并通过BGPUpdate消息中的ML2HeaderIPHeaderTCPHeaderBGPPacketCRCBGPHeaderBGPMessageTotalPathAttributeLengthTotalPathAttributeLength(2Byte)Unfeasiblerouteslength=0(2Byte)Length(2Byte)Type=2(1Byte)Marker(16Byte)(variable)attributelength(1or2Byteattributelength(1or2Byte)attributelengthattributevalue(variable)attributetype(2Byte)attributetype(2Byte)(1or2Byte)在智算网络中，服务器和分布式存储节点常•故障快速感知机制，保障算力连续性），当网络故障时，iNOF交换机能够快速检测到故障，并将故障•基于BGP反射器架构，反射器技术，构建了可扩展的控制平面，支撑大规高带宽协议在大规模集群中得到广泛应用。然为了有效解决上述难题，H3C推出了Sp•精细负载均衡：以逐包为粒度进行负载分担，特别针对大流量传输进行优化，避免链路拥塞，•强动态适应性：基于实时带宽和队列深度测量的S•兼顾协议特性与性能：在数据中心RoCE环境中，区分不可乱序的协4.1.4应用场景•RoCE业务大象流：主要用于AI训练，约占总带宽的70%；•普通业务老鼠流：包含HTTP传统负载分担方式中，大象流往往集中于单一路径，低。负载不均不仅降低整体带宽利用率，还可能引发高LBN（LoadBalanceNetwork流量始终固定转发到指定的出口。这种方式不仅保持•流量精确负载分担：避免部分出口过载、部分闲置的情况。•满足复杂网络需求：适用•提升网络吞吐率：充分利用出口带宽资源。(2)对出端口进行编号。根据路由表中每个等价路由组内的出端口顺序或二层聚合口成员端口的说明说明路由表中所有相同目的地址不同下一跳可达的等价路由组成一个等价路由组。等价路由组内的出端口数量进行取余运算，形成每个入端口与出端口的映射关系。LBN组LBN组ALBN组LBN组B等价路由组APort4，编号04.2.4应用场景•等价路由场景：同一目的地址存在多个等价下一跳时，LBN可以将不同入口的流量固定映射•二层以太网链路聚合场景：当多个入口流量经过聚合口（包含多个成员端口）转发时，LBN可将入端口与聚合成员端口进行一一绑定，实现在AI分布式训练（如All-Reduce载均衡无法感知后端实时的负载变化，极易造成流量倾斜。因此可以使用DLB（DynamicLBalance，动态负载分担）技术，它通过实时感知网络状态与计算节点负载，动态调整流量分布，•实时感知与动态调整：快速响应网络拥塞和节点负载变化，实现精准流量调度。•提升资源利用率：避免局部过热，充分挖掘整个计算池的潜力，提升整•降低任务完成时间：动态调度流量减少排队和重传，显著缩短AI训练和推理任务的端到端耗•增强系统弹性：在节点故障或性能下降时，自动将流量迁移至健康节点。实时感知与动态调整快速响应网络拥塞和节点负载变化提升资源利用率充分挖掘网络路径潜力降低任务完成时间动态调度减少排队和重传增强系统弹性自动迁移流量至健康节点动态负载分担通过引入时间戳、实时负载度量（端口间两个维度优化了负载分担效果。其工作思想就是持续监控将报文分配到负载较低的路径上，以实现负载动态负载分担可以将流量根据时间间隔分割成多个部能地分配每段流量的路径，确保整条流最大化利用链路资源并子流流量按照路径情况进行均衡子流子流子流子流子流子流子流子流子流子流子流流量闲时链路负载am32%28%am33%流量忙时链路负载80%80%80%•大规模模型推理服务：面对波动的在线请求，DLB可以将推理请求动态分发到负载最低的推理实例上，保证服务响应时间（SLA同时提升集群的整体吞吐量。•路径调优时缺乏“全局视野”，即只能以本地链路状态作为依据进行负载分担，对于远端的Spine1Spine2拥塞点Leaf4Leaf4Leaf1Leaf2Leaf3ServerAServerBServerCServerD•极难感知突发拥塞并捕获拥塞流。•发生拥塞后需要人工干预，在复杂场景中人FGLB能够自动感知网络内的拥塞位置，并实时捕获进行快速路径切换。同时，FGLB会实时整网同步并计算路径质量，在路径切换和负载分担时可以行类似于UCMP（UnequalCos•调流模式：多条链路等价负载分担，某条链路出现拥塞时，将流量切换至其他链路质量良好价的负载分担转发。负载分担的原则是：链路带宽级别更高的路径将承载更大比例的流量。例如，Spine1Spine275%流量25%流量Leaf1Leaf2Leaf4Leaf3Leaf1Leaf2Leaf4ServerAServerDServerBServerServerAServerDServerB4.调流模式的流量转发流量方向流量链路切换链路质量优流量链路切换链路质量优链路拥塞链路拥塞链路质量差链路质量差•如图36所示，如果Spine1和Leaf4之Spine1Spine2切换后路径切换后路径切换前路径切换前路径拥塞Leaf1Leaf2Leaf1Leaf2Leaf3ServerAServerDServerBServerServerAServerDServerBSpine1Spine2 Leaf4Down！切换\切换切换\切换Leaf1Leaf2Leaf1Leaf2Leaf3ServerAServerDServerBServerServerAServerDServerB综上，FGLB技术通过多种机制，实现了全局视野调流，不仅能这些摄像头会定期将路由拥堵情况发送给所有出发地智算中心智算中心Spine2通过FGLB全局负载分担、灵活调优Leaf1Leaf2Leaf3云计算服务器存储服务器Spine1AI服务器AI服务器Leaf4流量的标识信息，同时流表中还指定了该条流量对应在进行大规模模型训练时，网络传输呈现出突发性统的负载均衡机制面临前所未有的挑战。现有均衡方法往量模式，易导致链路利用不足、拥塞几率上升，并在单一侧面优化：仅在网络侧调整交换机调度策略少对全局状态的统筹感知，这类方案在适用范围、稳定性一瓶颈，新华三提出了路径导航技术，全局规划最佳业务•端网协同路径导航技术：该技术通过端侧主动上报运行状态，结合网络控制器对全局链路状态的持续监测，动态预判潜在拥塞节点，并基于实时负载情况调整数据流向，从而保障数据•端侧解耦路径导航技术：该技术采用纯网侧实现方案，无需端侧设备参与或适配，通过基于网侧链路状态与拓扑信息进行集中式决策，动态调整流量路径，确保负载均衡与高效传输。相比端网协同方案，NFLB无需端侧代理部署或状态上报能在大规模AI训练等场景下提供高性能的流量调度能力端网协同路径导航技术是一种面向智算场景的智能流化的协同机制，实现网络流量的智能调度与路径优化(1)AD-DC智算版本对组网进行拓扑采集，收集网络结构(4)AD-DC智算版智能建模和选路，最后将优化后的路由策略下发至交换机，完成业务AD-DC智算版AD-DC智算版1拓扑采集3交换机采集流量后，上送3交换机采集流量后，上送AD-DC智算版SpineSpineLeafLeafLeafLeafLeafLeafGPUGPUGPUGPUGPUGPUGPUGPU节点1节点2节点3节点4节点5节点6节点7节点8计算节点2分布式训练任务启动训练任务1训练任务2•智能流量均衡：通过多轮迭代优化，实现网络流量的动态均衡分布。•拥塞主动预防：基于预测模型提前规避潜在拥塞点。•AI训练加速：显著提升大模型训练任务的处理效率。端网协同路径导航主要通过流量时间片建模和基于链路权重的选路算法两种技术实现全局路径调流量时间片建模技术基于时间维度分析流量行为，构 δ路径导航通过基于链路权重的选路算法为业务流量进行规划，根据流量时间片建模技术识别的串/如图43所示，在同一时间段中，并行flow1、flow2和fl•并行流选路：冲突的并行流，路径导航将流分布到不同路径，选择权重较低的链路。选路后，•串行流选路：不冲突的串行流，路径导航可以分配同如图44所示：(3)flow1属于冲突的并行流，算法将其单独分配至leaf1-spine2-leaf2 Leaf2 Leaf2 Leaf1 制器获取运行状态。此外，有些服务器由于安全策略、程序，也不参与对网络适配功能的配合。这种情况下，传网协同路径导航）无法完整部署，造成网络流量引导、性能优化与故障快速定位的能力受限。为解决上述限制，需要发展一种端侧解耦的仅采集网侧链路状态及网络拓扑信息，结合算法在网络设备依赖端侧的、面向参数网络的流量负载均衡与路Controller▲端侧生态不通，无法获取出口通信关Controller▲端侧生态不通，无法获取出口通信关系参数网Spine1Leaf1Leaf2Leaf3Spine2Leaf4AI服务器AI服务器AIAI服务器AI服务器AI服务器如图46所示，通过解耦，NFLB技术高兼容性适配不同厂商GPU高兼容性适配不同厂商GPU/AI服务器及多种算力平台稳定性提升减少端侧故障导致的路径失效问题快速部署绕过端侧生态和适配限制，在现有AI参数网设备基础上直接上线端侧解耦路径导航的核心思想是完全依赖网侧链路和4.设备侧：流量感知与上报设备位于AI参数网络的Leaf层，直接Controller参数网Spine1Controller参数网Spine1Leaf1Leaf2Leaf3Leaf4Spine2AI服务器AI服务器AIAI服务器AI服务器AI服务器(1)控制器收集全网流信息，捕获完整训练周期内的通信关系矩阵。(2)控制器从上送数据分析出流持续时间、流大小以及时序关系等结果。(3)基于流分析结果和收集到的拓扑信息，将流映射到可用路径的链路资源中，并基于时间和空(4)控制器将为流量规划的路径下发到Leaf设备，Leaf设备根据下发的路由转发表控参数网Controller参数网Spine2Spine1Spine2Spine1Leaf1Leaf3Leaf4LeafLeaf1Leaf3Leaf4AI服务器AI服务器AIAI服务器AI服务器AI服务器大小流区分调度是一种面向数据中心网络的智能•大流：数量少但数据量大，占据约90%的总传输数据量，持续时间长、带宽占用高，对时延•小流：持续时间短、带宽占用小，但对响应速度和时延极为敏感，如查询流量、在线请求。影响其他小流的传输。因此，需要将大流识别出来，并如图49所示，大小流区分调度机制如下：(2)网络管理员为大流指定丢弃优先级、本地优先级或dot1q优先级，设备根dot1q优先级将识别出来的大流映射到特定的队列中，与其塞，设备也可以根据配置的丢弃优先级，优先丢弃大流报文，以保证小流的低延迟体验。大流报文非大流报文队列x丢弃优先级高队列y丢弃优先级低识别大流区分调度队列z识别大流区分调度丢弃优先级低入接口根据优先级映射到队列拥塞时丢弃调度策略大小流区分调度技术通过智能识别与差异化调度•保障小流低延迟：避免大流占用关键链路资源影响小流响应。•提升网络吞吐率：合理调度大流，充分利用网络带•优化链路负载均衡：减少大流集中算、高性能存储等业务对网络高可靠性和超低延迟的严将故障的感知、传递与处理功能下沉至数据平面，通短至亚毫秒级，显著提升网络的可靠性与稳定性，满足关键业务的高性能保障需求。•降低收敛时延：通过数据平面实现链路故障的快速处理，收敛时间缩短至亚毫秒级，远优于•保障业务连续性：链路故障发生时实现流量的瞬时切换，最大限度避免报文丢失和服务中断，•降低控制平面负载：将快速收敛机制下沉至硬件转发层，减少频繁的路由表更新对控制平面•增强数据中心网络韧性：故障处理在设备硬件内部完成，无需依赖复杂的上层协议，简化网Spine-Spine-Leaf标准组网DPSH切换后转发路径Spine1Spine2DPSHLeaf2Leaf3BorderDPSHDPSH原转发路径原转发路径DPSHDPSHDPSHDPSHDPSHDPSHAC业务集群2用户群业务集群1业务集群2用户群难以快速识别、快速处理的故障。此类静默故障往往排决以上静默故障问题，快速静默故障感知与恢复技术应运而据平面的故障感知和恢复技术。ISDF实现了从依赖控制平面的协议交互收敛方式，到基于数据平面的实时故障感知与快速换路收敛方式的技术演进。该技快速路径切换机制，实现毫秒级网络收敛，可以显静默故障无处遁形秒级故障感知恢复0101静默故障如同网络的隐形杀手，持续损害业务质量与用户体验，0203却难以被传统监控系统及时发现。ISDF技术的应用，能够让这类故障无处遁形，确保关键业务持续稳定运行。静默故障如同网络的隐形杀手，持续损害业务质量与用户体验，0203运维模式全新升级04从“被动响应-人工排查”到“主动感知-精准避障”，ISDF技术实现了静默故障的业务零感知自动恢复。04故障定位由小时级降至秒级。ISDF主动检测并触发路径切换，秒级内自动引导业务流避开故障节点，消除报文重传与延迟，实现全程无感知的业务恢复。覆盖智算与通算场景ISDF支持智算与通算场景，能够稳定保障有状态和无状态流传输，为AI训练、分布式存储等高敏感业务提供无缝的高可靠保障。无状态流静默开启无状态流静默功能后，设备将对符合规则的流量进行流静默监控。当检测到流的丢包率到达限制值时，系统将对该流的传输路径进行切换。有状态流静默有状态流静默当前仅支持RDMA类型。开启RDMA静默功能后，设备将对RDMA流量进行静默故障检测。当检测到存在静默故障后，系统将对RDMA流量的传输路径进行重新规划。0101ISDFISDF静默故障感知与恢复静默故障感知与恢复端口静默在设备接口上开启端口静默功能后，设备将实时监控该接口的丢包率。当该接口的丢包率超过丢包故障门限时，设备将对接口进行相应的处理，例如关闭接口。ISDF技术主要分为两个部分，分别是静默故障感知和静默故障恢复。有状态流静默，是指静默故障检测的流量为无状态流量，即流量发送之前不需要先建立连接关系。当前有状态流静默仅支持报文的序列号）。若接收端成功接收报文，则ACK确认号前面的所有数据。当发送端超过一定时间后，没有收到ACK报文，则发送端将进行报文重传。报文重传超时将会造成PSN序列号乱序，RDMA静默故障检测正是基于此原理列号≤上一次收到的PSN序列号，则表示网络传输质量不佳，即可能出现业务报文(携带业务报文(携带PSN)发送端ACK确认报文接收端PSN：1PSN：2PSN：3PSN：…PSN：1PSN：2PSN：1PSN：…正常报文PSN序列号：异常报文PSN序列号：由于1号报文没有收到ACK，报文重传PSN：1PSN：2PSN：3PSN：…PSN：1PSN：2PSN：1PSN：…异常报文PSN序列号：PSN：1PSN：2PSN：1PSN：2由于2号报文没有收到ACK，报文重传PSN：2PSN：2PSN：…PSN：…•发送端设备：Leaf1根据故障流表匹配故障Leaf3Spine1Spine2Leaf2Leaf4Leaf1Leaf3Spine1Spine2Leaf2Leaf4Leaf1服务器1服务器2服务器3服务器4原转发路径切换后的转发路径•在Spine1上部署流静默故障检测实•Leaf1收到故障流表后，将Spine2Spine2Leaf4Leaf1Leaf3Leaf2Leaf4Leaf1Leaf3服务器2服务器3服务器4切换后的转发路径启端口静默故障监测功能，可以实时监测接口的丢包时，系统会产生端口静默故障事件，并通知业务模块处业务流量。端口静默感知技术的具体工作流程•启动条件：在设备接口开启端口静默故障监测功能后，若接口流量带宽百分比低于启动门限值，则不激活端口静默故障监测功能。当接口流量带宽百分比达到启动门限值，则激活端口•检测机制：端口静默故障监测功能激活后，系统会周期性监测接口出入方向的丢包率。若检通知业务模块处理接口故障事件通知业务模块处理接口故障事件检测结果：接口丢包率超过阈值检测结果：接口丢包率超过阈值速感知和恢复。如下图所示，Leaf1和LLeaf3Spine1Spine2Leaf2Leaf4Leaf1Leaf3Spine1Spine2Leaf2Leaf4Leaf1服务器1服务器2服务器3在智算网络中，除了用于训练和推理的超节点网络和集群网络外，仍需要传统的DCN（Data•peer-link接口：peer-li•Keepalive链路：M-LAG主备设备间的一条•M-LAG接口：M-LAG主备设备与外部设备相连的二层聚合接口。为了提NetworkNetworkM-M-LAG系统DeviceADeviceBKeepaliveKeepalivePeer-linkPeer-linkBAGGBAGGM-LAG接口入和移除）功能，可以做到业务不中断的情况下独立维护或者在线升流量切换至备份冗余设备或路径中转发。当完成维护①DeviceA执行GIR命令一键切换到GIR维护模式。此时，设备上的路由协议、LACP等功能停止或被隔离。流量不再通过该设备转发。②DeviceA单独进行设备升③DeviceA执行GIR命令一键切换回普通模式。此时，设备上业务功能恢复。流量可以正常通过该设备转发。M-LAG系统DeviceADeviceBKeepalivePeer-linkKeepalivePeer-linkM-LAG•当一条接入链路发生故障时，业务流量可以快速切换到另一条链路，保•两条接入链路可以同时处理用户流量，以提高带宽利用率，使流量在两条接入链路上负载分NetworkM-LAG系统DeviceADeviceBKeepalivePeer-linkBAGGBAGGM-LAG接口 IGP/BGPDeviceC•M-LAG设备采取本地优先转发原则，设备收到报文后直接转•当一条链路发生故障时，流量可以快速切换到另一条链路，保证可靠性。例如，De•DeviceC的两条接入链路可以同时处理用户流量，以提高带宽利用率，使流量在两条接入链•消除单点故障，构建高可靠的网络接入层：M-LAG将可靠性•实现多路径负载均衡，最大化链路利用率：两台设备组成的M-LA口，支持更大规模的服务器集群接入。M-LAG支持双活技术，在AI训练中，梯度同步的流量•简化网络拓扑与配置，降低运维复杂度：M-LAG在提供高级别可靠性的同时，保持了网络的在现代人工智能的训练环境中，大规模的计算卡通常通过在实际应用中，光纤链路中断往往是由于光模块中的工作的条件。因此，如果在个别通道出现问题时，能够针对由个别通道故障引发的光纤链路中断问题，光模块通技术通过灵敏的端口状态检测，实现了光链路通道(1)开启光模块通道保持功能，监测端口状态变化。(2)如果监测到端口出现down状态，则检查(3)如果仅存在部分通道故障，光模块仍然存在可用通道，则将流量切换到可用的通道上，端口开启光模块通道保持功能检测端口状态变化NY在检测到仅有部分通道故障时，系统能够迅速把数据流量量管理策略确保了即便某个通道失效，也不会影响整个训练任务的•当光模块无故障时，所有通道均正常工作，参与流量转发。•当光模块部分通道出现异常时，设备会将异常通道所在组内的所有通道均阻塞掉，仅使用正通道组0光模块光模块通道组1RX》》阻塞一组内的2个通道阻塞一组内的2个通道一个通道异常正常工作千卡迅速扩展至数万卡甚至更高，尤其在支撑多模的指数级扩张，带来了前所未有的运维复杂性：故障根化。但传统运维体系严重依赖离散化监控工具，缺乏对计算、存储、网络域的日志与指标分散在孤立系统中，面对上述挑战，仅靠局部优化已无法满足大规模AD-DC智算版，又称为AD-AIDC（Application-DrivenA动的人工智能数据中心正是为此而生——它基于统一数字底盘，融合计算、网络与存控组件，提供一站式入口，实现从部署、实时监控到闭环优化的全流程覆盖。通过智能分析引擎，运维的基石。AD-AIDC规规优优Agent存储AgentAgent存储AgentAgentAgent高性能计算AD-AIDC面向万卡级超大规模AI数据中心，集自动从而实现网络流量的均衡分布，减少拥堵，显著提升任务处理效率，加运维人员可在统一界面实时掌握智算中心的整体运行健康•训前检测：在训练任务开始前，AD-•训中监控：训练过程中，AD-AIDC通过全域实时监控和智能分析，帮助运维人员及时掌握集•训练复盘：训练结束后，AD-AIDC支持对整个训练过程进行多维度的回溯分析，助力用户优动化配置，使得数据中心能够高效地进行硬件和网络资源的配置和管理，确保整个数据该组件提供深入的分析和可视化工具，帮助管理员理解数据流动，监控系统性能，并识别潜•IOM控制组件：负责监控计算、存储及第三方设备的通用基础架构信息。它为智算中心的基础设施元素提供全面的监控功能，确保所有关键组件的健康状态和性能可•Unisystem组件：AD-AIDC系统中专门负责计算与管理系统的部分，用于管理。Unisystem组件简化了服务器的部署过程，AD-AIDC参数网自动化拓扑可视校验存储网自动化一键压测训前巡检负载均衡参数网自动化拓扑可视校验存储网自动化一键压测训前巡检负载均衡服务器批量部署集群健康检测光模块监控日志分析SE控制组件SE控制组件设备/服务器自动化参数网部署RoCE策略VLAN/VXLAN组网存储网部署负载均衡会话分析设备/服务器自动化参数网部署RoCE策略VLAN/VXLAN组网存储网部署负载均衡会话分析跨域故障分析健康巡检作业监控/分析光模块分析流量路径服务器管理性能监控系统管理批量部署软件管理设备重启存储监控容器监控第三方监控APP监控南向对接南向对接第三方资源管理存储资源管理计算资源管理网络资源管理统一数字底盘统一数字底盘基础资源Telemetry是一项监控网络设备性能和故障的远程数据采集技术。基于高性能开源软件gRPC读取其接口流量等各种数据并实时上报给采集器，为网•网络设备：对需要监控的数据进行采集，并通过gRPC报文上•采集器：接收和保存网络设备上报的监控数据。•分析器：分析监控数据，可以通过图形化等方式呈现分析结果。•控制器：根据分析结果，通过NETCONF等方3监控数据通过gRPC报文上报监控数据4数据分析结果5下发配置211设备侧采集需要监控的数据等待连接监听服务端口，1等待连接下发订阅23推送数据下发订阅2采集器gRPC服务端gRPC客户端要获取的数据（称为“订阅”由网络设备主动发起到采集器的连接，并向采集器推送订阅数据。1配置订阅采集器2发起连接3推送数据gRPC客户端gRPC服务端•高效压缩数据GPBGPB编码示例1:ABC2:H123333:ABCCorePower16:Device/Base18:1617276638160反序列化后的代码producer__name:ABCNode__Id__str:H12333ProductName:ABCCorePowerSensor__path:Device/BaseCollection__start__time:1617276638160•兼容多种编程语言义语言可生成多种编程语言的服务端/客户端初始代码。不同语gRPCgRPC客户端JavaClientPythonClientC++ServergRPCJavaClientPythonClientC++ServergRPC客户端raeegRPC服务端整条链路或整个网段的流量完整复制并远程监控的场景，如集中式网络故障排查或安全审计。3原始报文按照IP路由转发3原始报文按照IP路由转发2形成镜像报文24解封装镜像报文4源设备13原始报文源设备13为镜像报文添加镜像报文发送给数据监测设备5ERSPAN/GRE封装后，发送给镜像的目的设备镜像报文发送给数据监测设备5数据监测设备Host量的精细区分和选择性捕获，节省了带宽和分析资23原始报文按照IP路由转发筛选符合条件的原始报文，并复制该报文，形成镜像报文23原始报文按照IP路由转发Host1解封装镜像报文4源设备为镜像报文添加ERSPAN/GRE封装后，发送给镜像的目的设备3原始报文1解封装镜像报文4源设备为镜像报文添加ERSPAN/GRE封装后，发送给镜像的目的设备3原始报文55镜像报文发送给数据监测设备Host镜像报文发送给数据监测设备Host为大规模、分布式的网络提供了一种灵活、•实现全栈、真实流量的远程可观测性：突破了传统网元设备日志和SNMP指标据监测设备。这为网络分析提供了最高保真度的原始数据。•赋能主动与智能化的网络运维：持续输送的真实流量数据，使得运维团队能够从被动响应故基础，实现根因分析、容量预测和自愈网络高吞吐、稳定性要求高的网络环境，例如智毫秒级流量分析（flowtelemetry）毫秒级端口分析（porttelemetry）支持毫秒级网络画像采集，并可在发生拥塞时回放分析拥塞前、中、后的网络状态，便于追溯问题根因拥塞流分析（congestionanalysis）帮助快速定位产生拥塞的具体数据流时延分析器（latencyanalysis）及时发现和定位瞬时端口亚健康状态毫秒级流量分析功能针对指定流量，提供高精度吞吐量进行毫秒级统计，帮助管理员及时捕捉微平台，将不同流量的吞吐量随时间变化情况以折线图PacketT1T2T3T4T5T6T7T8时间ByteT1T2T3T4T5T6T7T8时间开启毫秒级端口分析功能，设备会周期性监控并采集端口队列中的各种关键数据，包括流量统计、管理员可以根据实际需求自定义采集的数据类型，并4.拥塞流分析拥塞流分析可以实时捕获导致网络拥塞的流量的五元组用率第一次低于下限阈值时，停止采集，并将这一根据数据流的占比情况，能够帮助网络管理员识别异常流量并定位分析具体拥塞原因和流量。23%40%37%•实时上报与可视化：将监控和采集到的数据通过gRPC等协议及时上报到数据分在数据分析平台实时可视化展示，使网络管理员能够在第一时间获取数据。这种实时数据上•性能数据分析与评估：持续监控采集网络性能相关的各类数据，为后续网络管理员对拥塞趋•优化与调整：根据实时数据分析结果，网络管理员可以对网络进行细粒度的优化调整。例如，通过自动或手动的方式优化调整网络关键参数或局部结构，以确保网络的高效运行。实时监控采集实时上报与可视化性能数据分析与评估优化与调整要求。全面监控整网流量信息，并能够及时检测和发该技术旨在深入分析全网流量，帮助用户快速检测和准确定位网络故障，从而提升网络运维效率。分析。设备会基于流量的五元组等信息创建流表流分析数据处理器（NAP）进行进一步处理。析转发丢包等操作，网络流分析数据处理器能够更全面•NDE：一般由设备的转发芯片来承担该功能。NDE通过流过滤规则中所定义的规则来筛选出需要进一步分析的特定业务流量。一旦识别出与流过滤规则相•NDA：为一个具有图形化界面的网络流量分析工具，旨在简化数据的获取业务流的双向流量。这使得可以在这些设备上对有关NDANDENAPNDEServertoClientClienttoServerClientServer大集成UFA对已有的网络流量分析技术NetStream、iFIT、MOD等技术，可以对流量进行统一分析。0202易维护UFA支持丢包原因上报、流量大时延告警等功能，方便管理员及时了解网络流量状况，并进行有效维护。0101UFAUFA统一流量分析统一流量分析0303多维度UFA支持多维度流量分析，包括统计流量的最大、最小和平均时延等，相较于传统的iFIT方式，提供了更全面的分析。统一流量分析技术可以实现对全网流量进行统计和分析，其依托设备内置芯片能力，可以Telemetry），Telemetry），是一种在数据流传输过程中，对流量进行实时检测的方法，通过端到端以及逐点测量的方式，监测设备之间的丢包和时延信息。它直接测量业务报文的真实丢包率和时延等参数，具有部署方便、统计精度超大时延流上报超大时延流上报，是指当设备监控到时延超大的异常流量时，会对时延超大的流量进行统计，并建立超大时延可视流表，流表信息包括时延峰谷值、报文数量、出入端口等高精度信息。设备向分析器上报流表信息，由分析器进行分析和处理，从而进一步优化网络性能。全流分析是一种对网络环境中产生的所有数据流进行全面记录和分析的方法，可以实时或离线分析网络中的每一个数据流，并提供详细的流量统计分析结果。通过记录和分析所有流量，可以识别潜在的安全威胁，例如异常流量、恶意攻击等。丢包镜像（MOD）丢包镜像功能可以检测报文在设备内部转发过程中发生的丢包，当发生丢包时，设备会分析并记录丢包原因，并将丢包原因及丢弃报文的特征发送给分析器。分析器根据具体的丢包原因，能够采取一定的措施来优化网络性能和提高数据传输的可靠性。(1)NDE角色一般由设备的转发芯片承担，NAPNAP CPU根据硬件流表信息，建立软件流表 NDENDE生成硬件流表 1输出分析结果NDA（分析器）44统一流量分析的四个功能共用上述工作流程•全流分析：该功能针对整网流量进行检测分析，其上报的流表信息最全面，主要包括流量的•随流检测（iFIT该功能•丢包镜像（MOD）：该功能主要针对流量的丢包情况进行检测分析，其上报的流包括流量的五元组信息、丢包报文数、丢包•超大时延流上报：该功能主要针对超大时延流进行检测分析，其上报的流表信息主要包括流可以配置统一流量分析技术的随流检测（iFIT）功能对端到端流量进行检测分析。具体需Border1Border2peer-linkSpine1Spine2peer-linkLeaf2Leaf3Leaf1Leaf2Leaf3peer-linkpeer-linkpeer-linkpeer-linkServer1Server2Server3Server4双向流单向流M-LAG流双向检测●检测接口单向检测Border1Border2Border1Border2peer-linkpeer-linkSpine1Spine2peer-linkpeer-linkLeaf1Leaf4Leaf2Leaf1Leaf4Leaf2Leaf3peer-linkpeer-linkpeer-linkpeer-linkServer1Server2Server3Server4双向流单向流M-LAG流双向检测●检测接口单向检测MPAnalyzer目标流(NTPMaster)3NTP时间同步报文测量数据上报路径312121212MP4MP6MP3MP2MPMP4MP6MP3MP2Transmit(NTPslave)Transmit(NTPslave)Egress(NTPslave)HostAHostB(NTPslave)•目标流：iFIT测量的对象，是网络中符合特定匹配规则的业务流。网络管理员可以通过匹配•入节点（Ingress目标流进入测量网络的设备。主要负责：）：）：iFIT工作流程分为三个阶段：设备时间同行时间同步，同时测量丢包和时延参数。如果时间不同Telemetry技术上报给分析器。3.分析器对同一统计周期内相同目标流的报文3.分析器对同一统计周期内相同目标流的报文4.统计数据上报机制（Telemetry）测量精度高相比NQA等通过模拟业务报文进行测量的技术，iFIT直接标识统计数据可以真实反映网络质无需部署高精度PTPiFIT不依赖高精度的PTP时钟，仅通过NTP的秒级时间同步即可满足测量需求。显著降低了部署难度，使其能够在更广泛010203040505快速排障精准定位iFIT发现丢包后，可逐点排查。精准定位故障点，快速排障。丢包原因上报iFIT利用本地采集的统计信息，并上报到分析器，分析结果无需依赖外部复杂计算。带宽无额外损耗iFIT无需给业务报文添加额外的封装头，仅利用报文自身的字段完成识别与标记。不会占用额外iFIT能够在不中断业务的前提下，实现持握业务流在网络中的完整传输路径及其性能变化曲线，升定位精度与响应速度，第一时间精确地定Spine1Spine2Leaf1Leaf2Leaf3MOD（MirrorOnDrop，丢包镜像）是术。一旦MOD监控到