智算网络 计算感知技术要求

TechnicalrequirementsforcI II 1 1 1 2 2 3 4 4 4 4 5 59.2软件层感知能力要求 59.3硬件层感知能力要求 5 6 6 6 6 6 6 6 6 8本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件起草单位：中国信息通信研究院、北京邮电大学、北京网测科技有限本文件主要起草人：王伟、张伟良、李意洋、王奕博、王小雨、李建伟、李清源、李1智算网络计算感知技术要求本文件规定了智能计算中心网络对于人工智能模型训练任务与推理任务对于计算侧状态感知的技新型计算任务NewComputingWor计算节点（GPU/AI加速卡）进行紧耦合、协同式并行计算的工作负载不同，新型计算任务将数千甚至数万个计算单元视为一个整体（Super-computer通过极高频的参数分至集群中，各节点在计算的同时，必须通过网络实时交换梯度或中间模型并行，而模型并行又进一步分为流水并行，张量并行和专家并行所有的模型训练和推理任务都基于应用层的分布式训练框架，例如当前主流的（DeepSpeed、2），态定义。分为确定性计算状态和实时性计算状态两个确定性计算状态DeterministicComputingS实时性计算状态Real-timeCom指的是当前训练进度、当前带宽使用信息、当前各硬AI：人工智能（ArtificialIntelligence）CPU：中央处理器（CentralProcessinECN：显式拥塞通知（ExplicitCongestionNotificaGPU：图形处理器（GraphicsProcessinTPU：张量处理单元（TensorProcessingNIC：网络接口卡（NetworkInterfaceCard）PFC：优先级流量控制（PriorityFlowCoRDMA：远程直接内存访问（RemoteDirectMemoryAccess）RoCE：融合以太网上的远程直接内存访问（RDMAoverConvergedEthernet）LLM：大型语言模型（LargeLanguageModCNN：卷积神经网络（ConvolutionalNeuralNeRNN：循环神经网络(RecurrentNeuralNetworNCCL：NVIDIA集体通信库(NVIDIACollectiveCommunicationsLibrary)MPI：消息传递接口(MessagePassingInterface)统采用“拥塞检测-通知-响应”模式的被动式拥塞控制机制，由于其固有的控制收敛3透视能力。在计算节点侧，核心感知探针被深度植入到应用层与硬件层之中。具体而言，通过在AI训直接在训练进程中捕获集合通信模式（如AllReduce、AllGather）、通信量大小及训练轮次等关键语义PCIe带宽利用率及网卡物理端口的性能指标。此外，计算集群中的“慢节点”，并分析其对整体训练进度的拖累程度，具体结构如图2所示。低通信长尾时延，有效保障整体训练效率与集群算力利4计算状态感知技术应该满足当前所有主流模型，主要包括如下a)卷积神经网络（CNN）：例如图像分类（ResNet）b)循环神经网络（RNN）及其变体：例如语音识别、时间序列预测类型应用；b)TensorFlowParameterServer/Collective：兼容参数服务器（PS）架构与集体通信模式；c)PyTorchDistributed（DDP/RPC提供动态数据并行（DDP）与远程过程调用（RPC）框架d)Horovod/MPI跨节点训练：支持基于Ring-AllReduce的高效通信优化，适配多机多卡场景。a)RDMA（RoCE/InfiniBand）：基于远程直接内存访问，实现GPU间零拷贝数据传输，适用于多机多卡训练（如NVIDIANCCL延迟低至微秒级，支持大规模AllReduce、Broadcast等b)NCCL：专为GPU集群设计的通信库，集成RD兼容防火墙与容器网络（Kubernetes适配参数服务器（PS）架b)MPI（OpenMPI/IntelMPI）：提供标准化的点对点（P2P）与集合通信接口，支持动态拓扑重5针对计算感知技术，对应用层和硬件层的计算状态的感知能力提出相应要求。对于分布式深度学习训练任务，当前主流框架的演进已形成以DeepSpeed和Megatron-LM为核心的两大技术路线，同时其他框架如Horovod、PyTorchDDP等也在特定知能力和实时感知能力。对于硬件层感知能力，本标准定义了网卡、GPU/TPU，交换机三类硬件的感c)应支持获取每个通信操作之间确f)应支持针对不同的模型和训练环境能够构建相应计算任务的流量周期性模型。6d)支持获取RDMA网卡拥塞响应信息，如接收CNP信息等。交换机感知可支持对端口带宽使用情况和拥塞标记信息进行采集，并满），获取周期需支持灵活调度，涵盖分钟级实时采集、小时），可基于时间戳追踪、日志解析或触发器捕获等机制实现，确保对生产环境低侵入性。应支持通过RESTfulAPI、Socket长连接7c)应支持网卡速率信息误差不大于5%；其他感知信息准确性可通过感知时延进行表征，并应满足以a)可支持交换机ECN信号捕捉时延小于5ms；管控平台需要采集每个训练节点获取的计算状态信息，为了及时进行主动调度工作，需要保证采集信息的时效性，故对实时采集信息的时延做如下要求：a)可支持训练进度信息的采集时延不大于5ms；b)可支持每个通信操作开始与结束时间采集时延不大于5ms；8[1]ISO/IEC22237-1:2[2]ISO/IEC/IEEE24765:2