中移研究院发展新型智算中心-打造智能算力网络

发展新型智算中心

打造智能算力网络段晓东中国移动研究院中国移动算力网络发展历程回顾算力网络发展主线中国移动从算网基础设施构建、业务融合创新、创新技术引领等多方面系统化推进算力网络建设和发展主线三面向创新技术引领主线一面向算网基础设施构建主线二面向业务融合创新物理空间、逻辑空间、异构空间、多主体算力融通“4+N+31+X”布局，1100边缘节点打造20ms、5ms、1ms三级时延圈SRv6/G-SRv6打造统一算网底座实现算网高效协同，支持CHBN业务融合发展，打造算网全新生态产品算力化和算力产品化发布算网服务1.0构筑算网大脑实现创新技术引领，打造原创技术策源地三横两域体系架构提出十大技术发展方向三十二大核心技术继往开来，成功迈入算力网络新阶段起步：泛在协同发展：融合统一跨越：一体内生协同编排网随算动智慧内生算网一体一站服务、协同运营融合服务、统一运营一体服务，模式创新十四五阶段十五五阶段及更长期2021-20232024-20252025~算网融合智能编排构筑算力网络发展源动力，开创算网一体原创技术体系算力网络是算网交叉学科创新的重大契机，目标远大必付之全力。为构筑算力网络发展源动力，实现算网新服务的目标愿景，中国移动开创算网一体原创技术体系，联合产业一道形成一批我国原创技术广域RDMA突破广域传输性能瓶颈空芯光纤新型光纤介质与系统在网计算打破算网边界全调度以太突破无损以太性能瓶颈算力度量打破单维算力指标移动算力5G、6G新增计算面算力路由突破互联网架构协议存算一体突破冯氏架构算力原生实现应用跨架构迁移400G/800G超高速大容量全光网络G-SRv6统一IP承载协议算力卸载多算力形态统一底座算力并网实现算力供给侧改革新一代SD-WANUnder与Overlay协同算力解构应用模块化解构部署算力智能内生计算要素创智能服务空天地一体突破异构算网融合隐私计算安全数据分析计算应用感知应用类型识别OTN光电联动新型全光网架构全光接入新型接入网架构云原生敏捷高效体系总线互联卡间高速通信50G

PON+FTTR新型接入网架构原创技术“5颗珍珠”：算力原生、算力路由、全调度以太、在网计算、G-SRv6算力路由（CATS）②CA-BGP-LS:

出口节点向算力控制节点通告算力状态信息①CA-BGP：采集算力信息，通过扩展BGP协议进行通告③CA-OSPF：在域内泛洪算力信息为路由提供参考⑤CA-Restful/json：通过restful协议接口收集Json消息算力信息④CA-Netconf/yang：通过Netconf协议下发Yang模型算力配置算力路由协议簇算力路由组网架构历时4年推动IETF成立算力路由工作组CATS，中国移动担任主席2019~2022年5次研讨会2023年3月

CATS

WG成立暨首次会议，是路由域最受欢迎的工作组之一算力路由的提出①发现问题云边以及边边调度之间出现“性能反转”②问题本质计算和网络是独立系统算的负载和网的拥塞信息没有产生关联③解决思路在路由中引入计算信息，进行联合调度工作组范畴和计划目前已经完成工作组首个立项：CATS问题分析、场景及需求聚力“高、广、深”，实现新发展推动算力成为与水电一样，“一点接入、即取即用”社会级服务最终实现“网络无所不达、算力无所不在、智能无所不及”的愿景提升高度拓展广度挖掘深度算为中心①打造算力供给高峰网为根基②实现深度融合统一多要素融合③开创一体化服务④模式以算为中心①、网为根基②，网、云、数、智、安、边、端、链等深度融合③、提供一体化服务④的新型信息基础设施打造智能算力新高峰——NICC新型智算中心以高性能GPU、AI加速卡为中心，以高速互联智算集群为目标，形成集约化建设的E级超大规模算力基础设施，具备软硬件AI全栈环境，支撑AI大模型的高效训练和推理新型智算中心新算效新互联新存储新平台新节能1、新型智算中心是对传统云数据中心的飞跃单机柜40KW，冷板式液冷算力池化，分布式训练独立存储 风冷裸机/虚机/容器冷板/浸没式液冷内存池化算力原生异构时期（~2021）中小模型PCIe 25G传统以太集群时期（~2025）中大模型（百亿-千亿）单机8卡高速互联

高性能无损网络扣卡模组 DPU海量非结构化数据，融合存储在新互联、新算效、新存储、新平台、新节能等五大方面进行系统性重构，推动NICC新型智算中心传统云数据中心超级池化时期（2025~）大模型（千亿-万亿）百卡高速总线互联

GSE存算一体平台存储节能算效互联2、NICC新型智算中心的架构基础设施智算平台ROCmTesnsorFlowPyTorchPaddlePaddleDeepSpeed存储计算液冷高效供电机房配套冷却水系统应用使能......跨架构编译器算力抽象运行时CUDA CANN算力原生智算运维裸金属实例容器实例文件 对象融合存储块 内存池全局统一存储Hypervisor

+虚拟机实例AI开发框架智算运营跨节点分布式训练调度运营管理模块编排调度 计量计费算力交易 用户界面运维管理模块开发管理 交付管理IaaS管理模块虚机 容器 裸机存储 网络强化互联技术、深化算力协同、定义新型存储、新增算力原生、升级绿色节能构建标准统一、技术领先、软硬协同、兼容开放的NICC新型智算中心技术体系网络RoCEGSE平台存储互联节能算效CPU

GPU

DPU

CIM高速互联计算总线3-1、NICC新互联——高速互联计算总线千亿模型：高通信需求（张量并行）集中8卡之间300123012123456745674567...Sever

NSever

2Sever

1SuperSever（S2）架构万亿模型：高通信需求（MoE并行）集中在百卡之间0 1230123 … 01234 56745674567基于高速计算总线的S²的架构模型参数从千亿迈向万亿，互联高需求从8卡扩展到百卡间0 1 2 3 4 5 ...

N一组有N张GPU/AI卡0 1 2 3 4 5 ...

N一组有N张GPU/AI卡计算总线总线Switch总线Switch总线Switch总线

Switch总线

Switch总线

Switch总线

Switch更低延迟的内部通信更高效的数据读写更灵活的拓扑连接模型从千亿到万亿，高速卡间互联需求从8卡扩展到百卡，智算设备形态将从S（Server

服务器）演变为S²（Super

Server，超级服务器），带来智算中心底层互联技术的全新变革3-1、NICC新互联——高性能新以太互联网络InfiniBand专用网络、超高性能、成本昂贵传统无损以太生态开放、性能有限、性价比高以开放破垄断以创新提性能大模型以分布式训练为基础，通信开销导致GPU集群有效算力难以线性提升，网络成为AI算力“瓶颈”，亟需构建以新型以太网技术为基础，开放兼容、超高性能的新型智算中心网络技术体系传统：网络性能和成本无法兼得

未来：突破以太技术、升级高速互联流级ECMP被动拥塞控制独立转发决策基础转发机制导致AI场景性能受限盲发+被动拥塞控制“局部”决策转发逐流分发感知+主动流量控制“全局”最优调度逐“报文容器”分发分发粒度发流模式转发策略创新全调度以太网(GSE)，革新以太网底层转发机制，增强物理层、链路层、网络层、传输层协议能力，全面提升网络性能AS-IS TO-BE3-2、NICC新存储——内存池化传统CPU和GPU分立的存储架构，导致数据大量搬移，影响模型训练效率需要构建CPU和GPU间的统一内存池，减少数据搬运，简化编程开发，使模型训练更加高效未来：HBM和DDR池化传统：HBM和DDR分立数据多次复制，延迟高，影响模型训练效率AI模型开发复杂，需要手动管理数据搬移CPUGPUDDRHBMCPUGPU统一内存池CPUGPUGPUGPUGPUGPUDDRHBMDDRHBM数据无需多次搬运，GPU可快速访问巨量共享内存提供统一寻址空间，AI软件模型开发简化3-3、NICC新算效——升级计算架构随着NICC向超级池化阶段发展，解决海量数据处理要求，需要聚焦GPU升级，突破性能瓶颈，加强CPU、GPU、DPU三大芯片协同。未来，探索存算一体新型计算范式，达到能效比数量级提升下一代GPU芯片设计性能瓶颈显存带宽和容量的制约数据搬移的功耗激增演进路线①

存储一体化设计②

稀疏化设计③

算法和芯片协同设计④

低时延推理架构设计GPU、CPU、DPU三大芯片协同三大芯片协同提升算效迎接更加爆炸式的数据处理需求存算一体，突破传统计算范式突破冯·诺依曼架构达到能效比数量级提升面向大模型推理场景基于SRAM，中大算力，100Tops+无限擦写，数模混合，精度拼接CPUGPU DPUGPU+DPU，参数面网卡升级，进一步满足可编程拥塞控制及大QP数量等前沿需求GPU+DPU+CPU，智算资源并池，大幅优化智算集群管理效率，实现文件存储卸载，加速训推过程3-4、NICC新平台

——

引入算力原生智算应用难以在多样竖井化智算生态间迁移部署，制约系统整体运用效能。中国移动原创提出算力原生技术，打造“芯合”算力原生跨架构平台，打破“框架+工具链+硬件”紧耦合生态锁定，屏蔽底层硬件差异，繁荣全“芯”生态原生程序格式规范全系统共识的“

中间元语”

。H

o

s

t

侧、Device侧指令元语及执行策略的一体承载

•

原生运行时实现“中间元语”跨厂商的再装配，智算应用跨架构、可变粒度映射执行一次开发、一次封装、跨芯迁移算力原生层跨架构流转的原生程序

原生运行时编程模型转换、编译、优化程序加载动态链接NeuWare……CANNoneAPICUDAROCm硬件层应用层框架层工具链Pytorch……跨架构综合编译器

实现图算融合的跨架构综合编译、多级IR互转优化，生成中间元语格式的算力原生程序√√√3-5、NICC新节能——标准化大规模液冷技术TDP（W）2016～20192020～20212022～CPU150-250250-300300-400250400500700 GPU300W智算中心走向超大规模，面对不断攀升的能耗需求，液冷是必经之路但液冷产业生态不完善，设备标准化程度低，需要通过“五大统一”实现三“极”目标挑战1：单一AI服务器功耗超过10kW

挑战2：单机柜功耗超过40kW通用服务