智算中心建设方案

01项目背景03项目亮点04经典案例行业需求洞察行业需求洞察重将超10%;GDP增长贡献率66.45%。人工智能(IDC):2024年备案大模型超200家，行业模型占70%;2024年智79.6%(146亿),2028年国家政策导向建设支持：奖励新建算力中心，发放“贵州算力券”,打造算力高地。【申请“贵州算力券”800万】产业集群目标：打造“数据中心-智能终端-数据应用”据等新兴业务预留技术底座，匹配西部数字文创产业算力的需求。·支撑文字+图像+语音等多模态模型训解等)参数超1万亿。·承接10部院线电影、50个游戏场景、100个建筑可视化项目，数据量约1.2PB,“渲染+“渲染+AI”双盈利可控换机成本比思科低40%;华三S9850-32H强扩双机热备+冗余网络双机热备+冗余网络靠性协议协议≈7GB数据，400G网络(50GB/s)耗时<0.14秒，满足训练效率功耗功耗规划用政务云数据中心剩余容量政策驱动Al领域的竞争是未来世界领导权的竞争政策驱动Al领域的竞争是未来世界领导权的竞争推动智能计算中心有序发展，打造智能算力.通用算法和开发平台一体化的新型智能基础设施智算增长趋势智算增长趋势201A闻力需求2010年A算力重求年的51%跃升为2023年的70%281928002031来著:中国中国草力发展0三皮节(2222J智算中心布局智算中心布局-10(2021)编生修乳、材料学核物理杉核技术天焊作理和气科学等各歌开陋机器学马心贴郸Doo生断MetaAJ爱计华为昇腾云服务.AJ大噪型训练和元宇出等华为昇阵A泊技术研究锦潮，寒武妃自动笃驶.A科研等南京智算中心能源然智算中心定义智算中心是以GPU、AI加速卡[1]等智能算力为核心、集约化建设的新型算力基础设施，提供软硬件全栈环境，主要承载模型训练以及适合中心推理、多媒体渲染等业务，支撑各行业数智化转型升级建设目的促进信息服务业云化转型，通过资源共享及弹性发放，供用户按需使用资源 智能计算(AI)子系统和高性能计算(HPC)子系统。●集成多层次、多协议、多种数据保护模式的全闪存存储系统和高性能并行文件存储系统，以及配套的信息安全子系统和超算中心融合管理子系统超算中心融合管理子系统信息安全子瓢统(包含统一门户)大带宽无收敛零丢包易扩展2层vs2层vs3层全盒vs框盒逐级收敛>无收敛逐级收敛>无收敛可少量丢包0丢包高速网络交换子系统全闪存存储子系皖高性能文件存储子系填通用OL算力子系坑GPU智算子系统HPC超算子系统全闪存存储子系皖高性能文件存储子系填出口网络核心汇聚层自0业务面管理面管理面通算集群通算集群等)和IPMI(智能平台管理接口)数据面数据面01项目背景03项目亮点04经典案例项目概述A业务，满足人工智能项目开发全流程算力需求范案例，带动“数据中心-智能终端-数据应用"产业链协同，助力贵州千亿级数字产业集群建设。服务器，构建1152卡干卡级算力集群，支撑千亿参数模型训练；Spine-Leaf拓扑，实现端到端延迟≤50μs,保障集群大规模数据同步效率；·可靠性：全链路冗余设计(网络、供电、散热),达成系统年非计划停机时间≤4小时目标动，为业务稳定运行提供支撑；核心层构成骨干网，Leaf层接入服务器，管理/安全层独立部署数据流向：业务数据从计算层输出经网络层传输安全层防护,西管理层捶的全流程软件施层基础设施运维监控平台运维监控平台离线渲染发边缘计算协同云主机镜像服务数据处理模型开发模型部署模型推理模型训练白动建模模型管理模型监控云硅盘裸金属云硅盘Spine-Leaf物理层+EVPN/VXLAN逻辑层的组合架构，兼顾物理网络的高扩展性、东西向性能及运维效率，与逻辐层弹性、虚拟机无缝迁移(跨机柜/POD)及多租户隔离能力。超微S83-4090T8GPU服务器计算层设备(算力机柜)设备参数设备参数功能定位部署细节40TFLOPS/卡，为模型训练、渲染提供强劲算力支撑；源，适配10KW高功率机柜，保障稳定运行；换机，构建25G双链路冗余部署分布●每机柜严格按5U-8U、10U-13U、15U-18U位置部署3台，总计144台，形成千卡算力矩阵；●每列机架5U-18U部署3台分布于机柜中央，利用机柜中上部空间，避开底部线缆区与顶部散热盲区算力价值型训练对算力的极致需求；力密度低且占用更多机架，16卡需搭配高端服务器成本高)●形态与配置：2U机架式设计，DellPowerEdgeR7525搭载AMDEPYC系列高性能CPU,128GB大●板载BMC芯片支持IPMI2.0远程管理(带外运堆)●承担集群管理、资源调度、实时监控职责，是智算中心“神经中枢”;●管理节点通过独立管理交换机接入，严格隔离管理与业务流量●集中部署于特定机柜位置(靠近管理交换机),实现网络层设备核心交换机(Spine)Leaf交换机上下排列便于与Leaf交换机光纤互联，设备间距2U,预留散热与操作空间于业务流量接入，10GB流量清洗，保障安全防护优先(国密SM4算法、威胁防护、交换容量达12.8Tbps;灵活端口，RoCEv2(远网络，保障运维指令(如配置更新、状态查询)和零信任架构，IPS入侵●部署：2台S9850-32H作骨干网，2台59850-4C务器；支撑业务流量高效传输器管理网口互联；防御、DDoS分布式拒绝服务，双机热备部署；访问控制规则，开放GPU服务器22(SSH)、8080(训练平台)等业务端口，封禁非法IP核心-Leaf光纤：核心交换机端口(前置面板)引出，沿机柜背部竖向主线槽(直径100mm,容纳多组光纤),连接至Leaf交换机端口(前置面板),线槽内技光纤走向分组绑扎，标注标签(如Spine01-Leaf011-400G-智算网络拓扑设计思路专线接入专线接入交捣机2网络互联区管理区网络互联区梦内管理梦内管理带外管理名国务器ka交实机防人踏庄8*2kex交换机S9850-32H核心交换机〔400G接口〕点的无阻塞互联接入交换机(25G网组层管理和监控接入交换机互联所有Lesf交换机串接Leat与外部/核心区网络分层拓扑图··分层结构①Spine骨干层：2台59850-32H核心交分层结构高性能骨干f高性能骨干f1111安全威胁防护安全威胁防护IPS/DDoS防护，双机热备w建管理带内(万兆)+带外(千兆)独立管理144台8卡服务器，单卡40TFLOPS双重通道高性能计算Spine管理带内(万兆)+带外(千兆)独立管理144台8卡服务器，单卡40TFLOPS双重通道高性能计算Leaf*8台总接入带宽：8×18×25G=3.6Tbps结论：3.2T<3.6T,存在11.1%带宽缺口，非实时渲染任务允许一定程度的网络排队，允许Leaf上联带宽轻度超售。9总带宽通内空油机449总带宽通内空油机4425G多模)0044跨Leaf流量调度年骨干网互联(CLOS架44里里ne→Leaf)管理节点→带内10Gbps2/节点40Gbps日常运维指令-由器(10G)606器 606器网络设备架构应用位置管理连接管理上行带外管理出口连接9师关键猫脑标注-25G业务链路：GPU与Leaf之阅的高速数据道道，每Leaf承载18台GPU(36条链路/Leaf)·400G核心互联：Lea-Spine-Core间的骨干链路，支持ECMP多路径负载均衡-10G管理磁路：管理平面与核心网络的连接，保障运维指令传输·10G安全链路：Leaf与防火墙之间的安全过滤道道，降速至10G传输-1G应急链路：带外管理通道，用于设备故障时的应急访问SnS器-器99SS0同0400播400播00-①业师网络：400G光纤(核心交换机·Lesf交换机接),澜足高带魔、低延迟业务需求，②管理网培：10G网线(带内管理交族机·服务附①业磨核心：通过400G光纤与Spine交换机、Leaf交换机互联，这样就能让业务流量(大模型训练数据传输)和管理流量(设备远程运雌指令)在这些核心没备间高效流转，同时借助双机部署实现冗余，避免单点故障影响业务和管理功能C第硬件设备参数第18页型号(万)超微S83-4090T82×25G5FP28+1×1055FP+1×1G电口，8张NVIDLARTX4090GPU(单卡FP3825G5FP28×48+100GQ5FP28×8,支持400G扩展12万2400GQ5FP-DD×32,CL0s架构专用35万2400GQSFP-DD×4+10GS由引擎40万管理节点戴尔PowerEdge2810GSFP+*48+40GQ5FP+×6,管理平面专用5万华三555705-41G电口×48+10GSFP+×6,应急管理通道2万8飞塔600F210G5FP+×8+1G电口×4,IPS/AV吞吐量15万出口路由华三CR160001100GQSFP28×2,BGP路由表容量100万条20万数量单价(元)(万)LCALC,3米米312芯转4×3芯92机柜(42U)10KW,含PDU4年机柜(42U)5KW,含PDUIDC带宽端口计费5400元/G/月年网络拓扑简图分层架构分层架构带内管理交换机-4带外管理交换机-4Gu服务题-544出D临由器-11.管理节点通过10G高速通道(带内)和1G应急通道(带外)连接管理交换机1.每台GPU服务器通过2条25G链路连接Leaf交换机(业务流量)2.Leaf与Core之间26条400G链路(3主用+0.25备用/Leaf),通过MPO分线盒实现高密度互联既支撑了物理网络的高效扩展、东西向性能与敏捷运维，又实现了逻辑层弹性扩展、虚拟机无缝迁移(跨机柜/POD)与多租户隔离管理节点御架构)管理网络双机热备防彻架构)核心交换机(Spine)2台400G端口，12.8Tbps交换容量，支持RDMA无损传输，构建骨干网络业务/管理核心交换机2台高速端口适配业务与管理流量，支持Qos优先级管理，与Spine交换机互联8台25G/100G端口，支持RoCEv2协议，连接GPU服务器与核心层，实现流量汇聚Leaf交换机8台万兆端口，构建独立管理网络，连接服务器BMC与管理节点，保障运维指令传输带内管理交换机带外管理交换机4台千兆端口，提供应急管理通道，支持远程故障诊断，与业务网络物理隔离防火墙10Gbps吞吐，支持IPS/DDoS防护，双机热备部署，过滤外部非法流量2台管理节点服务器2台2U机架式，AMDEPYC处理器，128GB内存，管理集群资源调度与监控GPU服务器集群144台安全防护服务器资防火墙双机Leaf接入层Spine核心互联网基于Spine-Leaf既支撑了物理网络的高效扩展、东西向性能与敏捷运维，又实现了逻辑层弹性扩展、虚拟机无缝迁移(跨机柜/POD)与多租户隔离管理节点御架构)管理网络双机热备防彻架构)核心交换机(Spine)2台400G端口，12.8Tbps交换容量，支持RDMA无损传输，构建骨干网络业务/管理核心交换机2台高速端口适配业务与管理流量，支持Qos优先级管理，与Spine交换机互联8台25G/100G端口，支持RoCEv2协议，连接GPU服务器与核心层，实现流量汇聚Leaf交换机8台万兆端口，构建独立管理网络，连接服务器BMC与管理节点，保障运维指令传输带内管理交换机带外管理交换机4台千兆端口，提供应急管理通道，支持远程故障诊断，与业务网络物理隔离防火墙10Gbps吞吐，支持IPS/DDoS防护，双机热备部署，过滤外部非法流量2台管理节点服务器2台2U机架式，AMDEPYC处理器，128GB内存，管理集群资源调度与监控GPU服务器集群144台安全防护服务器资防火墙双机Leaf接入层Spine核心互联网8卡NVIDIA4090GPU,单卡40TFLOPS算力，10KW算机柜布局机柜布局管理节点一管理交换机：2条10G链路聚合，带宽20Gbps,故障切换时间<50ms.Leaf→Core/Spine:多条400G链路聚合，支持TB级带宽。GPU服务器→Leaf交换机：2条25G链路聚合，提供50Gbps400G链路通过12芯MPO分线盒，单端口承载3条400G链路(4芯/链路),提升布线密度.25G端口降速至10G连接防火墙，100G端口降速至10G连接关键链路(如Leaf→Core)配置10%备用链路(26条=24主出口路由器(100GQSFP28)双25G多模光纤连接Leaf交换机(业务流量)双10G链路降速连接防火墙(主备/负载均衡)10G单模光纤连接带内管理交换机(BMC监控)16电口连接带外管理交换机(应急管理)防火墙(飞塔600F×2)10G直连SAN存储(1SCS横型存储)10G5路连接出口路由器16×10G描路连接Leaf交换机(每防火墙连8台Leaf)专用心路线互联(表格未体现)4×10G聚合链路连接管理节点(双25G降速)8×40G链路降速连接SAN存储(元数据存储)144×10G甚路连接GPU服务器(BMC监控)8×400G描路连接Spine交换机(每Core连4条)8×10G鞑路连接Core交换机(管理汇聚)26×400G链路连接Leaf交换机(通过MPO分线盒复用)2×10G链路连接SAN存储(管理数据)2×1G聚合链路连接管理节点(应急通道)4×10G惬路连接SAN存储(冷数据归档)144×1G胚路连接GPU服务器(应急访问)4×10G惬路连接Core交换机(应急汇聚)16×400G链路连接Leaf交换机(每Spine连8台Leaf)4×400G隧路连接Core交换机(每Spine连2条)2×400G链路连接SAN存储(跨Spine同步)8×40GFC连接Leal交换机(高性能存储)2×40GFC连接Spine交换机(诊集肝同步)36×25G链路连接GPU服务器(每Leaf服务18台GPU)6×40GFC连接Core交换机(分布式转发)2×10G链路降速连接防火墙(安全防护)1×100G惜路降速连接SAN存储(40GFC存储)2×400G悟路连接Spine交换机(每Leaf双上行)8×10GiSCSI连接带内交换机(模型存储)8×400G悟路连接Core交换机(复用端口)4×10GNFS连接带外交换机(归档数据)144×10GiSCS直连GPU服务器(Checkpoint存储) 管理节点(戴尔R7525×2) 4×25G聚合链路连接带内交换机(主爸理) 2×1G聚合错路连接带外交换机(备份管理)防火墙01切换防火墙02串联防护机后851-03-C-091-A02GPU服务器01GPU服务1502U10-13GPU服务4903计算区：144台计算区：144台GPU服务器分置48个机柜(3台/柜),每6柜配置2台核心区：2台核心交换机+2台Spine交换机部署于独立机柜，与Leaf机柜管理区：8台带内交换机+4台带外交换机部署于2个机柜，连接管理节点(独立机柜).安全区：2台防火墙+1台出口路由器部署于1个机柜，靠近核心区机柜减型号连接关系核心交换机连接所有Leaf交换机，400G光纤互联业务/管理核心交换机连接Spine与连接GPU服务器与核心层，25G/400G链路防火墙串联Leaf011/012,过滤外部接入流量GPU服务器光纤冗余管理平面源设备连接介质(数量+端口)400G单模光纤×16(连Spine,每核心到每Spine4根)Spine交换机(2台)全Mesh互联，单链路40DG×4=1.6Tbps冗余400G单模光纤×26(连Leaf,每核心13根)Leal交换机(8台)3主1备链路，支持8Leaf×3=24根+2备用10GSFP+光纤×8(连带内管理交换机，每带内1根)10GSFP+光纤×4(连带外管理交换机，每带外1根)1GCAT6网线×144(连GPU,每GPU1根)GPU服务器(144台)应急通道，基于IPMI协议的1G低速连接n鸭7n鸭7□1GPL服务器-146购0G开变C好带外交换情!核带外交换们100光肝那内4核4带外交换L400C光肝内注：4条10G4违均均连接台核心，形成冗余核心1核心1核心2400G单模光纤×8(2台Spinex4根/台),形成全Leaf1Leaf5Leaf2Leaf6全Mesh与负载均衡1.跨核心冗余：每台Leaf的3-4条链路中，2条连核心1,1-2条连核心2,形成交叉互联；2.协议支撑：通过ECMP(等价多路径路由)协2台业务核心交换机华三S9850-4C(400GQSFP-DD×4)作为全网枢纽，作为业务/管理核心节点，承载跨集群数据调0400G光纤上联Spine交换机，25G光纤下联Leaf交换机，承载业务流量；o10G光纤连接带内管理交换机，1G网线连接带外管理交换机，汇防火墙部署层级1.核心层下联部署：防火墙位于核心交换机与Leaf交换机之间，形成“核心-防火墙-Leaf”三层架构，适用于南北向流量统一防护；3.8台华三Leaf交换机与2台飞塔防火墙通过16条10GSFP+单模光纤实现全互联，每台Leaf使用2个25G端口降速至10G连接双防火墙，形成“双上联+链路聚合”的高可用架构。额外增加2条心跳线(1G电口主用+备用)用于防火墙状态同步，总链路数18条.热””222台飞塔防火墙(10GSFP+×8)式),1台出口路由器(100G链链路规划业务平面：GPU服务器→Leaf→Spine→核心交换机，基于25G高速链路+400G骨干网器双链路连接防火墙，运行BGP协议实现公网接入带宽优化端口利用率连接方向总带宽288条每服务器双链路聚合26条(2+1)主用+025备用/Leaf16条全Mesh互联(每Leaf连2条)4条双链路冗余4条双节点双链路冗余8条8进2出聚合 硬件上架流程预处理检查预处理操作上架分步操作步骤3:连接服务器双25G网线至Leaf交换机端口，双测试目标●验证大二层网络关键功能(虚拟机测试项与工具网络连通性，要求丢包率≤0.1%。验收标准●设备间ping测试丢包率≤0.1%,管耗时3天机柜安装、设备上架、电源布线5天光纤/网线敷设、标签标识、光功率测试7天设备初始化、路由协议配置、安全策略部署5天带宽测试、时延测试、冗余切换测试、业务流量模拟2天文档交付、操作培训、最络验收1-2号机柜Leat交换机(4台/柜)+Spine交换机(1台/柜)3号机柜业务Core交换机+防火墙+出口路由器5-52号机柜GPU服务器(3台/柜)共48柜144台A管理平面：带内交换机→管理节点：10GS网线(RJ45),每节点1条B.业务平面：GPU→Leaf:25G多模光纤(LC-LC),每GPU2条(聚合);Leaf→Core/Spine:400GQSFP-DD单模光纤(MPO-MPO),通过分线盒复用c.安全平面：Leaf→防火墙：25G单模光纤降速至10G(LC-LC),每Leaf2条；防火墙→路由器：100GQS降速至10G(带适配器)线缆管理：机柜内部采用理线架分层布线，业务光纤与管理网线分离捆扎(间隔上层走业务光纤，下层走管理网线，避免信号干扰。集群算力验证集群算力验证验证目标验证目标验证项与工具验证项与工具●POC测试：验证RDMA网络性能、风冷散热效果、存储分层策略等关键技术测试项与工具测试价值规划思路 规划思路复用原有端口能(数据持久化、模型归档)·存储平面：新增FCSAN与IPSAN混合架构，通2台博科Brocade65202台32口40GFC(支持10G向下兼容)(新增)10GFC/10GEthemet双端口(新增，适配GPU服务器105插槽)116口10GEthernet/SCS协议转换(新增)流程阶段计算处理流程数据处理流程高性能层大客量层 流程阶段计算处理流程数据处理流程高性能层大客量层数据获取边缘存储…边缘存储原始数据●桔式标准化训练集数据素引数据原始数据+训练+调优+评估-》模型输入数据+模型->Vector>应用动态混合负载高性能兼顾高带宽&高I/O基础大模聖训&推理GPU排理服务器智能分级向量读取数据全生命周期管理运行安全稳定可靠多协议融合互通模型加截业务数据向量库●混闪并行文件存储采用2*100GRDMA高速无损网卡上联●全闪采用2*100GRDMA高速无损网卡上联，2*25GE上联存储交换机井接入存储小核心供昇腾910B使用●对象存储及四层负载均衡设备均采用4*10GE上联至万兆业务交换机.●并行文件存储管理网采用两口千兆网卡上联至管理交换机，对象存储管理网采用干兆管理网。换机换(25GE换机存储架构存储架构协议转换：iSCSI网关连接Core交换机(非FC设备火火10Gxi44400Gaf400Gxf400GxtLeat交牌机Leat交牌机GP服男篷2GP服男篷2w400040400040SAN存储：双阵列负载分担，关键链路聚合(如Leaf的8×40GFC)400G增盐Car交换机出4000地器防大填4交换机8交换机840G400爬GPL服务器2GPL服务器2驾内交换机a8GPL服务器144需外交换机a401项目背景03项目亮点04经典案例设备类型：华三交换机(核心、Leaf、管理)、飞塔防火墙、Dell管理节点拟机/容器跨机柜迁移时拟机/容器跨机柜迁移时分别连接不同Leaf交换机，实现链路冗余，提冗余设计：核心设备双机部署(Spine01/02、防火墙F1高性能并行文件存储技术优势第37页应用协议应用协议全面存储协议支持数据处理协议管理网络通信数据管理数据处理协议管理网络通信数据管理角色域管理缓存管理数据策略磁盘管理系统(磁盘管理系统(OBS)基础硬件