2024数据中心超融合以太技术白皮书

目录目录0202目Contents录目编制说明 011前言/概述 032数据中心网络发展趋势与挑战 063数据中心超融合以太代际演进 084数据中心超融合以太技术 10网络级负载均衡算法，释放AI算力 10端网协同拥塞控制实现存储算力优化 12数据面快速收敛，提供分布式数据库高可靠算力 13网络架构创新，构建E/10E级超大规模算力集群 15业务级SLA保障，实现数据中心一张网 175总结和展望 19前言/概述前言/概述03031前言/概述数字经济时代，算力成为推动各行业数字化转型，赋能经济蓬勃发展的重要引擎，同时也成为衡量国家综合实力的重要指标，世界主要国家和经济体强化算力产业政策引导，为算力产业及相关技术发展提供重要引导。2019年11月，美国发布《国家战略性计算计划》提出开发、拓展并提升国家的计算基础设施和生态系统。2020年9月，欧盟对“欧洲高性能计算共同计划”进行了升级，重点发展下一代超级计算，强化欧洲数字主权。2022年6月，日本政府公布了“数字田园都市国家构想”基本方针，重点提升日本城市高速互联通信光纤线路覆盖率，并加强数据中心建设。我国政府持续强化算力产业政策引导，加强算力产业生态构建，推动算力基础设施向绿色低碳、智能敏捷、协同一体方向发展。党的二十大报告中，提出加快发展数字经济，促进数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群。2021年5月，国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发《全国一体化大数据中心协同创新体系算力枢纽实施方案》，提出加快实施“东数西算”工程，围绕国家重大区域发展战略，根据能源结构、产业布局、市场发展、气候环境等，在京津冀、长三角、粤港澳大湾区、成渝、贵州、内蒙古、甘肃、宁夏等地布局建设全国一体化算力网络国家枢纽节点。为了统筹推荐新型数据中心发展，支撑全国一体化算力网络建设，2021年7月，工业和信息化部发布《新型数据中心发展三年行动计划（2021-2023）构建以新型数据中心为核心的智能算力生态体系，构建具备高技术、高算力、高能效、高安全特征的新型算力基础设施。政策和市场需求双重驱动，全球数据总量和算力规模保持高速增长态势，中美算力规模占比位居全球前列。《中国算力白皮书（2022年）》数据显示，截止到2021年底，全球算力总规模达到521EFlops（FP32），其中通用算力为398EFlops（FP32），智算算力为113EFlops（FP32），超算算力规模为10EFlops（FP32）。随着盟及中国等世界主要国家和经济体是全球算力市场的主要参与者，世界主要国家算力规模如图1所示。其中，中国居世界前列。前言/概述前言/概述0404180180160140120100806040200美中日德英加法韩印荷意俄澳巴新中东西波瑞其瑞墨台印拉以香爱比捷南奥丹泰马芬撒沙土国国本国国拿国国度兰大罗大西加东欧班兰士他典西湾度丁色港尔利克非地麦国来兰哈特耳大 利斯利 坡和其牙联亚邦北他非地其区他地区新哥兴亚太地区西洲亚其他地区兰时共 和国西拉阿其亚以拉南伯非洲其他地区通用算力（EFLOPS）智能算力（EFLOPS）超算算力（EFLOPS）数据来源：《中国算力白皮书（2022）》图1全球主要国家算力规模及三类算力分布图得了不同程度的发展。根据工信部的数据，截至今年6月底，我国在用数据中心机架总规模超过590万标准机架，服务器规模约2000万台，算力总规模超过150EFlops，位居世界第二。在数据存储方面，《中国存力白皮书（2022年）》显示，2021年我国存储容量已达800EB，出货量年均增速达到50%。从算力市场规模来看，《中国综合算力指数（2022年）》显示，截止到2021年底，我国算力核心产业规模达1.5万亿元，关联产业规模超过8万亿元。而超算中心、智算中心、通用计算中心等多样化的算力基础设施底座正在加速建成，并在推动产业数字化转型、丰富居民生活、保障人民生命健康以及服务国家重大科技研发等诸多领域发挥出重要作用。计算、存储和网络是算力基础设施的重要组成，对支撑数字经济发展意义重大。ODCC（开放数据中心委员会）国家市场监管重点实验室（能效水效及绿色化）共同开展“算力强基行动”，以期通过测试加快推进计算、存储、网络等各类产品的技术创新和应用推广。前言/概述前言/概述0505计算存储计算存储网络其它通用服务器AI服务器超融合一体机磁盘阵列全闪阵列交换机光模块网络os无损架构液冷操作系统中间件应用软件数据中心网络是实现数据传输的重要通道，也是推动数据中心算力服务能力升级，实现算力充分释放的关键。数据中心网络主要负责连接用户终端以及数据中心内部的计算、存储等设备，保障数据通信网络链路上高效、安全的传输。数据中心网络可分为数据中心内部网络、数据中心间网络以及数据中心到用户的网络，数据中心内部网络侧重保障数据在计算、存储等设备间的高效传输，以此促进计算和存储效率提升，为业务的高效

图3木桶效应全可靠的传输。《中国综合算力指数（2022年）》报告中明确指出计算、存储和网络是算力最重要的组成部足要求而引发的“木桶效应”，可能会拉低整个数据中心的实际算力水平。因此，要提升数据中心算力服务能力，就需要进一步提升数据中心网络性能。数据中心网络发展趋势与挑战数据中心网络发展趋势与挑战06062数据中心网络发展趋势与挑战95%。随着RDMA等技术在以太网的应用，预测未来数据中心以太网占比将持续扩大，以太网将向高性能计算网络和存储网络扩展，形成统一的高性能算力承载网。面对数据中心高性能算力需求，传统的有损以太网已经无法满足要求。为了保障RDMA的性能和网络层的通信，对算力承载网提出高吞吐、低时延、零丢包等高性能要求。面向更高算力诉求的应用时，算力集群对高性能的数据承载网络提出了全新的挑战：挑战一：AI算力训练流量密集，网络吞吐低成为瓶颈挑战一：AI算力训练流量密集，网络吞吐低成为瓶颈场景的不断涌现，AI快速提升。AI量较少，单流量以100MB到几个GB上传输更加容易出现由于网络HASH吐下降的问题，从而引发AI训练性能整体下降。网络负载分担不均问题是当前业界的一个重大的难题，Google就曾指出在其数据中心中存在多级HASH不均问题导1致10K规模组网下整网吞吐低于25%的问题。业界主流的负载分担算法均存在性能问题，不适用于AI训练场景。例如，HASH适用于流数量较多的场景，不适用AI带宽大流数少的场景，会造成严重的负载分担不均；FlowletSwitching算法不适用于AI量模型场景；Packet-basedHASH需要接收端对流进行重组排序，否则乱序会导致性能急剧下降。1JupiterRising:ADecadeofClosTopologiesandCentralizedControlinGoogle′sDatacenterNetwork数据中心网络发展趋势与挑战数据中心网络发展趋势与挑战0707挑战二：网络拥塞导致动态转发时延大，影响计算和存储通信效率挑战二：网络拥塞导致动态转发时延大，影响计算和存储通信效率与日俱增的高算力需求需要高效的大规模算力集群支撑，算力集群扩大一倍，任务拆分数量为原来的2倍，以Ring-Allreduce为例集合通信时通信次数为原来2倍。同时网络规模扩大一倍，网络拥塞概率增加，网络拥塞导致的计算效率下降更加凸显。在现有传统的集群应用中，服务器端和网络互相隔离、能力互不感知，网络只作为传递数据的管道使用，针对以太网尽力转发机制，网络容易成为拥塞瓶颈，导致计算效率下降，而传统的网络拥塞控制技术无法让算力得到充分释放。因此，如何有效利用网络资源，借助网络的全局视角，改进算力通信网络的拥塞控制，提升算力通信效率，成为新的挑战。挑战三：网络故障收敛时间长，影响计算和存储业务性能和稳定性挑战三：网络故障收敛时间长，影响计算和存储业务性能和稳定性数据中心物理链路数量随网络规模的扩大成倍增长，同等带宽1:1收敛，3级Clos端口数量的3倍，即要满足16K接入，需要48K根线缆，96K个光模块。由于光模块器件或线缆损坏所导致的链路故障几乎无法避免。当链路故障发生时，传统收敛技术依赖控制面的动态路由协议进行信息交互和重新选路，收敛时间长，实际部署的大规模DCN网络的路由收敛时间甚至达到秒级乃至10s。因为链路导致的网络故障对业务稳定性产生负面影响，数据丢失导致IO归零，计算任务重启等，会造成在线实时敏感类业务性能的严重下降，影响业务体验。挑战四：传统网络架构无法支撑超大规模算力集群挑战四：传统网络架构无法支撑超大规模算力集群算力需求倍增，需要更大规模网络支撑。随着网络规模向10万节点演进，传统的3层Clos架构已经无法支撑如此规模的网络扩展，想要扩大规模需要采用4层Clos架构。但是，提升网络架构层级将导致网络节点增加，并由此带来网络时延的增加，如在3级Clos架构中，计算节点间交互需要经过5个网络节点，4级Clos网络架构，则需要经过7个网络节点，相比原来2层Clos的3个网络节点，网络时延增加了2倍多，无法满足并行计算效率要求。挑战五：存算网络融合，计算和存储相互影响SLA难保障挑战五：存算网络融合，计算和存储相互影响SLA难保障需要依赖连接存储和计算单元的网络。为了节省投入，计算和存储网络、以及管理网络融合部署成为业界新的尝试。存储和计算、管理三个网络平面融合，最高可以节省接近50%的网络投资。网络融合带来的是业务流量融合，不同业务流量之间，会出现互相干扰，导致计算性能得不到释放。如何同时保障计算和存储业务流量公平混合调度，使得算力能够有效释放，这将对网络带来新的挑战。数据中心超融合以太代际演进数据中心超融合以太代际演进08083数据中心超融合以太代际演进能力时，丢包就产生了。此时数据需要重据中心网络需要重构以实现高吞吐、低时延、高可靠性、强可扩展性。定性SLA”的性能型网络演进。以太网将变得更具竞争力，服务于需要卓越性能的新兴市场，这包括高性能计算和存储网络。产业数字化推动数据中心发展，推动数据中心网络不断演进，根据不同发展时期数据中心可以总结为几个阶段：虚拟化阶段、云化应用阶段、算力服务化阶段。虚拟化阶段，数据中心为办公、邮件、web性能存储需要承载在FC专网，而超算中心高性能互联则通过IB专网承载。通用计算以太网，高性能存储FC网，高性能计算IB网络，分别通过三种不同网络技术承载，需要各自独立管理维护。数据中心云计算技术的快速采用助长网络中对以太网交换需求的增长，随着以太网400GE以太技术的商用，及800GE标准的发布，使得以太在带宽上已经超越IB，无损以太技术逐渐成熟，高性能网络开始往无损以太迈进。数据中心超融合以太代际演进数据中心超融合以太代际演进0909数据中心云化应用阶段，数据中心为移动互联网、网上银行、政务云化等提供敏捷智能的服务应用，推进数字化转型。随着存储介质从HDD到SSD的提升，存储服务化以及RDMA技术在数据中心的广泛应用，对数据中心网络在带宽、吞吐、时延上提出新的要求。数据中心智能无损技术，满足全闪存以及RDMA包、高吞吐、低时延的无损网络实现通用计算、存储网络技术融合，数据中心网络开始迈入无损以太网时代。与传统计算和存储网络两种不同技术、两套管理系统、分散管理的烟囱式架构相比，无损以太网络技术实现数据中心存储网络以太化，实现计算和存储网络技术统一，运维统一。网络架构多云融合跨DC融合技术演进超融合网络架构多云融合跨DC融合技术演进超融合接入带宽无损有损网算分离毫秒秒级收敛应用加速在网计算微秒平均时延纳秒端网协同网算融合亚秒级毫秒级可靠性超融合以太技术的提出为数据中心网络发展指明了方向，也成为应对未来超大规模算力集群高性能算力需求的重要解决方案。超融合以太技术以实现数据中心网络融合充分释放算力为目标，通用计算、存储、高性能计算统一承载在0丢包以太网技术栈上，打破传统分散架构限制，实现从三张网到一张网的融合部署，统一网络架构，推动无损网络向超融合网络架构演进，实现算力网络融合。图4数据中心网络代际的发展将逐步进入到多云多中心异构算力统一协同计算，全国一体化大数据中心时代。数据中心云算力、边缘算同的算力节点进行计算，充分利用全网算力资源，实现一体化服务。数据中心超融合以太技术数据中心超融合以太技术PAGE18PAGE184数据中心超融合以太技术新的算力，对网络提出了新的诉求，下一代数据中心需要超融合以太技术给新算力进行新的赋能，以应对新的挑战。新的算力，对网络提出了新的诉求，下一代数据中心需要超融合以太技术给新算力进行新的赋能，以应对新的挑战。网络级负载均衡算法，释放AI算力AI集群训练过程中，参数通过高速互联网络在不同的服务器间进行同步交互，这些通信流量具有共同的特且AI题，从而影响AI集群训练的性能。当前网络均衡的主流技术有三种，逐流（Flow-based）ECMP均衡、基于子流flowlet均衡和逐包（Pack-ECMP均衡，是当前最为常用的负载均衡算法，基于流量的五元组进行HASH负载均衡，在流链接数量较多的场景下适用，它优势在于无乱序，劣势在于流数量较少时，例如AI训练场景下，存在HASH冲突问题，网络均衡效果不佳。基于子流flowlet均衡技术，它依赖于子流之间时间间隔GAP值的正确配置来实现均衡，但由于网路中全局路径级时延信息不可知，因此GAP值无法准确配置。同时，该技术存在接收端侧乱序的问题。逐包（Packet-based）ECMP均衡，理论上均衡度最好，但实际在接收端侧存在大量乱序问题，现实中几乎无使用案例。现有创新的网络均衡技术NSLB是面向AI息作为创新算路算法的输入，从而得到最优的流量转发路径，实现AI训练场景下整网流量100%的均衡度和AI性能的提升。利用12台GPU服务器（每台服务器包含1块型号为Teslav100SPCIe32GB的GPU卡），4成2级CLOS网络（其中2台交换机作为接入层交换机，每台下挂6台服务器，使用100GE单端口接入，2台交换机作为汇聚交换机，每台与接入层交换机之间使用6个100GE端口互联）的AI训练集群，运行开源Tensorflow深度学习平台上的VGG16深度学习网络模型。以下为采用NSLB技术运行单计算任务和多计算任务时，AI训练性能的提升结果。单任务Ring算法4000113.41%单任务Ring算法4000113.41%30002924.62187.1282.40%2193.5720001202.63100051.22%1318.91872.233.72%697.56326.870120.00%100.00%80.00%60.00%40.00%20.00%0.00%64 32 16 batchsizeflow-matrixecmphash3 flow-matrix相对于ecmphash3提升百分比性能（images/s）多任务Ring算法3000 多任务Ring算法3000 70.00%2811.49250060.00%2434.2657.29%50.00%20001957.3140.00%38.77%1500 1414.291397.21332.661410.521187.9829.13%30.00%1101.61000980.46976.85 7 755.26 20.00%594.76 650.31593.500.50%503.61388367326.15324.16265.1238.5110.00%00.00%64 32 16 8batchsize多任务Ring算法性能（images/s）NSLB任务1 多任务Ring算法性能（images/s）NSLB任务2多任务Ring算法性能（images/s）NSLB总 多任务Ring算法性能（images/s）ecmphash3任务多任务Ring算法性能（images/s）ecmphash3任务2 多任务Ring算法性能（images/s）ecmphash3总 多任务Ring（images/s）NSLB相对于ecmphash3提升百分比.2610.33700.221915性能（images/s）图6Ring算法场景，运行两个计算任务，AI训练集群性能Ring算法场景，运行两个计算任务下，使用NSLB技术对比典型ECMP负载分担技术，AI训练集性能最高提升57.29%。端网协同拥塞控制实现存储算力优化高性能计算、AI模型训练等应用场景，以及数据中心网络/云网络在架构上的发展（资源池化），均要求网络传输排队时延和吞吐上的进一步性能提升。例如，为了保证性能损失在5%以内，数据库集群系统要求至少RTT。为了达到极低时延的传输，应当尽力降低网络设备上的排队时延，同时维持接近瓶颈链路满吞吐。端网协同拥塞控制技术采用“端（智能网卡）网（交换机）”配合的方式达到交换机上的近似“零排队”时延，使得端到端传输时延接近静态时延。早期端到端拥塞控制方案都属于被动控制，即源端在拥塞发生前总是盲目地提高发送速率，而发送速率的提高又可能导致网络中排队的产生，形成拥塞。拥塞情况反馈到源端后，源端才会被动地降低发送速率。但是，由于反馈总是存在一定的时延，因此被动拥塞控制总是会导致网络在拥塞和非拥塞状态之间震荡。瓶颈链路上总会存在队列，造成显著的排队时延。端网协同主要根据网络可用带宽，调整端侧发送速率，这种源端与交换机之间的密切配合使网络中的队列近乎为空，同时能保持接近100%的利用率。根据实验室测试，采用典型拥塞场景哑铃状拓扑，在瓶颈链路上存在200成的排队时延（微秒），瓶颈链路带宽为100Gbps，长流的RTT为20微秒。可以看到，和当前业界主流的协同算法相比，端网协同算法C-AQM能够把排队时延控制得极低，接近于0，同时瓶颈链路达到接近100%利用率。N=200C-AQMHPCCDCQCN50%-ile0.1553.023116.61290%-ile0.2386.662121.8290%-ile0.3218.204125.4899.9%-ile0.4019.094127.131基于端网协同CAQM算法可以在满吞吐条件下实现亚us的时延抖动，大幅降低动态时延。数据面快速收敛，提供分布式数据库高可靠算力随着业务发放速度的不断加快，以及引入了VM、容器等虚拟化技术，网络流量的不确定性增加。而当前运维手段有限，仍然依靠传统网管和命令行方式进行查看、监控，分钟级的网络监控已经无法满足业务秒级体验保障的要求，往往被动感知故障。故障发生后，定位仍主要依赖专家经验，利用多种辅助工具，逐段定界、逐流分析、抓包定位，效率十分低下。存储IOPS网络故障收敛慢对业务稳定性产生的负面影响，尤其会造成高性能数据库类业务性能的严重下降。传统的链路故障收敛技术依赖于网络设备控制面软件的协议通告感知故障，随后根据拓扑变化重新算路并下发新的路由；此方式依据规模的不同其收敛时间会从几百毫秒到几十秒级；如此长时间的数据丢包足以对高性能业务产生严重影响，特别是容易触发端侧协议RTO而出现断流。以数据库业务为例，链路故障下依赖传统动态路由协议收敛，数据库IO出现了几秒跌零情况，导致业务会有几秒钟的无响应，如下图所示。存储IOPSIOIOwrite8KBmesssage（64thread）故障收敛性能影响600000012345time(s)678910OSPF收敛方式下故障造成的性能变动为了解决上述故障收敛慢的问题，提出了一种基于网络设备数据面的链路故障快速自愈技术，称为DPFF（DataPlaneFastFailover）。该技术基于转发芯片的硬件可编程能力构建。DPFF从传统的基于控制面软件协议的收敛方式演进到基于数据面硬件极速感知故障和快速换路的收敛方式，并且基于数据面硬件实现远程通告和快速换路，可达到亚毫秒级（<1ms）的收敛速度，将对业务性能的影响降至最低。该技术为高性能数据库、存储以及超算等关键应用提供了极致的高可靠性保证和稳定性体验。DPFFVSOSPF不同收敛方案下的存储性能影响对比25000200001500010000500001DPFFVSOSPF不同收敛方案下的存储性能影响对比250002000015000100005000012345 6 78910 11 12time(s)DPFFOSPF存储IOPS图8不同收敛方案下的存储性能影响对比测试结论：DPFF方案下链路故障对IOPS性能几乎没有影响，而OSPF协议收敛方案下IOPS出现多秒跌零情况。利用Benchmarksql测试套件进行在线事务处理模型的测试，又称TPC-C测试。统计每百毫秒周期内完成的在线事务的数量，通过查看该数量值的变化测试收敛性能对业务性能的影响。模拟链路故障，重复测试4在线交易事务受影响情况。每100毫秒完成在线交易事务的数量每100毫秒完成在线交易事务的数量GuassDS集群链路故障下DPFF和OSPF收敛性对比测试1400GuassDS集群链路故障下DPFF和OSPF收敛性对比测试1400120010008006004002000123456789 10 11 12 13 14 15 16每100毫秒统计点OSPF-1OSFF-1OSPF-2OSFF-2OSPF-3OSFF-3OSPF-4OSFF-4测试结论：DPFF收敛方案比传统的OSPF收敛方案在链路故障下，每100ms周期内完成交易事务数量下降减少60%~80%。网络架构创新，构建E/10E级超大规模算力集群5G、万物互联智能时代产生海量数据，智能训练大模型部署，国家新一代超级计算中心的规划建设……爆炸增长的算力需求，如10E级计算集群其计算服务器规模达到20万以上。计算集群网络传统采用CLOS架构，以业界常见的64口盒式交换机为例，3级CLOS架构，最大可支持6.5万服务器接口，不满足10E级计算集群规模诉求。如果增加网络层数则会带来网络跳数增加，通信时延不满足业务需求。业界针对该问题开展了多样的架构研究和新拓扑的设计。直连拓扑在超大规模组网场景下，因为网络直径短，具备低成本、端到端通信跳数少的特点。以64口盒式交换机构建10万个节点超大规模集群为例，传统的CLOS架构需要部署4层组网，端到端通信最大需要跨73跳，交换机台数(整体投资)下降40%。CoreCoreSpine...CoreCoreSpine...SpineSpine...Spine...Leaf ... LeafLeaf ... Leaf交换服务器服务器POD1 PODW图10拓扑图采用12台GPU服务器，每台服务器2块GPU卡，型号Teslav100s；2块CX6-Dx网卡，网卡是100G单端口接入。OSUAllReduce50.0050.00%40.0040.00%30.0030.00%OSUAllReduce50.0050.00%40.0040.00%30.0030.00%20.0020.00%10.0010.00%0 0.00%4 8 16 32 64 128 256 512 1024 2048 4096 8192FTDFDF相对于FT性能提升百分比平均完成时间（us）图11OSUAllReduceOSUalltoall60000.00OSUalltoall60000.0060.00%40000.0040.00%20000.0020.00%0.000.00%1 2 4 8 16 32 64 128 256 5121024204840968192FTDFDF相对于FT性能提升百分比平均完成时间（us）图12OSUalltoall业务级SLA保障，实现数据