下一代以太网络技术需求白皮书

分布式存储技术与产业分析报告1分布式存储技术与产业分析报告1开放数据中心标准推进委员会版权声明ODCC（开放数据中心委员会）发布的各项成对于未经著作权人书面同意而实施的剽窃、复制、修I编制说明本报告由华为技术有限公司牵头撰写，在撰写）：），）：前言数字经济时代的到来，让数据成为了新的战略转换为经济价值的算力，也已经成为了社会生产力的重要深度的融合到了社会生活的方方面面，为各行各业生物医疗、自动驾驶等领域，逐步迈向支撑解决世界科技人们生产生活的各个领域，数据中心正走向以太归一的超融合数据中心网络。关注时延、可靠性、网络通量、组网规模等维度的性能提升，从“尽力而为”本研究报告介绍了在新型数据中心发展的大趋 I II III 1 1 4 6 6 7 8 8 8 10 11 12 13 13 14 14 15 15 15 15 16 17 17 18 18V一、新型数据中心给以太网络发展带来新机遇（一）数据成为新战略性基础资源社会都发生着深刻的变化。在这个过程中，每天大量的数式增长的时代。然而，数据并不是停留在表面的数字，从息和知识形成宝贵的价值。在有充分算力的前提下，通过新技术，数据的价值被不断挖掘，并转换为经济价值，成生产要素。《“十四五”大数据产业发展规划》就指出，图1IDC统计和预测全球数据增长量GrandStrategyfortheGlobalDigitalEconomy）的1技术和数字技术的重要性，将发展数字经济作为实现），盟数字十年战略》，提出高速、可靠和强大的数字基础设署高性能计算能力和综合的数据基础设施，加速促进安全建设数字中国的新阶段，这包括“推进“新网络”部2图2TOP500超算性能发展，图片来源：硬盘（HDD，HardDiskDri纪五十年代既已存在。作为传统的存储单元速度慢，存储性能低。相对于HDD，之后出现的固HDD，且发货量差距逐年攀升。而近几年随着数据量的爆发传输性能、时延等要求增加，出现了储存级存储器(SCM，Stor3图3存储介质类型从网络领域看，不管是无线网络还是有线网络都全球范围内以新一代信息技术为代表的科技据构建的下一代数字基础设施也正在加快发展。数存储的地方，是下一代数字基础设施的重要组机资源庞大的集合体，有大量的服务器、网络设备和存储4理设备的形态对外呈现，还是以统一资源调度的形式进到资源利用最大化，达到最大的投入产出比。中心能更好的为企业提供数字化生产业务，如的刺激影响下，全球数字化进程加速，算力需求急剧爆发将在其选择的地点使用分布式云,从而实现转型业务模式。向以异构计算为中心，分布式多云的新架构，为智能化的力，如金融行业的智能风控、数字货币，交通行业图4HPC和AI融合加速，图片来源：Tractica5数据中心发展进入到了全新的阶段，新型数据中2021数据中心高质量发展大会上发布的《超融合数据中心网络白皮书》中指出，四大变革驱动数据中心网络走向全以太化。首先，数据中心云化加速，开放的以太网可以很好地满足云业务按需自助服务和快速弹性的诉求，可天然被云调用和管理，并具备良好的互通性、弹性、敏捷性以及多租户安全能力；其次，存储全闪存化趋势明显，NVMeoverFabric技术应运而生，相比于overFC，基于以太的NVMeoverRoCE无论从产业规模、技术活跃度、架构扩展性、开放生态、和多年SDN管理运维能力积累上都具有明显的优势；第三，CPU/GPU探索去PCIe化的变革，用直出以太接口的方式，解决传统PCIe架构速率瓶颈的问题；最后，IPv6大规模部署的形势下，以太网络基于协议创新与面向新型数据中心，以太网络将连接更多算力，承载更大数据量，完成更快数据传输，从而满足人们日常工作生活的基本连接走向应对科技前沿、国计民生领域的高品质连接，全面支撑算力系统互联实现数据价值。工信部新型数据中心发展三年行动计划（2021-2023年）中提到，算力规模方面，总算力规模超过200EFLOPS，高性能算力占比达到10%；网络时延方面，国家枢纽节点内数据中心端到端网络单向时延原则上小于20毫秒。同时，工台的《行动计划》也提出了“网络质量升级行动”，要求支持国家枢纽节点内的新型数据中心集群间网络直连，促进跨网、跨地区、跨企业数据交互。这都6下一代以太网络技术需求白皮书ODCC以太网络发展已有40多年，在这40年里，以太网络不断改进，带宽得到极大的提升，并通过开放的标准制定，以太产业链形成了良好的生态，被应用于不同的市场领域。以太网络逐渐成为世界了一篇论文《以太网：本地计算机网络的分布式包交换》，图5：梅特卡夫手绘的以太网架构，图片来源：/3/ethernet_diag.html能力；应用范围也从最初的局域网，进入到城仅是局域网内的电脑、打印机、服务器等设备的连接7中将数据链路层又进一步细分为介质访问控制子层（MA图6IEEE802以太标准发展历史8图7NLP模型规模演进趋势，图片来源的数据需要及时的交互与同步，更大的网络带宽对于图8网络带宽对训练完成时间的影响，图片来源论文“SiP-ML:High-BandwidthOpticalNetworkInterconnectsforMachineLearningTraining”9图9HPL与时延/带宽之间的关系图10网络时延成为端到端访问时延的瓶颈存储介质的变化也驱动着存储架构发生变化，从等应用需求。因此，降低网络时延逼近内存级的访问时延在计算、存储系统的变化下，需要全新的百纳秒量级交换机缓存溢出产生丢包，不但造成业务性能受损，而海量参数的同步通过网络在参与计算的各个服务器之间图11哈希不均带来拥塞问题，图片来源论文“JupiterRising:ADecadeofClosTopologiesandCentralizedControlinGoogle’sDatacenterNetwork”要条件。而当前业界主流的负载分担算法均存在一定的性能问算法适用于流数量较多的场景，当流数量较少时易出FlowletSwitching算法法对接收端缓存压力大，流重组时延大。需要全链路速度一直在快速增长，但缓冲区大小跟不上交换机容游交换机出队列的发送速率，拥塞识别慢，控制粒度粗，图12交换芯片发展趋势图13以太网演进路线，图片来源：EthernetAlliance然而，其网络本质仍然是提供“尽力而为”的连接，图14下一代以太网络多维度能力提升匹配以太网联盟给出的带宽演进路线，从当前单端口400G，走向单端口以太网络当前400Gbit/s带宽单端口已经商用。单端口800Gbit/s和1.6Tbit/s的速率正处于标准制定过程中，预计在2025年至2030间完成标准总线级以太网络通过极简转发，无阻塞流控、新网络拓扑架构等技术在静态时延、动态时延、网络跳数等方面做了系统性优化，极大提升了时延性能（参见“总线级数据中心网络技术白皮书”）。在此基础上，进一步降低接口提供可靠流控机制保证网络传输无丢包，对拥塞状态能使用高效均衡技术，感知网络拓扑流量，选取最优路支撑E级/10E级超级集群大规模组网，优化网络架构，引入自适应路由，下一代以太网络无法依赖单点技术的突破而实现多维度性能的提升，它需要物理层、链路层、网络层、传输层全栈体系、多网络层次间的协同配合，同图15下一代以太网络全栈体系物理层根技术的突破是达到极致性能的基石。下一代以太物理层技术兼容在带宽方面，通过更先进的DSP算法、更强大的FEC、更高质量的封装/板到，FEC子层的时延占总时延的60%，对于200GbE，PCS/FEC时延占比达到67.9%，到400GbE的时候，占比进一步提升到69%。因此，设计低时延FEC架构，简化复杂冗余的处理流程，选取合适FEC码字，并灵活执行译码过程，从图16IEEE802.3定义的接口时延通过对拥塞点上游或者源端流量控速的方式（包括停止流量发送）缓解拥塞，避免交换机缓存溢出产生丢包。PBFC（PreciseBackpressureFlow是一种精准反压的机制，相比于传统PFC，具有更细粒度的控制；相比于通用PBFC方式下，首先交换机结合出入队列的状态，精准识别拥塞流，在此基础上，交换机控制上游或者源端流量的发送队列和发送速率，兼顾控制粒度和响应时延，和传统PFC相比，性能提升20%。PBFC也可与通用拥塞控制机制叠图17PBFC基本原理特征，将路径状态表从指数级降低为线性表，从