AI时代的下一代数据中心网络研究报告

1、AI时代的下一代数据中心网络研究报告 研究报告为AI时代打造的下一代数据中心网络目录 HYPERLINK l _bookmark0 介 绍 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark0 应用负载趋势 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark0 媒体和流媒体 HYPERLINK l _bookmark0 1 HYPERLINK l _bookmark1 事务负载、容器和微服务架构 HYPERLINK l _bookmark1 2 HYPERLINK l _bookmark2 数据分析(含AI/M

2、L) HYPERLINK l _bookmark2 3 HYPERLINK l _bookmark2 分布式存储 HYPERLINK l _bookmark2 3 HYPERLINK l _bookmark2 数据中心网络技术和趋势 HYPERLINK l _bookmark2 3 HYPERLINK l _bookmark3 更快更新的Fabric HYPERLINK l _bookmark3 4 HYPERLINK l _bookmark3 提升缓存和减少丢包4 HYPERLINK l _bookmark3 虚拟化支持 HYPERLINK l _bookmark4 4 HYPERLINK

3、l _bookmark3 SDN和可编程 HYPERLINK l _bookmark4 4 HYPERLINK l _bookmark3 策略、意图以及AI/ML赋能的自动化 HYPERLINK l _bookmark4 4 HYPERLINK l _bookmark4 AI/ML优化和安全异常检测5 HYPERLINK l _bookmark4 故障检测、定位和排除5 HYPERLINK l _bookmark4 结论5第 ii 页Next-Gen Data Center Networking - Built for AI, Powered by AITable of ContentsPag

4、e iii为AI时代打造的下一代数据中心网络目录华为Al Fabric解决方案 HYPERLINK l _bookmark5 华为Al Fabric解决方案介绍 HYPERLINK l _bookmark5 6 HYPERLINK l _bookmark5 EANTC认证 HYPERLINK l _bookmark5 6 HYPERLINK l _bookmark5 华为Al Fabric方案创新iLossless算法 HYPERLINK l _bookmark5 6 HYPERLINK l _bookmark6 Al Fabric在数据中心网络的适用场景 HYPERLINK l _bookm

5、ark6 7 HYPERLINK l _bookmark6 以太网为中心的Al负载解决方案 HYPERLINK l _bookmark6 7 HYPERLINK l _bookmark6 云和容器原生的网络和存储 HYPERLINK l _bookmark6 7 HYPERLINK l _bookmark6 结论 HYPERLINK l _bookmark6 7研究报告是由AvidThink有限责任公司的分析师创建的独立内容。这些报告是通过我们商业支持者的赞助得以实现的。赞助者对报告内容没有任何的干涉，这里所呈现的观点，仅代表AvidThink有限责任公司的观点。想获得更多有关报告赞组的信息，

6、请通过researchavidthink com联系我们。关于AvidThinkAvidThink是一家研究分析公司，专注于提供对基础设施技术的最前沿的见解。AvidThink的前身是SdxCentral研究小组，在2018年10月作为一家独立公司创办。在过去的五年里，四万位技术买家和行业思想领袖下载了超过11万份的AvidThink研究报 告。AvidThink的专业领域包括边缘和物联网、SD-WAN、云和容器、SDN、NFV、超融合以及AI/ML的基础设施应用和安全。您可以通过 HYPERLINK / www avidthink com.访问AvidThink。第 iii 页第 PAGE

7、1 页 研究报告为AI时代打造的下一代数据中心网络介绍应用发展推动数据中心的变革。视频和媒体丰富的内容构成了如今互联网的大部分流量，占据了所有IP流量的近四分之三。流媒体以及嵌入更多互动内容的社交和移动应用将使数据中心南北向流量中的媒体业务持续增长。与此同时，5G、物联网和基于 Web的应用的兴起，将在相同的路径上驱动大量的API和事务性流量。在数据中心内，基于微服务的软件架构、分布式存储和人工智能/机器学习（AI/ML）负载的发展正将东西向流量推至一个前所未有的高度。当我们研究与负载有关的市场时，很显然每一个市场都将出现显著增长的趋势。针对大数据市场，IDC研究公司预计，2022年全球大数据

8、和商业分析解决方案的收入将达到2600亿美金，年均复合增长率达11 .9%，其中增长最快的技术类别为认知/人工智 能软件平台（年均复合增长率达36 .5%）和非关系分析数据存储(年均复合增长率达30 .3%)1。IDC在存储市场的研究表明，全球企业存储系统的收入在2018年第三季度中同比增长了19 .4%，达到140亿美金，服务器存储的收入同比增长了10 .1%，达到38亿 美金2。当然，AI/ML市场的重大影响，不仅仅体现在IT上，还体现在GDP上。知名咨询公司普华永道预计，到2030年，AI将为全球 经济贡献157000亿美元3。这些惊人的数据将推动数据中心网络在性能、规模和可见性方面进行

9、创新。毕竟，数据中心网络将承载支撑AI/ML的流量和分 布式存储。基于此，大数据分析不会真的消失。我们将研究这些新负载对网络上的压力，以及网络如何应对这些新的挑战。应用负载趋势数据中心架构设计用于支撑在当今业务和消费空间中占据主导地位的关键应用。随着基于Web的应用的普及和公有云的发展， 数据中心需要满足软件即服务（SaaS）、基础架构即服务（IaaS）、平台即服务（PaaS）和容器即服务（CaaS）平台的需求，这些平台构成了如今所有主流云提供商（包括谷歌、亚马逊和微软）的应用主干，并且为FaceBook、Twitter、Uber、Lyft、AirBnB等 互联网巨头的大规模发展和渗透提供媒介

10、。其中每个平台都是由驱动数据中心架构特别是数据中心网络的首要架构组成。每一个平台都包含数据中心架构，特别是数据中心网络（DCN）的总体架构。基于微服务的软件架构、分布式存储和人工智能/机器学习负载的发展正将东西向流量推至一个前所未有的高度。媒体和流媒体正如介绍中提到的，如今的视频流量占据了大量的互联网带宽。虽然并不是所有的数据中心都将成为媒体服务器站，但多媒体将在绝大多数数据中心流量中呈现并发挥重要作用。除了YouTube、Netflix、HBO等视频娱乐网站之外，视频还在类似统一通信等商业应用，以及新闻和信息网站、物联视频监控和社交媒体应用中有起重要作用。这些数据流很可能会穿越南北向路径，但

11、也会产生东西向流量，因为它们会在数据中心内部进行视频分析或转码服务。虽然视频流对时延和少量丢包有一定的容忍，但它们总是消耗大量的可用带宽，并且需要在DCN中转发。1 IDC全球半年度大数据和分析支出指南： HYPERLINK /getdoc.jsp?containerId=prUS44215218 https:/www .idc .com/getdoc .jsp?containerld=prUS442152182 IDC全球季度企业存储系统跟踪： HYPERLINK /getdoc.jsp?containerId=prUS44539118 https:/www .idc .com/getdoc

12、 .jsp?containerld=prUS445391183 普华永道对全球人工智能研究利用AI革命： HYPERLINK /gx/en/issues/data-and-analytics/publications/artificial-intelligence-study.html /gx/en/issues/data-and-analytics/publications/artificial-intelligence-study.html第 PAGE 2 页为AI时代打造的下一代数据中心网络AI/ML 负载大数据分析视频转码处理微服务跨组件流量分布式存储东西向视频和音频网络应用物联网控制

13、和数据南北向应用负载驱动更多东西向流量事务负载、容器和微服务架构除了视频流之外，我们预计移动、物联网和基于Web的应用将继续增长。虽然视频流可能会占用带宽，但这些API调用将构成 大量的连接和事务。对于实时游戏、物联网控制等应用，低时延和高可靠的DCN可以提升用户体验。此外，为了适应高事务率，应用开发人员开始使用容器和微服务架构来实现所需的规模和稳健性。甚至像Netflix这样的流媒体公司都使用这些应用来管理所有的事务和搜索能力以及视频转码4。这是通过内容分发网络来增强的，用于快速视频传输。保持这些容器和基于微服务的应用平稳运行的关键在于对数据中心东西向连接的高事务率的支持。很多应用都具备社交

14、的衍生功能，这意味着网络效应和宣传可能导致某种类型的流量激增，增加了这一挑战。例如Tweet风暴或金融交易中的一轮抛 售。在这类情况下，网络层面会产生流量的微突发，如果管理不当的话，会造成丢包和极端时延。4 Netflix如何运作： HYPERLINK /refraction-tech-everything/how-netflix-works-the-hugely-simplified-complex-stuff-that-happens-every-time-you-hit-play-3a40c9be254b /refraction-tech-everything/ how-netflix-

15、works-the-hugely- HYPERLINK /refraction-tech-everything/how-netflix-works-the-hugely-simplified-complex-stuff-that-happens-every-time-you-hit-play-3a40c9be254b simplified-complex-stuff-that-happens-every-time-you-hit-play-3a40c9be254b第 PAGE 3 页为AI时代打造的下一代数据中心网络数据分析（含AI/ML）类似ML流量，这些存储协议会受到时延和丢包的严重影响，

16、需要特殊处理。视频和应用流量会占用数据中心的南北向通道，而数据分析会产生大量的东西向流量。大数据不再像过去那样盛行。就在几年前，Hadoop还是所有追求数据驱动的企业的宠儿。尽管不复盛况，Hadoop、Apache Spark及其同 行仍在企业分析方面仍占据重要地位，我们相信大数据分析正在从低谷中崛起，并开始增加真正的价值。企业将继续建设数据仓库和数据湖，大数据分析将成为企业IT领域的永久组成部分。企业的数据分析也同时出现了一个新的趋势，即人工智能（AI）和机器学习(ML)。与大数据处理不同，现在我们需要运算数据进行机器。我们看到从支 持Hadoop的Map-Reduce混洗/排序方法，转移到

17、支持Tensor Flow、PyTorch和其他机器学习库这样一个趋势，这些负载本质上与高性能计算相似，其中协作算法集群定期来回迁移数据。因此机器学习负载对时延和丢包极度敏感。分布式存储除了应用程序之外，我们注意到数据中心正在采用融合和超融合的基础设施。随着SSD、存储级存储（SCM）、分布式集群存储、云原生和容器原生存储的兴起，我们看到了数据中心存储架构的演变。迁移到容器中的软件应用正在推动存储架构的统一。新的软件架构取代传统的存储区域网络（SAN）或网络附加存储（NAS），使得每个计算节点都具备SSD和SCM，同时运行云原生分布式存储（如GlusterFS或Ceph）。因此存储流量不是通过

18、网络中的特定路径，例如，通过光纤通道到SAN或预先建立到NAS的链路。存储流量增加了部分运行在以太网链路上的东西向流量。和ML流量一样，这些存储协议会受到时延和丢包的严重影响。数据中心网络技术和趋势研究了新的应用程序和应用架构带来的新需求之后，我们将研究DCN需要提供的支持。首先，为了充分支撑这些新负载的规模和需求，DCN采用了新技术，包括部署400GbE的高速连接交换机和HW网卡加速器卸载器。DCN还通过SDN、自动化和基于意图的管理和编排系统来促进规模和管理性能。同时，我们还看到处于早期，接受度有限的高可编程的商用硅片，可以支持像P4 这样的编程构造。此外，用于故障检测和故障处理的自动化工

19、具也开始在DCN进行创新和成熟应用。数据中心交换的关键创新点意向，策略，自动化SDN，可编程性和P4.深度缓存，完善的缓存管理，更快的速度400GbE+AI/ML优化与安全2/3层 Clos架构第 PAGE 4 页为AI时代打造的下一代数据中心网络更快更新的Fabric如今，低时延、高带宽的25GbE、40GbE和100GbE交换机是大多数数据中心的主流设备，而由主流制造商生产的更高速率的400GbE交换机正在进军市场。服务器网卡也正在升级到更高的吞吐量，同时提供通过商用硅片、网络处理器单元（NPU）或现场可编程逻辑门阵列（FGPA）板载辅助芯片加速。再加上像数据平面开发套件（DPDK）这样的

20、软件来提高服务器I/O性能，将会继续驱动数据中心的流量。像InfiniBand这样的非以太网Fabric会继续在数据中心发挥作用，因为它们提高了通常与HPC负载相结合的无损fabric的速度。 InfiniBand的HDR模式提供高达600Gbps的速率并且仍继续努力超越。然而，由于单一Fabric使得数据中心运营商在交换机、布线、操作和基础设施维护方面实现标准化，基于RoCE和RoCEv2标准的融合以太网受到许多数据中心运营商的青睐。NVMe是一种高性能的存储访问协议，是新一代DCN可能具备的的另一项技术。而NVMe通常用于本地磁盘和缓存。一个新的NVMeF规范将NVMe协议变成了一个有效的

21、网络存储协议，它支持块设备和多种类型的RDMA，包括InfiniBand和iWARP，以及类似FCoE的FC隧道。提升缓存和减少丢包改进交换机的资源管理是DCN中另一个有助于支持新一波应用的措施。新的交换系统倾向于提供深层缓冲区，以确保在拥塞环境中进行可靠的报文传输。这些缓冲区是用来承受通往同一个端口的应用流量的微突发，并防止丢包。其他技术包括虚拟输出队列和智能检测大小流，以确保重要的应用控制消息传输，而不以长时间存活的大流传输为代价。例如，如果一个大型视频转码项目在相同的东西向通道上开展，可以避免应用程序中关键API信息的丢失或延迟增加。此外，为了帮助基于RDMA的AI / ML和存储工作负

22、载在无损模式下运行，除了支持显式拥塞通知（ECN），现代以太网交换机还支持基于优先级的流量控制（PFC）等以太网数据中心桥接（DCB）扩展。RoCE在HPC和ML场景中尤其有价值，支持零丢包消息传递，保证存储网络达到最大每秒进行读写操作的次数（IOPS）。RoCE通过反压和缓存管理，保证了以太网fabric不丢包， 从而提高了存储吞吐量，减少了ML库的任务完成时间。然而，许多缓冲管理技术仍然需要操作员输入并重新设置最适合于DC中特定负载的适当阈值。随着自动化和AI/ML的改进，一 些配置参数中可能会实时控制或根据大数据分析和/或机器学习训练的结果来设置。虚拟化支持IBNS有望将工程团队从容易出

23、错和单调的网络配置中释放，让他们专注于业务策略、业务级监控和满足新应用的需求。虽然我们没有明确说明虚拟化是新的数据中心负载的一部分，但虚拟机仍然是数据中心架构的一个主要组成部分。即使在容器场景下，也存在大量虚拟机，很多私有数据中心正在部署并将继续在虚拟机上部署容器。结合控制和编排软件，许多现代交换机为虚拟机提供了独特的能力。确实存在一些支持虚拟机的组件，但其中一个关键的组件是使能负载的IP地址可移植。这使得虚拟机可以在范围内移动，并在交换机上跟踪它们的位置。SDN和可编程虽然SDN控制器不再像以前那样流行，但是他们仍继续发展，并提供关键的配置、发放和编排功能。数据中心内几乎所有的网络虚拟化解决

24、方案都有一个SDN控制器组件，通常与虚拟机和容器管理系统紧密集成。SDN（ 包括Open Flow和更新的P4编程语言）提供了改进的DCN内部资源的协调能力以支持新的负载，并为DCN的全局优化提供了机会。策略、意图以及AI/ML赋能的自动化从fabric可编程性来看，现代DCN的某些方面不涉及数据平面，甚至不涉及控制平面。网络设备的管理和配置可能是可扩展性和无缝操作的限制。通过使用网络虚拟化将以前由物理设备提供的功能转换为更容易被代码操控的软件构造，促进了网络自动化。同时，向标准配置AP（I RESTful接口）的转变允许网络自动化管理物理交换机、路由器和其他设备。第 PAGE 5 页为AI时

25、代打造的下一代数据中心网络同时，向网络自动化的转变采用了新的基于意图的网络系统（IBNS）。在IBNS中，网络工程师将表达网络的期望状态，即个人意图，并让自动化系统将需求编译成网络中不同设备所需的低级格式。IBNS有望将工程师从容易出错和单调的网络配置中释放，让他们专注于业务策略、业务级监控和满足新应用的需求。主流制造商已经宣布支持IBNS，但每个制造商的定义和方法略 有不同。无论如何，我们期待新一代基于意图的网络管理解决方案将结合AI/ML和其他复杂的分析模型来“学习”正常的操作边 界，并实施网络和安全策略。AI/ML优化和安全异常检测AI/ML可以进一步增加价值的另一个领域是优化DCN以实

26、现最大吞吐量、最小丢包和时延。现代网络的其中一个特点是具备丰 富的遥测技术。一些交换机将提供每个端口的缓冲队列长度的详细视图，以及有关流量和丢包率的其它相关数据。ML库可以利用这些信息来生成和训练模型，这些模型可能更擅长调整交换机配置和设备参数，以确保leaf-spine fabric计算集群的端到端的最佳性能。同时，ML库可以使用相同的信息来检测数据中心内潜在的安全漏洞和异常事件。通过从应用负载中获取信息，ML模型可以查找应用事件与网络数据之间的关联，并推断出特定负载的正常基线行为。一旦这些模型创建并训练成功，他们可以对数据中心中可能存在的漏洞进行监视和警告。故障检测、定位和排除使用遥测数据

27、除了进行调优和保障安全之外还可以用于故障检测和排除。某些分析系统将镜像这些数据用于检测安全漏洞， 但是在这种情况下，数据需要经过训练来识别故障并找出根本原因。这些系统甚至开始预测事件，例如根据需要增加容量或在故障停机之前更换故障设备。供应商也在预测未来，并讨论这些基于ML的解决方案如何通过避免或重新路由流量，甚至自动修复错误配置实现DCN自修复。其中大部分仍处于原型测试阶段，尚未广泛部署。结论数据中心负载正在迅速变化，从南北向转变为需要比以往更高的东西向流量吞吐量。大量媒体流、高事务API调用率、跨集群存储请求，以及服务器间大数据和ML数据集传输的组合，对数据中心网络提出了更高的要求，如对高带

28、宽、低时延和低丢包的网络结构的需求。因此，网络社区和供应商已经采用了一系列似乎符合需求的新技术，包括从400GbE升级到智能网卡，从SDN 和P4转变为基于意图的网络和网络自动化，以及AI/ML的应用。从本质上讲，我们期望通过AI/ML来帮助优化数据中心，以便更 好地支撑AI/ML负载。随着数据中心进入云计算的时代和无数新兴应用的发展，网络生态系统可能在初期落后于计算，但随着网络研究人员、供应商和网络运营商的不断加速创新，我们相信他们已经追赶上来并会在未来几年持续的创新。第 PAGE 6 页研究报告 解决方案评审华为AI Fabric解决方案华为AI Fabric 解决方案介绍华为Al Fab

29、ric智能无损数据中心网络解决方案旨在为数据中心中需要高性能的新负载提供零丢包，低时延和高吞吐量的网络。华为认为RDMA将是提升Al和分布式存储负载性能的关键因素，AI Fabric通过支持RoCEv2构建高性能的RDMA网络。EANTC认证由欧洲国际公认的测试中心EANTC测试的华为CloudEngine交换机目前支持25GbE和100GbE标准，AvidThink预计400GbE交换机即将入市。在使用了英特尔的消息传递接口（MPI）基准的HPC场景下，EANTC验证了使用RoCEv2交换机的网络性能。MPI是一套用于确定HPC性能的开源基准集。此外，EANTC实验室通过开源I/O负载生成器

30、和I/O测试器FIO测试了分布式文件系统（DFS） 场景。与未开启AI Fabric的情况相比，在HPC测试场景中，Al Fabric将通信时延降低了约40%；而在DFS测试中，将整体IOPS提升了25%。在整个测试的过程中无丢包且保证了高吞吐量。华为AI Fabric创新iLossless算法华为通过使用一系列资源管理算法，统称为iLossless算法，取得了上述成效。这些创新解决了我们在研究概要中讨论的一些挑 战，包括头端阻塞、大小流检测和减缓，以及流量微突发。使用RDMA和RoCE也可以帮助解决在HPC负载（包括AI/ML）的进程间 通信的时延挑战。华为的iLossless算法包括多项旨

31、在提高交换机性能的创新技术。一些关键改进包括虚拟输入队列，它在出端口上为每个入端口分配独立的队列。如果存在多个输入流，不堪重负的出端口可以独立地对每个入端口进行反压，避免丢包。另一项创新是动态拥塞水线设置，系统可以智能地动态管理ECN和PFC的缓冲阈值水平。如果ECN阈值设置得太低，则时延敏感的控制流会受益，但大流会受影响导致整体吞吐量低。另一方面，如果ECN阈值设置过高，交换机可以处理更大的流量突发并增加大流吞吐量，但这可能会对小流造成危害。Al Fabric解决方案通过考虑系统流量模型的流量特征和并发性，以及缓存利用率、历史队列深度和发送速率等因素来设置这些阈值。另一组技术涉及快速拥塞反馈

32、，其中Al Fabric可以提前触发拥塞通知，无需等待目标服务器发生拥塞。这也可以防止队列缓冲区过度拥塞并过早触发PFC，从而导致级联对性能不利。此外，Al Fabric还可以通过在其转发芯片的表中存储相关的流信息来识别大小流。该信息可用于减少通常携带控制信息的小流的头端阻塞，减少HPC、大数据分析和AI/ML的任务完成时间。华为还利用这一流特征将大流分解为更小的流量，使他们能够更像小流一样便于管理。这样可以提高ECMP场景下的负载均衡，保证可用带宽得到充分利用。以上重点介绍了iLossless智能无损系列算法中的一些技术。华为将在未来的软件发布中增加更多的内容。对于许多算法来说，设置正确的阈

33、值对性能至关重要，并且其本身可以算是一门艺术。华为基于AI芯片根据实时负载自动调整阈值。作为研究概要的一部分，该概要的赞助者华为公司要求AvidThink对其解决方案进行独立评审，因为它与研究概要的 主题相关。AvidThink利用赞助者提供的信息和AvidThink本身对数据中心网络趋势的市场研究进行了此次评审。其中 所引用的任何性能测量、数字和改进均基于赞助者提供的结果以及EANTC于2018年7月进行的独立测试。AvidThink 尚未认证任何性能声明，对正在评审的解决方案感兴趣的读者应确定此类声明的真实性。AvidThink对于此处列出的任 何由于意外操作、损坏或错误操作的不准确之处，

34、不承担任何责任。第 PAGE 7 页解决方案评审 | 华为Al Fabric解决方案AI Fabric在数据中心网络的适用场景正如我们在研究概要中讨论的那样，数据中心负载将包括大数据分析和AI/ML深度学习负载。这将驱动更多的东西向流量，新一 代的微服务应用也将如此。我们也越来越多地将分布式集群存储视为云原生存储解决方案的关键驱动因素。华为的Al Fabric可能会对这些负载产生积极的影响。以太网为中心的AI负载解决方案随着AI/ML和大数据分析的增加，需要通过RDMA等机制降低时延，提高吞吐量。大多数AI/ML和大数据分析（如Apache），由于 数据集较大，都作为集群进程运行。许多负载在迭代轮询中运行数据，在每个轮询期的节点之间进行大量数据交换。AI/ML研究人员认识到这一点并提供了利用RDMA和InfiniBand的库。主要的Al框架包括Tensor Flow和Microsoft Cognitive Toolkit以及NVIDIA的NCCL等库，通过InfiniBand的verb API为InfiniBand标准提供了原生支持。因此，一些数据中心将选择InfiniBand进