CloudFabric云数据中心网解决方案-Multi-Site设计指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（Multi-Site） DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（Multi-Site） STYLEREF Contents 目 录文档版本 DOCPROPERTY Documen

2、tVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE ii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE xxxv DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCP

3、ROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司 STYLEREF 1 多数据中心业务诉求和场景文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 12多数据中心业务诉求和场景本章节说明多DC场景的客户诉求和业务场景。 HYPERLINK l _ZH-CN_TOPIC_01

4、92838220 o 1.1 多数据中心的发展趋势 HYPERLINK l _ZH-CN_TOPIC_0192838267 o 1.2 多数据中心业务场景分析 HYPERLINK l _ZH-CN_TOPIC_0192838292 o 1.3 多数据中心互联需求分析和技术介绍 HYPERLINK l _ZH-CN_TOPIC_0192838288 o 1.4 多数据中心SDN网络需求分析 HYPERLINK l _ZH-CN_TOPIC_0192838222 o 1.5 华为Multi-DC Fabric方案整体架构和场景分类多数据中心的发展趋势随着业务的发展，越来越多的应用部署在数据中心，单

5、个数据中心的规模有限，不可能无限扩容，业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需求，需要多个数据中心来部署业务；同时，数据安全、业务的可靠性和连续性也越来越被重视，备份和容灾逐渐成为了普遍需求，需要通过建设多个数据中心来解决容灾备份问题，“两地三中心”是这一阶段的代表方案。伴随着互联网+，云计算，大数据的发展，虚拟化和资源池化成为主流需求，需要整合跨地域、跨DC资源，形成统一资源池，同时，业务系统多DC分布式部署，形成多活，就近提供服务，提高用户体验，“分布式多数据中心”成为当前的主流方案。多数据中心业务场景分析目前，多DC的业务场景主要分为：业务跨DC部署、业务双活、网络容

6、灾、分布式云化。下面分别介绍这几种业务场景。业务跨DC部署通常一个应用内部是需要多个子系统一起协助的，有的可能需要上百个子系统一起协助。部署上，主要存在以下两种情况。一种情况是：可能由于单个数据中心的规模有限，一个数据中心不能容纳所有的子系统，应用的不同子系统分别部署在不同的DC中，整体上看这个应用是跨多个DC部署。另一种情况是：由于不同子系统的功能不同，有的需要分布式部署在多个数据中心，有的需要集中式部署，整个业务系统是跨数据中心部署。例如下面这样一种场景，web子系统部署在DC1，APP子系统部署在DC2，DB子系统部署在 DC3，WEB调用APP，APP调用DB，不同子系统需要跨DC互通

7、，保证应用的正常运行。业务跨DC部署场景如REF _fig1424011165144 r h图1-1所示。业务跨DC部署示意图两地三中心一般所讲的两地三中心是指在同城双活的主数据中心基础上，增加一个异地灾备数据中心，与同城双活实现数据同步。同城双活的两个数据中心是指：相同的两套业务系统部署在同城两个DC，在应用处理层面上实现了完全冗余，通过负载均衡将流量路由到不同数据中心的应用服务器，两套业务系统同时在同城的两个数据中心运行，同时为用户提供服务。服务能力是双倍的，并且互相实时灾备接管，当某个数据中心的业务系统出现问题时，另一个数据中心的业务系统仍持续提供服务，业务连续性和可靠性性得到了大大的提

8、高，对用户来说故障无需感知。不同数据中心的子系统间需要跨DC互通，相同子系统的安全策略需要一致，对外提供相同服务，形成双活。异地的灾备中心是同城双活的两个主数据中心的备份中心，用于备份主数据中心的数据、配置、业务等。当主用双中心出现自然灾害等原因发生故障时，异地灾备中心可以快速恢复数据和应用，保证业务正常运行，从而减轻因灾难给用户带来的损失，如REF _fig17413158144414 r h图1-2所示。两地三中心网络级容灾当前有很多应用是通过集群软件提供服务的，集群软件将网络上的多台服务器关联在一起，对外表现为一台逻辑服务器，提供一致的服务。通过集群，利用多台服务器负载分担提升集群整体业

9、务处理能力，并且多台服务器间互为备份，提升系统的可靠性。如果将集群中的服务器部署于不同数据中心，当某个数据中心发生故障时，集群内其他数据中心的服务器仍可提供服务，可实现跨数据中心的应用系统容灾。多数厂商的集群软件需要各服务器间采用二层网络互连，因此，服务器集群跨数据中心部署需要网络提供跨DC的大二层能力。同时，集群对外提供服务的地址是一个虚IP，该地址将通过数据中心前端网络向外发布，因此，集群跨数据中心部署需要网络给集群的虚IP提供跨DC的网关，跨DC的网关可以是主备或者双活。主备网关是对外发布主备路由，正常情况下南北向流量根据主路由走主数据中心的主网关。当主用数据中心故障，切换到备份路由，流

10、量走备数据中心的备网关。双活网关是对外发布等价路由，正常情况下南北向流量根据等价路由分担到两个数据中心。当一个数据中心故障，流量切换到其他数据中心的网关。对于集群的南北向流量通常需要防火墙提供安全防护，防火墙部署也可以是主备或者双活，如REF _fig1497319184483 r h图1-3所示。网络级容灾分布式云化场景分布式云化是指业务分布式部署在多个数据中心，每个数据中心都可以实时承担流量，同时提供服务，多个数据中心通过DCI骨干网互联，形成统一的资源池，可以实时同步数据，任何一点出问题，都可以直接切换，由其他站点直接接管，站点间形成多活，并且边缘DC就近提供服务，时延小，用户体验好。中

11、心DC为主要数据源，通过骨干网将内容发送给边缘DC，边缘DC再将内容发送给最终客户，在这个过程中，多个DC之间需要进行L2/L3互通。如REF _fig27561352121712 r h图1-4所示。分布式云化场景多数据中心互联需求分析和技术介绍互联需求分析从业务场景介绍我们可以看出，多个数据中心之间并不是孤立的，不同的层面有不同互通需求，多个数据中心之间互联要解决以下几个问题：数据同步和数据备份，需要存储互联；跨数据中心部署HA集群内部的心跳，或者虚机迁移，需要大二层互通；业务间的互访需要，跨数据中心三层互通；不同数据中心前端网络，即数据中心的外联出口，通过IP技术实现互联。跨数据中心互联

12、示意不同应用的互通方案建议参见下表。技术方案WebAppDBSAN波分/裸光纤-跨DC二层互联-跨DC三层互联-互联技术介绍存储互联，一般通过波分或者裸光纤：波分或者裸光纤（DWDM或者Dark Fiber）是物理链路直连，此互联的方式的优点是独享式通道（仅用于数据中心之间的流量交互），可充分满足数据中心之间流量交互的高带宽和低延时需求，而且可以承载多种协议的数据传输，提供灵活的SAN/IP业务接入，不论是IP SAN还是FC SAN都可以承载，既支持二层网络互联也支持三层网络互联，满足多业务传输需要，不足之处就是需要新建或租用光纤资源，增加数据中心的投入成本。应用集群或者跨DC的虚机迁移需要

13、跨DC的大二层网络，大二层技术包括：裸光纤/DWDM：成本高，主要应用于同城站点之间，难于扩展。VPLS，VPLS是一种基于MPLS和以太网技术的二层VPN技术。VPLS的主要目的就是通过公网连接多个以太网，使它们像一个LAN那样工作。在已有的公网/专网资源上封装二层VPN通道，用以承载数据中心之间的数据交互和容业务持续和恢复份，主要应用于云计算数据中心的互联场景，此互联方式的优点是无需新建互联平面，只需要在当前的网络通道上叠加一层VPN通道以隔离于网络中现有的数据流量，不足就是部署实施较为复杂，而且要有MPLS网络的支持，需要租用运营商的MPLS网络或者有自建的MPLS网络。VXLAN，是一

14、种先进的“MAC in IP” 的Overlay技术，允许承载在IP网络上，通过VXLAN遂道在IP核心网提供L2VPN服务。它可以基于现有的运营商各种专线网络或者因特网，为分散的物理站点提供二层互联功能。成本低，距离远，易于扩展，而且VXLAN支持水平分割防环机制，以及广播风暴抑制功能，优点是不依赖于光纤资源或MPLS网络资源，只要求两端三层IP可达即可，方案灵活，扩展性极强，成本较低，并且部署运维更简单，不足之处是网络的质量受限于IP网络，而且由于采用Overlay技术带宽利用率较低。DC间三层互联：传统IP三层互联，是指通过IGP/ BGP路由传递，使不同数据中心的业务网段能够三层互通。

15、MPLS L3 VPN，是构建在MPLS网络之上的虚拟L3专用网络，通过MPLS L3 VPN可以使不同数据中心的业务网段能够三层互通；用以承载IDC之间的数据交互和容业务持续和恢复份，此互联方式主要应用于传统业务数据中心的互联场景，优点同VPLS，不足也与VPLS一样。VXLAN，是构建在IP网络之上的VXLAN隧道，也可以提供L3 VPN服务。数据中心的外联出口：数据中心出口设备接入运营商的各种专线网络或者因特网，通过动态路由或静态路由等IP技术实现互联。多数据中心SDN网络需求分析在云化数据中心，网络资源通过虚拟化技术形成资源池，实现业务与物理网络解耦，通过SDN技术实现业务网络的按需自

16、助与自动化部署，支持多租户、弹性扩缩、以及快速部署。在多数据中心场景下，还需要解决业务跨数据中心部署、不同业务系统之间的跨数据中心互通、跨数据中心互通的自动化部署、跨数据中心的业务容灾和多活问题。多数据中心的主要诉求如下表：业务诉求需求分析方案业务跨DC部署大VPC通过跨DC L2/L3互通，整体体现为大VPC安全隔离路由隔离FW隔离业务之间的互通VPC互通VPC间跨DC L3互通通过SDN实现自动化部署多DC的资源管理iMaster NCE-Fabric+网络虚拟化编排器+业务编排业务编排业务容灾/多活应用级容灾GSLB网络级容灾（IP地址不变跨DC容灾）跨DC大二层主备/双活出口这4个诉求

17、具体描述如下：业务跨VPC部署：客户某些业务可能是跨DC部署的，比如客户可能会针对某大型网站划一个独立的VPC，这个VPC可能会跨多个Fabric，所以在这个VPC内部流量就有跨Fabric互通的需求，同时路由和防火墙需要进行隔离。业务之间的互通：客户针对不同的业务会划分不同的VPC，不同VPC可能会部署在不同的Fabric中，业务之间如果有互通的需求，就要求VPC之间能跨Fabric进行L3互通（VPC之间互通一般为L3互通，如果需要L2互通则建议将互通的VM划分到同一个VPC中）。通过SDN实现自动化部署：客户部署了SDN网络自然是希望实现自动化部署，自动化部署主要分为两步，首先，需要将跨

18、DC的虚拟化网络编排出来；其次，编排出虚拟化网络后，需要在各DC中进行实例化。针对跨DC的业务，编排器统一编排，单DC内的网络则由iMaster NCE-Fabric进行编排。业务容灾/多活：业务容灾和多活主要分为两种方式，首先针对比较新的业务系统，客户自己可以通过GSLB的方式进行容灾和多活，具体方式是两个DC同时部署相同的业务，业务相同同时IP地址不同，这样两套系统可以进行容灾处理，这种方式对网络没有什么特别的诉求。但是针对比较旧的一些系统，会要求迁移到容灾中心后，IP地址不能变化。这种情况下，就需要支持跨Fabric的二层互通，同时，需要提供网关供业务访问外部网络，网关需要支持主备和双活

19、两种方式。华为Multi-DC Fabric方案整体架构和场景分类方案整体架构华为CloudFabric解决方案的Multi-DC方案主要聚焦于跨数据中心网络部分，通过虚拟化和SDN技术，解决跨数据中心互通的自动化部署和跨数据中心的业务容灾多活的问题。华为CloudFabric Multi-DC解决方案的整体架构如REF _fig3191256371 r h图1-6所示。Multi-DC整体架构图华为Multi-DC Fabric方案的整体架构主要分为：业务控制层、基础设施层和转发实现层。业务控制层，主要是SDN控制器，负责控制某个数据中心的网络，以及打通跨数据中心的网络，SDN控制器还对接业

20、务编排器和VMM（Virtual Machine Manager虚拟机管理器），完成计算与网络联动以及跨数据中心的互通。业务编排器负责跨数据中心的业务编排，VMM负责虚拟机的生命周期管理。基础设施层，主要是物理网络和逻辑网络，数据中心内的物理网络是Spine-Leaf架构的组网，多个数据中心通过DCI骨干网连接；逻辑网络是通过网络虚拟化和VXLAN技术、基于业务按需构建的连接虚拟机的虚拟网络。转发实现层，主要是通过VXLAN网络连接数据中心内的虚拟机，以及连接数据中心间的虚拟机，BGP-EVPN作为VXLAN的控制面。对于使用者来说，主要看到业务控制层，根据业务的需要，将业务网络划分成多个VP

21、C，通过编排器编排VPC，通过控制器在不同数据中心发放VPC的逻辑网络。这个过程里，编排器主要是针对跨Fabric的网络进行编排。编排完成后，会根据编排的结果，将任务下发给对应的控制器，由控制器将配置下发到物理设备上。Multi-DC Fabric编排示意图场景分类CloudFabric多DC场景主要分为Multi-Site场景和Multi-PoD场景。POD强调的是一组相对独立的物理资源；Multi-PoD是指一套iMaster NCE-Fabric管理的多个PoD，是一个端到端VXLAN隧道构成的VXLAN域，POD之间距离不会太远，通常是同城近距。一个Site是指一个iMaster NC

22、E-Fabric管理的资源池，是一个或多个PoD，是一个端到端VXLAN隧道构成的VXLAN域；Multi-Site是指多个iMaster NCE-Fabric管理域之间的互通，即多个Multi-PoD之间的互通，是多个VXLAN域，对距离不敏感，可异地部署。Multi-Site场景Multi-Site子方案适用于异地多DC方案，即两个或者多个位于不同地域，或者物理距离太远而无法被同一套iMaster NCE-Fabric纳管的多个DC之间互联互通方案。Multi-Site场景对应比较大的网络，需要一个编排器拉通多个iMaster NCE-Fabric，将多个iMaster NCE-Fabri

23、c管理的网络统一纳管。所有业务由编排器进行统一编排，再下发到各控制器上由控制器将具体配置下发给对应的物理网络。Multi-Site场景方案如REF _fig6875735173811 r h图1-8所示。Multi-Site场景示意图Multi-PoD场景Multi-POD方案适用于地域上距离较近，可以被同一套iMaster NCE-Fabric纳管的DC或者资源Module。在网络规模不大的情况下，只需要一套iMaster NCE-Fabric进行多个DC的管理，不需要多DC协同编排器这个角色。这种场景我们叫做Multi-Pod场景，这种场景下，DC内和DC间的网络配置均在iMaster N

24、CE-Fabric上进行配置。这种场景下，我们可以提供多DC之间的容灾和主备出口等能力。Multi-PoD场景方案如REF _fig52707118402 r h图1-9所示。Multi-PoD场景示意图场景对比Multi-Site方案和Multi-PoD分别适用于不同的场景，Multi-Site方案是多个iMaster NCE-Fabric管理域，Multi-Pod方案是单个iMaster NCE-Fabric管理域，两种场景具体对比参见下表。对比项Multi-SiteMulti-PoD管理域多个管理域（iMaster NCE-Fabric）单一管理域（iMaster NCE-Fabric）

25、业务编排编排器统一编排iMaster NCE-Fabric界面编排，或单个OpenStack编排网络规模物理网络规模大（Leaf多，Fabric多，DC多）物理网络规模小（Leaf总数约束在一个iMaster NCE-Fabric的规格范围内）服务器规模服务器数量多服务器数量少，受限于物理网路规模故障域DC间故障域解耦DC间故障域强耦合距离远距离，延时不敏感近距离，受单iMaster NCE-Fabric拉远管理时延限制大二层大二层在一个VXLAN域内，整体看大二层不跨DC大二层在一个VXLAN域内，大二层跨DC迁移L2不跨Site，不需要虚机跨Site迁移虚机跨POD迁移，云主机高可用容灾应

26、用级多活IP地址不变，跨DC网络容灾转发面每个DC是独立的VXLAN域，DC间是分段的VXLAN一个VXLAN域，DC间是E2E VXLAN，适用场景要求DC间解耦远距离大规模要求网络提供容灾近距离小规模层次化Multi-DC Fabric层次化Multi-DC顾名思义，就是将Multi-Site和Mult-PoD场景组合在一起，即Multi-Site场景下，单个iMaster NCE-Fabric集群内使用Multi-PoD方案管理多个PoD。层次化Multi-DC组网如REF _fig656131311419 r h图1-10所示。层次化Multi-DC示意图 DOCPROPERTY Pr

27、oduct&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（Multi-Site） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 多数据中心业务诉求和场景文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 33Multi-Sit

28、e场景和设计本章节将着重介绍Multi-Site场景的详细设计。 HYPERLINK l _ZH-CN_TOPIC_0192838279 o 2.1 Multi-Site方案应用场景 HYPERLINK l _ZH-CN_TOPIC_0192838238 o 2.2 Multi-Site方案设计 HYPERLINK l _ZH-CN_TOPIC_0192838241 o 2.3 Multi-Site部署方案推荐Multi-Site方案应用场景在虚拟化场景下，通常一个业务系统给分配一个VPC（Virtual Private Cloud，虚拟私有云），通过VPC将不同的用户或业务系统进行隔离，使得

29、不同的用户或业务系统之间不相互影响。随着业务的发展，业务系统需要的计算资源也在不断的增长，当超过一个DC的容量时，就需要多个DC来部署这个业务系统，这时，该业务系统对应的VPC就需要跨DC部署。例如：有的用户在划分VPC的时候是基于业务安全等级的，比如划分成内网和DMZ两个安全等级，将DMZ区的业务放在一个VPC 1，内网业务放在一个VPC 2，在多个数据中心多活容灾的场景下，这些VPC都会分布到多个数据中心里，这样就形成了跨DC的大VPC，这就是大VPC的场景。此外，同一租户的不同业务系统之间一般都存在互通的需求，例如：上面提到的内网和DMZ两个VPC，流量进入数据中心先到DMZ再到内网，D

30、MZ和内网两个VPC之间需要互通，由于这两个VPC都是跨DC部署的。因此，跨DC的VPC之间还需要网络打通，这就是VPC互通场景。大VPC在多数据中心场景下，业务VPC需要跨DC部署，如REF _fir h图2-1所示。业务VPC跨DC部署示意图在数据中心的规模较大的情况下，由于每套iMaster NCE-Fabric的管理范围是有限的，所以多个数据中心需要部署多套iMaster NCE-Fabric，甚至一个数据中心就有多套iMaster NCE-Fabric。在这种情况下，这个大VPC就不是某一套iMaster NCE-Fabric可以下发的了，这时就需要一个编排

31、器来协同多个数据中心的iMaster NCE-Fabric，编排跨数据中心的VPC，如REF _fig451824441812 r h图2-2所示，Multi-Site方案的主要应用之一就是大VPC跨DC部署。大VPC跨DC部署逻辑示意图通过一个编排器统一对两个DC内部和DC间的网络进行编排，编排完成后，将指令下发给对应的iMaster NCE-Fabric进行VPC实例和DC间互通实例的发放，作为一个整体，对外体现为一个大VPC。网络方案上，每个DC内部都部署独立的VXLAN域，分别由一套的iMaster NCE-Fabric单独管理，DC之间通过三段式VXLAN进行互通，也可以通过Unde

32、rlay方式互通。部署两套独立的iMaster NCE-Fabric以及转发面的VXLAN域，可以使两个DC故障域隔离，同时也方便客户分批建设或模块化部署数据中心。VPC互通不同的业务之间存在着互通的需求，跨DC的场景下也要解决互通的问题。VPC互通业务如REF _fig112113465193 r h图2-3所示。不同业务跨DC互通示意图业务按VPC部署，业务间的互通就体现为VPC互通。Multi-Site场景下，多个控制器之间需要协同，可以通过编排器编排VPC互通，协同多套控制器配置各自的网络设备，打通VPC之间的逻辑网络。VPC互通方案如REF _fig16440122313202 r

33、h图2-4所示。VPC之间跨DC互通逻辑示意图Multi-Site方案设计Multi-Site场景业务部署过程Multi-Site场景业务部署过程如REF _fig41434512195 r h图2-5所示。Multi-Site场景概念模型与部署过程业务层和资源层：业务层即客户业务视角看到的东西，实际上从方案上来说，就是编排器上进行的业务编排，编排后将对应的配置通知到对应的iMaster NCE-Fabric进行业务下发。资源层即我们的物理网络，是一个个POD，一台台交换机。但是为了将这些物理设备能和业务编排对应起来，我们需要给他们加一些标识，这就是我们下面要说的物理网络资源、逻辑网络资源和业

34、务资源。物理视图的资源：物理网络资源很好理解，就是交换机、防火墙等等物理设备的集合，组成的物理网络。逻辑网络资源：在iMaster NCE-Fabric上，我们为了将物理网络虚拟化，将物理网络虚拟成了Domain、Fabric。具体来说，一套iMaster NCE-Fabric管理的物理网络的集合我们称之为一个Domain，而一个Domain里有多个Fabric。而iMaster NCE-Fabric的一个主要任务，就是将Domain和Fabric以及Fabric里的各种组件对应到一台台具体的物理设备，最终将配置下发。业务资源：在Muiti-Site场景下，有个编排器的角色，这个角色的主要作用

35、是将客户的业务逻辑化。而为了让客户的业务发放的时候范围可控，同时也为了编排器的逻辑和iMaster NCE-Fabric的逻辑对应起来，编排器也定义了一些概念。首先是Region，Region可以简单理解为控制客户业务VPC的发放范围，一个业务VPC范围控制在一个Region内部。其次是AZ，AZ可以简单理解为控制客户业务VPC中subnet（即logicswitch）的发放范围，一个subnet控制在一个AZ内。有了Region和AZ后，举个例子，发放业务VPC时，就可以设定这个业务VPC发放到Region1中，其中包含2个subnet分别对应AZ1和AZ2。这时，我们再将Region、AZ

36、和iMaster NCE-Fabric对应的Domain、Fabric以及Fabric里包含的LogicRouter以及LogicSwitch对应起来。编排器就可以将客户的业务转化为对iMaster NCE-Fabric的命令发放给iMaster NCE-Fabric，再通过iMaster NCE-Fabric下发配置给物理网络。VMM对接设计数据中心的逻辑网络是为虚拟机服务的，通过SDN控制器实现计算和网络联动，在华为CloudFabric解决方案里，iMaster NCE-Fabric可以和多种VMM对接。在Multi-Site方案里，一个Site是一个Fabric，由一套iMaster

37、NCE-Fabric管理，一套iMaster NCE-Fabric可以对接多个VMM，每个VMM只管理本Site的虚拟机，并且只与本Site的iMaster NCE-Fabric对接。VMM对接方案如REF _fig354324132219 r h图2-6所示。iMaster NCE-Fabric对接VMM示意图部署方案设计上面说了Multi-Site场景的概念模型和业务模型，本章说明一下DC间的L2/L3互通是如何实现的。DCI部署方案设计如REF _fig1258662942417 r h图2-7所示，DC1和DC2独立部署，每个DC部署独立网络资源池。如果两个DC有三层互通需求时，可以通

38、过部署DCI三层互联实现互通。Fabric间L2/L3互通示意图在每个DC内部标准Spine-Leaf组网，需要设置Fabric Gateway设备，用于DCI互联。DCI物理网络互联有三种方案：Optioin1：同城汇聚，通过DCI核心交换机互联，适用于同城站点较多的场景Optioin2：裸光纤/DWDM直连，两DC Fabric-GW直连，适用于站点较少的场景Optioin3：异地，通过WAN网互联，适用于异地站点较多的场景DCI逻辑网络互联有三种方式实现：第一种是通过Segment（三段式）VXLAN实现，即通过在Fabric-GW上配置BGP EVPN协议创建VXLAN隧道，将从一侧数

39、据中心收到的VXLAN报文先解封装、然后再重新封装后发送到另一侧数据中心，实现对跨数据中心的报文端到端的VXLAN报文承载。所以，DCI互联物理网络仅需打通Fabric-GW之间的Underlay路由。三段式VXLAN方式可以支持跨数据中心L2互通和L3互通，L2互通时，不同的二层通过不同的VNI进行区分，L3互通时，不同VPC通过VNI进行隔离，保证跨数据中心VM之间的通信和隔离。第二种是通过Underlay方式三层互通，即：Fabric-GW之间VRF背靠背部署IGP/BGP，Fabric-GW作为Fabric内VXLAN端点，Fabric之间Underlay方式三层互通，通过IGP或者B

40、GP打通业务网段的路由，在Fabric Gateway上直接解封装VXLAN报文，走Underlay根据IGP/BGP路由转发。所以，DCI互联物理网络需传递业务的私网路由。这种方案要求IP地址严格规划好，所有DC内的IP对应的路由都可以在互联网络中打通。这种方案适用于构建企业内部多DC之间互通，要求整体规划比较严格。第三种是VLAN hand-off方式实现数据中心互联，这种方案需要各数据中心再增加支持VXLAN的设备作为DCI-GW，如REF _fig1798624652515 r h图2-8所示，各数据中心DCI-GW之间部署BGP EVPN建立VXLAN隧道，Fabric内部署BGP

41、EVPN，Fabric-GW作为Fabric内VXLAN端点，Fabric-GW与DCI-GW之间普通VLAN对接，Fabric-GW与DCI-GW上分别配置VLAN接入VXLAN功能。跨数据中心的报文在Fabric-GW解VXLAN封装，变成普通以太报文，DCI-GW收到后再进行新的VXLAN封装进入DCI的VXLAN隧道发送到对端数据中心。所以，DCI互联物理网络仅需打通Fabric-GW之间的Underlay路由。VLAN hand-off方式可以支持跨数据中心L2互通和L3互通。L2互通时，打通不同数据中心之间的二层广播域，不同的二层通过不同的VLAN再映射不同的DCI VNI进行区分

42、。L3互通时，各数据中心Fabric-GW上、需要三层互通的VPC的LogicalRouter之间通过DCI的VXLAN隧道打通直连二层，并建立eBGP IPv4私网邻居，用于跨DC传递VPC私网路由，不同的直连二层通过不同的VLAN再映射不同的DCI VNI进行隔离，保证跨数据中心VM之间的通信和隔离。VLAN hand-off方式示意图三种逻辑网络互联部署方案的对比对比项Segment VXLANL3 UnderlayVLAN Handoff管理域多套独立iMaster NCE-Fabric，解耦，故障或升级范围都可控多套独立iMaster NCE-Fabric，解耦，故障或升级范围都可控

43、多套独立iMaster NCE-Fabric，解耦，故障或升级范围都可控DC物理网络规模规模大（PoD多，DC多）规模大（PoD多，DC多）规模大（PoD多，DC多）服务器数量多需要多套VMM多套VMM多套VMM二层互通支持不支持支持（ DC间二层互通依赖广播，规模受限）三层互通支持支持支持DC间耦合度DC间解耦，如果开启二层互通则耦合度增加DC间解耦DC间解耦，如果开启二层互通则耦合度增加DC建设全新建和传统PoD共存，多DC间的互通要兼容现有网络和传统PoD共存，多DC间的互通兼容现有网络设备要求Fabric-GW需支持三段VXLANFabric-GW仅需支持普通VXLAN需增加DCI-G

44、W设备DCIDCI网络仅传递Fabric-GW的Underlay路由DCI网络感知业务，传递业务路由，增加减少业务三层互通需DCI网络变更配置DCI网络仅传递DCI-GW的Underlay路由但Fabric-GW与DCI-GW之间需感知业务，二层广播，互通规格受4k VLAN限制多租户大VPC数量多大VPC数量少大VPC数量少Multi-Site方案里，不推荐大规模部署跨Site的L2互通，理由主要有三点：跨Site的L2互通会存在跨Site的广播；跨Site的L2互通会导致跨Site学习或同步MAC和主机路由，会降低整网规模；跨Site的L2互通相当于一个子网跨Site部署，这个子网的网关如

45、何跨Site配置？以及这个子网的路由如何对外发布？这两个问题不好解决。所以，跨Site的L2互通建议仅在业务搬迁的时候临时开启，在搬迁完毕后关闭L2互通，不建议把L2互通作为一种常态部署。针对DCI物理网络互联Option3是通过MPLS骨干网互联的说明DC间物理网络互联的Option3是通过广域网互联，对于骨干网是MPLS VPN的场景，有如下3种情况。Optioin1：对应Segment VXLAN互通方案，各数据中心Fabric-GW之间需要通过BGP-EVPN建立VXLAN隧道，在骨干网传输时，实际上是VXLAN over MPLS，这时，Fabric-GW作为CE，骨干网边缘设备作为

46、PE，MPLS VPN仅需打通Fabric-GW之间的Underlay路由。Optioin2：对应Underlay方式三层互通方案，从Fabric-GW发到DCI的报文是业务原始IP报文，没有经过封装，在骨干网传输时，实际上是IP over MPLS。这时，Fabric-GW作为MCE，骨干网边缘设备作为PE，通过MPLS L3VPN打通业务的私网路由，如REF _fig1097445216284 r h图2-9所示。Underlay方式三层互通方案Optioin3：对应VLAN hand-off方式的互通方案，各数据中心DCI-GW之间需要通过BGP-EVPN建立VXLAN隧道，在骨干网传输

47、时，实际上是VXLAN over MPLS，这时，DCI-GW作为CE，骨干网边缘设备作为PE，MPLS VPN仅需打通DCI-GW之间的Underlay路由，如REF _fig76533289293 r h图2-10所示。VLAN hand-off方式互通方案转发面方案设计在上一节介绍了逻辑网络互联有三种方式实现，其中Option2是通过Underlay方式三层互通，Option3是VLAN hand-off方式互通，这两种方案的转发面本质上都是解掉VXLAN封装，变成普通以太报文转发，DC间互联都是靠VLAN拼接，Fabric-GW和DCI-GW都仅仅是做VXLAN封装和解封装，这里不再赘

48、述。而Option1是通过Segment（三段式）VXLAN方式转发，本节详细介绍一下。通过Segment VXLAN实现DC间L3互通Segment VXLAN实现L3互通方案如REF _fig996012319394 r h图2-11所示。Segment VXLAN实现L3互通示意图控制平面：Leaf4将学习到数据中心B中的VMb2的主机IP地址，并将其保存在L3VPN实例路由表中，然后向Leaf3发送BGP EVPN路由。如下图所示，Leaf3收到Leaf4发送的BGP EVPN路由后，获取该路由中的主机IP路由，按照VXLAN隧道建立的流程建立到Leaf4的VXLAN隧道，将路由下一跳

49、修改为Leaf3的VTEP地址，然后重新封装，封装上L3VPN实例的三层VNI，源MAC地址为Leaf3的MAC地址，并将重新封装后的BGP EVPN路由信息发送给Leaf2。控制平面示意图Leaf2收到Leaf3发送的BGP EVPN路由后，获取该路由中的主机IP路由，建立到Leaf3之间的VXLAN隧道，将路由下一跳修改为Leaf2的VTEP地址，然后重新封装，封装上L3VPN实例的三层VNI，源MAC地址为Leaf2的MAC地址，并将重新封装后的BGP EVPN路由信息发送给Leaf1。Leaf1收到Leaf2发送的BGP EVPN路由后，建立到Leaf2的VXLAN隧道。数据平面Lea

50、f1收到VMa1访问VMb2的二层报文，检测到目的MAC都是网关接口MAC，终结二层报文，通过VMa1接入BD的BDIF接口找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，进入Leaf1到Leaf2的VXLAN隧道，封装成VXLAN报文通过VXLAN隧道发送到Leaf2。如下图所示，Leaf2收到VXLAN报文后，解析VXLAN报文，通过三层VNI找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，进入Leaf2到Leaf3的VXLAN隧道，重新封装VXLAN报文（三层VNI是Leaf3发送的VMb2主机路由中携带的三层VNI、外层目的MAC

51、是Leaf2发送的VMb2主机路由中携带的MAC）发送给Leaf3。数据平面示意图如上图所示，Leaf3收到VXLAN报文后，解析VXLAN报文，通过三层VNI找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，进入Leaf3到Leaf4的VXLAN隧道，重新封装VXLAN报文（三层VNI是Leaf4发送的VMb2主机路由中携带的三层VNI、外层目的MAC是Leaf4发送的VMb2主机路由中携带的MAC）发送给Leaf4。Leaf4收到VXLAN报文后，解析VXLAN报文，通过三层VNI找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，根据路由

52、信息转发给VMb2。通过Segment VXLAN实现DC间L2互通如REF _fig1024010441546 r h图2-14所示，在数据中心A和数据中心B内部分别创建VXLAN隧道，在数据中心的边缘设备（Transit Leaf）之间也创建VXLAN隧道。当VM1和VM2之间需要通信时，需要实现数据中心A和数据中心B之间的二层互通。Segment VXLAN实现DC间L2互通示意图如果数据中心A和数据中心B内部的VXLAN隧道都采用相同的VNI，则Transit Leaf1和Transit Leaf2之间只需采用同一VNI建立VXLAN隧道即可。但是，在实际应用中，不同的数据中心都有各自

53、独立的VNI空间，因此数据中心A和数据中心B内部的VXLAN隧道很可能采用了不同的VNI。此时，在Transit Leaf1和Transit Leaf2上建立到达对端的VXLAN隧道时，需要进行一次VNI的转换，具体描述如下。控制平面控制平面原理示意图Server Leaf1在学习到VM1的MAC地址后，生成BGP EVPN路由发送给Transit Leaf1。其中，BGP EVPN路由包含以下信息：Type2路由：EVPN实例RD值、VM1的MAC地址、Server Leaf1本地VNI。下一跳：Server Leaf1的VTEP IP地址。扩展团体属性：封装隧道类型（VXLAN）。ERT：

54、EVPN实例出方向RT值。Transit Leaf1收到BGP EVPN路由后，先交叉到本地EVPN实例中，并在EVPN实例绑定的BD中生成VM1的MAC表项，其出接口需根据下一跳和封装隧道类型进行隧道迭代，最终，出接口的迭代结果是指向Server Leaf1的VXLAN隧道。其中，VXLAN隧道封装信息中的VNI为自己本地VNI。Transit Leaf1进行BGP EVPN路由重生成。其中，在修改VNI信息时，需要根据BD ID和本地VNI查询映射表，找到对应的映射VNI，然后将重生成路由中的VNI修改为映射VNI。因此，重生成的BGP EVPN路由包含以下信息：Type2路由：EVPN实

55、例RD值、VM1的MAC地址、本地VNI对应的映射VNI。下一跳：Transit Leaf1的VTEP IP地址。扩展团体属性：封装隧道类型（VXLAN）。ERT：EVPN实例出方向RT值。Transit Leaf2收到BGP EVPN路由后，先交叉到本地EVPN实例中，并在EVPN实例绑定的BD中生成VM1的MAC表项，其出接口需根据下一跳和封装隧道类型进行隧道迭代，最终，出接口的迭代结果是指向Transit Leaf1的VXLAN隧道。其中，该VXLAN隧道封装信息中的VNI为映射VNI。Transit Leaf2进行BGP EVPN路由重生成。其中，在修改VNI信息时，需要根据BD ID

56、和映射VNI查询映射表，找到对应的本地VNI，然后将重生成路由中的修改为本地VNI。因此，重生成的BGP EVPN路由包含以下信息：Type2路由：EVPN实例RD值、VM1的MAC地址、映射VNI对应的本地VNI。下一跳：Transit Leaf2的VTEP IP地址。扩展团体属性：封装隧道类型（VXLAN）。ERT：EVPN实例出方向RT值。Server Leaf2收到BGP EVPN路由后，先交叉到本地EVPN实例中，并在EVPN实例绑定的BD中生成VM1的MAC表项，其出接口需根据下一跳和封装隧道类型进行隧道迭代，最终，出接口的迭代结果是指向Transit Leaf2的VXLAN隧道。

57、其中，VXLAN隧道封装信息中的VNI为自己本地VNI。转发平面转发平面原理示意图Server Leaf2通过BD二层子接口收到VM2发来的二层报文，根据目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，获取VXLAN隧道的封装信息（本地VNI、目的VTEP IP地址、源VTEP IP地址），并对报文进行VXLAN封装，然后发送给Transit Leaf2。Transit Leaf2对收到的VXLAN报文进行解封装，根据报文中的VNI找到对应的BD，根据目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，获取VXLAN隧道的封装信息：（映射VNI、目的VTEP IP地址、源VTE

58、P IP地址），并对报文进行VXLAN封装，然后发送给Transit Leaf1。Transit Leaf1对收到的VXLAN报文进行解封装，根据报文中的映射VNI查找映射表，找到对应的BD，根据目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，获取VXLAN隧道的封装信息（本地VNI、目的VTEP IP地址、源VTEP IP地址），并对报文进行VXLAN封装，然后发送给Server Leaf1。Server Leaf1对收到的VXLAN报文进行解封装后进行相应的二层转发，最后发送给VM1。外部网络多活Multi-Site方案的多个数据中能够同时对外提供服务，可以同时承担相同业务，提高

59、数据中心的整体服务能力和系统资源利用率。多个数据中心互为备份，当单数据中心故障时，业务能自动切换到其他数据中心，业务不中断。双活数据中心均部署相同的业务应用，二者IP网段并不相同，因此DC间采用三层互联即可。业务应用采用域名访问，因此在应用系统前部署全局负载均衡器(GSLB)，通过动态或静态负载均衡策略对来访请求解析不同的站点IP，如REF _fig55614403314 r h图2-17所示。全局负载均衡示意图GSLB会通过健康状态检测，或与SLB联动检测应用系统状态。当一个中心内应用服务器局部故障时，尽量将流量切换至同一中心SLB集群内的其他服务器，将故障限制在本中心；当一个中心内应用服务器全部故障时，才将流量切换至另一中心。这种场景称为业务级双活，是一个重要而且常见的场景，且技术最为成熟，非常广泛的应用于金