CloudFabric云数据中心网解决方案-基于MDC的Multi-Site设计指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（基于MDC的Multi-Site） DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（基于MDC的Multi-Site） STYLEREF Contents 目 录文档版本 DOCPROP

2、ERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE iii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE lviii DOCPROPERTY DocumentVersion * MERGE

3、FORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司 STYLEREF 1 概述文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 11概述本章节说明多DC、多POD的业务场景和客户诉求。 HYPERLINK l _ZH-CN_TOPIC_02863

4、78071 o 1.1 概念术语 HYPERLINK l _ZH-CN_TOPIC_0286378072 o 1.2 业务场景 HYPERLINK l _ZH-CN_TOPIC_0286378076 o 1.3 业务需求分析 HYPERLINK l _ZH-CN_TOPIC_0286378080 o 1.4 SDN网络需求分析概念术语DC：Date Center，是比较通用的数据中心概念，从物理概念上看，可以是一个小的机房/资源Module，也可以是一个包含多个机房/资源Module。Pod：Point of Delivery，一个独立的物理资源，Multi-Pod之间的Pod距离不能太远，P

5、od之间可以满足传统意义上的同城DC部署要求。Site：英文是站点的意思，一套iMaster NCE-Fabric控制器纳管的范围，Site的管理范围更大，一个Site可以包含多个Pod。Multi-Pod：Multi-Pod适用于地域上距离较近的物理资源域，管理域是被同一套iMaster NCE-Fabric控制器纳管的DC或者资源Module，当前方案重点是距离较近的两个Pod业务互通。Multi-Site：Multi-Site是两个或者多个位于不同地域的Site，可以是位于同城的近距离Site，可以位于异地的远距离Site。管理层面上是多套iMaster NCE-Fabric控制器纳管的

6、DC或者资源Module。MDC：Multi-Domain-Controller，多数据中心多Domain控制器，实现跨Fabric业务互通的自动化部署、支持灵活的安全策略控制。Domain：一个SDN管理域，对应一套控制器的管理范围，Domain控制器即是iMaster NCE-Fabric控制器。Transit Fabric：在Multi-Site场景使用，MDC支持将Domain控制器纳管的DCI网关上收，将业务上有跨Fabric互通关系的Fabric GW放在一个Transit Fabric资源池中管理。VPC：Virtual Private Cloud，面向租户，是一个用户能够定义的

7、虚拟网络。一个租户内可以包含一个或多个VPC。Transit VPC：互通VPC，是相对业务VPC而言的一个逻辑概念，Multi-Site场景使用Transit VPC来实现多个Site之间的业务VPC互通。业务场景随着大数据、云计算、移动互联网的迅速发展，随着国家新基建对“大数据中心”战略投资和布局，数据中心建设日趋活跃。各企业随着业务的发展，越来越多的应用部署在数据中心。而单个数据中心的规模有限，不可能无限扩容，业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需求，需要建设多个数据中心来部署业务。两地三中心场景在金融、运营商、政府等领域，信息系统业务中断会导致巨大经济损失、影响品

8、牌形象并可能导致重要数据丢失。因此，保证业务连续性是信息系统建设的关键，备份和容灾逐渐成为了普遍需求。出于灾备的目的，企业一般都会建设多个数据中心，例如金融企业普遍采用“两地三中心”的建设方案，“两地三中心”指的是在同城建设双活主用数据中心，在此基础上在异地增加一个灾备数据中心，与同城双活实现数据同步。同城双活数据中心是指：相同的两套业务系统部署在同城两个DC，在应用处理层面上实现了完全冗余，通过负载均衡GSLB将流量路由到不同数据中心的应用服务器，两套业务系统同时在同城的两个数据中心运行，同时为用户提供服务。服务能力是双倍的，并且互相实时灾备接管，当某个数据中心的业务系统出现问题时，另一个数

9、据中心的业务系统仍持续提供服务，业务连续性和可靠性性得到了很大的提高，对用户来说故障无感知。不同数据中心的子系统间需要跨DC互通，相同子系统的安全策略需要一致，对外提供相同服务，形成双活。异地的灾备中心是同城双活的两个主数据中心的备份中心，用于备份主数据中心的数据、配置、业务等。当主用双中心出现自然灾害等原因发生故障时，异地灾备中心可以快速恢复数据和应用，保证业务正常运行，从而减轻因灾难给用户带来的损失，如REF _d0e230 r h图1-1所示。两地三中心场景示意边缘DC场景随着5G、物联网、大数据等技术的广泛推广和应用，数据种类、数据规模和数据形式呈爆炸式增长，为更好地支撑高密度、大带宽

10、和低时延业务场景，唯一有效的方式为在靠近用户的网络边缘侧构建业务平台，提供存储、计算、网络等资源，将部分关键业务应用下沉到接入网络边缘。不同的业务对边缘云数据中心的下沉程度要求不同，端到端时延要求50ms的业务对机房位置敏感度大幅降低，站址的规划可以在较大地理范围内综合考虑成本等因素来选。面向5G的边缘数据中心基础设施 数据中心能源白皮书801号另外，企业增量建设或者企业承建小规模数据中心也是边缘DC的应用场景。边缘数据中心具有以下特点：边缘DC部署非常靠近信息源，具有属地化部署特点，分布广泛，具有小型化、分布式、数量多、贴近用户等特点。当边缘DC的属地用户发起业务访问时，根据就近服务原则，边

11、缘DC可以处理一部分本地化服务，不再需要访问中心DC，降低了网络延时和传输压力。另一方面，需要访问中心DC数据的场景（核心数据在中心DC），中心DC通过骨干网将内容发送给边缘DC，边缘DC再将内容发送给最终客户，在这个过程中，边缘DC和中心DC之间需要进行L2/L3互通。如REF _d0e275 r h图1-2所示。边缘DC场景示意大型DC多POD场景大型数据中心按照业务功能定位和安全防护等要求，DC内划分为多个物理资源池，每个资源池物理网络独立，对应不同的POD，不同类资源池互访通过安全设备进行访问控制。资源池内部的不同业务通过逻辑隔离共享物理网络。如REF _d0e314 r h图1-3所

12、示为大型DC多POD的一个场景举例，数据中心内部划分为生产区、测试区、容灾区、互联网DMZ区、外联网DMZ区等不同资源池，按照资源池物理隔离要求，每个资源池部署在不同的POD中，POD间互访流量需要经过安全设备访问控制及交换核心设备的路由转发；Internet和Extranet网络访问生产区等内网区POD，要经过DMZ隔离区作为统一接入区。DC内多POD场景示意业务需求分析多DC互联需求分析互联需求介绍从 HYPERLINK l _ZH-CN_TOPIC_0286378072 o 业务场景中的介绍我们可以看出，多个数据中心之间并不是孤立的，不同的层面有不同互通需求，多个数据中心之间互联要解决以

13、下几个问题：数据同步和数据备份，需要存储互联；跨数据中心部署HA集群内部的心跳，或者虚机迁移，需要大二层互通；业务间的互访需要，跨数据中心三层互通；不同数据中心前端网络，即数据中心的外联出口，通过IP技术实现互联。跨数据中心互联示意各类业务跨DC部署时集群节点间的互通要求参见REF _d0e405 r h表1-1。业务跨DC部署要求技术方案WebAppDBSAN波分/裸光纤-跨DC二层互联-跨DC三层互联-互联技术介绍存储互联，一般通过波分或者裸光纤：波分或者裸光纤（DWDM或者Dark Fiber）是物理链路直连，此互联的方式的优点是独享式通道（仅用于数据中心之间的流量交互），可充分满足数据

14、中心之间流量交互的高带宽和低延时需求，而且可以承载多种协议的数据传输，提供灵活的SAN/IP业务接入，不论是IP SAN还是FC SAN都可以承载，既支持二层网络互联也支持三层网络互联，满足多业务传输需要，不足之处就是需要新建或租用光纤资源，增加数据中心的投入成本，主要应用于同城站点之间。应用集群或者跨DC的虚机迁移需要跨DC的大二层网络，大二层技术包括：VPLS，是一种基于MPLS和以太网技术的二层VPN技术。VPLS的主要目的就是通过公网连接多个以太网，使它们像一个LAN那样工作。在已有的公网/专网资源上封装二层VPN通道，用以承载数据中心之间的数据交互和容灾业务的备份与恢复，主要应用于云

15、计算数据中心的互联场景。此互联方式的优点是无需新建互联平面，只需要在当前的网络通道上叠加一层VPN通道以隔离于网络中现有的数据流量；不足之处是部署实施较为复杂，而且要有MPLS网络的支持，需要租用运营商的MPLS网络或者有自建的MPLS网络。VXLAN，是一种先进的“MAC in IP” 的Overlay技术，允许承载在IP网络上，通过VXLAN遂道在IP核心网提供L2VPN服务。它可以基于现有的运营商各种专线网络或者因特网，为分散的物理站点提供二层互联功能。这种方式成本低，距离远，易于扩展，而且VXLAN支持水平分割防环机制，以及广播风暴抑制功能，优点是不依赖于光纤资源或MPLS网络资源，只

16、要求两端三层IP可达即可，方案灵活，扩展性极强，成本较低，并且部署运维更简单；不足之处是网络的质量受限于IP网络，而且由于采用Overlay技术带宽利用率较低。两种大二层技术VPLS和VXLAN示意DC间三层互联方式有：传统IP三层互联，是指通过IGP/BGP路由传递，使不同数据中心的业务网段能够三层互通。MPLS L3 VPN，是构建在MPLS网络之上的虚拟L3专用网络，通过MPLS L3 VPN可以使不同数据中心的业务网段能够三层互通；用以承载IDC之间的数据交互和容业务持续和恢复份，此互联方式主要应用于传统业务数据中心的互联场景，优点同VPLS，不足也与VPLS一样。VXLAN，是构建在

17、IP网络之上的VXLAN隧道，也可以提供L3 VPN服务。数据中心的外联出口：数据中心出口设备接入运营商的各种专线网络或者因特网，通过动态路由或静态路由等IP技术实现互联。上述互联技术的对比分析和选择建议请参见下表。互联技术对比和选择建议DC间互联技术对比分析技术选择建议IP路由多DC间通过传统IP互联，中间的骨干设备需要要感知Overlay路由，业务耦合大仅支持L3互通DC间互通场景优选VXLAN技术VPLS/MPLS L3VPNOverlay技术，骨干设备无需感知业务，Fabric-GW和PE之间是VLAN handoff，PE配置复杂VXLANOverlay技术，DC的Fabric GW

18、之间VXLAN报文，PE和骨干设备均无需感知业务，配置简单与DC内的技术统一，运维简单网络时延需求分析除了上述多DC互通的功能性需求外，在跨数据中心互联设计中，还需要将各种业务系统的时延需求纳入设计考虑因素。例如下表为同城数据中心业务对RTT时延要求。同城数据中心的业务时延要求业务RTT 时延备注vMotionRTT10ms-Oracle RAC每应用层 IO10ms(4*RTT)，即 RTT2.5msOracle real application clusters，实时应用集群存储(FC)同步复制RTT1ms每个存储写入需 2 个 RTT；时延较长 FC Credit 用尽，导致等待。时延延

19、会影响可用存储网络带宽从上表中同城数据中心各应用对RTT的要求看，存储的同步复制要求最高，RTT1ms；主数据中心和同城灾备中心通常部署于同一个城市或者距离较近的两个相邻城市，来满足FC存储同城同步复制的RTT小于1毫秒的要求。VAS资源池化需求分析单DC多POD场景，大型企业为每个资源池规划独立的POD，物理上彼此独立，每个POD都是一个L2L7层网络，均部署独立的FW设备。FW资源为POD独占资源，FW资源池化局限在功能分区内，区间资源不可调配，造成了各个资源池对FW等资源使用不均衡和资源浪费的局面，如REF _d0e679 r h图1-6所示。分布式VAS资源池因此，提出了在业务POD外

20、部建设独立的VAS资源池的诉求，对VAS资源池集中管理，各POD共享资源，使资源利用率最大化，如REF _zh-cn_topic_0271090521_fig172008318282 r h图1-7所示。集中式VAS资源池在集中式VAS资源池场景下，不同POD的业务之间互相访问要经过集中VAS资源池进行安全策略控制。集中式VAS资源池的需求参见下表。集中式VAS资源池需求业务诉求备注跨安全域的VPC互通VPC经由集中式VAS互通跨安全域的VPC访问外部网络VPC经由集中式VAS访问外部网络SDN网络需求分析在云化数据中心，网络资源通过虚拟化技术形成资源池，实现业务与物理网络解耦，通过SDN技术

21、实现业务网络的按需自助与自动化部署，支持多租户、弹性扩缩、以及快速部署。在多数据中心场景下，还需要解决业务跨数据中心部署、不同业务系统之间的跨数据中心互通、跨数据中心互通的自动化部署、跨数据中心的业务容灾。同样，在单DC多POD场景也要解决业务跨POD互通及互通的自动化部署。多数据中心的主要诉求参见下表。业务诉求需求分析方案业务跨DC部署大VPC通过跨DC L2/L3互通，业务整体体现为大VPC安全隔离路由隔离FW隔离业务之间的互通VPC互通VPC间跨DC L3互通业务容灾网络级容灾（IP地址不变跨DC容灾）跨DC大二层集中VAS资源池跨安全域的VPC互通VPC过集中式VAS互通跨安全域的VP

22、C访问外部网络VPC过集中式VAS访问外部网络通过SDN实现自动化部署多DC多POD的资源管理iMaster NCE-Fabric+网络虚拟化/云网一体化编排器+业务编排业务编排上述5个诉求具体描述如下：业务跨DC部署：客户某些业务可能是跨DC部署的，比如客户可能会针对某大型网站划一个独立的VPC，这个VPC可能会跨多个DC，所以在这个VPC内部流量就有跨Fabric互通的需求，同时路由和防火墙需要进行隔离。业务之间的互通：客户针对不同的业务会划分不同的VPC，不同VPC可能会部署在不同的DC中，业务之间如果有互通的需求，就要求VPC之间能跨DC进行L3互通（VPC之间互通一般为L3互通，如果

23、需要L2互通则建议将互通的VM划分到同一个VPC中）。业务容灾/多活：业务容灾和多活主要分为两种方式，首先针对比较新的业务系统，客户自己可以通过GSLB的方式进行容灾和多活，具体方式是两个DC同时部署相同的业务，业务相同同时IP地址不同，这样两套系统可以进行容灾处理。这种方式对网络没有什么特别的诉求，但是针对比较旧的一些系统，会要求迁移到容灾中心后，IP地址不能变化，这种情况下，就需要支持跨DC的二层互通。集中VAS资源池：支持跨POD部署集中式VAS资源池，该资源池不属于任何POD、属于统一资源，通过编排器进行统一资源发放。当不同POD的业务VPC要实现互访或者业务VPC要访问外部网络时，就

24、需求支持流量过集中式VAS池进行访问控制安全策略。通过SDN实现自动化部署：客户部署了SDN网络自然是希望实现自动化部署，自动化部署主要分为两步：首先要将跨DC的虚拟化网络编排出来；其次要在各DC中进行实例化。针对跨DC的业务，由编排器统一编排，单DC内的网络则由iMaster NCE-Fabric进行编排。 DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（基于MDC的Multi-Site） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 概述

25、文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 19Multi-Pod和Multi-Site方案选择 HYPERLINK l _ZH-CN_TOPIC_0286378082 o 2.1 Multi-Site方案介绍 HYPERLINK l _ZH-CN_TOPIC_0286378083 o 2.2 Multi-Pod方案介绍 HYPER

26、LINK l _ZH-CN_TOPIC_0286378084 o 2.3 Multi-Pod和Multi-Site对比选择Multi-Site方案介绍Multi-Site简介Multi-Site是指多个iMaster NCE-Fabric管理域之间的互通，从物理位置上，多个Site之间可能位于距离很远的不同地域，也可能位于同一个DC的不同机房，Multi-Site方案最核心的特点是每个Site都是一个独立的端到端VXLAN域。Multi-Site的典型应用场景包括两地三中心（也可以是多地多中心）、边缘DC、大型DC多POD，详见 HYPERLINK l _ZH-CN_TOPIC_0286378

27、072 o 1.2 业务场景。本章重点说明Multi-Site方案是如何实现L3互通的（CloudFabric V100R020C00暂不支持MDC的L2互通，因此Multi-Site方案的L2互通原理不在本文赘述）。Multi-Site L3互通原理如REF _zh-cn_topic_0267259909_fig206491546436 r h图2-1所示是一个Multi-Site的组网，Site之间互访通过Segment（三段式）VXLAN互通实现，即通过在Fabric-GW上配置BGP EVPN作为Overlay的控制面协议，数据面通过VXLAN隧道，将从一侧数据中心收到的VXLAN报文

28、先解封装、然后再重新封装后发送到另一侧数据中心的Fabric-GW。通过Segment VXLAN实现DC间L3互通如REF _zh-cn_topic_0267259909_fig996012319394 r h图2-2所示，为数据中心间的L3互通方案，本章节重点介绍Multi-Site互通的实现原理。Segment VXLAN实现L3互通示意图控制平面：Leaf4将学习到数据中心B中的VMb2的主机IP地址，并将其保存在L3VPN实例路由表中，然后向Leaf3发送BGP EVPN路由。如图所示，Leaf3收到Leaf4发送的BGP EVPN路由后，获取该路由中的主机IP路由，按照VXLAN隧

29、道建立的流程建立到Leaf4的VXLAN隧道，将路由下一跳修改为Leaf3的VTEP地址，然后重新封装，封装上L3VPN实例的三层VNI，源MAC地址为Leaf3的MAC地址，并将重新封装后的BGP EVPN路由信息发送给Leaf2。控制平面示意图Leaf2收到Leaf3发送的BGP EVPN路由后，获取该路由中的主机IP路由，建立到Leaf3之间的VXLAN隧道，将路由下一跳修改为Leaf2的VTEP地址，然后重新封装，封装上L3VPN实例的三层VNI，源MAC地址为Leaf2的MAC地址，并将重新封装后的BGP EVPN路由信息发送给Leaf1。Leaf1收到Leaf2发送的BGP EVP

30、N路由后，建立到Leaf2的VXLAN隧道。数据平面Leaf1收到VMa1访问VMb2的IP报文，检测到目的MAC都是网关接口MAC，终结IP报文，通过VMa1接入BD的BDIF接口找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，进入Leaf1到Leaf2的VXLAN隧道，封装成VXLAN报文通过VXLAN隧道发送到Leaf2。如下图所示，Leaf2收到VXLAN报文后，解析VXLAN报文，通过三层VNI找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，进入Leaf2到Leaf3的VXLAN隧道，重新封装VXLAN报文（三层VNI是Leaf

31、3发送的VMb2主机路由中携带的三层VNI、外层目的MAC是Leaf2发送的VMb2主机路由中携带的MAC）发送给Leaf3。数据平面示意图如上图所示，Leaf3收到VXLAN报文后，解析VXLAN报文，通过三层VNI找到对应的L3VPN实例，并在L3VPN实例的路由表中查找VMb2主机路由，进入Leaf3到Leaf4的VXLAN隧道，重新封装VXLAN报文（三层VNI是Leaf4发送的VMb2主机路由中携带的三层VNI、外层目的MAC是Leaf4发送的VMb2主机路由中携带的MAC）发送给Leaf4。Leaf4收到VXLAN报文后，解析VXLAN报文，通过三层VNI找到对应的L3VPN实例，

32、并在L3VPN实例的路由表中查找VMb2主机路由，根据路由信息转发给VMb2。Multi-Pod方案介绍Multi-Pod方案用于实现多Pod之间业务互通，从物理位置上，多个Pod可以位于同一个DC的不同机房，也可以位于距离较近的不同DC的机房。Multi-Pod的管理域是一套iMaster NCE-Fabric控制器纳管的范围。典型应用场景Multi-Pod的典型应用场景，一是多个Pod在同一个DC内多个Pod形成一个大资源池，二是同城近距两个DC形成一个大资源池，满足主备容灾容灾的诉求，它们的主要区别是部署物理位置的不同。如REF _zh-cn_topic_0268024237_fig42

33、261639281 r h图2-5所示，在大型数据中心，对于一些业规模庞大的资源池，需要跨机房/跨Pod来部署，Multi-Pod方案可以将一个物理DC内多个Pod统一管理，将多个Pod作为一个大二层资源池，以便业务可以随意迁移。同一个物理资源池多Pod部署如REF _zh-cn_topic_0268024237_fig668363915108 r h图2-6所示，Multi-PoD方案将两个物理DC统一管理，构建一个跨DC的大二层，形成一个端到端VXLAN域，提供两个DC间的主备容灾能力。同城多DC场景方案概述华为CloudFabric Multi-PoD解决方案的整体架构如REF _d0e

34、1067 r h图2-7所示。Multi-PoD方案整体架构Multi-PoD方案的整体架构主要分为：业务控制层、基础设施层和转发实现层。业务控制层，主要是SDN控制器，负责控制某个数据中心的网络，以及打通跨数据中心的网络，SDN控制器还对接业务编排器和VMM（Virtual Machine Manager虚拟机管理器），完成计算与网络联动以及跨数据中心的互通。业务编排器负责跨数据中心的业务编排，VMM负责虚拟机的生命周期管理。基础设施层，主要是物理网络和逻辑网络，数据中心内的物理网络是Spine-Leaf架构的组网，多个数据中心通过骨干网连接；逻辑网络是通过网络虚拟化和VXLAN技术、基于业

35、务按需构建的连接虚拟机的虚拟网络。转发实现层，主要是通过VXLAN网络连接数据中心内的虚拟机，以及连接数据中心间的虚拟机，BGP-EVPN作为VXLAN的控制面。对于使用者来说，主要看到业务控制层，根据业务的需要，将业务网络划分成多个VPC，通过编排器编排VPC，通过控制器在不同数据中心发放VPC的逻辑网络。Multi-Pod和Multi-Site对比选择Multi-Pod和Multi-Site的对比分析参见下表。Multi-Pod和Multi-Site对比分析特性细化特性Multi-PodMulti-Site对比分析管理规模&距离管理域一套控制器：iMaster NCE-Fabric主备集群

36、多套独立的控制器+MDC主备集群多套独立控制器，解耦网络规模多个DC/Pod，重点应用是2个受集群拉远规格限制，拉远Leaf数量总和128对多个Site，最大支持32个Domain控制器Multi-Site管理规模大，占优覆盖距离控制器拉远RTT50ms，距离近MDC和domain控制器RTT3时，建议部署MDC主备集群独立部署当Domain控制器数量 Fabric1的Fabric GW A Fabric2的Fabric GW B Fabric2的Service Leaf B的转发路径。Service Leaf B收到VXLAN数据报文，根据VNI查找对应的VPN实例，在VPN实例中匹配到目的

37、网段进行VXLAN隧道终结，将解封装后的IP报文转发到防火墙FW B，防火墙经过安全策略访问控制后，查找路由表将IP报文重新转发至Service Leaf B。Service Leaf B在查找VM2的主机路由，并通过VXLAN互联隧道转发至Leaf B。Leaf B查找路由表匹配到本地的主机路由，进行VXLAN隧道终结将流量转发至VM2。反方向subnet2访问subnet1的流量转发过程与此类似，这里不再赘述。VPC访问外部网络针对南北向流量互访场景，MDC支持业务VPC访问外部网络，外部网络包括专线、公有云或者Internet。根据业务VPC访问外网安全访问策略的不同，可分为：不跨安全域

38、的VPC访问外网、跨安全域VPC访问外部网络，均可通过MDC控制器灵活编排。本章节介绍不跨安全域的VPC访问外部网络。逻辑模型如REF _fig8655132561017 r h图4-11所示，为一个业务VPC访问专线的逻辑模型举例（访问Internet、公有云的逻辑模型与此相同）。VPC访问外部网络逻辑模型LogicRouter1属于业务VPC1，VPC1部署在Fabric1，专线接入的Border Leaf部署在Fabric2，通过MDC实现LogicRouter1和外部专线互通，业务编排如下：通过Domain控制器业务发放，发放租户的LogicRouter1，MDC上收Domain控制器

39、发放的LogicRouter1；MDC创建Transit VPC，指定Transit VPC所属的Transit Fabric；MDC在Transit VPC视图下创建TransitRouter，指定租户VPC可以访问哪些外部网段ExternalCidr；TransitRouter关联要互通的逻辑路由器LogicRouter1，基于专线接入的Border Leaf及物理端口设置外部接入点，设置接入VLAN、接口IP（专线接入的网关），以及外部网络和专线之间跑的路由协议，路由协议支持静态路由或BGP路由。流量转发如REF _fig16789132919913 r h图4-12所示，我们以Outb

40、ound流量为例，简述流量转发过程：VPC访问外部网络转发流程VM1发送ARP/ND Request请求本网段网关的MAC地址。Leaf A收到ARP/ND Request，向VM1应答网关的ARP/ND Reply。VM1向专线IP发送首个数据报文。Leaf A收到首个数据报文后，查找路由表匹配到目的网段ExternalCidr的路由，下一跳VTEP IP为Fabric GW A，随后将报文发送至Fabric GW A。Leaf A和Fabric GW A之间通过Fabric内部的VXLAN Overlay隧道进行互联。Fabric GW A收到VXLAN报文后，根据VNI查找对应的VPN实

41、例，查找路由表匹配目的网段ExternalCidr的路由，下一跳VTEP IP为Fabric GW B，进入Fabric之间的VXLAN隧道，重新封装VXLAN报文转发至Fabric GW B。类似地，Fabric GW B收到VXLAN报文后，根据路由查找重新封装，通过Fabric内部的VXLAN隧道将报文转至Border Leaf。Border Leaf收到VXLAN报文后，根据VNI查找对应的VPN实例，在VPN实例中根据路由查找，下一跳为CPE地址，将VXLAN报文解封装转发至CPE设备，最终由CPE将报文转发离开数据中心。Border Leaf和CPE之间为IP报文转发，采用VRF

42、handoff方式对接。MDC方案不支持CPE设备上的业务自动化发放。如果租户VPC所属Fabric的Border Leaf直接连接外部网络场景，建议在Domain控制器上直接部署，MDC主要解决跨Fabric互通场景。跨安全域VPC访问外部网络逻辑模型如REF _fig171911334191218 r h图4-13所示，为业务VPC访问公有云的逻辑模型举例（访问Internet、专线的逻辑模型与此相同）。VPC过墙访问外部网络逻辑模型LogicRouter1属于业务VPC1，VPC1部署在Fabric1，公有云接入的Border Leaf部署在Fabric2，通过MDC实现LogicRou

43、ter1过墙和外部网络互通，业务编排如下：通过Domain控制器业务发放，发放租户的LogicRouter1和LogicVAS1，MDC上收Domain控制器发放的LogicRouter1和LogicVAS1；MDC创建Transit VPC，指定Transit VPC所属的Transit Fabric；MDC在Transit VPC视图下创建TransitRouter，指定租户VPC可以访问哪些外部网段ExternalCidr；TransitRouter关联要互通的逻辑路由器LogicRouter1并指定经过的LogicVAS1，基于公有云接入的Border Leaf及物理端口设置外部接入点

44、，配置接入VLAN、接口IP（公有云接入的网关），以及外部网络接入点和公有云之间跑的路由协议，支持静态路由和BGP路由。流量转发如REF _fig116314292268 r h图4-14所示，我们以Outbound流量为例，简述流量转发过程（流量在FW前后截断分为两段）：VPC过墙访问外部网络转发过程VM1发送ARP/ND Request请求本网段网关的MAC地址。Leaf A收到ARP/ND Request，向VM1应答网关的ARP/ND Reply。VM1向公有云IP发送首个数据报文。Leaf A收到首个数据报文后，查找路由表匹配到目的网段ExternalCidr的路由，下一跳VTEP

45、IP为Service Leaf A，随后将报文发送至Service Leaf A。Leaf A和Service Leaf A之间通过Fabric内部的VXLAN Overlay隧道进行互联。Service Leaf收到VXLAN数据报文，根据VNI查找对应的VPN实例，匹配目的网段转发到防火墙FW A，由于防火墙与Service Leaf间通过VLAN互联，所以报文将以普通以太网IP报文的形式进行转发，防火墙经过安全策略访问控制后，查找路由表将IP报文重新转发至Service Leaf A。Service Leaf收到IP报文后，根据VNI查找对应的VPN实例，查找路由表匹配目的网段Exter

46、nalCidr的路由，下一跳VTEP IP为Fabric GW A，通过VXLAN互联隧道将报文转至Fabric GW A。通过如图所示三段式VLAN隧道转发，实现了流量从Fabric1的Service Leaf Fabric1的Fabric GW A Fabric2的Fabric GW B Fabric2的Border Leaf的转发路径。Border Leaf收到VXLAN报文后，根据VNI查找对应的VPN实例，在VPN实例中根据路由查找，下一跳为CPE地址，将VXLAN报文解封装转发至CPE设备，最终由CPE将报文转发离开数据中心。Border Leaf和CPE之间为IP报文转发，采用V

47、RF handoff方式对接。MDC方案不支持CPE设备上的业务自动化发放。如果租户VPC所属Fabric的Border Leaf直接连接外部网络场景，建议在Domain控制器上直接部署，MDC主要解决跨Fabric互通场景。跨安全域VPC互通（集中式VAS）集中式VAS池场景，根据业务VPC访问对象所在位置的不同，可分为：跨安全域的VPC互通（东西向）、跨安全域VPC互通外网（南北向），本章节对VPC过集中VAS池东西向互通场景进行介绍。逻辑模型如图REF _fig262111383417 r h图4-15所示，为一个业务VPC跨集中式VAS互通的逻辑模型举例。业务VPC过集中式VAS互通逻

48、辑模型LogicRouter1属于业务VPC1，LogicRouter2属于业务VPC2，业务VPC1和VPC2部署在不同的Fabric，集中式VAS池部署在独立的Fabric，通过MDC实现LogicRouter1和LogicRouter2过集中式VAS池互通，业务编排如下：首先通过Domain控制器业务发放，发放租户的LogicRouter1和LogicRouter2，MDC上收Domain控制器发放的LogicRouter1和LogicRouter2；MDC创建Transit VPC1，指定Transit VPC1所属的Transit Fabric，在Transit VPC1视图下创建T

49、ransitRouter1，关联一个或多个LogicRouter，本例中关联LogicRouter1，指定互通子网subnet1；MDC创建Transit VPC2，指定Transit VPC2所属的Transit Fabric，在Transit VPC2视图下创建TransitRouter2，关联一个或多个LogicRouter，本例中关联LogicRouter2，指定互通子网subnet2；MDC上收集中VAS资源池，将TransitRouter1关联TransitRouter2，并指定经过集中VAS池的LogicVAS1互通。流量转发以subnet1访问subnet2为例说明流量转发过程

50、，如REF _fig179425942014 r h图4-10所示，整个其过程简述如下：VPC过集中VAS互通转发过程VM1发送ARP/ND Request请求本网段网关的MAC地址。Leaf A收到ARP/ND Request，向VM1应答网关的ARP/ND Reply。VM1向VM2发送首个数据报文。Leaf A收到首个数据报文后，查找路由表匹配到目的网段subnet2的路由，下一跳VTEP IP为Fabric GW A，随后将报文发送至Fabric GW A。Leaf A和Fabric GW A之间通过Fabric内部的VXLAN Overlay隧道进行互联。通过如图所示三段式VLAN隧

51、道转发，实现了流量从Fabric1的Leaf A Fabric1的Fabric GW A VAS Fabric的Fabric GW BVAS Fabric的Service Leaf的转发路径。Service Leaf收到VXLAN数据报文，根据VNI查找对应的VPN实例，匹配目的网段转发到防火墙FW，由于防火墙与Service Leaf间通过VLAN互联，所以报文将以普通以太网IP报文的形式进行转发，防火墙经过安全策略访问控制后，查找路由表将IP报文重新转发至Service Leaf。Service Leaf收到IP报文后，匹配目的网段subnet2的路由，下一跳VTEP IP为Fabric

52、GW B，通过VXLAN互联隧道将报文转至Fabric GW B。通过如图所示三段式VLAN隧道转发，实现了流量从VAS Fabric的Service Leaf VAS Fabric的Fabric GW B Fabric2的Fabric GW C Fabric2的Leaf B的转发路径。Leaf B查找路由表匹配到本地的主机路由，进行VXLAN隧道终结将流量转发至VM2。在整个转发过程，流量在FW的位置被截断为两个三段式VXLAN。反方向subnet2访问subnet1的流量转发过程与此类似，这里不再赘述。跨安全域VPC访问外部网络（集中式VAS）MDC支持业务VPC跨集中式VAS池访问外部网

53、络，外部网络包括专线、公有云或者Internet。逻辑模型如REF _fig146414583217 r h图4-17所示，为一个业务VPC跨集中式VAS访问外部网络的逻辑模型举例。VPC过集中式VAS访问外部网络逻辑模型LogicRouter1属于业务VPC1，VPC1部署在Fabric1，公有云接入的Border Leaf部署在Fabric2，集中式VAS池部署在独立的Fabric，通过MDC实现LogicRouter1过集中式VAS池和外部网络互通，业务编排如下：首先通过Domain控制器业务发放，发放租户的LogicRouter1，MDC上收Domain控制器发放的LogicRoute

54、r1；MDC创建Transit VPC1，指定Transit VPC1所属的Transit Fabric，在Transit VPC1视图下创建TransitRouter1，关联一个或多个租户LogicRouter，本例中关联LogicRouter1，互通子网为subnet1；指定租户可以访问哪些外部网段ExternalCidr；MDC创建Transit VPC2，指定Transit VPC2所属的Transit Fabric，在Transit VPC2视图下创建TransitRouter2；指定专线接入的Border Leaf及物理端口，设置接入信息，包括接入VLAN、接口IP；设置Borde

55、r Leaf和外部CPE设备之间跑的路由协议，路由协议支持静态路由或BGP动态路由。MDC上收集中VAS资源池，将TransitRouter1关联TransitRouter2，并指定经过集中VAS池的LogicVAS1互通。流量转发如REF _fig514493432511 r h图4-18所示，我们以Outbound流量为例，简述流量转发过程（流量在FW前后截断分为两段）：VPC过集中式VAS访问外部网络转发过程VM1发送ARP/ND Request请求本网段网关的MAC地址。Leaf A收到ARP/ND Request，向VM1应答网关的ARP/ND Reply。VM1向公有云IP发送首个

56、数据报文。Leaf A收到首个数据报文后，查找路由表匹配到目的网段ExternalCid的路由，下一跳VTEP IP为Fabric GW A，随后将报文发送至Fabric GW A。Leaf A和Fabric GW A之间通过Fabric内部的VXLAN Overlay隧道进行互联。通过如图所示三段式VLAN隧道转发，实现了流量从Fabric1的Leaf A Fabric1的Fabric GW A VAS Fabric的Fabric GW BVAS Fabric的Service Leaf的转发路径。Service Leaf收到VXLAN数据报文，根据VNI查找对应的VPN实例，匹配目的网段转发

57、到防火墙FW，由于防火墙与Service Leaf间通过VLAN互联，所以报文将被解封装以普通以太网IP报文的形式进行转发，防火墙经过安全策略访问控制后，查找路由表将IP报文重新转发至Service Leaf。Service Leaf收到IP报文后，匹配目的网段ExternalCidr的路由，下一跳VTEP IP为Fabric GW B，通过VXLAN互联隧道将报文转至Fabric GW B。类似地，通过如图所示三段式VLAN隧道转发，实现了流量从VAS Fabric的Service Leaf VAS Fabric的Fabric GW B 出口Fabric的Fabric GW C 出口Fabr

58、ic的Border Leaf的转发路径。Border Leaf收到VXLAN报文后，根据VNI查找对应的VPN实例，在VPN实例中根据路由查找，下一跳为CPE地址，将VXLAN报文解封装转发至CPE设备，最终由CPE将报文转发离开数据中心。Border Leaf和CPE之间为IP报文转发，采用VRF handoff方式对接。MDC方案不支持CPE设备上的业务自动化发放。如果租户VPC所属Fabric的Border Leaf直接连接外部网络场景，建议在Domain控制器上直接部署，MDC主要解决跨Fabric互通场景。 DOCPROPERTY Product&Project NameCloudF

59、abric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（基于MDC的Multi-Site） STYLEREF Appendix heading 1 n * MERGEFORMAT Error! No text of specified style in document. STYLEREF Appendix heading 1 Error! No text of specified style in document. DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY Docu

60、mentName 设计指南（基于MDC的Multi-Site） STYLEREF Appendix heading 1 n * MERGEFORMAT Error! No text of specified style in document. STYLEREF Appendix heading 1 Error! No text of specified style in document.部署推荐 HYPERLINK l _ZH-CN_TOPIC_0286378091 o 5.1 多DC场景方案设计 HYPERLINK l _ZH-CN_TOPIC_0286378094 o 5.2 边缘DC