分布式Network Overlay网络架构设计指南

1、分布式Network Overlay网络架构设计指南技术创新，变革未来Overlay网络概述Overlay网络定义：通过在现有物理承载网络(underlay网络)上定义一个的逻辑网络，数据中心网络通常采用VXLAN EVPN实现Overlay网络。Overlay网络特点：具有和underlay网络相独立的转发平面和控制协议。对于连接在NVE之外的设备(Server、VAS、外部路由器)来说，underlay物理网络是透明的。Overlay边缘设备Overlay边缘设备主机主机主机数据平面Payload封装Overlay控制平面Overlay网络（逻辑网络）Underlay网络（物理网络）承载网

2、络控制平面集中式Network Overlay和分布式Network Overlay概念示意图Host Overlay概念示意Hybrid Overlay概念示意Underlay网络Overlay网络Overlay网络架构LeafBLSpineLeafPELANBLWANServerNVEL3 GWRRRR控制面：BGP EVPN转发面：VXLANiMaster NCE-FabricVMVMVMVSwitchVMVMVMVMSR-IOVVMLeafBLSpineLeafPELANBLWANServerNVEL3 GWNVEL3 GWNVEL3 GWOSPF云管平台控制器、VMMBM、VM 、P

3、M云平台、容器平台、分析器Fabric计算层网络层控制层应用层控制器、VMMBM、VM 、PM云平台、容器平台、分析器Fabric计算层网络层控制层应用层控制器、VMMBM、VM 、PM云平台、容器平台、分析器Fabric计算层网络层控制层应用层Overlay网络组网Border LeafSpine虚拟化服务器 裸金属 物理服务器防火墙负载均衡器出口PE出口PENVEL3 GWNVEL3 GWNVEL3 GWVXLANSR-IOVService LeafServer LeafSpineOverlay接入SpineSpineTORLeafTORLeafTORLeafBorderLeafSwitc

4、hvSwitchPMSR-IOVEdgeBMvSwitchSR-IOVNVE网关VMVMVMVMPODPODPODPODInternetLANVAS容器虚拟机物理机裸金属出口网络业务模型VPC1VPC2VMvRroute1vRoute2Internet公共外部网络公共服务1私有外部网络专线1私有外部网络公共服务n私有外部网络专线n私有外部网络专线网络必须SNAT/EIP必须EIP不做SNAT/EIPInternet网络VPC1VPC2vRoute1vRoute2Internet公共外部网络私网1私有外部网络私网n私有外部网络私有网络SNAT/EIP可选Internet网络控制器二次编排实现控制

5、器二次编排实现云网一体化FSP场景：一个VPC同时支持一个internet公共外部网络和多个公共服务外部网络和一个专线外部网络多个专线外部网络通过AC二次编排实现（虚线所示）internet公共外部网络，必须SNAT/EIP，不支持DNAT公共服务外部网络，必须EIP专线外部网络不做SNAT/EIP云网一体化开源第三方OPS场景：一个VPC只支持一个外部网络，外部网络类型是公共类型或者私有类型一个VPC需要关联多个外部网络时通过AC二次编排实现，一个VPC同时只有一个公共外部网络和多个私有外部网络云网一体化场景，不支持同一VPC的不同外部网络部分过墙部分不过墙公共服务网络VMVMVMVMVMV

6、MVM出口网络业务模型网络虚拟化：一个VPC同时支持一个公共外部网络和多个私有外部网络VPC1VPC2vRoute1vRoute2Internet公共外部网络私网1私有外部网络私网n私有外部网络私有网络SNAT/EIP可选Internet网络VMVMVMVMOverlay网络架构 Border Leaf扩展VRF1DVRBD1Server LeafextVRF1DVRVRF1BorderLeafextVRF1DVRVRF1BorderLeafextVRF1DVRVRF1BorderLeafextVRF1DVRVRF1BorderLeafPEPEPEPEVRF1DVRBD1Server Leaf

7、extVRF1DVRVRF1extVRF1DVRVRF1extVRF1DVRVRF2extVRF1DVRVRF2PEPEPEPEVRF1DVRBD1Server LeafextVRF1DVRVRF1extVRF1DVRVRF1extVRF2DVRVRF1extVRF2DVRVRF1PEPEPEPEVRF2DVRBD2InternetIntranetInternetInternetInternetInternet场景一：现有VPC出口带宽不够场景二：大量VPC业务导致现有BorderLeaf规格不足场景三：一个VPC有多个出口方案：新增Border Leaf设备组，将VPC流量通过ECMP负载分

8、担到多组BL，增加VPC的出口带宽方案：新增Border Leaf设备组，不同的VPC业务从不同BL走，提升整体数据中心的VPC规格方案：一个VPC绑定两个外部网络，每个外部网络绑定到不同的BL（如一个连公网，一个连私网）BorderLeafBorderLeafBorderLeafBorderLeafBorderLeafBorderLeafBorderLeafBorderLeaf 虚拟网络部署 网络业务编排 网络服务抽象Overlay网络业务模型业务模型逻辑网络物理网络WEB1APP1DB1策略1策略2WEB2APP2DB2策略3策略4APP1APP2逻辑网络1逻辑网络2123Overlay网

9、络业务模型TenantWeb-vpcApp-vpcDB-vpcLogic Router-1Logic Router-3Logic Router-3Logic Switch-1Logic Switch-2Logic Switch-3Logic Switch-4EPEPEPEPEGP控制器逻辑模型业务模型示例每个子网对应一个Logic SwitchServiceSystemWebAppDBWeb-subnet-1App-subnet-1DB-Subnet-1DB-Subnet-2VMVMVMVMServiceSystemWeb-subnet-1App-subnet-1DB-Subnet-1DB-S

10、ubnet-2Logic Router-1Logic Router-3Logic Router-3Logic Switch-1Logic Switch-2Logic Switch-3Logic Switch-4LPLPLPLPOverlay网络业务模型Logical modelLogic RouterLogic PortLogic RouterLogic SFBGP EVPNVXLANVRF1VRF1BDBDVTEPVTEPVM/BMExternal networkExternal VRFVTEPVRF1Server LeafServer LeafExternal-VSysFW多个租户VPC共

11、享该外部网关Border leaf & Service leafSubnetLogic PortSubIfPhysical modelVSys1VM/BMLogic SwitchEndPortSubIfBDIFBDIFExternal networkExternal GatewayOverlay网络业务模型-VPC内互通 Server Leaf1VRF1DVRBD1VM/BM物理模型BD2VM/BM192.168.1.1/24192.168.2.1/24 Server Leaf2VRF1DVRBD1BD2Logic RouterLogic Port1Logic Switch1Logic Por

12、t3Logic Switch2Logic Port2Logic Port4逻辑模型EndPortEndPortEndPortEndPort Border LeafVRF1DVR12VM/BMVM/BM192.168.1.2/24192.168.2.2/24BGP EVPN11122Overlay网络业务模型-南北向流量过墙VPC1Logic RouterLogic PortLogic Switch 1Logic PortLogic Switch nLogic PortLogic Port过墙场景EndPortEndPortEndPortEndPortLogic SF外部网络VPC1Logic

13、RouterLogic PortLogic Switch 1Logic PortLogic Switch nLogic PortLogic Port不过墙场景EndPortEndPortEndPortEndPort外部网络Overlay网络业务模型-南北向流量 extVRFVRF1VRF1BD1ExtVSysVSys1 extVRFPEServerServer LeafService LeafFWBorder Leaf extVRFVRF1VRF1BD1ExtVSysVSys1PEServerServer LeafFWBorder leaf& Service Leaf extVRFVRF1VR

14、F1BD1PEServerServer LeafBorder LeafBorder Leaf和Service Leaf分设，过FWBorder Leaf和Service Leaf合设，过FW不过FW外部网络 10.0.0.0/8Server网段 10.1.1.0/24外部网络 10.0.0.0/8Server网段 10.1.1.0/24外部网络 10.0.0.0/8Server网段 10.1.1.0/24静态路由静态路由静态路由静态路由静态路由Overlay网络业务模型-VPC互访VPC 1Logic RouterLogic FWVPC 2Logic Router逻辑模型物理模型 FWVRF2

15、VRF1VRF2静态路由静态路由静态路由VSys2VSys1VRF1Server LeafServer LeafBorder Leaf&Service Leaf租户VPC2Server网段 10.1.2.0/24租户VPC1Server网段 10.1.1.0/24Logic Switch2Logic Switch11233Overlay网络业务模型-VPC互访VRF1VRF2VRF1VRF2租户VPC2Server网段 10.1.2.0/24租户VPC 1Server网段 10.1.1.0/24VPC 1Logic RouterVPC 2Logic Router逻辑模型Logic Switch

16、2Logic Switch1物理模型1233ServerLeafBorder LeafServer LeafOverlay网络业务模型-VPC互访VPC 1Logic RouterFWVPC 2Logic RouterVPC 3Logic Router FW SL SLSVLVRF1VRF2VRF1VRF2VSys1VSys2 SL SL BLVRF1VRF3VRF1VRF3逻辑模型物理模型VPC 1Logic Router物理模型逻辑模型VPC 1Logic RouterFWVPC 2Logic Router逻辑模型物理模型 SL FW1 SL SVL1BL2VRF1互通VRFVRF1VRF

17、2VSys1VRF2互通VRFOverlay网络控制面 单POD EVPN部署方案Server LeafService LeafSpineiBGP EVPNRRRRBorder LeafAS65001Overlay网络控制面 多POD EVPN部署方案iBGP EVPNAS65001SpineRR出口POD2SpineRR出口POD1Overlay网络控制面 多POD EVPN部署方案iBGP EVPNSpineRR出口POD2SpineRR出口POD1eBGP EVPNiBGP EVPN AS65001iBGP EVPN AS65002Overlay网络控制面 多POD EVPN部署方案AS

18、1RRAS1RRRRAS1RRRR单AS，单级RR单AS，层次化RR多AS，RR之间建EBGP邻居AS2EBGP邻居IBGP邻居部署方案单AS，单级RR单AS，层级化RR多AS，RR之间部署EBGP邻居优点配置简单，BGP只有一个层次。配置简单，RR的Peer少。每个DC有独立的RR，可靠性好。每个DC有独立的RR，可靠性好。缺点RR的Peer太多。跨POD RR反射，时延可能稍大。一个POD故障后，另一个POD存在RR单点故障风险。部署4个RR则会增加leaf的内存和计算开销。NA配置稍复杂，需要配置多个AS。配置IBGP/EBGP路由传递下一跳不变。123优选Overlay网络转发面 IPv4单播流量模型 ：VPC内部同子网流量，直接由Leaf节点完成二层转发和VXLA