NSX-T Multisite灾备与双活数据中心解决方案

1、NSX-T Multisite灾备与双活数据中心解决方案4 建设双数据中心的方法5双活中心的物理架构模型物理架构的搭建是第一步内网用户端仲裁点的选择数据中心一数据中心二FW6双活项目需要考虑的方面应用双活方案，非常庞大， 层次很多。这里仅简单地从 infrastructure这个层面来 讨论主要分为： 网络层应用层（计算，VM等），负 载均衡数据库层， 每家DB都有相应 方案和要求存储（data）层： RAID，磁 盘同步等方案7业务（应用）的布放模式从某一个业务的角度来分析一个业务或者具有强耦合的一组业务需要考虑以下两种模式，以满足最终用户的商业要求8B/S应用的访问路径与关系特点：图中的c

2、lient 是internet用户，还是内网用户；作为用户， 他们以什么样的方式来访问web层（例如电信用户走电信，联 通用户走联通线路，复杂的商业要求）；内网用户希望如何访 问等B/S 应用，通常分为web、app、DB 三层架构B/S 应用需要domain name （DNS)来相互访问，name的访问存 在在各层互访中，例如web 以name来访问app server每一个层次的访问，都有选择DC A 和DC B的可能；IT系统运维 必须对每一个应用做出明确的指示，在每一层该如何选择由于访问路径的复杂和多样，我们需要有一定的限制，但又要 保持一定的灵活性； 同时DC间的距离和DC间互访，

3、可能会导致 的通讯成本和应用性能下降。这些因素综合考量，达到一个较 好的平衡假设这些服务器除DB外，都以VMware VM的形式存在9每层都有ADC LB帮助均衡负载可能的情况Intranet/InternetADCWEBWEBWEBADCAPPAPPAPPADC数据中心(一)RouterRouterGTMGTMADCWEBWEBADCAPPAPPAPPADC数据中心(二)流量引导ORACLE RACORACLE RACiSession/EoIP/OTV/IPSEC展示层WEBiSession/EoIP/OTV/IPSEC应用层WOM/EoIP/OTV/IPSEC数据库10C/S应用的访问路径

4、与关系特点：图中的client 是internet用户，还是内网用户C/S 应用，通常分为 app、DB 两层架构C/S 应用直接使用IP来相互访问， 如果app server是一组机器（cluster），也需要SLB来分配请求同样app server，会去调用一些依赖接口，以及DB假设这些服务器除DB外，都以VMware VM的形式存在11汇总以上各方面问题的答案，是设计双活数据中心的基础以下以VMware产品和解决方案，来探讨一下网络部分（包括LB） 用户情况和用户期望的汇总（举例）：双中心路程距离10KM，网络设备已有，VM有300台，DB为物理机IBM DB2使用IBM AIX的HA（

5、主 备模式）用户client端全在内网中，用户希望各个院区的client都尽量访问本院区的应用资源（相同的 业务会在两个DC同时存在）。DB层只有主院区为active，其他为standby应用间调用尽量不要跨DC间（DCI）线路业务系统C/S和B/S均有用户情况的汇总找出1-2个CS和BS应用进行研究，做POC或其他技术跟进等12网络角度的常用三种DR方法LB和网络系统要相互合作LB流量引导的模式GTM根据地理位置或网络距离智能选择优点：可以灵活分配，用户体验好缺点：故障切换有一定延迟，应用必须支持DNS访问RHI静态路由注入+动态路由模式优点：使用路由调整方式，切换速度快，应用无需支持DNS

6、缺点：只能支持主备模式，不能同时使用N+M冗余模式 （F5 和AVI支持）（跨站点的cluster），FW也有类似方式优点：切换迅速，应用无需支持DNS缺点：对外有两个或者两个以上入口，需要人工分配，必须要有二层打通支持双活方案就是灵活运用这几种模型，来满足用户现实场景和需要13NSX-T Multisite14方式1-NSX-T 2.5 Multisite法NSX-T系统图vCenter ComputevCenter ComputeSSBGPT0 GWSSSS1Arm LBLB Server PoolT1 GWDataplane Blue trafficCompute can be exte

7、nded between Sites ANDPrimary Site Active for North/South Blue AppsSSLB Server PoolNSX-TManager Cluster蓝色系统网络和网段上的VM，以DC1为主， DC2为备15方式1-NSX-T 2.5 Multisite法Active/Active Use CaseSecondary SitevCenterComputeNSX-TManager ClustervCenter ComputePrimary SiteSSSSSSLB Server PoolT0 GWBGPT1 GW1Arm LBDatapla

8、ne Green trafficCompute can be extended between Sites ANDSecondary Site Active for North/South Green AppsSSLB Server Pool绿色系统网络和网段上的VM，以DC2为主， DC1为备16方式1-故障切换示意动画T1-ServiRTT1-DistRTVM3VM2VM1VM3VM2VM1LS2 10.1.2.0/24LS1 10.1.1.0/24T1-stdalone-LBLS-VLAN999- 10.1.2.0/24VM4LS-VLAN999VM4LS-VLAN998 10.1.3.

9、0/24VM5LS-VLAN998VM5L2BridgeData Plane Recovery - LabT1-CSPT0-Lab3网络切换后， SRM进行VM恢复17深蓝色的T0/T1，seg网段，和网段上的VM，可以提供所有应用服务，主要用于院区1用户的业 务处理绿色的T0/T1，seg网段，和网段上的VM，可以提供所有应用服务，主要用于院区2用户的业务 处理两套系统从VM的角度是完全一样的，独立的两套（不包括物理机DB）当NSX-T T0/T1系统发生故障，会向并外的DC自动迁移（或者说当故障后，对端的各种网络 router，service会激活为active）接下来，利用SRM，进行V

10、M的恢复用户访问流量由于BGP路由更新，会从切换后的DC进入（紫色箭头）NSX-T 2.5 Multisite 解释灾备与双活数据中心NSX-T Multisite第二部分19T1 GWT1 GW20.1.1.0/2420.1.2.0/24VM.11VM.12VM.13VM.14VM.15VM.16SLB SLBuser1 170.1.1.0/24gslbgslbL3L3L3L3Core sw集团骨干网user2Layer2 DCIBackup DBT0 GWNSXT系active DB 统T0 GW整体拓扑VMVM110.1.1.0/24202.用户1访问DC1的SLBweb-app-db；

11、用户2访问DC2的SLB-web-app-db, db在DC1，需要DCI支持正常状态分析C/S和B/SL3 router与集团骨干动态路由，ospf/bgp/eigrpSLB应发RHI host route（VS) NSXT与core sw 建立BGPSLB ，FW 可以使用N+M或cross DC cluster特性 DB为物理机，直连在core sw上Core sw之间有DCI互联链路，详细见P25-26 B/SUser1=院区一用户，user2=院区二用户DNS阶段：GSLB通过LDNS判断从哪个院区来的用户，返回相应DC的VIP用户1访问DC1的SLBweb-app-db；用户2访问

12、DC2的SLB-web-app-db, db在DC1，需要DCI支持 C/S应用（经过SLB或不经过SLB）1.User1 的C/S应用主用指向DC1的IP地址；User2主用指向DC2的IP地址 （人工分配的过程）21故障分析221.出口线路sw（图中未画出），L3router，SLB，FW单机故障或相关link fault，会导致路由，STP 重收敛（速度很快1s以下）硬件设备的主备切换，一般3秒即可完成。SLB和FW等session都有保持， 前端用户无任何感知双机均故障的情况B/S应用（no N+M）：出口L3router全故障，DC2 gslb会判断DC1的slb的VS全部失效，更改

13、dns条 目，新连接会到DC2的VIP处理；老的连接（dns cache）会timeout ，重连，内网用户会60秒或几 分钟中断；SLB双故障，同样C/S应用和B/S（在SLB N+M模式，或者是SLB RHI模式）：实际就是一个动态路由切换过程。当双L3或双SLB故障，DC1的路由全消失，DC2的SLB的high cost RHI for VIPs会生效，相关的 subnet网段的high cost routes也会生效，结果就是用户的流量会吸到DC2去。（详请看NOTE）因此SLB是应用发布和切换的比较关键的点DC出口部分故障分析23Core sw故障，sw有VSS，VPC，istack

14、等二虚一的技术，当一台设备发生故障，无影响，请分 别参考相关文档对各种故障的讨论。对于esxi服务器和其他物理服务器来说，物理连线一般为双上联，无影响。VLAN GW一般配置 为FHRP（hsrp，vrrp),也不会有影响。DB server故障，由于DB cluster的相关VLAN是通过DCI直接连接起来的，因此DB可切换到DC2， 其他不变。两台core-sw同时故障，会比较复杂，一方面要引导流量到DC2，通过GSLB，SLB，RHI动态路由 等，并外要求SLB的VS尽快指向绿色的server pool；同时DB会出现split brain故障情况。请 参考DCI中断故障分析页DCI的设

15、计请参考backup slides，方法有很多种，选择适合自己的DC core sw故障分析24NSXT系统故障，单独T0、T1故障会切换到DC2，会有DCI流量，如果同时故障，如前图所示，会 全部切换到DC2.此时流量为core sw-DC2core-sw-T0-T1- （DCI)- VMs， 也就是迂回了两次。 用户业务无影响。（NSXT manager故障，请参考恢复过程，不影响业务流量）如果一个VS的server pool的所有VM全down，SLB会检查到，会使用low priority server pool 去继续处理业务，例如这个pool可以为DC2 的绿颜色的serer po

16、ol。Core-sw 以下 NSX-T 系统内故障25如一个DC整体故障，蓝颜色server pool消失，如使用N+M模式SLB，SLB的VIP会切换对应到备用机组（绿色server pool）；如非N+M，可以使用RHI发布相同VIP的VS，但是是high cost route，平时这个VIP的 VS没有流量；故障后，才接受流量。所有流量，都会被发到DC2去。接下来的行动为SRM 恢复蓝色的VM，恢复后，会重新编组在SLB server pool内B/S业务，可以使用gslb来切换，但需要dns cache timeout（60秒到几分钟内网用户）DC整体故障26DCI故障，是最复杂的故障

17、（可能需要仲裁点）DB会走split brain流程，假如流程最终会lock住一边，那么也就是50%的用户服务将中断SLB，FW的cross DC cluster会split brain，这些cluster可能会处理混乱，要看各厂家设备 实现；如果不采用cross DC cluster，应无影响NSX-T系统heartbeat检测，如果能从集团骨干网L3绕行成功的话，状态无改变。如失败，也会 split brain。理论上split brain后，不会对两个DC造成影响DCI中断Split brain27技术关键点SLB 的功能 N+Mcross DC mode, RHI 路由插入功能，OSP

18、F或BGP插入支持GSLB对B/S业务的支持， B/S业务相对恢复比较简单。两个DC 的路由规划NSX-T 的切换并一种方式是FEDERATION解决方案，请参考相关session28Multisite 10ms下的管理与数据平 面的自动恢复29Cluster-EdgeFailure Domain FD-2Failure Domain FD-1Cluster ComputeCompute ClusterAutomatic Recovery Mgt PlaneValidation Before Site Failure - LabPrimary SiteSecondary SitePrimary

19、 Mgr 192.168.50.5VLAN Stretched ManagementvCenter Compute and ManagementESXi3ESXi4vCenter ComputeESXi1ESXi2192.168.50.21+22192.168.60.21+22Cluster ManagementESXi-Mgt1ESXi-Mgt2192.168.50.11+12ESXi-Mgt3192.168.50.21+22Lab3-Edge1Lab3DR-Edge2Registration withMgr IP(DNS name not required)vSphere-HA for N

20、SX-T Managers1Check vSphere-HA2Check Edge Nodes are in both location, and automatic T0/T1 active/standby placement30Automatic Recovery Mgt PlaneManagement Plane Recovery - LabSecondary SitevSphere-HAVLAN Stretched ManagementvCenter ComputeESXi3ESXi4192.168.60.21+22ESXi-Mgt3192.168.50.21+22Lab3DR-Edge2Cluster ComputePrimary Mgr 192.168.50.5Cluster-EdgeRegistration withMgr IP(DNS name not required)Lab3-Edge1Compute ClustervCenterESX