6 H3C 新网络解决方案培训分布式数据中心0702

VPC分布式数据中心解决方案,新网络研发解决方案部,分布式数据中心模型与思路,分布式数据中心建设模式,数据级灾备,远距双活,同城双活,已经不能满足企业运营需求仅仅只能保障关键业务的容灾硬件冗余、资源利用率不足主备数据中心一般非1：1配置,不同数据中心对外提供不同业务，互为备份事务型业务及关键业务部署在主中心，支撑型业务部署在备中心可保障大部分业务的容灾，提高备中心资源利用率,数据中心没有主备概念两个数据中心同时对外提供同种业务两个数据中心没有专门的资源作为备份业务能够在两个数据中心无缝切换,数据级灾备和远距双活模型采用普通VPC方案即可，只有同城双活模型需要考虑多活数据中心方案,当前非SDN多活数据中心方案参考,数据中心1,SAN,DCI,业务A,GTM,路由器,交换机,服务器,路由器,交换机,LTM,LTM,核心,核心,汇聚,汇聚,接入,接入,GTM,服务器,LTM,ISPA,ISPB,数据中心2,SAN,DCI,业务A,GTM,路由器,交换机,服务器,路由器,交换机,LTM,LTM,核心,核心,汇聚,汇聚,接入,接入,GTM,服务器,LTM,ISPA,ISPB,SAN扩展,LAN扩展,LTM跨DC集群相当于一台LTM,GTM为同步组，同步DNS记录信息，相当于一台GTM,业务A的对外公网IP为IP-a,业务A的对外公网IP为IP-a,InternalVIP2,InternalVIP1,内网路由不对外发布，内网核心之间起VRRP协议，数据中心之间的LAN扩展通过EVI互通,SDN多活数据中心网络需求,目前来看，多活数据中心是市场尤其是运营商的普遍需求，并且多数据中心统一资源池是Overlay方案的最佳应用场景,SDN多活数据中心网络需重点讨论的问题,是否存在跨机房的二层迁移问题。（ARP/路由发布）南北向路由发布，北向南流量引入的问题东西向流量转发模型（封装解封装）的问题全局信息统一同步问题跨数据中心的云平台对接多数据中心统一控制管理的问题交换机硬件规格容量的问题DCI互联的QOS部署问题故障模式处理机制问题,VPC分布式数据中心解决方案规划思路,第一阶段：“多数据中心的统一集群方案”，通过跨数据中心建立统一的SDN集群实现资源池的统一管理，这种情况对于跨数据中心的链路和时延有一定要求。如果需要支持多活数据中心，那么就需要配合F5的GSLB来实现，具体遇到项目驱动相关方案的验证第二阶段：“基于集群联盟的多数据中心方案”，通过控制器集群联盟实现统一的SDN集群实现资源池的统一管理，相比第一阶段，对于链路时延的要求大大降低，支持的数据中心的规模也更多第三个阶段：“基于EVPN的多数据中心方案”，这个主要用于运营商领域，通过EVPN实现控制层面和其他厂商VXLAN的标准对接，EVPN可以在VSR上落地实现，VSR做为控制器的一个组件，在多个数据中心之间交互虚拟机信息第四个阶段：“端到端的多数据中心方案”，将目前我们在数据中心内部的VPC方案，正在给腾讯做的广域网流量工程方案，以及多数据中心方案整合在一起，形成端到端跨数据中心的QOS保障和优先级调度，从而实现整个SDN解决方案的打通整合,数据中心的统一集群方案（已支持）,VCFC多活数据中心网络模型一（同一控制器集群）,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC,VCFC集群,Region1,Region2,VCFC,备选Leader,VCFC,普通控制器,同一网关组,LB,LB,任一个GW上有全网所有的虚拟机信息，任意一个GW上都可以正确通过Overlay隧道转发到正确的虚拟机一个网关组发布相同的VTEPIP地址，每一个数据中心会自动根据最短路径算法，将自己的CORE设备选为GW网关,VCFC多活数据中心业务处理模型路由发布,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,Core,Core,GW发布相同的Overlay网段到Overlay网络，无论LB放在在什么位置，都可以找到最近的GW网关进入Overlay网络任一个GW上有全网所有的虚拟机信息，任意一个GW上都可以正确通过Overlay隧道转发到正确的虚拟机所有的GW发布相同的VTEPIP地址，但每一个数据中心会自动根据最短路径算法，将自己的CORE设备选为GW网关路由是VM发布给core的路由,LB,LB,GW发布相同的Overlay网段到Underlay网络,任一个GW上有全网所有的虚拟机信息,GW发布相同的VTEPIP地址,VCFC多活数据中心业务处理模型南北流量,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC,VCFC集群,Region1,Region2,从外网过来的流量，通过underlay网络达到LB设备，在LB做为负载均衡和NAT后，返回到网关设备进入到Ovelay网络中，然后转发到对应的VM上。LB会优选本数据中心的VM来处理。由于网关有所有虚拟机的信息，在网关上也可以进行Overlay封装，跨广域网发送到其他数据中心来进行处理从内网到外网的流量，会优先到本数据中心的网关上进行Overlay终结（VTEPIP在underlay网络不等价），然后经过LB转发到外网,光纤直连,LB,LB,VCFC多活数据中心业务处理模型东西流量,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC,VCFC集群,Region1,Region2,同单数据中心一样，跨数据中心东西流量在vSwitch上可以直接封装Overlay报文，在网关上无需解封装，通过underlay网络转发到另外一个数据中心，然后在vSwitch上终结。要求跨数据中心交互Underlay路由，所有的OVS路由信息在所有数据中心间三层可达（可以汇聚）,光纤直连,LB,LB,数据中心多出口模型,多数据中心业务处理模型1数据中心单出口,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,Core,Core,VCFC,VCFC,VCFC,VCFC集群,Region1,Region2,单出口的情况同单数据中心一样，没有出口的region，流量要绕行到另一个数据中心进行访问。，这种情况下不需要多活。要求跨数据中心Underlay网络路由互通，所有的OVS路由信息在所有数据中心间三层可达（可以汇聚）,光纤直连,LB,多活数据中心业务处理模型2业务单出口,业务单出口：对每个业务来说单出口方式，通过把不同业务配置到不同的出口来实现出口负载分担。优点：不需要多活，不需要F5配合，就可以实现缺点：由于存在流量的迂回，因此对数据中心互联之间的链路带宽要求很高,多数据中心业务处理模型3RHI明细路由方案（待规划）,通过在网关上把VM的明细路由发布出去，在外部网络上访问VM时就可以明确知道VM归属于哪个数据中心。优点：流量不用迂回缺点：网关上路由表压力比较大，适合于校园网应用等VM数目比较少，不需要发布到公网的场合。,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC集群,光纤直连,GTM之间共享本地资源状态和LocalDNS网络距离信息,SLB,SLB,多数据中心业务处理模型4GSLB多活方案,多数据中心故障处理模型及方案组网规格,多数据中心分裂一（双Leader情况）,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC,Region1,Region2,VCFC,备选Leader,VCFC,普通控制器,LB,LB,分裂后，两个数据中心都可以独立处理VM上下线当数据中心间链路重新恢复，控制器集群会重新merge，优先级小的集群需要重启,多数据中心分裂一（少数派情况）,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC,Region1,Region2,VCFC,备选Leader,VCFC,普通控制器,LB,LB,分裂后，仅多数派VCFC可以正常，VM正常上下线不受影响少数派VCFC无法处理VM上下线，老VM的新流表也可以生成，老流表可以继续保持,VCFC,同一控制器集群网络配置要求,同一控制器集群网络配置要求（续）,同一控制器集群方案建议规格,H3CVPC与F5配合实现多活IDC解决方案（待验证）,H3C联合F5构建多活数据中心,F5LTM,F5LTM,服务器,F5LTM,F5LTM,数据中心A,数据中心B,F5GTM,客户端,服务器,F5GTM,LocalDNS,心跳信息,心跳信息,1,GTM通过就近性探测实现客户端访问路径的优化,VPC联合F5构建多活数据中心,VCFC,ExternalNetwork,VM,VM,VM,VM,VM,VM,VM,VM,VM,VM,Core,Core,ExternalNetwork,Core,Core,VCFC,VCFC,VCFC集群,光纤直连,GTM之间共享本地资源状态和LocalDNS网络距离信息,F5LTM,F5LTM,DNS和GLM的作用,1、DNS：响应LocalDNS域名解析请求，为客户机返回最佳站点,2、多台GTM工作在Master-Slaver模式下彼此之间通告和同步就近性信息健康状态配置信息,3、在部署LTM的情况下LTM向GTM上报信息就近性信息健康状态配置信息服务器访问压力,跨数据中心虚机迁移方案,场景特点：主备两个数据中心已经建设SAN扩展网络，具备数据备份能力已经建设LAN扩展网络，具备长距离虚拟机迁移条件,场景C2：跨资源池迁移模式不同DC的服务器群有各自独立的虚IP地址每个DC的SLB各自探测本中心内部的服务器需要迁移的虚拟机同时在2个DC中均有配置，通过隔离跨DC的SLB探测报文，保证同一时刻只在一个DC能探测到该虚拟机为了保障虚拟机迁移后的旧业务不中断，需要通过部署SNAT保障流量路径的来去一致性,C2,部署要点：使用SLB主动探测VM状态，并利用GSLB和SLB联动完成ingress方向访问切换Ingress方向，对于使用DNS发布的业务，利用DNS-GSLB实现切换客户端访问IPIngress方向，对于使用IP地址发布的业务，使用SLB探测VM状态，利用RHI技术切换客户端目的路由Egress方向，利用VRRP隔离技术实现VM迁移后的本地网关问题，优化流量路径,场景一：业务基于DNS发布的虚拟机迁移,SLB只对本数据中心内的虚拟机进行健康检查，同一业务在数据中心A和数据中心B分别使用VIP-A和VIP-B对外提供服务，两个数据中心的SLB对同一VM都进行健康检查，每个SLB部署为只探测本数据中心的VM。,数据中心A,数据中心B,扩展的存储网络,Storagenetwork,信息同步,VIP-A,VIP-B,扩展的L2网络,SNAT,SNAT,VIP-A,VXLAN,场景一：业务基于DNS发布的虚拟机迁移,当虚拟机从数据中心A迁移到数据中心B以后，数据中心A的SLB将无法再探测到虚拟机，同时数据中心B的SLB探测到虚拟机可用，通过SLB与GSLB的联动，GSLB将进行DNS切换，当有新的用户请求时，引导用户直接访问数据中心B。,数据中心A,数据中心B,扩展的存储网络,Storagenetwork,VRRPMasterPRI：140,VRRPMasterPRI：140,信息同步,VIP-A,VIP-B,VXLAN,扩展的L2网络,SNAT,SNAT,VIP-B,场景二：业务基于IP发布的虚拟机迁移,SLB只对本数据中心内的虚拟机进行健康检查，业务IP在数据中心A发布的网段路由比在数据中心B的精度高，用户访问业务IP时被优先引导至数据中心A，两个数据中心的SLB对同一VM都进行健康检查，通过部署探测隔离保证同一时刻只有一个数据中心可以探测到。在数据中心B的SLB上部署RHI。,数据中心A,数据中心B,扩展的存储网络,Storagenetwork,VXLAN,扩展的L2网络,SNAT,SNAT,10.153.20.0/2