H3C数据中心站点选择技术

1、数据中心站点选择技术日期：5月杭州华三通信技术有限企业第1页资料整理者介绍从业年限：6年专业经验：资深网络与金融行业教授， 含有多年金融、大型运行商网络规划、建设、运维经验，参加各大银行数据中心与骨干网处理方案咨询规划工作。张斌 行业处理方案部FSI Solution Specialist服务过主要客户：中国工商银行中国建设银行中国农业银行中国人寿保险集团中国电信中国联通中国移动专业领域：专注于企业数据中心网络架构设计；灾备/业务连续性处理方案；两地三中心骨干网架构设计；企业架构EA（Enterprise Architecture）。咨询项目经验：某国有商业银行数据中心建设咨询规划；某国有大型

2、保险集团数据中心建设咨询规划；多家商业银行数据中心与灾备中心建设。版本时间修订内容修订者V1.0/09/03基于现有资料进行总结，梳理张斌第2页目录内容业务双活中心站点选择单业务切换模式下站点选择第3页回顾：业务双活中心技术要求SANSAN业务系统X在两个数据中心都能被访问到数据中心1数据中心2这里以业务系统运行方式为参考通惯用在IDC，国内EDC少见；业务能够实现在两中心间负载分担；可基于DNS实现业务A/A可基于应用系统设计实现业务A/A；双活也是一个业务负载分担技术GSLB对非数据库系统来说，实现基于DNS双活很轻易，现在很多银行网银都实现A/A对数据库系统来说，也有实现双活（双侧读写，

3、如ORACLE Garden Gate），但需要考虑传输延迟对DB性能影响；基于应用系统双活，需要客户端向两个数据中心同时写数据。多层业务双活简单，多层业务（WEB-APP-DB）双活较复杂，可能需要L2扩展注意：思科与很多用户说“双活”，不是我们这里介绍双活！第4页双活模式数据中心网络互联技术关键点Site 1 Active/FailoverStorage - ActiveSite 2 Active/FailoverStorage - PassiveDatabaseSynchronous replicationLocal LBApplication/Web/Local LBApplicati

4、on/WebDatabaseGlobal Load Balancers客户端与DC间三层互访。基于DNSGSLB， 数据中心服务器前端SLB，而且需要联动，如思科ACE与GSS之间有个KAL-AP协议，F5也有类似协议服务器间二层互联网络： 能够不需要二层互联，不需要经过大二层实现主备切换，二层互联网络有可能将网络复杂化。所以不提议采取！DC间SAN扩展。也称为后端存放网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾备中心间磁盘阵列数据复制。主要是数据库后端有存放盘阵，数据库极少用双读双写，通常是一边读写，另一边只读；第5页全局负载均衡：GSLB GSLB 基于DNS流量管理机制，主

5、要完成：DNS解析请求负载均衡、服务器状态监控、用户访问路径优化用户访问应用时，域名解析请求将最终由GSLB负责处理。它经过一组预先定义好策略，将最靠近用户节点地址提供给用户，使用户能够得到快速服务。同时，它还与分布在各DC全部GSLB节点保持通讯，搜集各节点健康状态，以确保不将用户请求分配到任何一个已经不可用节点上。主要功效和特征：应用智能、可管理性和高性能感知应用，及时发觉业务中止自动切换，通知用户改变数据访问点支持流量在数据中心动态负载均衡处理关联应用在多数据中心协同问题客户端数据中心 A数据中心 B数据中心 CIP地址9IP地址0IP地址1客户端ESS.IP为

6、9ESS.IP为 1GSLB（DNS）CLI对WEB/APP访问可跨中心负载分担GSLBCLI对Database访问可使用DNS但不能使用GSLB，因为DB通常是A/S方式;第6页基于GSLB站点选择GSLB(作为域名授权DNS服务器)，智能响应DNS查询：连续监控多个数据中心服务器负载和可用状态结合客户端到服务器拓扑邻近度和链路延迟大小 将客户端引导至最适合或最好数据中心，实现数据中心之间负载均衡。传统DNSGSLB应用广泛，使用简单，防止服务器IP硬编码愈加灵活灵活实现在多个站点之间基于DNS智能负载均衡只能支持使用域名应用；不能在多个站点之间实现智能负载均衡需要使用专用GSLB设备，增加

7、了投资；GSLB设备连续监控多个数据中心服务器负载情况也增加了网络和服务器负荷。第7页GSLB 经过就近探测实现负载分担LocalDNSRootDNS4231567数据中心 A数据中心 B数据中心 CIP地址9IP地址0IP地址1RTTRTTRTT客户端数据中心A、B、C各布署一个GSLB，其中DC-AGSLB为主GSLB，RTT探测流程以下：local DNS向数据中心AGSLB-A发起域名解析请求GSLB-A接收到local DNS请求后，经过加密通道通知数据中心B、CGSLB，有local DNS需要进行RTT测试GSLB-A、GSLB-B、GSLB-C向loca

8、l DNS发起访问local DNS 回应GSLB-A、GSLB-B、GSLB-C访问请求GSLB-B、GSLB-C将local DNS回应延迟时间等相关信息返回给GSLB-A汇总GSLB-A经过GSLB-B、GSLB-C回应，存放并判断后将最优地址返回给local DNS以站点响应时间作为引导用户依据，用户访问请求被导向到性能好，响应时间快站点第8页广 域 网数据中心数据中心2接入智能DNSDNS LookupESS.H3C.com = SLB IP (VIP_1)DNS LookupESS.H3C.com = SLB 2 IP (VIP_2)通告路由：VIP_1通告路由：VIP_2 汇聚接

9、入汇聚数据中心1只适合相对独立业务（WEB）互联网站通常采取DNS实现流量分担和灾备数据库不能采取这种模式（数据库支持DNS但不支持全局分担）经过GSLB(DNS) 处理主机双活第9页服务器负载均衡：SLB SLB设备使用NAT技术对报文源、目标地址进行转换，使得客户端和真实服务器之间能通信。对于client， 服务器IP地址唯一；SLB可实现数据中心内（LAN）负载分担，A/A；SLB对WEB/APP/DB 都能够布署；一些应用能够将服务器做SLB设备；SLB不适合跨中心布署；造成跨中心流量多，对跨中心带宽要求高，跨中心转发延迟高；第10页SLB配合GSLB对服务器健康检验客户端数据中心 A

10、数据中心 B数据中心 CIP地址9IP地址0IP地址1GSLBInternet服务器健康状态检测:GSLB可针对网络中负载平衡产品SLB、服务器做状态监测，可消除单点故障，并引导流量避开性能较低站点和服务器。经过搜集这些设备性能测量数据， GSLB可了解网络状态，对以下参数进行测量：如包速率、每秒千字节、磁盘、内存、CPU 利用率以及连接数量。第11页WEBAPPDB基础服务区关键区下联区互联区WEBAPPDB基础服务区关键区下联区互联区分支机构和用户DNS代理分支机构和用户DNS代理DC1DC2多站点DNS 实现A/A设计说明: 主备数据中心DNS系统统一布署和冗余设

11、计考虑到DNS和站点选择系统主要性,主备数据中心DNS和站点选择系统都是工作状态,能够互为备份基础服务区全局站点选择器实时检测多数据中心业务服务器工作状态,假如任何区出现问题会自动将工作正常数据中心服务器区地址返回给请求者用户(详细设计和实施过程中切换要依据主备数据中心站业务服务器Web和应用是否同时激活而定)GSLB/DNS + SLB 实现业务“双活”布署第12页目录内容业务双活中心站点选择单业务切换模式下站点选择第13页回顾：业务热备（单业务切换）双活中心技术需求SANSAN数据中心热备数据中心 通惯用在企业网EDC热备可实现“单业务切换”；传统暖备双中心，需要整网段或整个中心一起切换；

12、单业务切换对系统需求：HA CLUSTERVmotion单业务切换对存放系统要求:共享SAN，SAN扩展双活storage(VPLEX)单业务切换后网络流量路径问题：单进单出、网关单侧双进双出、网关双侧L4-L7 状态问题VLAN 扩展（大二层）注意：思科及很多用户将业务热备也叫做“双活”！这里以业务系统运行方式为参考第14页热备模式双数据中心网络互联技术关键点客户端与DC间三层互访。Ingress方向，客户依据服务器/vm位置决定访问路径（DNS、RHI、LISP）。Egress方向，服务器网关位置需要在每个数据中心展现(VRRP分割)；双方向L4-L7 设备状态问题（FW多活集群）；DC间

13、二层互联。也称为数据中心Lan Extension。在不一样数据中心服务器网络接入层，构建一个跨数据中心大二层网络（VLAN），以满足服务器集群、虚拟机动态迁移等场景对二层网络接入需求。DC间SAN扩展。也称为后端存放网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾备中心间磁盘阵列数据复制。主要是数据库后端有存放盘阵，数据库极少用双读双写，通常是一边读写，另一边只读；L3 互联数据中心 1存放SANLayer 2Layer 3Layer 3SAN波分或裸光纤WDMWDMServerServer存放分支数据中心 2园区大楼L2 互联SAN 互联汇聚接入DC关键汇聚接入路由器路由器网络关

14、键DCIDCILayer 2楼层汇聚WANLTMGTMGTMLTM分支第15页热备模式双数据中心网络互联技术关键点SAN 扩展技术：DWDM / Dark Fiber 推荐SDHIP（iSCSI/FCIP） 客户端与DC互访技术Ingress（C-S）方向RHI（H3C SR66X、F5 LTM、思科ACE）LISP（思科私有技术）DNS+SLB（思科、F5）Egress（S-C）方向网关分离（基于EVI/OTV特征）网关分离（手工配置ACL）L4-L7 设备状态问题：关闭基于状态会话检验多台L4-L7 多活模式（思科ASA）DC间二层互联技术：EVI/OTV（Mac over IP） 屏蔽H

15、WVPLS 不推荐DWDM/Dark Fiber注意，不是全部灾备都需要二层互联客户端与DC间三层互访。Ingress方向，客户依据服务器/vm位置决定访问路径（DNS、RHI、LISP）。Egress方向，服务器网关位置需要在每个数据中心展现(VRRP分割)；双方向L4-L7 设备状态问题（FW多活集群）；DC间二层互联。也称为数据中心Lan Extension。在不一样数据中心服务器网络接入层，构建一个跨数据中心大二层网络（VLAN），以满足服务器集群、虚拟机动态迁移等场景对二层网络接入需求。DC间SAN扩展。也称为后端存放网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾备中心间

16、磁盘阵列数据复制。第16页WANWANAccessAccessAggDC ADC BVLAN APublic NetworkLTM Probe to 00 FailedIS 00 OK?L2 Links (GE or 10GE)L3 Links (GE or 10GE)A-A方案：RHI + L2扩展 + 网关隔离/24Backup for Data Center A/25 & 28/25虚拟机 VM = 00网关 GW = AggWAN第17页Layer 3 CoreIntranetISP AISP BAccessAggAggDC ADC BVLAN APublic NetworkLTM Probe to 00 is OKIS 00 OK?L2 Links (GE or 10GE)L3 Links (GE or 10GE)VRRP VIP/24Backup for Data Center A/25 & 28/25虚拟机 VM= 00网关 GW = 00/32 is advertised into L3 using RHIVRRP VIPA-A方案：RHI + L2扩展 + 网关隔离RHI第18页EVI 一个主要特征 “VRRP