双活数据中心技术研究方案.ppt

双活数据中心技术研究方案汇报,双活数据中心研究项目组 2019年11月4日,汇报内容,双活/多活数据中心实现方案,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,汇报内容,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,WEB/应用层双活实现机制,WEB/应用层双活实现机制主要有三种，一是基于主机集群技术，二是基于WEB SERVER/应用中间件软件自身集群软件实现功能，三是基于负载均衡设备方式,城域互联,站点选择服务器,WEB层双活工作机制,WEB层双活工作机制,城域互联,站点选择服务器,WEB层双活工作机制,城域互联,站点选择服务器,应用层双活工作机制,城域互联,应用层双活工作机制,城域互联,应用层双活工作机制,城域互联,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,数据库层双活实现示意图,跨机房的ORACLE RAC集群+VPLEX ，实现数据零丢失和数据库实时切换,跨机房的数据库利用数据同步复制技术，通过应用部署实现读写分离,数据库层双活实现机制主要有两种，一是基于ORACLE RAC+VPLEX，二是基于ORACLE DATAGUARD/GOLDENGATE,数据库层双活实现机制-ERAC,数据库层双活实现机制-ERAC,数据库层双活实现机制-读写分离,主应用域,应用域1,主数据库,应用域2,应用域k,客户端1,客户端2,客户端k,RAC,Node1,RAC,Node2,RAC,Nodej,备数据库,Oracle DB,Server,Active Data Guard,辅助应用域,应用域1,应用域i,镜像库,Oracle DB,Server,Golden Gate SharePlex 存储复制等,灾备 精算,数据库层双活实现机制-读写分离,主应用域,应用域1,主数据库,应用域2,应用域k,客户端1,客户端2,客户端k,RAC,Node1,RAC,Node2,RAC,Nodej,数据库,Oracle DB,Server,主、辅助应用域,应用域1,应用域i+k,镜像库,Oracle DB,Server,Golden Gate SharePlex 存储复制等,灾备 精算,数据库层双活实现机制-读写分离,主应用域,应用域1,主数据库,应用域2,应用域k,客户端1,客户端2,客户端k,RAC,Node1,RAC,Node2,RAC,Nodej,数据库,Oracle DB,Server,主、辅助应用域,应用域1,应用域i+k,镜像库,Oracle DB,Server,主、辅助应用域,应用域1,应用域i+k,数据库层双活实现机制对比,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,系统平台层双活实现机制,VMFS Active-Active,ESX备份代理,VPLEX Metro,城域互联 RTT5ms,卡园,集电港,AccessAnywhere,LAN,SAN,SAN,VPLEX Metro,FC,VMFS Active-Active,Storage Array,Storage Array,ITOI VDC集中监控 控制台,Avamar Data Store,Avamar Data Store,Avamar Proxy VM,ITOI虚拟 服务器,Nexus 7000,Nexus 7000,ESX,ESX,ESX备份代理,ITOI虚拟 服务器,ESX,ESX,SAN,SAN,LAN,备份数据复制,虚机在线透明迁移,基于VPLEX技术的虚拟机双活解决方案,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,存储复制示意图,利用基于存储的数据复制，可以实现灾备，但不能实现实时双活，灾备数据不能实时使用，切换时间较长。,主机卷工作示意图,主机,磁盘阵列,磁盘阵列,城域互联,Logic Volume,上海集电港,上海卡园,Physical Volume,Physical Volume,镜像,I/O,I/O,I/O,同步距离,利用基于主机的卷管理软件，实现物理卷映射为逻辑卷的方式，将两个数据中心的物理卷，映射为一个主机可见的逻辑卷。并在逻辑卷的层次，实现I/O分离。,城域互联,虚拟机群,10110,10110,10110,10110,ACK,ACK,ACK,ACK,同步距离,主机,主机,磁盘阵列,磁盘阵列,V-Plex Cluster-1/上海卡园,V-Plex Cluster-2/上海集电港,分布式的设备部署,存储双活示意图,存储双活实现机制,存储双活实现机制主要有四种：一是基于主机卷复制技术，二是基于存储虚拟化技术；三是基于存储复制技术，四是基于SAN网络复制技术,汇报内容,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,扁平化网络接入,网络扁平化，将实现全公司业务终端的便捷网络接入和快速网络传输； 将实现网络平台与业务平台松耦合的跨越，降低业务系统部署位置对用户端的影响； 核心网将成为多中心网络传输平台，有效保障了多活中心的灵活部署； 大大降低多活中心广域网部署复杂度和资金投入；,访问接入层的双活实现机制,为满足双活数据中心的需求，必须使客户端的请求在多个中心进行智能选择，实现业务的连续性(性能最优/故障切换/按需连接)，实现站点选择通常有两种方式，一是传统站点轮询技术，二是站点负载均衡技术,卡园数据中心,汇聚层,接入层,负载均衡设备,核心网,访问接入层的双活实现方案,WEB,AP,DB,WEB,AP,DB,集电港数据中心,汇聚层,接入层,负载均衡设备,WEB,AP,DB,WEB,AP,DB,站点选择设备,站点选择设备,js.cbps8.clic,城域互联,1.5,1.5,2,3,用户端通过公司内网DNS解析域名请求，DNS解析请求被转向站点选择设备 站点选择设备探测域名所对应的多个服务器的状态，并返回最合适的服务器IP地址，以实现多数据中心间负载均衡 用户访问对应的WEB/应用服务器 当其中一个数据中心的WEB/应用服务器出现故障或数据中心出现故障： 用户自动流量自动切换到正常数据中心的服务器，从而实现双活,站点选择设备对WEB/应用服务器状态的检测,卡园数据中心,汇聚层,接入层,负载均衡设备,核心网,WEB/应用层双活实现方案,WEB,AP,DB,WEB,AP,DB,集电港数据中心,汇聚层,接入层,负载均衡设备,WEB,AP,DB,WEB,AP,DB,js.cbps8.clic,城域互联,1,2,2,用户不直接访问服务器，而是访问负载均衡设备的虚拟IP 负载均衡设备探测虚IP对应的多个服务器的状态，将流量指向合适的服务器，并在业务处理过程中保持会话的一致性 当其中一台WEB/应用服务器出现故障时： 用户自动流量自动切换到正常的服务器，从而实现数据中心内部高可用 当数据中心出现故障时： 通过访问接入层策略将流量迁引至正常数据中心,负载均衡设备对于会话状态的保持 负载均衡设备对WEB/应用服务器状态的检测,2,网络层双活实现机制,两地三中心多活模式下的网络互联和存储备份，需要保证IP网络的高可用性，又要保证能够满足既定RTO/RPO目标及多活要求： 大量使用Vmware虚拟化技术，需要多活中心间二层互通； 同城间同步数据复制，需满足Oracle DataGuard同步复制或ORACLE RAC+VPLEX的实际要求 ； 异地间异地数据复制技术， 需满足Oracle DataGuard/Goldengate技术的实际要求； 考虑在卡园和集电港间部署DWDM设备，实现IP网、存储网的高可用； 网络上通过直接二层互联或OTV技术实现二层互通； 在北京和上海间用SDH构建核心传输网，实现IP网络高速互通；,同城网络互联方案,业务主机,存储,存储 交换机,FC,城域波分系统可以提供丰富和大量的光纤接口，如：GE、10GE、FC等,城域波分,主数据中心,光传输设备,以太 交换机,业务主机,存储,存储 交换机,FC,同城数据中心,光传输设备,以太 交换机,DWDM:Dense Wavelength Division Multiplexing(密集型光波复用),VMotion迁移虚拟机,SAN、iSCSI或NAS,动态迁移可在 X86架构的 VMWARE ESX上实现； 在不中断服务的情况下，将VM迁移到其他的物理服务器上； 可用在灾备、资源调整、服务器维护等场合； 实现迁移的服务器必须在一个二层网络内，VM的GW在相同设备上；,虚拟机动态迁移需要二层网络的支持,同城网络二层扩展需求,OTV虚拟化技术 有两个或以上的数据中心L2互联需求或者数据中心内有跨L3的L2连接需求； 需要尽量避免跨数据中心STP环路、优化跨数据中心扩展局域网的广播流量、对多地点的网关一致性有配套的解决方案； 需要支持跨数据中心虚拟资源的自由调度； 需要建立跨数据中心的服务器集群等； OTV技术不受数据中心互联介质影响；,Source: IPs,OTV,OTV,Receiver,OTV,IP A,数据中心1,数据中心2,生产服务器,主数据中心,同城数据中心,A.B.0.0,OTV,Source: IPs,IP A,Receiver,同城网络连接示意图,IP B,Internet,CN2 MPLS 核心网,CN2 MPLS 核心网,Internet,集电港数据中心,卡园数据中心,DMZ路由,广域网路由,广域网路由,DMZ路由,OTV服务,核心交换 Catalyst 6500,核心交换,DWDM通信系统ONS 15400,生产应用汇聚交换,生产应用汇聚交换,同城网络连接实现方案,Nexus 7000,Nexus 7000,异地网络连接示意图,上海数据中心,北京数据中心,155/622M SDH,FCIP隧道,Source: IPs,IP A,VLAN1,OTV,Receiver,IP B,VLAN1,OTV,数据中心双活/多活的实现示意图,广域网,Active/Active 应用服务器层,Active/Standby 数据库层 or Active/Active For Different Application,Active/Active Web 层,广域网,运营商 A,运营商 B,INTERNET,盘阵,数据库,应用,Web,网络 核心/汇聚/接入,Active/Standby Web 层,异步数据复制,Active/Standby 应用服务器层,Active/Standby 数据库层,上海卡园,上海集电港,北京稻香湖,INTERNET,访问,Active/Active 用户访问层,Active/Active 用户访问层,同步数据复制,155/622M SDH,DMZ 区,核心网/广域网,LAN 区,安全管理区,DMZ 区,核心网/广域网,LAN 区,安全管理区,Internet,站点选择服务 路由优化,站点选择服务 路由优化,防火墙 入侵检测,防火墙 入侵检测,DWDM,统一的安全管理,安全事件的关联,CN2 MPLS 核心网,集电港数据中心,卡园数据中心,双活中心安全服务部署,事件收集分析 和关联,事件收集分析 和关联,站点选择服务 防火墙 入侵防御,站点选择服务 防火墙 入侵防御,双活中心网络路径管理,DMZ 区,核心网/广域网,网络汇聚区,DMZ 区,核心网/广域网,Internet,站点选择服务 防火墙 入侵防御,站点选择服务 路由优化,站点选择服务 路由优化,防火墙 负载均衡,防火墙 入侵检测,DWDM,CN2 MPLS 核心网,集电港数据中心,卡园数据中心,网络汇聚区,服务器区,服务器区,站点选择服务 防火墙 入侵防御,防火墙 Active/Standby,二层网关 路由控制 站点选择 负载均衡 防火墙,网络路径管理,汇报内容,相关技术总结,实现难点,应用系统分级,核心系统采用读写分离、非核心系统虚拟化，存储不虚拟化。,核心系统、UNIX应用技术方案,非核心系统、X86平台应用,综合方案一,成本分析主要依据是与原有的两地三中心方案做对比，分析需要增加的成本,核心系统、UNIX应用需增加的成本,非核心系统、X86平台应用需增加的成本,综合方案一成本分析,核心系统采用Extended RAC、非核心系统虚拟化，存储虚拟化。,核心系统、UNIX应用技术方案,非核心系统、X86平台应用,综合方案二,核心系统、UNIX应用需增加的成本,非核心系统、X86平台应用需增加的成本,综合方案二成本分析,核心系统采用读写分离、非核心系统虚拟化，非核心存储虚拟化。,核心系统、UNIX应用技术方案,非核心系统、X86平台应用,综合方案三,核心系统、UNIX应用需增加的成本,非核心系统、X86平台应用需增加的成本,综合方案三成本分析,汇报内容,技术测试方案,基于双活规划设计，模拟卡园和集电港基础架构环境，验证关键技术要点，并评估整体方案的可行性，包括： 1. 整体架构的可行性； 2.实现跨机房的虚拟资源灵活调度、统一管理，提供基础架构云服务； 3.实现对用户透明的应用服务负载均衡； 4.异常运行状态下，实现对用户透明的快速应用服务切换：包括接入层、应用层、数据库层、存储层、网络层等； 5.对各类相关技术进行功能性测试。 基于测试结果，进一步明确未来卡园和集电港双活实现目标； 通过测试，发现规划设计中存在的问题与不足，并对设计规划进行相应的调整； 通过测试，识别双活中心实施和管理中可能存在的技术风险，作为后续实施计划和运维方案设计的参考； 在测试过程中，帮助运维管理人员熟悉新引入的解决方案和设备配置方法。,测试目标,测试场地：北京朝阳门机房 测试时间：2011年10-11月 测试人员：中国人寿双活研究项目组主导，相关厂商参与，包括：思科、HP、EMC、Vmware、Oracle、HDS、F5、 Quest、博科、IBM等,测试部署,模拟卡园,模拟集电港,模拟远程节点,存储,MDS,MDS,GSS,GSS,DWDM,ONS,ONS,应用终端 * 2,ISR2800,Cat3750,N7K,N7K,ACE,TUXEDO应用服务器,存储,VPlex,Web 服务器,应用与SQL数据库 服务器（基于虚拟机）,Web 服务器,应用与SQL数据库 服务器（基于虚拟机）,TUXEDO应用服务器,Oracle RAC服务器 * 2,终端服务器,管理服务器（ITOI）,Ava