双活数据中心技术研究方案课件.ppt

双活数据中心技术研究方案汇报 双活数据中心研究项目组2019年12月20日 汇报内容 双活 多活数据中心实现方案 双活 多活数据中心实现层次 访问接入层 Web层 应用层 数据库层 存储层 访问接入层 Web层 应用层 数据库层 存储层 上海卡园 上海集电港 访问接入层 Web层 应用层 数据库层 存储层 北京稻香湖 网络层 网络层 网络层 系统平台层 系统平台层 系统平台层 虚拟中心 虚拟服务 虚拟资源 虚拟层次 汇报内容 双活 多活数据中心实现层次 访问接入层 Web层 应用层 数据库层 存储层 访问接入层 Web层 应用层 数据库层 存储层 上海卡园 上海集电港 访问接入层 Web层 应用层 数据库层 存储层 北京稻香湖 网络层 网络层 网络层 系统平台层 系统平台层 系统平台层 虚拟中心 虚拟服务 虚拟资源 虚拟层次 WEB 应用层双活实现机制 WEB 应用层双活实现机制主要有三种 一是基于主机集群技术 二是基于WEBSERVER 应用中间件软件自身集群软件实现功能 三是基于负载均衡设备方式 城域互联 站点选择服务器 WEB层双活工作机制 WEB层双活工作机制 城域互联 站点选择服务器 WEB层双活工作机制 城域互联 站点选择服务器 应用层双活工作机制 城域互联 应用层双活工作机制 城域互联 应用层双活工作机制 城域互联 双活 多活数据中心实现层次 访问接入层 Web层 应用层 数据库层 存储层 访问接入层 Web层 应用层 数据库层 存储层 上海卡园 上海集电港 访问接入层 Web层 应用层 数据库层 存储层 北京稻香湖 网络层 网络层 网络层 系统平台层 系统平台层 系统平台层 虚拟中心 虚拟服务 虚拟资源 虚拟层次 数据库层双活实现示意图 跨机房的ORACLERAC集群 VPLEX 实现数据零丢失和数据库实时切换 跨机房的数据库利用数据同步复制技术 通过应用部署实现读写分离 数据库层双活实现机制主要有两种 一是基于ORACLERAC VPLEX 二是基于ORACLEDATAGUARD GOLDENGATE 数据库层双活实现机制 ERAC 数据库层双活实现机制 ERAC 数据库层双活实现机制 读写分离 主应用域 应用域1 主数据库 应用域2 应用域k 客户端1 客户端2 客户端k RAC Node1 RAC Node2 RAC Nodej 备数据库 OracleDB Server ActiveDataGuard 辅助应用域 应用域1 应用域i 镜像库 OracleDB Server GoldenGateSharePlex存储复制等 灾备精算 数据库层双活实现机制 读写分离 主应用域 应用域1 主数据库 应用域2 应用域k 客户端1 客户端2 客户端k RAC Node1 RAC Node2 RAC Nodej 数据库 OracleDB Server 主 辅助应用域 应用域1 应用域i k 镜像库 OracleDB Server GoldenGateSharePlex存储复制等 灾备精算 数据库层双活实现机制 读写分离 主应用域 应用域1 主数据库 应用域2 应用域k 客户端1 客户端2 客户端k RAC Node1 RAC Node2 RAC Nodej 数据库 OracleDB Server 主 辅助应用域 应用域1 应用域i k 镜像库 OracleDB Server 主 辅助应用域 应用域1 应用域i k 数据库层双活实现机制对比 双活 多活数据中心实现层次 访问接入层 Web层 应用层 数据库层 存储层 访问接入层 Web层 应用层 数据库层 存储层 上海卡园 上海集电港 访问接入层 Web层 应用层 数据库层 存储层 北京稻香湖 网络层 网络层 网络层 系统平台层 系统平台层 系统平台层 虚拟中心 虚拟服务 虚拟资源 虚拟层次 系统平台层双活实现机制 VMFSActive Active ESX备份代理 VPLEXMetro 城域互联RTT 5ms 卡园 集电港 AccessAnywhere LAN SAN SAN VPLEXMetro FC VMFSActive Active StorageArray StorageArray ITOIVDC集中监控控制台 AvamarDataStore AvamarDataStore AvamarProxyVM ITOI虚拟服务器 Nexus7000 Nexus7000 ESX ESX ESX备份代理 ITOI虚拟服务器 ESX ESX SAN SAN LAN 备份数据复制 虚机在线透明迁移 基于VPLEX技术的虚拟机双活解决方案 双活 多活数据中心实现层次 访问接入层 Web层 应用层 数据库层 存储层 访问接入层 Web层 应用层 数据库层 存储层 上海卡园 上海集电港 访问接入层 Web层 应用层 数据库层 存储层 北京稻香湖 网络层 网络层 网络层 系统平台层 系统平台层 系统平台层 虚拟中心 虚拟服务 虚拟资源 虚拟层次 存储复制示意图 利用基于存储的数据复制 可以实现灾备 但不能实现实时双活 灾备数据不能实时使用 切换时间较长 主机卷工作示意图 主机 磁盘阵列 磁盘阵列 城域互联 LogicVolume 上海集电港 上海卡园 PhysicalVolume PhysicalVolume 镜像 I O I O I O 同步距离 利用基于主机的卷管理软件 实现物理卷映射为逻辑卷的方式 将两个数据中心的物理卷 映射为一个主机可见的逻辑卷 并在逻辑卷的层次 实现I O分离 城域互联 虚拟机群 10110 10110 10110 10110 ACK ACK ACK ACK 同步距离 主机 主机 磁盘阵列 磁盘阵列 V PlexCluster 1 上海卡园 V PlexCluster 2 上海集电港 分布式的设备部署 存储双活示意图 存储双活实现机制 存储双活实现机制主要有四种 一是基于主机卷复制技术 二是基于存储虚拟化技术 三是基于存储复制技术 四是基于SAN网络复制技术 汇报内容 双活 多活数据中心实现层次 访问接入层 Web层 应用层 数据库层 存储层 访问接入层 Web层 应用层 数据库层 存储层 上海卡园 上海集电港 访问接入层 Web层 应用层 数据库层 存储层 北京稻香湖 网络层 网络层 网络层 系统平台层 系统平台层 系统平台层 虚拟中心 虚拟服务 虚拟资源 虚拟层次 2019 12 20 32 可编辑 扁平化网络接入 网络扁平化 将实现全公司业务终端的便捷网络接入和快速网络传输 将实现网络平台与业务平台松耦合的跨越 降低业务系统部署位置对用户端的影响 核心网将成为多中心网络传输平台 有效保障了多活中心的灵活部署 大大降低多活中心广域网部署复杂度和资金投入 访问接入层的双活实现机制 为满足双活数据中心的需求 必须使客户端的请求在多个中心进行智能选择 实现业务的连续性 性能最优 故障切换 按需连接 实现站点选择通常有两种方式 一是传统站点轮询技术 二是站点负载均衡技术 卡园数据中心 汇聚层 接入层 负载均衡设备 核心网 访问接入层的双活实现方案 WEB AP DB WEB AP DB 集电港数据中心 汇聚层 接入层 负载均衡设备 WEB AP DB WEB AP DB 站点选择设备 站点选择设备 js cbps8 clic 城域互联 1 5 1 5 2 3 用户端通过公司内网DNS解析域名请求 DNS解析请求被转向站点选择设备站点选择设备探测域名所对应的多个服务器的状态 并返回最合适的服务器IP地址 以实现多数据中心间负载均衡用户访问对应的WEB 应用服务器当其中一个数据中心的WEB 应用服务器出现故障或数据中心出现故障 用户自动流量自动切换到正常数据中心的服务器 从而实现双活 站点选择设备对WEB 应用服务器状态的检测 卡园数据中心 汇聚层 接入层 负载均衡设备 核心网 WEB 应用层双活实现方案 WEB AP DB WEB AP DB 集电港数据中心 汇聚层 接入层 负载均衡设备 WEB AP DB WEB AP DB js cbps8 clic 城域互联 1 2 2 用户不直接访问服务器 而是访问负载均衡设备的虚拟IP负载均衡设备探测虚IP对应的多个服务器的状态 将流量指向合适的服务器 并在业务处理过程中保持会话的一致性当其中一台WEB 应用服务器出现故障时 用户自动流量自动切换到正常的服务器 从而实现数据中心内部高可用当数据中心出现故障时 通过访问接入层策略将流量迁引至正常数据中心 负载均衡设备对于会话状态的保持负载均衡设备对WEB 应用服务器状态的检测 2 网络层双活实现机制 两地三中心多活模式下的网络互联和存储备份 需要保证IP网络的高可用性 又要保证能够满足既定RTO RPO目标及多活要求 大量使用Vmware虚拟化技术 需要多活中心间二层互通 同城间同步数据复制 需满足OracleDataGuard同步复制或ORACLERAC VPLEX的实际要求 异地间异地数据复制技术 需满足OracleDataGuard Goldengate技术的实际要求 考虑在卡园和集电港间部署DWDM设备 实现IP网 存储网的高可用 网络上通过直接二层互联或OTV技术实现二层互通 在北京和上海间用SDH构建核心传输网 实现IP网络高速互通 同城网络互联方案 业务主机 存储 存储交换机 FC 城域波分系统可以提供丰富和大量的光纤接口 如 GE 10GE FC等 城域波分 主数据中心 光传输设备 以太交换机 业务主机 存储 存储交换机 FC 同城数据中心 光传输设备 以太交换机 DWDM DenseWavelengthDivisionMultiplexing 密集型光波复用 VMotion迁移虚拟机 SAN iSCSI或NAS 动态迁移可在X86架构的VMWAREESX上实现 在不中断服务的情况下 将VM迁移到其他的物理服务器上 可用在灾备 资源调整 服务器维护等场合 实现迁移的服务器必须在一个二层网络内 VM的GW在相同设备上 虚拟机动态迁移需要二层网络的支持 同城网络二层扩展需求 OTV虚拟化技术有两个或以上的数据中心L2互联需求或者数据中心内有跨L3的L2连接需求 需要尽量避免跨数据中心STP环路 优化跨数据中心扩展局域网的广播流量 对多地点的网关一致性有配套的解决方案 需要支持跨数据中心虚拟资源的自由调度 需要建立跨数据中心的服务器集群等 OTV技术不受数据中心互联介质影响 Source IPs OTV OTV Receiver OTV IPA 数据中心1 数据中心2 生产服务器 主数据中心 同城数据中心 A B 0 0 OTV Source IPs IPA Receiver 同城网络连接示意图 IPB Internet CN2MPLS核心网 CN2MPLS核心网 Internet 集电港数据中心 卡园数据中心 DMZ路由 广域网路由 广域网路由 DMZ路由 OTV服务 核心交换Catalyst6500 核心交换 DWDM通信系统ONS15400 生产应用汇聚交换 生产应用汇聚交换 同城网络连接实现方案 Nexus7000 Nexus7000 异地网络连接示意图 上海数据中心 北京数据中心 155 622MSDH FCIP隧道 Source IPs IPA VLAN1 OTV Receiver IPB VLAN1 OTV 数据中心双活 多活的实现示意图 广域网 Active Active应用服务器层 Active Standby数据库层orActive ActiveForDifferentApplication Active ActiveWeb层 广域网 运营商A 运营商B INTERNET 盘阵 数据库 应用 Web 网络核心 汇聚 接入 Active StandbyWeb层 异步数据复制 Active Standby应用服务器层 Active Standby数据库层 上海卡园 上海集电港 北京稻香湖 INTERNET 访问 Active Active用户访问层 Active Active用户访问层 同步数据复制 155 622MSDH DMZ区 核心网 广域网 LAN区 安全管理区 DMZ区 核心网 广域网 LAN区 安全管理区 Internet 站点选择服务路由优化 站点选择服务路由优化 防火墙入侵检测 防火墙入侵检测 DWDM 统一的安全管理 安全事件的关联 CN2MPLS核心网 集电港数据中心 卡园数据中心 双活中心安全服务部署 事件收集分析和关联 事件收集分析和关联 站点选择服务防火墙入侵防御 站点选择服务防火墙入侵防御 双活中心网络路径管理 DMZ区 核心网 广域网 网络汇聚区 DMZ区 核心网 广域网 Internet 站点选择服务防火墙入侵防御 站点选择服务路由优化 站点选择服务路由优化 防火墙负载均衡 防火墙入侵检测 DWDM CN2MPLS核心网 集电港数据中心 卡园数据中心 网络汇聚区 服务器区 服务器区 站点选择服务防火墙入侵防御 防火墙Active Standby 二层网关路由控制站点选择负载均衡防火墙 网络路径管理 汇报内容 相关技术总结 实现难点 应用系统分级 核心系统采用读写分离 非核心系统虚拟化 存储不虚拟化 核心系统 UNIX应用技术方案 非核心系统 X86平台应用 综合方案一 成本分析主要依据是与原有的两地三中心方案做对比 分析需要增加的成本 核心系统 UNIX应用需增加的成本 非核心系统 X86平台应用需增加的成本 综合方案一成本分析 核心系统采用ExtendedRAC 非核心系统虚拟化 存储虚拟化 核心系统 UNIX应用技术方案 非核心系统 X86平台应用 综合方案二 核心系统 UNIX应用需增加的成本 非核心系统 X86平台应用需增加的成本 综合方案二成本分析 核心系统采用读写分离 非核心系统虚拟化 非核心存储虚拟化 核心系统 UNIX应用技术方案 非核心系统 X86平台应用 综合方案三 核心系统 UNIX应用需增加的成本 非核心系统 X86平台应用需增加的成本 综合方案三成本分析 汇报内容 技术测试方案 基于双活规划设计 模拟卡园和集电港基础架构环境 验证关键技术要点 并评估整体方案的可行性 包括 1 整体架构的可行性 2 实现跨机房的虚拟资源灵活调度 统一管理 提供基础架构云服务 3 实现对用户透明的应用服务负载均衡 4 异常运行状态下 实现对用户透明的快速应用服务切换 包括接入层 应用层 数据库层 存储层 网络层等 5 对各类相关技术进行功能性测试 基于测试结果 进一步明确未来卡园和集电港双活实现目标 通过测试 发现规划设计中存在的问题与不足 并对设计规划进行相应的调整 通过测试 识别双活中心实施和管理中可能存在的技术风险 作为后续实施计划和运维方案设计的参考 在测试过程中 帮助运维管理人员熟悉新引入的解决方案和设备配置方法 测试目标 测试场地 北京朝阳门机房测试时间 2011年10 11月测试人员 中国人寿双活研究项目组主导 相关厂商参与 包括 思科 HP EMC Vmware Oracle HDS F5 Quest 博科 IBM等 测试部署 模拟卡园 模拟集电港 模拟远程节点 存储 MDS MDS GSS GSS DWDM ONS ONS 应用终端 2 ISR2800 Cat3750 N7K N7K ACE TUXEDO应用服务器 存储 VPlex Web服务器 应用与SQL数据库服务器 基于虚拟机 Web服务器 应用与SQL数据库服务器 基于虚拟机 TUXEDO应用服务器 OracleRAC服务器 2 终端服务器 管理服务器 ITOI Avamar Avamar