浪潮青岛政务云双活建设运营方案_v2.0

1、市政务云计算中心双活设计方案tnspur浪潮浪潮软件集团2015年06月目录第 1 章 项目概述 - 3 -第 2 章 电子政务云双活架构 - 4 -2.1 电子政务云双活网络拓扑图 . - 4 -2.2 双活建设方案 . - 6 -2.2.1 网络双活 . - 6 -2.2.1 安全双活 . - 8 -2.2.2 存储双活 . - 8 -2.2.3 数据库双活 . - 9 -2.2.4 应用双活 . - 9 -双活中心应用发布 . - 10 -第 3 章 产品列表及报价 - 12 -第 1章 项目概述云计算中心与灾备中心一体化项目于 2010 年 12 月，浪潮组织专家队伍与电 政办进行技术

2、交流后展开方案设计， 2011年 3月启动项目实景测试，最后选定 浪潮提供的解决方案， 2012年 5月正式投入建设，本着统筹兼顾、严格标准、 绿色环保的建设原则，经过紧施工、监管，同年 10 月完成基础环境搭建，开始 迁移业务进行试运行。随着业务应用和用户增多， 现有资源无法满足需求，亟需改造服务方式，使 之在容量上满足用户需求，在业务上能提供更多的服务。为满足电子政务云大集中模式的主干系统对可用性、可靠性和安全性的要 求，电子政务云规划建设“两地三中心”的主干系统运行环境，即双中心和灾备 中心，保障业务数据的安全、可靠，提高业务系统稳定性和业务连续性。本期建设标准一致的双中心， 在建设过程

3、中须充分考虑今后双中心与灾备中心 的切换要求。第2章电子政务云双活架构2.1电子政务云双活网络拓扑图金局负载均衡J口;跨中心桑群部署分布式存储春原市电子政务云平台（原7楼机房）通过光纤与浪潮云中心互联，实现云计 算中心一体化架构。本次项目涉及的主要业务系统均在同城两个中心双活建设，两个中心实现双活的基本原则为同样的业务程序基于无差别的数据资源，在用户的相同访问请求 下获取同样的业务服务，在实施上基于应用层和数据层的不同特点采用不同的技 术实现：1双中心网络部署大二层结构2、应用服务器跨中心部署应用负载均衡群集3、双数据中心数据库远程 RAC技术实现数据库的双活4、存储虚拟化技术部署跨中心的分布

4、式存储保障数据一致5、DNS智能解析保障三中心对外提供连续的业务访问服务两个数据中心拥有一致的业务数据， 采用横跨两个本地数据中心的数据负载 集群（如Oracle RAC）实现，保证在数据处理层数据的一致。两个数据中心拥有无差别的业务程序包，且业务程序包与数据资源解耦，每 个双活的业务程序均横跨两个中心部署，且在每个中心可以由多个节点负载部 署；应用服务器应用一致性以及会话信息同步采用中间件集群方式实现。两个中心对所有关键应用均采用双活的机制运行， 客户请求在任一时刻请求 任何的双活业务两个中心都会即时响应。 也就是所有的双活应用同时在本地两个 数据中心部署和发布， 拥有两套同时存活的服务接口

5、地址。 实现的难点在于怎么 有效地引导客户请求负载分发到两套服务接口，且不引入单局点故障。这里的单局点故障对象为“本地双活的任一数据中心”， 不同于传统单点故 障的对象为“物理设备或链路单点”。 也就是说访问入口不能唯一， 因为两套独 立的服务接口地址同时与外部网络相接，而外部网络（无论报检专网还是 Internet 网络）的感知和按需变化能力有限，不能满足唯一访问入口在两个数 据中心间转移的需要。本地双活中心与客户端之间有两套独立的网络； 不可能在两个中心间实现一 个唯一的 IP 入口。所以本项目采用全局负载均衡实现一个业务域名与两个业务 入口的关联映射，或使用客户端智能侦测择优连接实现对中

6、心的随机访问。借助负载均衡设备， 把“业务域名”负载解析到本地两个双活数据中心以及 未来的灾备中心的业务访问入口。 本期项目建设中在同城双活数据中心分别部署 智能DNS策略，配置相同的DNS智能解析策略，把客户端初次访问请求平均负载 到本地两个双活数据中心的负载均衡设备对外 lP 地址；实现访问基于智能 DNS 的负载均衡。用户请求在经DNS解析引导到某一数据中心后会惯性继续访问这一 中心不会随机到另一数据中心，只有当该数据中心不存活后才会向 DNS重新请求 解析。在本地双活数据中心，采用负载均衡设备，在最前端形成一个统一的访问入 口，方便客户端对业务系统的访问。 负载均衡设备采用基于负载的各

7、种压力算法， 结合服务节点存活检测机制， 把访问会话基于负载均衡的原则分发到存活的应用 服务器集群节点上。负载均衡设备执行应用分配工作，以双机 HA模式接入，为集群的应用服务 器提供应用交换服务， 结合健康检查和业务特点， 提供丰富的负载均衡算法组合(包括轮询、加权轮询、加权最少连接、最快响应、动态反馈、优先级等) ，满 足多种生产环境下的业务需求。2.2 双活建设方案两个数据中心拥有一致的业务数据， 采用横跨两个本地数据中心的数据负载 集群实现，保证在数据处理层数据的一致。两个数据中心拥有无差别的业务程序包， 且业务程序包与数据资源解耦， 每 个双活的业务程序均横跨两个中心部署，且在每个中心

8、可以由多个节点负载部 署；应用服务器应用一致性以及会话信息同步采用应用集群 +Session 集中方式 实现。双活包括以下几个层面：网络双活、安全双活、存储双活、数据库双活、应 用双活。其中，网络与存储的的双活是数据库双活、应用双活的基础。网络双活网络双活采用大二层(L2)结构，四台核心交换机采用虚拟化集群技术形成 一台逻辑交换机， 其端口数目、交换容量是各台成员设备之和， 具备较高的可扩 展性、可靠性，统一处理数据集中后的业务数据转发。网络系统的分区可根据应用部署分区进行划分，可结合数据中心网络要求增 加相应的分区。双数据中心采用大二层 (L2) 结构，将来双中心与灾备中心间考虑采用三层 (

9、L3) 结构。数据中心核心层的设计要点为：1、高性能：核心层应能高速无阻塞的转发生产数据。2、高可扩展：核心层结构应具备较高的可扩展能力，并随着业务的发展能 够进行网络规模的扩展。3、高可靠性：网络核心应具备极高的可靠性，各数据中心应具备双核心结 构。同城两个数据中心组成双活数据中心， 同时承担电子政务云数据大集中后的 业务数据核心层转发。 为确保核心节点设备的可靠性， 各数据中心均配置双核心 交换机。2 台核心交换机采用虚拟化集群技术形成一台逻辑交换机， 统一处理数据集 中后的业务数据转发。四台核心交换机形成虚拟交换机后，端口数目、 交换容量 是各台成员设备之和，可提高双活数据中心的网络性能

10、。为确保交换机间链路连接的冗余，四台核心交换机间采用环形连接。 随着数据大集中的发展和虚拟化技术的应用，数据中心的规模与日俱增，不 仅对二层网络的区域围要求也越来越大，在需求和管理水平上也提出了新的挑 战。数据中心区域规模和业务处理需求的增加，对于集群处理的应用越来越多， 集群的服务器需要在一个二层 VLANT。同时，虚拟化技术的应用，在带来业务 部署的便利性和灵活性基础上， 虚拟机的迁移问题也成为必须要考虑的问题。 为 了保证虚拟机承载业务的连续性，虚拟机迁移前后的 IP 地址不变，因此虚拟机 的迁移围需要在同一个二层 VLAN下。反过来即，二层网络规模有多大，虚拟机 才能迁移有多远。传统的

11、基于STP备份设备和链路方案已经不能满足数据中心规模、带宽的需 求,并且STP协议几秒至几分钟的故障收敛时间， 也不能满足数据中心的可靠性 要求。因此，需要能够有新的技术，在满足二层网络规模的同时，也能够充分利 用冗余设备和链路， 提升链路利用率， 而且数据中心的故障收敛时间能够降低到 亚秒甚至毫秒级。 大二层首先需要解决的是数据中心部的网络扩展问题， 通过大 规模二层网络和VLAN延伸，实现虚拟机在数据中心部的大围迁移。IRF2 是一种虚拟化技术， 从对提升网络整体效率的角度， 起到了一种横向整 合的作用， 即在不改变网络物理拓扑连接结构条件下， 将网络同一层的多台设备 横向整合，从逻辑上简

12、化了网络架构。由于整合后的 IRF2 系统具备跨设备链路 聚合功能，因此， 不同网络层之间的电缆互联也可通过逻辑整合， 多条链路被捆 绑成一条聚合的逻辑链路。安全双活安全双活：两台安全部署，不使用传统 HA方案机制，但增加互相策略、会话 备份和流量转发通道。一台设备先收到一条流的报文，则建立本地会话， 同时向 另一台防火墙同步对端会话， 当另一台防火墙收到这条流的后续报文时， 匹配到 对端会话， 则将流量转发到建有本地会话的防火墙上处理。 这样能够保证同一条 流的所有流量都由同一台安全来处理， 延续会话的一致性， 以便解决非对称流量 问题。同时，由于两台安全的物理接口都是分别独立互联，路由模式

13、部署时，分 别使用各自已建立好的动态路由邻居关系，这样当单台设备故障时，HA切换的时间就比较短，不会出现不可忍受的丢包现象。对等模式是安全全活考虑的解决方案。要求两台防火墙（工作在透明模式或 者路由模式）部署在双活并且起了动态路由协议（如 OSPF BGP的CE与PE之 间，主要做访问控制和攻击防护，路由模式部署时一般还需要做网络地址转换。 由于路由的冗余，会有非对称路由的问题出现： 如图 6所示， 用户侧访问网络侧 的流量走一台防火墙， 而网络侧回用户侧的流量走了另一台防火墙。 防火墙作为 状态检测设备，无论是采用单机还是AP/AA模式部署，都会出现由于匹配不到会 话，非对称流量无法通过状态

14、检测而中断的问题，同时影响应用流量管理、 入侵 防御等多个功能。2.2.2 存储双活为满足电子政务云主干系统环境建设项目灾备数据中心存储平台建设， 满足 数据业务 99.99%的连续性要求，方案设计为生产数据中心和灾备数据中心的应 用系统提供存储资源， 同时结合同城容灾机房进行容灾建设， 为灾备数据中心的 应用系统提供本地备份资源完成灾备数据中心的平台建设。 数据量规划满足备份 结构化与非结构化数据的需求。存储双活通过虚拟存储 +分布式集群方式实现。在两个数据中心分别配置一 套虚拟存储设备， 两套虚拟存储设备提供分布式联合能力， 允许两个数据中心的 虚拟存储设备透明协作， 每个数据中心的磁盘阵

15、列都通过其进行虚拟化， 两个数 据中心的磁盘阵列对于虚拟存储来说实现统一管理， 同时通过分布式卷将需要同 步的数据在两个数据中心的磁盘阵列上做镜像（如生产数据、交换数据等） ，镜 像卷显示并表现为单个卷（其行为方式类似于使用 RAID1 设备的虚拟卷），每个 数据中心都维护着数据的一个副本，避免单磁盘阵列故障风险。服务器访问由本地虚拟存储提供的分布式镜像卷， 不直接访问磁盘阵列生成 的数据卷， 分布式镜像卷可以被两个数据中心的服务器同时读写， 构成跨中心并 行数据库以及虚拟机 快速迁移的基础存储平台。 结合并行数据库、 虚拟化技术， 可以实现应用加数据的整体一致。2.2.3 数据库双活采用跨数

16、据中心的实时应用集群， 两个数据中心的各台服务器都处于对外服 务状态，数据储存在虚拟化后的分布式镜像数据卷中， 两个数据中心提供的数据 完全一致。2.2.4 应用双活主干系统及其配套应用系统均在两个数据中心相同部署， 在用户的相同访问 请求下获取同样的业务服务。应用部署， 两个数据中心拥有相同的、 无差别的业务程序包， 且在每个数据 中心可以由多个节点负载部署；应用服务器应用一致性以及会话信息同步采用 NAS 文件共享、应用集群 /Session 集中方式等方式实现。双中心对所有关键应用均采用双活的机制运行， 用户在任一时刻请求任何的 双活业务都会得到即时响应。本次数据中心建设，目的在于实现电

17、子政务云同城双中心业务的负载均衡， 并实现数据的异地灾备， 保证用户访问的快速性和持续性， 本次项目建设将在北 京建设两个主数据中心， 并在后期在建设一个容灾中心。 目前每个数据中心均具 备广域网接入，通过多数据中心的建设期望达到具体效果如下： 电子政务云两个主数据中心正常时，通过静态和动态两种判断方法，保 障直属局用户在访问资源时被引导至最合适的数据中心；实时监控电子政务云两个数据中心的运行状况，及时发现故障站点，并 相应地将后续的用户访问请求都调度到其他的健康的数据中心； 两个数据中心之间形成站点冗余，保障业务的高可用性，并提升各站点 的资源利用率。根据以上建设目标， 本期项目将在双活数据

18、中心核心层均部署全局负载均衡 设备，用于实现广域网全局数据流向的负载均衡。2.2.5 双活中心应用发布两个中心对所有关键应用均采用双活的机制运行， 客户请求在任一时刻请求 任何的双活业务两个中心都会即时响应。 也就是所有的双活应用同时在本地两个 数据中心部署和发布， 拥有两套同时存活的服务接口地址。 实现的难点在于怎么 有效地引导客户请求负载分发到两套服务接口，且不引入单局点故障。这里的单局点故障对象为“本地双活的任一数据中心”， 不同于传统单点故 障的对象为“物理设备或链路单点”。 也就是说访问入口不能唯一， 因为两套独 立的服务接口地址同时与外部网络相接，而外部网络（无论报检专网还是 Internet 网络）的感知和按需变化能力有限，不能满足唯一访问入口在两个数 据中心间转移的需要。本地双活中心与客户端之间有两套独立的网络； 不可能在两个中心间实现一 个唯一的 IP 入口。所以建议采用全局负载均衡实现一个业务域名与两个业务入口的关联映射， 或使用客户端智能侦测择优连接实现对中心的随机