EMC双活数据中心解决方案 V4.0

1、K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分EMC 数据中心容灾系统建设方案建议书EMC 电脑系统（中国）有限公司Version1.0，2014/10前言信息是用户的命脉, 近十年来信息存储基础设施的建设在用户取得长足的进步。从内置存储转向外置 RAID 存储，从多台服务器共享一台外置 RAID 阵列， 再到更多台服务器通过 SAN 共享更大型存储服务器。存储服务器容量不断扩大的同时，其功能也不断增强，从提供硬件级 RAID 保护到独立于服务器的跨磁盘0页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分阵列的数据镜像，存储服务器逐渐从服务器外设的角色脱离出

2、来，成为单独的“存储层”，为数据中心的服务器提供统一的数据存储，保护和共享服务。随着用户业务的不断发展，对 IT 系统尤其是存储系统的要求越来越高，鉴于用户业务由于信息的重要性，要求各地各用户多中心来预防单一数据中心操作性风险。多数据中心建设方案可以预防单数据中心的风险，但面对多数据中心建设的巨额投资，如何同时利用多数据中心就成为 IT 决策者的首要问题。同时利用多数据中心就必需实现生产数据跨中心的传输和共享，总所周知，服务器性能的瓶颈主要在 IO 部分，数据在不同中心之间的传输和共享会造成IO 延时，进而影响数据中心的总体性能。同时，各家厂商不断推出新技术 ，新产品，容量不断扩展，性能不断提

3、高， 功能越来越丰富，但由于不同存储厂商的技术实现不尽相同，用户需要采用不同的管理界面来使用不同厂商的存储资源。这样，也给用户业用户带来不小的问题， 首先是无法采用统一的界面来让服务器使用不同厂商的存储服务器，数据在不同厂商存储服务器之间的迁移也会造成业务中断。作为信息存储行业的领先公司， EMC 公司针对用户跨数据中心信息传输和共享的迫切需求，推出存储 VPlex 解决方案，很好的解决了这些问题。本文随后将介绍 VPlex 产品及其主要应用场景，供用户信息存储管理人士参考。第一章.方案概述需求*计划建设两个数据中心，构成同城双生产系统，两中心之间距离不超过100 公里；要求数据零丢失，系统切

4、换时间小于 5 分钟；方案简介为了满足客户建设容灾系统的需求，我们设计了本地双活数据中心。整体架构如下：1页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分上图是双活数据中心总体框架，包括双活存储系统、双活数据库系统、双活应用系统和双活网络系统。我们将利用存储双活技术和主机集群技术实现数据库系统的双活，利用负载均衡设备实现应用系统在两个数据中心内的负载均衡，利用动态域名确保两个数据中心的网络双活。双活数据中心可以实现业务系统同时在两个节点同时工作，达到负载均衡的目的。当生产节点出现故障时，业务系统还能够在第二生产节点上正常工作，实现业务零切换。第二章. 双活数据中心架构设计

5、通过对*具体需求的分析，我们建议客户采用双活数据中心架构设计。数据库系统双活架构设计在这个架构中，存储层除了采用 EMC VNX 存储系统或者其他厂商存储系统（第三方主流存储系统见 EMC Vplex 兼容性列表）外，还引进了 EMC 全新一代数据整合系统 VPLEX，由 VPLEX 实现存储系统高可靠性和同城范围内数据高效共享。本地存储高可靠性保证在本方案中，首先我们要满足客户对生产中心存储系统高可靠性的需求。目前的 IT 系统架构中，从应用服务器、数据库服务器到网络等各个部分都已经提供了高可靠性的设计，唯独存储系统很少有高可靠性方案的设计，这主要基于两个原因：存储系统自身已经有高可靠性设计

6、，控制器、电源、链路等都是冗余设计，可靠性较高，一般情况下很少会发生整体故障，导致数据不2页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分可访问。没有非常合适的技术来实现存储系统的高可靠性保证现在 EMC 推出了全新架构的数据整合解决方案VPLEX，VPLEX 首先实现了本地存储系统的整合及高可靠性设计，而且是硬件级别的解决方案。在本项目中，生产中心 VPLEX 首先将两台 EMC DMX3/4（仅以 DMX 存储为例说明，下同）整合在一起，实现存储级别的 HA 系统。如下图显示：在两台 DMX3/4 中分别划出两个 LUN，LUN-A 和 LUN-B LUN 大小一样R

7、AID 的保护方式一样为了保证性能所分布的硬盘类型和数量最好也一样将这两个 LUN 同时映射给 VPLEX（通过图中虚线链路），VPLEX 可以将这些LUN 进行再次 RAID 保护，目前 VPLEX 支持的 RAID 保护级别为：RAID 0 RAID 1分布式 RAID 1在实现本地存储 HA 系统时，使用 RAID 1 保护方式，形成一个虚拟 LUN（V-LUN）。VPLEX 通过光纤链路（图中实线链路）将V-LUN 分配给主机，主机可以进行读写操作当主机向 V-LUN 写入 I/O 时，先写入 V-LUN，然后再继续写入到两台 DMX3/4 存储系统中当其中一台存储设备发生故障，整个存

8、储系统能够继续工作，主机访问存储不会受到任何影响双活数据中心数据保护本次项目客户要求首先实现本地存储高可靠性保护外，还需要实现双活数据中心，既两个数据中心的业务同时运行，任何一个数据中心出现问题，业务都会继续运行。3页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分通过 VPLEX 进行数据读写首先在第二生产节点上，DMX3/4 存储系统给 VPLEX 分配一个 LUN，VPELX产生一个 V-LUN。如下图显示：其次，通过两个节点的 VPLEX 产生一个分布式虚拟 LUN，采用分布式 RAID 1保护。如下图显示：两个节点的主机都能够访问到这个虚拟 LUN，两节点的主机都

9、能够同时访问这个分布式虚拟 LUN。由于我们提供的是双活数据中心，两个节点中的数据要实时一致，所以在写入数据时，要确保数据被同时写入到两个节点中，这样才能保证数据两节点之间的数据一致性。如下图所示：在生产节点的主机产生 I/O；向 VPLEX 写入 I/O, I/O 通过 VPLEX 之间的光纤链路发送到第二生产节点的 VPLEX 上，I/O 同时写入到两个节点中的 DMX3/4 存储系统中；第二生产节点的 VPLEX 向生产节点 VPLEX 发出写 I/O 完成的确认信息（ACK）；通过 VPLEX 进行数据读取EMC VPLEX 是一个集群系统提供分布式缓存一致性保证，能够将两个或多个VP

10、LEX 的缓存进行统一管理，从而使主机访问到一个整体的缓存系统。当主机向VPLEX 的摸一个缓存区域写 I/O 时，VPLEX 缓存将锁定这个缓存区域，同一时刻其他主机是无法向这个缓存区域写入 I/O 的。但是，当主机读取 I/O 时，VPLEX 缓存允许多个主机访问一个缓存区域，尤其是主机访问其他 VPLEX 集群中其他VPLEX 所管理的数据时，统一个缓存管理会将这个 I/O 的具体位置告知主机，主机直接访问。如下图显示：4页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分主机故障切换我们将 1 个 RAC 的集群中的两台主机分别放置在生产和第二生产节点上， 这两台主机

11、形成一个跨数据中心的集群系统，如图中 RAC1-1 和 RAC1-2，RAC2-1 和 RAC2-2。这种设置保证了正常情况下，两节点的主机同时工作；一旦其中一个节点的主机出现故障，业务会无缝的被另外一个节点的主机所接管。此时，RAC 的心跳线需要通过网络来进行连接。存储故障切换主机故障切换由 RAC 集群保证，存储系统故障切换则由 EMC VPLEX 保证。EMC VPLEX 中设计了一个重要的部件VPLEXWitness Witness 安装在客户提供的 VMware ESX Server 上运行的虚拟机，Witness最好与两个 VPLEX 集群不在同一地点，但是考虑到实际情况，也可以将

12、 Witness 放置在生产节点。VPLEX Witness 使用 IP 连接监视两个 VPLEX 群集之间的系统“心跳”信号。通过监视这些心跳信号，VPLEX Witness 可以区分站点故障和站点分区。VPLEX Witness 让应用程序能够承受任何存储故障的影响，包括同时影响整个存储设备机架的故障。 VPLEX Witness 与服务器群集软件和 AccessAnywhere 相结合，形成了一套端到端的解决方案，允许在服务器出现故障时自动重启。对于 双活数据中心的部署，VPLEX Witness 能为客户提供具有零恢复点目标 (RTO) 的高可用性解决方案。由于在生产节点已经通过 VP

13、LEX 实现存储的 HA，所以一个存储系统出现故障，不会影响到整个系统的正常运行。如图所示：第二生产节点存储系统出现故障，不会影响到整个系统的正常运行。如图所示：VPLEX 系统故障VPLEX 系统自身是全冗余设计，可用性能够达到99.999%，但是为了防止5页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分VPLEX 自身出现故障，VPLEX 自身有一整套放置系统故障的处理流程，在这个过程中就要结合上面我们提到的 Witness。如下图所示：上图中，种情况中，业务正常工作；种情况中，业务暂停，需要少量人工干预将业务恢复，时间不会超过 10 分钟。生产节点发生灾难如果生产节

14、点发生灾难，则所有业务要切换至第二生产节点，其过程如上图所示情况，需要少量人工干预，在这种情况下人工干预是指将V-2 暂时中断的工作重新启动，主机能够重新访问存储系统，最终业务恢复。生产节点恢复生产节点修复后，需要重新将生产节点和第二生产节点的 VPLEX 关联起来。在 VPLEX 上重新通过两个节点的 VPLEX 产生一个分布式虚拟 LUN，采用分布式 RAID 1 保护，此时业务可以正常运行，第二生产节点与生产节点之间的数据在后台进行复制，直到两边数据一致。在这个过程中，我们还需要将 VPLEX 的Witness 修复，在其中定义生产节点为主节点。网络系统架构设计互联网接入部分该部分内容

15、EMC 只是根据其他用户的经验提供一些建议，具体设计与实施还需要专业的网络系统厂商或集成商提供。建议两个生产分别租用两条互联网出口线路，一条联通线路，一条电信线路。在每条线路出口处，分别透明部署一台智能抗攻击设备，用以抵挡来自互联网的Dos/DDos 等攻击，保护内部用户和服务器的安全。在两台抗攻击设备后，分别部署两台链路负载均衡设备，用来实现多广域网6页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分线路选路和冗余备份，使用户可以通过最快线路访问*业务系统，加快了数据中心访问速度。同时，当任何一条线路故障，用户依然可以通过另一条广域网线路访问数据中心服务器，提高了数据中心

16、的可靠性。链路负载均衡设备可实现多条 internet 接入链路的负载均衡，可以同时实现outbound 流量和 inbound 流量双向的负载均衡。链路负载均衡设备会通过多种方式检测两条链路的健康状况，一旦发现其中一条链路故障，会立即将所有用户流量定向至其它可用链路，从而实现 Internet 连接的高可用性。主要的方法有：为了确保ISP 链路的畅通，链路负载均衡设备将采用Ping 的方法， 不仅仅检查和其相连的路由器的端口是否可达，还可以检查该链路后续路由节点的连通性（10 跳），已确保整个路径的畅通。针对所有的网络环境（包括禁止 ICMP 的 ISP），链路负载均衡设备提供了丰富的 47

17、 层检查方式，并可以通过多种检查结果的“与”和“或”运算结果，最终准确判断链路的健康状况。在链路负载均衡设备旁路部署全局负载均衡设备。通过全局负载均衡设备的智能 DNS 功能，实现两数据中心的灾备功能。当第一生产中心的所有服务器故障或受到攻击而不能提供服务时，全局负载均衡设备会引导用户（自动或人工） 去第二生产中心访问业务。在用户的权威 DNS 服务器上添加 NS 记录，使服务器域名的解析权交给主备两个站点的全局负载均衡设备。当全局负载均衡设备（无论哪个中心）收到用户 DNS 请求后，首先会检测服务器状态，确认应用是否健康，能否正常提供服务，广域网线路是否正常等等。如果主站点服务器能提供正常服

18、务，再根据 DNS 请求包源地址，将域名解析为主站点的联通或电信地址（根据动态探测结果），使用户访问主站点服务器。如果主站点服务器不能提供正常服务，则将域名解析为备站点的地址，使用户访问备站点服务器。当两个数据中心的任何一个互联网线路故障或全局负载均衡设备同时故障，7页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分备份中心的全局负载均衡设备探测到第一生产中心故障，并接管全部 DNS 解析功能，引导用户访问第二生产中心互联网入口。核心网络系统该部分内容具体设计与实施还需要专业的网络系统厂商或集成商提供。SAN 网络系统由于目前*已经实现了两个数据中心之间的 SAN 网络互联

19、，所以双活数据中心系统直接利用现有的 SAN 网络系统即可。双活数据中心建议配置设备VPLEX 虚拟存储系统引擎，2 套，每套引擎配置两个控制器，每套引擎配置 72GB 高速缓存，16 个 8Gbps 光纤端口；两台智能抗攻击设备； 两台链路负载均衡设备； 两台全局负载均衡设备第三章.产品配置序产品型号号EMC 存储产品报价表配置描述虚拟化存储引擎：每台两个控制数量EMC报价EMC Vplex器，配置缓存 72G,32 个 8GB 主机接口，12Metro配置 4 个 56GB EFD 硬盘， 管理软件，专用机柜。磁盘阵列：冗余引擎，配置缓存EMC2VNX520032G,8 个8GB 主机接口

20、，配置2 块400GB2EFD 磁盘，46 个 900GB 10k SAS 硬盘，8页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分配置自动分层软件，链路冗余软件，存储管理软件等。Total：第四章.方案优势方案优势双活数据中心优势基于 EMC VPLEX 系统所构建的双活数据中心，能够实现双中心零时间切换的终极目标，使客户的业务持续运行。技术领先：EMC VPLEX 引入了一种新的体系结构，它吸收了我们在 20 年设计、实施和完善企业级智能缓存和分布式数据保护解决方案的实践中取得的经验教训。以可扩展、高可用的处理器引擎为基础， EMC VPLEX 设计为可从小型配置无缝扩展到大型配置。VPLEX 驻留在服务器和异构存储资产之间，使用独特的群集体系结构，此体系结构允许多个数据中心的服务器具有对共享块存储设备的读/ 写访问权限。此新体系结构的独特特征包括：横向扩展群集硬件，允许您从小配置开始并以可预知的服务级别逐步扩展高级数据缓存，它利用大规模 SDRAM 缓存提高性能并减少 I/O 延迟和阵列争用分布式缓存吻合性，可跨整个群集自动执行 I/O 的共享、平衡和故障切换9页脚内容K1+478K1+5888 段左侧片石混凝土挡土墙第 1 部分跨 VPLEX 群集的一个或多个 LUN 的统一视图，这些