V7000存储高可用处理办法

1、方案V7000存储局可用参考万案（XXX容灾方案建议）目录第1章XXXX容灾方案参考11.1 系统现状11.2 容灾需求分析11.2.1 容灾参考方案2总体架构规划2V7000外部存储虚拟化功能说明3V7000VDM（虚拟磁盘镜像）功能说明4后期存储扩展建议5系统配置参考5第2章V7000存储设备介绍72.1 IBMV7000存储系统概述72.2 通过IBMSystemStorageeasytier增强访问能力72.3 通过精简调配来优化效率82.4 动态迁移避免系统中断运行92.5 通过复制服务来保护数据92.6 管理工具与IBMSystemsDirector相集成112.7 高性能SSD支

2、持.12外部存储系统虚拟化.12第3章存储高可用技术建议133.1 存储高可用性的内容.133.1.1 存储高可用性方案的主要实现方式1.5方式一：磁盘设备间数据镜像（如LVMMirror）16方式二：磁盘设备间数据复制（如PPRC或ERM）20方式三：采用SVC或V7000或V7000实现逻辑卷镜像23三种HA方式的比较25第1章XXXX容灾方案参考1.1 系统现状XXXX现有IT系统的现状大致如下图所示。采用旧MP550服务器作为数据库服务器，采用DS3400存储设备作为主存储系统。中心局域网数据库服务器IBMP5501.2 容灾需求分析当前，XXXX计划在同一园区内建设容灾系统，在容灾中

3、心和主生产中心之间采用2km长的裸光纤进行直连。并且，希望对现有的存储设备进行充分利旧。IBM将针对当前所了解的情况，做出初步的方案，供XXXX容灾建设参考。由于DS3400设备没有自身的基于磁盘的远程复制功能，因此无法采用基于存储底层的磁盘复制技术。此外，由于DS3400的性能有限，且缓存较低，因此采用基于AIX操作系统的LVM镜像方式性能会有影响。（各种高可用技术，详见第3章的说明）而目前旧M最新的虚拟化存储设备V7000,即可以支持外部存储的接入，也可以支持内部存储和外部存储之间的镜像，因此可以通过V7000存储设备来实现存储的高可用，并达到同园区内容灾的目的。容灾参考方案总体架构规划中

4、心局域网容灾中心局馈网数据库服务器IBM容灾双着器总体同园区容灾的架构如上图所示，建议新增一套IBMV7000存储设备，并配置外部存P550储接入功能。DS3400作为V7000存储通过两对SAN交换机之间的2km裸光纤直连，可以将现有的设备的外接存储，DS3400上的卷以image模式接入到V7000中，并和V7000上的卷组成镜像的卷（采用了V7000的VDM功能）。即当服务器写数据到VDM镜像后的卷的时候，V7000会自动在V7000的卷和DS3400的卷中各写一份，保障了在本地和远端同时都有一份相同的数据。在光纤交换机上，需要在每台SAN交换机上都配置一个单模长波模块用于2km裸光纤的

5、直连。1.2.1 V7000外部存储虚拟化功能说明V7000具有外部存储虚拟化功能，该功能沿袭了目前业界最成熟的存储虚拟化产品旧MSVC的几乎所有功能，具有当前最广泛的存储兼容性能，可以连接大部分的光纤存储设备。外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添加到旧MStorwizeV7000存储容量池中，从而提高软件价值和性能优势。对于不再用作主存储系统，但可通过重新部署而用作备用存储系统的现有存储产品来说一例如，用作闪速拷贝目标或者用于保存归档数据的存储系统一这将能够延长它们的使用寿命，但不影响旧MStorwizeV7000的管理及存储功能发挥高效率的优势。V7000VDM（虚拟磁

6、盘镜像）功能说明6/.0bLUHledmiUdMlntclM2.1 管理工具与旧MSystemsDirector相集成这个解决方案通过集成方法来管理EM服务器和存储器，旨在帮助IT机构解决与同时管理物理和虚拟服务器基础架构相关的重大忧虑一包括监控和修复功能，以便提高可用性、运营效率和基础架构规划效力。一名系统管理员即可使用单一管理界面来同时管理并且操作旧M服务器（Systemx?Systemp?和BladeCenter?）、网络基础架构及IBM存储器（包括旧MStorwizeV7000）。2.2 高性能SSD支持对于需要高速磁盘及快速数据存取的应用来说，旧M通过300GB2.5E-MLC（企业

7、级多级单元）SSD提供固态驱动器，在一个支持向外扩展高性能SSD的系统中最多提供72TB的物理容量。2.3 外部存储系统虚拟化外部存储系统虚拟化允许您将外部光纤通道控制器的磁盘容量添加到旧MStorwizeV7000存储容量池中，从而提高软件价值和性能优势。对于不再用作主存储系统，但可通过重新部署而用作备用存储IBMStorwizeV7000的管系统的现有存储产品来说一例如，用作闪速拷贝目标或者用于保存归档数据的存储系统一这将能够延长它们的使用寿命，但不影响理及存储功能发挥高效率的优势。第3章存储高可用技术建议云计算服务管理平台是为了加强和简化云计算平台的统一管理所提供的一整套管理系统。在银鹭

8、集团的云计算项目中，建议在一期完成云基础平台后，于二期系统建设的时候部署。以下是云计算服务管理平台的相关介绍。3.1 存储高可用性的内容我们先来分析一下，高可用性所覆盖的内容。首先，业务连续性由三级支撑构成。高可用性，扮演着其中最为基本的一级：高可用性(HighAvailability)要求容错的硬件、自动诊断以及故障隔离、预分析、冗余等。其中，冗余是其最核心的特征。数据复制(DataReplication)在同城、异地，或者同城及异地进行数据的有效复制数据恢复(DataRecovery)非计划停机时，进行保护和恢复，满足恢复点目标和恢复时间目标高可用性，是体现在系统的各个细节中。从一个典型的

9、IT系统拓扑来看，它的主要实现层次如下图所示：的:临1衅：加*3辨年中修卜跄1：-Mw附本地存储设备层次的高可用性，如图中蓝色虚线方框所示，主要从以下三方面考虑：冗余SAN网络SAN交换机冗余配置，主机光纤通道卡、存储光纤接口双配置，冗余连接等。这部分设计用于防范通道、接口和网络的单点故障。存储设备个体高可靠除普遍支持RAID保护技术外，目前的部分高端企业级存储，还采用全冗余设计、镜像缓存等技术来进行自身保护。这部分设计和使用，侧重在于保证存储设备单个个体内的数据安全。当存储设备出现全面故障，不能运转时，最多只能保证“数据不丢失”，不能支持“数据持续访问”。双存储设备如上图中红色虚线部分所示，

10、配置双磁盘设备，存放双数据拷贝。保证在单个存储服务器出现故障时，首先实现数据不丢失，其次实现业务的连续运行。在这三方面中，冗余SAN网络、存储设备个体高可靠相对为人所熟悉，不再赘述。下面所谈的存储高可用性方案重点，将集中在“双存储设备”的环节上。3.2 存储高可用性方案的主要实现方式存储高可用性，有三种主要的实现方式:方式一：磁盘设备间数据镜像方式二：磁盘设备间数据第制ActiveServerHABackupServerActiveServerHABackupServerSANActiveDis1/DudlWriteBackupDiskDualWiiteI方式三：采用SVC或V7000虚拟存储

11、实现逻辑卷镜像VirtualDiskVdisk1Vdisk2ManagedDlskrftLUNSLUNaLUNbLUN1LUN2Ma阵列视角00BBBRAID53.2.1 方式一：磁盘设备间数据镜像（如LVMMirror）通过pSeries的LVM（逻辑卷镜像）等技术，在两套磁盘设备问，建立数据镜像关系。两套存储设备同时处于活动状态。生产主机在写数据时，会同时写入两套磁盘设备中。该方式能够提供最佳的持续可用性。当一台存储设备出现整机故障时，由另一台存储设备独立工作，应用不会受到中断。配置双磁盘系统，通过操作系统的卷管理功能，在磁盘间进行数据镜像，保证两套磁盘设备保存有实时相同的数据拷贝。可以有

12、效避免由于单一磁盘系统发生故障而导致的系统意外宕机。充分提高系统的连续可用性。LVM这种双磁盘系统间数据镜像方式，是基于旧Mp系列主机系统的LVM（逻辑卷管理）功能实现的。LVM功能，是旧M在UNIX系统创先使用的磁盘空间管理功能，它嵌入在AIX核心功能中，具有速度快、功能强大、管理方便等优点功能和EM存储系统配合，是目前技术成熟度高、投资相对较低、实施快速简便、应用行之有效的本地高可用解决方案和容灾方案。在实施旧MLVM的数据镜像方案时，分别将磁盘系统A和磁盘系统B,通过光纤HBA卡连接到SAN交换机上，接入SAN网络。这时，主机会有效识别两套存储系统。之后，通过主机的LVM管理器，将需要高

13、可用保护的数据，在两套磁盘系统上建立镜像关系。一份数据拷贝放置在磁盘系统A上，另一份数据拷贝放置在磁盘系统B上，两份数据拷贝保持着实时同步关系。读数据时，可以从任意一份数据拷贝中读出，提高性能；写数据时，两份数据拷贝被同时修改。当任意一个磁盘系统发生故障，即其中一份数据拷贝失效时，另一份数据拷贝照常发挥作用，业务不会停顿。非常好地保证了数据的高可用性。LVM可以为一个每一个数据卷提供多份拷贝，它可以支持23份数据拷贝。该功能包含在p系列主机AIX操作系统中。采用这种方式，业务和应用系统的运行可以通过集群软件HACMP进行主机之间的故障接管，实现应用系统运行功能的高可用性；数据存储系统可以采用L

14、VM进行磁盘存储系统之间的故障接管，实现应用系统数据访问的高可用性。这样，即使有一半的主机系统和一半的存储系统发生故障，不能正常工作，整个系统也不会发生瘫痪，仍旧可以继续运行，充分满足了业务连续运行的要求。应用LVM的方案对用户的现有环境没有改变，不存在数据集中迁移的问题，而且业务系统保持同时在线，不存在系统接管、应用重新启动的问题，可以实现系统的平滑过度实施LVM方案，既可以在相同型号的旧M存储产品之间进行，也可以在不同型号的旧M存储产品之间进行。下面简要说明LVM的实施过程。LVM为操作系统的卷管理器，对于旧M的存储设备，在相同或者不同型号的磁盘系统上，二个磁盘系统的磁盘空间可组成同一VG

15、(volumegroup),对操作系统来说磁盘A的盘和磁盘B的盘都是相应/dev/dsk下的设备号，同一VG又可以分成逻辑卷(logicalvolumes),每个逻辑卷之间又可以在线的做镜像，所以可以把磁盘B的盘加到磁盘A的VG里，形成逻辑卷，用LVM使磁盘B的相应的卷成为磁盘A的镜像。作为一个完善的高可靠性和高连续可用性系统应该能够同时满足数据备份与应用切换的需求，其中应用切换已经由HACMP高可用性集群实现，下面针对该方案中的数据同步部分加以分析。为了实现数据的同步，我们利用数据镜像功能LVM,为已有的磁盘A(下图所示之“数据拷贝一”)上的生产数据添加一个拷贝，并将其镜像设备指定为磁盘B(

16、下图所示之“数据拷贝二”)。正常工作模式下，数据的写入操作可以用下图说明:数据更新流向图生产系统对磁盘A的“数据拷贝一”的任何更新都实时在磁盘B的“数据拷贝二”得到更新，“数据拷贝一”和“数据拷贝二”的更新方式有顺序方式、并行方式等多种机制可供选择。一般使用并行方式以增加整体性能当存储系统A发生故障时，生产无需停顿，生产主机利用存储系统B上的数据拷贝继续运行。如下图所示:本地存储故障当对存储设备A进行维修时，断开镜像关系；存储设备A修复后，恢复数据镜像关系，数据自动在A和B的两份拷贝问同步，之后恢复到两份拷贝同步运行模式。3.2.2 方式二：磁盘设备间数据复制（如PPRC或ERM）通过PPRC

17、或ERM等磁盘数据复制技术，在两套磁盘设备间建立数据复制关系。对于主机来讲，活动状态的存储设备只有一台。这台存储设备使用硬件复制技术和备份磁盘之间进行数据复制，保持两个存储设备上的数据一致。数据复制对主机是透明的。配置双磁盘系统，通过磁盘系统提供的数据复制功能，在磁盘间进行实时数据复制，保证两套磁盘设备上的数据同步。可以有效避免由于单一磁盘系统发生故障而导致的系统意外宕机。充分提高系统的连续可用性。这种磁盘设备间数据复制方式，是基于旧M磁盘系统提供的数据复制技术来实现的。使用DS8000、ESS800、DS6800等型号时，具体采用PPRC复制方案实现；使用DS4000系列型号时，具体采用ER

18、M复制方案实现。这类数据复制技术，可支持的主机范围广，是目前技术成熟、应用广泛的本地高可用解决方案和容灾方案。下面，以PPRC复制方案为例，进行说明。点对点远程拷贝（PPRC）是基于旧M存储设备的一种数据复制工具，它分为同步、异步和层叠式PPRC。其中，同步方式又称为Metro-Mirror,异步方式又称为Global-Mirror,层叠方式又称为Metro/GlobalMirror。同步和异步方式可以转换。这种复制技术，既可以实现本地存储高可用，也可以实现远程灾难备份。本地高可用、远程灾备两部分内容可以并存，也可以平滑过渡和转化。在本地存储高可用性的应用中，重点在于保证数据的不丢失和完全可用

19、，所以一般采用同步方式，即MetroMirror方式。它既可以用于同一机房内部、同建筑等本地的两个ESS800或DS8000系统之间的数据复制，也可用于相隔距离多达300公里的两个ESS或DS8000系统间的数据复制。PPRC将确保如果备份卷不能被更新，那么即使源卷更新成功，整个写操作也会返回失败-彻底保证源卷和目的卷的数据彻底一致。同步方式可以保证数据不会丢失，更重要的是数据的一致性在这种方式下能够得到很好的保证-数据的不一致意味着相关数据的丢失，此时数据库的数据安全机制无法保证数据的安全，严重时有可能造成数据库无法启动。PPRC的同步实现机制如下图所示:ServerwriteWriteac

20、knowledgeWritetosecondaryWritehittosecondaryD生产系统中的应用程序将数据写到生产磁盘设备。（主要是写入生产存储设备的CACHE和相应的NVS当中）2）生产数据复制到备份磁盘设备。生产系统中的磁盘数据传输到备份磁盘（主要是写入到备份存储设备的CACHE和相应的NVS当中）3）当生产数据都写入备份存储设备的CACHE和相应的NVS后，备份磁盘将写完操作信息返给生产磁盘4）已写信息返回之后，生产磁盘系统通知主机该写操作已完毕，在此之后生产系统应用继续执行。5）重复进行以上的操作在PPRC的数据复制保护下，磁盘设备B和磁盘设备A上，存放着相同的生产数据。当生

21、产磁盘设备A发生故障、无法使用时，仅需快速地改变生产连接到磁盘设备B,生产就能够得到回复，业务受到的中断影响严格可控制。基于磁盘设备的这类数据复制技术对主机要求较少，但是要求生产中心和备份中心的存储设备的硬件平台相同或相近。基于该种方案的数据复制系统在搭建数据链路时，普遍采用了基于FC的光纤裸链路，在同一机房或同一建筑内时，更是可以直接使用FC光纤，其数据的传输性能可以得到保证。方式三：采用SVC或V7000或V7000实现逻辑卷镜像s。视角一磁椭阵列视由主机视角-物理磁盘层B0B00RAID5BB000RAIDS通过EMSVC或V7000(SANVolumeController)来实现两台存

22、储系统上的磁盘进行镜像后为服务器提供存储。上图是通过SVC或V7000实现两台阵列之间存储镜像的示意图。对于底层的磁盘阵列来说，其使用方式与现在相同，对其内部的磁盘先进行RAID,然后在RAID组上进行逻辑磁盘(LUN)的划分。如上图的例子中，首先对两个阵列的磁盘做RAID5,然后在左边阵列中再作成LUNa和LUNb两个逻辑磁盘，同样在右边阵列中可以作成LUN1和LUN2两个逻辑磁盘。在没有SVC或V7000的时候，我们要把这些LUNmap给对应的服务器，然后在服务器上就可以找到这些硬盘。但是这样并没有实现磁盘阵列之间的Mirror。现在，我们有了SVC或V7000设备，这个时候不再把这些LUNmap给服务器,而是map给SVC或V7000。SVC或V7000把这些map过来的磁盘当做是可使用的原始磁盘，称之为ManagedDisk。SVC或V7000再对ManagedDisk进行处理，可以在不同的ManagedDisk之间进行