辽宁联通测试环境SVC数据整合方案以及实施计划

1、辽宁联通测试环境SVC数据整合方案以及实施计划IBM STG LBS2009年6月25日目录1概述32整合前测试环境SAN环境介绍42.1整体SAN环境逻辑结构图42.2参与到整合各个应用系统SAN及存储信息53整合后测试环境SAN规划113.1整体SAN环境逻辑结构图（整合后图）113.2新存储空间划分规划113.3整合后的应用系统的SAN及存储信息规划124数据整合实施步骤134.1实施步骤概述134.2第一阶段：新旧SVC替换实施步骤具体描述154.3第二阶段：存储虚拟化实施具体步骤描述164.4第三阶段：数据移植实施具体步骤描述175辽宁联通测试环境SVC存储整合实施计划191 概述辽

2、宁联通测试环境SVC数据整合工程主要的目的是将目前由EMC CX400存储和HP EVA5000存储组成的SAN存储环境，利用IBM SVC存储虚拟化设备，将原始存储首先进行存储虚拟化，然后将原始存储内数据移植到新购进的IBM XIV存储内，实现测试环境存储结构的独立以及存储空间扩容，同时实现为生产数据刷新进行准备。本次数据整合工程包括的应用系统有l 计费系统（3个IBM P服务器分区，AIX52系统）l 综服及网营系统（2个IBM P服务器分区，AIX52系统）l 资源系统（1个HP服务器，HPUX11.11系统）l 网管系统（1个HP服务器，HPUX11.11系统）本次数据整合工程主要的存

3、储系统有： EMC CX400存储（约4TB） HP EVA5000存储（约3TB） EMC CX600存储（500GB） EMC SAN M140交换机（核心光纤交换机） IBM SVC存储虚拟化设备（存储虚拟化以及数据移植） IBM XIV存储（高性能海量存储，核心存储设备）本次数据整合工程主要的涉及的技术人力资源： 辽宁联通周文斌，项目经理，负责整个项目协调及工程控制 辽宁联通孙皓，存储系统管理员，负责原始存储控制，新存储管理 辽宁联通计费、综服、资源、网管系统管理员，负责各个应用系统的起停，验证数据 HP以及EMC维保技术支持，负责在整合工程中提供SAN交换机、存储、操作系统技术支持

4、IBM公司任鹏、国锋，数据整合工程实施工程师，负责存储虚拟化以及数据移植2 整合前测试环境SAN环境介绍2.1 整体SAN环境逻辑结构图1. 参与到整合的应用系统介绍应用系统名称操作系统类型分区名称系统IP地址计费（LNJF_CS1）AIX-5204IBM1 670_LPAR1132.194.36.25计费 内部测试DB（LNJF_BX1）AIX-5204IBM3 570_LPAR1132.193.42.20计费 内部测试应用AIX-5204IBM4 570_LPAR1132.194.36.103综服 DB（LNZF_BX1）网营AIX-5204IBM1 670_LPAR3132.193.42

5、.22综服（LNZF_CS1）AIX-5204IBM3 570_LPAR2132.194.36.27HP资源HPUX-11.11HP RP7420132.193.42.26HP网管HPUX-11.11HP RP8400132.194.5.122.2 参与到整合各个应用系统SAN及存储信息应用系统名称系统光卡wwpn连接存储名称该存储host adapter wwpn映射的LUNID系统pvid系统内vg名称存储连接的交换机端口现有ZONING计费（LNJF_CS1）10000000C938544DCX400500601601020D986LUN:21:2:200GB0035b69f969623

6、bc vgcsdb1 SW LOWZone: ceshi_35B_hba1_cx400-1 Zone Member: 10:00:00:00:C9:38:54:4D Zone Member: 50:06:01:60:10:20:D9:86 Zone Member: 50:06:01:68:10:20:D9:86500601611020D986LUN:12:1:10GB0035b69f3dc17d01 vgcs_app500601681020D986LUN:13:0:320GB0035b69f3db6fbcf vgcsdb500601691020D986计费 内部测试DB（LNJF_BX1）10

7、000000C94B86B4CX400500601601020D986LUN:19:1:235GB 00c808ea0f529c3b vgtestbx SW LOW Zone: jifei_cs3_hba1_cx400 Zone Member: 10:00:00:00:C9:4B:86:B4 Zone Member: 50:06:01:60:10:20:D9:86 Zone Member: 50:06:01:68:10:20:D9:86500601611020D986LUN:20:0:335GB00c808ea0f48c303 none500601681020D986500601691020D

8、986计费 内部测试应用SVC/XIV综服DB（LNZF_CS1）10000000C93855BACX400:1TB500601601020D986LUN:17:4:600GB035b69febbbe030vg00SW UPZone: ceshi_35A_hba2_cx400-3 Zone Member: 10:00:00:00:C9:38:55:BA Zone Member: 50:06:01:61:10:20:D9:86Zone Member: 50:06:01:69:10:20:D9:86Zone: LNZF_CS1_HP Zone Member: 10:00:00:00:C9:38:5

9、5:BA Zone Member: 50:00:1F:E1:50:03:BD:08 Zone: LNZF_CS1_HBA_SW140M_IBMTYPE Zone Member: 10:00:00:00:C9:38:55:BA Zone Member: 50:05:07:63:00:54:A2:06 Zone Member: 50:05:07:63:00:54:A2:07 Zone Member: 50:05:07:63:00:54:A2:08 Zone Member: 50:05:07:63:00:54:A2:09 Zone Member: 50:05:07:63:00:54:A2:0AEVA

10、5000:1TB500601611020D986LUN:2:3:100GB035b69f25974995testvg500601681020D986LUN:3:2:100GB035b69f25974b26testvg500601691020D986LUN:4:1:100GB035b69f25974a61testvgLUN:5:0:100GB035b69f25974bectestvg50:00:1F:E1:50:03:BD:0850:00:1F:E1:50:03:BD:0Clnzf_cs1Vdisk057ACTIVE:2:500GB035b69f53d5656c testvg350:00:1F:

11、E1:50:03:BD:09lnzf_cs1Vdisk060ACTIVE:1:500GB035b69fae2cc44e testvg250:00:1F:E1:50:03:BD:0D网营（LNZF_BX1）10000000C94B263BCX400:935GB500601601020D986LUN:18:0:935GBSW LOWZone: eai_cs2_hba1_cx400 Zone Member: 10:00:00:00:C9:4B:26:3B Zone Member: 50:06:01:60:10:20:D9:86Zone Member: 50:06:01:68:10:20:D9:86S

12、W UP Zone: jifei_cs3_hba2_cx400 Zone Member: 10:00:00:00:C9:4B:0F:A0 Zone Member: 50:06:01:61:10:20:D9:86 Zone Member: 50:06:01:69:10:20:D9:8610000000C94B0FA0500601611020D986500601681020D986500601691020D9860c808ea1015e180 testvgHP资源50060b000030c6beEVA5000:1.5TB50:00:1F:E1:50:03:BD:08lnzy_bxVdisk023A

13、CTIVE:1:200GBSW LOW:Zone: lnhpcs2_hba2_EVA5000 Zone Member: 50:00:1F:E1:50:03:BD:09 Zone Member: 50:00:1F:E1:50:03:BD:0D Zone Member: 50:06:0B:00:00:30:C6:BESW UP:Zone: lnhpcs2_hba1_EVA5000 Zone Member: 50:00:1F:E1:50:03:BD:08 Zone Member: 50:00:1F:E1:50:03:BD:0C Zone Member: 50:06:0B:00:00:30:C4:64

14、50060b000030c4641.2TB需检查50:00:1F:E1:50:03:BD:0Clnzy_bxVdisk024ACTIVE:2:400GB50:00:1F:E1:50:03:BD:09lnzy_bxVdisk026ACTIVE:6:300GB50:00:1F:E1:50:03:BD:0Dlnzy_bxVdisk027ACTIVE:5:600GBlnzy_bxVdisk061ACTIVE:3:600GBlnzy_sd2vgrman-c32t0d1ACTIVE:4:600GBHP网管50060b000023e6c0CX400/EVA500/CX600500601601020D986L

15、UN:11:6:200GBSW UP: Zone: LNCS_HP_HBA2_CX600-3 Zone Member: 50:06:01:68:10:60:23:65Zone Member: 50:06:0B:00:00:23:E6:AC Zone: ceshi_11_hba2_cx400-3 Zone Member: 50:06:01:61:10:20:D9:86 Zone Member: 50:06:0B:00:00:23:E6:ACSW LOW Zone: testhp_hba1_eva5000_huaxiang Zone Member: 50:00:1F:E1:50:03:BD:09

16、Zone Member: 50:06:0B:00:00:23:E6:C0 Zone: ceshi_11_hba1_cx400-1 Zone Member: 50:06:01:60:10:20:D9:86Zone Member: 50:06:0B:00:00:23:E6:C0 Zone: LNCS_HP_HBA1_CX600-3 Zone Member: 50:06:01:62:10:60:23:65 Zone Member: 50:06:0B:00:00:23:E6:C050060b000023e6ac500601611020D986LUN:15:5:100GB500601681020D986

17、LUN:6:4:100GB500601691020D986LUN:7:3:100GBLUN:8:2:100GBCX600LUN:9:1:100GBLUN:10:0:100GB50:00:1F:E1:50:03:BD:08CX60050:00:1F:E1:50:03:BD:0Clncs_hpVdisk055ACTIVE:1:100GB50:00:1F:E1:50:03:BD:09lncs_hpVdisk056ACTIVE:2:100GB50:00:1F:E1:50:03:BD:0Dlncs_hpVdisk062ACTIVE:3:200GB3 整合后测试环境SAN规划3.1 整体SAN环境逻辑结构

18、图（整合后图）3.2 新存储空间划分规划应用系统名称原始存储大小原始存储类型XIV新空间规划备注计费CX400:530GBCX400:570GBCX4009T综服及网营ZF:CX400:1TBZF:EVA:1TBWY:CX400:935CX400/EVA50008THP资源EVA:1.5TBEVA:1.2TBEVA50003.5T需要确认1.2T空间使用HP网管CX400: 800GBEVA:400GBCX600:500GBCX400/EVA500/CX6002.5T客服1T 预留客服2T 预留3.3 整合后的应用系统的SAN及存储信息规划应用系统名称系统光卡wwpn连接存储名称该存储host

19、 adapter wwpn映射的LUNID存储连接的交换机端口现有ZONING计费（LNJF_CS1）CX400计费 内部测试DB（LNJF_BX1）CX400计费 内部测试应用SVC/XIV综服 DB（LNZF_BX1）CX400综服（LNZF_CS1）CX400HP资源EVA5000HP网管CX400/EVA500/CX6004 数据整合实施步骤4.1 实施步骤概述第一阶段，替换临时SVC工作说明：第一阶段的替换临时SVC工作主要实现以下内容：1. 新购进的SVC验货，上架，上电，健康检查，升级微码2. 新SVC加入SAN网络，主要调整SAN交换机ZONING配置3. 逐个NODE进行替换

20、，完成新旧SVC更换第一阶段实施步骤：第二阶段，存储虚拟化工作说明：第二阶段的存储虚拟化主要实现以下内容：1. 利用SVC的image模式的Vdisk功能，将目前的计费、综服、资源和网管系统所连接的EMC CX400以及HP EVA5000存储内的数据进行虚拟化2. 本阶段内容是按照应用系统分别实施，目前计划的顺序是：1.计费，2综服，3资源，4网管第三阶段，数据移植到XIV工作说明：第三阶段的数据移植主要实现以下内容：1. 利用SVC的数据移植功能，将目前的计费、综服、资源和网管系统所连接的EMC CX400以及HP EVA5000存储内的数据逐步移植XIV存储内，并验证数据移植，然后按照各

21、系统新的存储空间需求，将XIV空间通过SVC分配给各个系统2. 本阶段内容是按照应用系统分别实施，目前计划的顺序是：1.计费，2综服，3资源，4网管第二、三阶段实施步骤：4.2 第一阶段：新旧SVC替换实施步骤具体描述 新SVC设备加电检查升级微码IBM公司标准设备上电流程操作，先测量电源电压、电流，符合标准后，上电，健康检查，升级微码 新旧SVC设备逐个NODE替换暂时停止计费103的应用，断开目前SVC CLUSTER的内的一个NODE的光纤连接，修改ZONING，加入新NODE，调整SVC CLUSTER，使新NODE可用，检查CLUSTER正常后，按照上述相同方法替换另外一个NODE

22、回退保护机制任何一个NODE在替换过程中，如果出现不能加入到CLUSTER中，则收集SVC日志，寻求更高级别技术支持，并停止替换，将光纤线连接会原来的节点，恢复原始ZONING，恢复原始CLUSTER4.3 第二阶段：存储虚拟化实施具体步骤描述 停止应用，卸载卷组，删除磁盘停止应用主要包括停止客户测试应用软件，停止数据库，然后使用命令umount文件系统，varyoffvg卸载卷组，rmdev删除磁盘，删除原有的存储驱动程序 修改光纤交换机ZONING配置删除原系统与存储的ZONING，建立新的ZONING，使原始存储与SVC逻辑连通，使SVC与主机逻辑连通 在原始存储CX400及EVA500

23、0调整在EVA5000以及CX400内建立新Host，此Host即SVC。将需要虚拟化的LUN映射给SVC SVC识别Mdisk及Mdisk Group建立按照设计表进行，主要动作通过图形界面的控制台完成，并核对磁盘数量以及LUN ID，并且根据各个应用建立各自独立的Mdisk Group SVC建立Image Mode Vdisk并映射1、 配置Mdisk为Image Mode Vdisk2、 建立Host，使SVC识别主机3、 建立Host Connection，将Image Mode Vdisk重新分配回主机4、 主机安装驱动程序，识别Vdisk，导入卷组，并启动应用5、 测试 回退保护

24、机制在实施存储虚拟化过程中，可能出现的问题以及回退方法如下1、 全量备份目前数据2、 保存原始ZONING配置信息，为回退做准备3、 CX400或者EVA5000不能识别SVC，需要检查ZONING配置，重新尝试，不能解决则恢复ZONING，从新启动应用4、 SVC内不能识别存储映射的LUN，需要检查ZONING配置，需要检查存储磁盘映射，不能解决则恢复ZONING，重新启动应用5、 主机内不能识别虚拟化的后的磁盘，需要检查ZONING配置，需要检查存储磁盘映射，不能解决则恢复ZONING，重新启动应用4.4 第三阶段：数据移植实施具体步骤描述 利用SVC进行数据移植到XIV1、 配置XIV，

25、按照需求设计分配空间给SVC2、 SVC识别XIV的Mdisk，并检查确认无误。3、 SVC配置XIV的Vdisk4、 开始数据移植，从原始存储的Vdisk在后台移植到XIV的Vdisk5、 移植过程进度监控，确认移植完成。6、 验证以及测试 回退保护机制在实施数据移植过程中，可能出现的问题以及回退方法如下1、 全量备份目前数据2、 SVC数据移植过程中，数据移植意外中断，需要收集SVC日志，寻求更高级别技术支持，暂停数据移植计划，但不影响应用3、 数据移植完成，但是新存储内的数据损坏，需要重新映射回原始存储内的Vdisk，重新启动应用4、 数据移植过程中，SVC单节点故障，需要保留旧SVC作

26、为备件，暂停移植，修复CLUSTER，不影响应用5 辽宁联通测试环境SVC存储整合实施计划辽宁联通营销系统SVC存储整合项目于2009年6月23日进入到方案规划阶段，整个项目实施计划如下：辽宁联通测试环境SVC存储整合实施计划任务相关人员开始时间完成时间其他实施规划新购存储安装IBM工程师2009年6月26日前2009年6月26日前现场调查与数据收集IBM 工程师新购存储配置与LUN的划分、配置IBM工程师SVC实施计划的制定，包括影射关系，连接和Zone的配置。IBM工程师正式实施计划确认工作IBM、辽宁联通光纤布线辽宁联通SAN交换机ZONE划分辽宁联通/IBM协助新购存储及其他厂商最终数

27、据及配置收集IBM工程师虚拟化前准备SVC Cluster的安装调试IBM工程师2009年6月26日前2009年6月26日前SVC与新购存储的逻辑连接与识别IBM工程师SAN Switch上， zone的划分与配置。IBM工程师将SVC和新购存储连到San Switch打标签IBM工程师将新购存储上 LUN分配(assign)给SVC，使SVC能对目的LUN进行读写。IBM工程师SVC新旧节点替换SVC新旧替换IBM工程师存储虚拟化前存储虚拟化前2天SVC虚拟化以及数据移植前数据备份在进行SVC整合开始前，对数据进行有效和完整的备份。包含计费，综服，资源，网管系统辽宁联通/维护厂商存储虚拟化前

28、存储虚拟化前2天计费系统存储虚拟化以及数据移植计费系统存储虚拟化工作会议辽宁联通/IBM/维护厂商整个过程需要5天时间关闭应用，umount文件系统，varyoff 现有存储的VG。确保主机对现有存储没有I/O操作。辽宁联通/IBM更新配置ZONE，并激活配置。IBM/维护厂商140M维护厂商，增加ZONING配置CX400，使SVC识别CX400内计费系统的LUN辽宁联通/维护厂商/IBMCX400维护厂商,CX400内增加SVC为host，修改LUN映射SVCSVC建立Image Mode Vdisk并映射回计费主机IBM删除计费主机内原EMC驱动，装IBM驱动，计费主机内导入卷组，测试虚

29、拟化后的文件系统和应用辽宁联通/维护厂商/IBMCX400维护厂商，驱动程序卸载技术支持数据移植，并确认完成IBM数据移植完成后，删除原来存储池，移植完成辽宁联通/IBM综服以及网营系统存储虚拟化以及数据移植综服系统存储虚拟化工作会议辽宁联通/IBM/维护厂商整个过程需要5-6天时间关闭应用，umount文件系统，varyoff 现有存储的VG。确保主机对现有存储没有I/O操作。辽宁联通/IBM更新配置ZONE，并激活配置。IBM/维护厂商140M维护厂商，增加ZONING配置CX400以及EVA5000，使SVC识别CX400和EVA5000内计费系统的LUN辽宁联通/维护厂商/IBMCX4

30、00维护厂商,CX400内增加SVC为host，修改LUN映射给SVC.相同方法EVA5000维护厂商,EVA500内增加SVC为host，修改LUN映射给SVCSVC建立Image Mode Vdisk并映射回计费主机IBM删除计费主机内原EMC驱动，装IBM驱动，计费主机内导入卷组，测试虚拟化后的文件系统和应用辽宁联通/维护厂商/IBMCX400维护厂商，驱动程序卸载技术支持数据移植，并确认完成IBM数据移植完成后，删除原来存储池，移植完成辽宁联通/IBM资源系统存储虚拟化以及数据移植资源系统存储虚拟化工作会议辽宁联通/IBM/维护厂商整个过程需要5天时间关闭应用，umount文件系统，v

31、aryoff 现有存储的VG。确保主机对现有存储没有I/O操作。辽宁联通/IBMHP-UX系统工程师技术支持更新配置ZONE，并激活配置。IBM/维护厂商140M维护厂商，增加ZONING配置EVA5000，使SVC识别EVA5000内计费系统的LUN辽宁联通/维护厂商/IBMEVA5000维护厂商,EVA5000内增加SVC为host，修改LUN映射SVCSVC建立Image Mode Vdisk并映射回计费主机IBM删除计费主机内原EVA5000驱动，装IBM驱动，计费主机内导入卷组，测试虚拟化后的文件系统和应用辽宁联通/维护厂商/IBMHP-UX系统工程师技术支持.EVA5000维护厂商，驱动程序卸载技术支持.数据移植，并确认完成IBM数据移植完成后，删除原来存储池，移植完成辽宁联通/IBM网管系统存储虚拟化以及数据移植网管系统存储虚拟化工作会议辽宁联通/IBM/维护厂商整个过程需要5-6天时间关闭应用，umount文件系统，v