EMC-VPLEX容灾系统实施方案.docx

VPLEX容灾系统实施方案2013年12月目录1.项目介绍41.1VPLEX架构图41.2本项目设备配置42.存储规划52.1规划目标52.2VPLEX端口的使用53.SAN网络规划63.1现有拓扑示意图63.2VPLEX实施拓扑示意图73.3设备IP规划83.4Zone规划84.VPLEX WITNESS实施规划105.版本控制115.1ODM版本的要求115.2PowerHA版本的要求115.3Powerpath版本的要求126.与数据迁移相关的VPLEX配置136.1应用系统数据迁移方式论述136.1.1主机层面的迁移136.1.2存储层面的迁移136.2应用系统数据迁移实施步骤简述136.2.1主机层面在线数据迁移方式实施步骤简述136.2.2VPLEX层面的离线数据转移方式实施步骤简述146.2.3应用系统从VPLEX-Metro回退到DS4800存储系统实施步骤简述157.VPLEX METRO实施步骤157.1VPLEX 前期准备157.1.1system volumes157.1.2meta data volumes157.1.3logging volumes167.2Switch zoning177.3Backend storage provisionq177.4VPLEX initial setup187.4.1Config ip address and hostname of VPLEXConnect to management serverentering the VPLEXCLIset the management server ip addresschange the hostname of VPLEXcheck software version197.4.2use EZ-setup to initialize the VPLEX1Start EZ-setupConfigure the first clusterChose the local authenticationConfigure event notificationConfigure send system report to EMCConfigure performance statistics collectorGenerate the certificateBackend storage discoverycreate meta-data volume0verify if meta-data volume is successfully created1create meta-data volume backups2enable FE port227.4.3use EZ-setup to initialize the VPLEX2Connect to VPLEX2Sychronize the time on the clustersStart EZ-setup on cluster2Configure the Meta-data volume and backup of VPLEX2Complete configuration of cluster1Complete configuration of cluster2237.4.4Join the clusters237.4.5Create logging volumes247.5Check the cluster health257.6VPLEX backend storage connectivity verify257.7Claim the data volume258.设备的使用288.1Vplex的使用289.系统测试299.1Vplex高可用测试299.2数据库高可用测试301. 项目介绍XXX灾备项目采用EMC VPLEX METRO解决方案，实现院区主机房和灾备机房容灾，结合实际情况本项目规划如下。1.1 VPLEX架构图1.2 本项目设备配置本次规划的EMCVPLEX配置简要描述如下：l 1个处理器引擎两个控制器，8个8Gb的FC前端口，8个8Gb的FC后端口l 72GBCachel VPLEX METRO 20TB本次规划的EMC DS-300B SAN交换机配置简要描述如下：l 两台交换机，每台激活24个8Gb端口。2. 存储规划122.1 规划目标HP 3PAR和IBM DS4800存储使用VPLEXMETRO架构，并且满足VPLEX METRO双活的解决方案规划如下。2.2 VPLEX端口的使用本项目中vplex版本为vs2，每台vplex有1个引擎每个引擎有两个控制器。每台主机配置了2张双口HBA卡用于连接VPLEX，每张卡使用一个端口，VPLEX的后端口用于连接HP 3PAR和IBM DS4800。所有VPLEX端口的使用如下表所示：命名规则VPLEX的端口命名规则：E1D0F0代表引擎1的director A的A0模块的第0口HP 3PAR的端口命名规则：3PAR_A_F0代表控制器A的FC第0口Zone的命名规则：VPLEXA_E1B2F2_3PAR_A_F0代表VPLEXA的引擎1的director B的B2模块的2口到3PAR控制器A的第0光纤口的zonevplex连接交换机端口Engine No.1DirctorNo.BDirctorNo.AFESWBESWWANSWFESWBESWWANSWB0F3B1F3B3F3A0F3A1F3A3F3B0F2B1F2B3F2A0F2A1F2A3F2B0F1B1F1B3F1A0F1A1F1A3F1B0F0B1F0B3F0A0F0A1F0A3F0注：此图为一台VPLEX的端口连接图。3. SAN网络规划本项目使用主机房的SAN交换机及新增的两台DS-300B SAN交换机，vplex到一台交换机需要至少4个FE，4个BE，4个Wan com，每台存储至少需要4个端口。如情况允许，建议在生产机房搭建同机房的vplex metro环境，便于下一步的数据迁移。在数据迁移完成后，灾备机房环境准备好后，把vplex metro的cluster-2和DS4800搬运到灾备机房。此时生产机房和灾备机房vplex metro正常运行，不影响原有系统的运行。1233.1 现有拓扑示意图3.2 VPLEX实施拓扑示意图Vplex在生产中心运行灾备中心准备好后vplex在生产中心和灾备中心运行注：线只代表路径，不代表实际数量。3.3 设备IP规划光纤需求（满配最高带宽设计）FromTo光纤数量（至少数量）类型VPLEX_A生产中心SAN交换机12条多模HP 3PAR生产中心SAN交换机4条多模VPLEX_B灾备中心SAN交换机12条多模IBM DS4800灾备中心SAN交换机4条多模网线需求设备名网线数量IP地址 备注VPLEX_A11个生产机房VPLEX管理地址VPLEX_B11个容灾机房VPLEX管理地址DS-300B SAN222个管理IP 注：IP需求由客户工程师规划3.4 Zone规划生产中心VPLEX与第一路SAN交换机端口的连接PortVPLEX port备注VPLEX_0001_E1D01F0VPLEX_0001的前端端口，连接主机的HBAVPLEX_0001_E1D02F0VPLEX_0001的前端端口，连接主机的HBAVPLEX_0001_E1D01B0VPLEX_0001的后端端口，连接后端存储系统的前端端口VPLEX_0001_E1D02B0VPLEX_0001的后端端口，连接后端存储系统的前端端口VPLEX_0001_E1D01W0VPLEX_0001的WAN端口VPLEX_0001_E1D02W0VPLEX_0001的WAN端口生产中心VPLEX与第二路SAN交换机端口的连接PortVPLEX port备注VPLEX_0001_E1D01F1VPLEX_0001的前端端口，连接主机的HBAVPLEX_0001_E1D02F1VPLEX_0001的前端端口，连接主机的HBAVPLEX_0001_E1D01B1VPLEX_0001的后端端口，连接后端存储系统的前端端口VPLEX_0001_E1D02B1VPLEX_0001的后端端口，连接后端存储系统的前端端口VPLEX_0001_E1D01W1VPLEX_0001的WAN端口VPLEX_0001_E1D02W1VPLEX_0001的WAN端口灾备中心VPLEX与第一路SAN交换机端口的连接PortVPLEX port备注VPLEX_0002_E1D01F0VPLEX_0002的前端端口，连接主机的HBAVPLEX_0002_E1D02F0VPLEX_0002的前端端口，连接主机的HBAVPLEX_0002_E1D01B0VPLEX_0002的后端端口，连接后端存储系统的前端端口VPLEX_0002_E1D02B0VPLEX_0002的后端端口，连接后端存储系统的前端端口VPLEX_0002_E1D01W0VPLEX_0002的WAN端口VPLEX_0002_E1D02W0VPLEX_0002的WAN端口灾备中心VPLEX与第二路SAN交换机端口的连接PortVPLEX port备注VPLEX_0002_E1D01F1VPLEX_0002的前端端口，连接主机的HBAVPLEX_0002_E1D02F1VPLEX_0002的前端端口，连接主机的HBAVPLEX_0002_E1D01B1VPLEX_0002的后端端口，连接后端存储系统的前端端口VPLEX_0002_E1D02B1VPLEX_0002的后端端口，连接后端存储系统的前端端口VPLEX_0002_E1D01W1VPLEX_0002的WAN端口VPLEX_0002_E1D02W1VPLEX_0002的WAN端口4. VPLEX Witness实施规划4VPLEX Witness是对VPLEX集群和集群间链路故障的仲裁判断和管理机制。如果认可VPLEX故障概率大大低于DWDM链路，可以考虑不使用仲裁机Witness。代价是如果生产VPLEX不可用，需要手工激活容灾VPLEX并重启生产端业务。如有VPLEX Witness，则对生产端VPLEX的故障有更完善的容灾处理机制，此情况下无需手工重新激活灾备端VPLEX，业务可无缝继续维持运行。若实施VPLEX Witness，需要以下需求： 冗余的DWDM链路 Witness安装在区别于生产和灾备的第三机房 Witness和Vplex通讯，使用区别于DWDM的IP链路 需要安装在VMware FT上面同时，建议增加一条容灾链路（与目前链路不同的运营商提供），保证整个双活架构的稳定性，避免意外停机的风险。并且Witness安装环境达到最佳实践要求。5. 版本控制55.1 ODM版本的要求5.2 PowerHA版本的要求5.3 Powerpath版本的要求6. 与数据迁移相关的VPLEX配置1234566.1 应用系统数据迁移方式论述应用系统从传统的存储系统迁移到VPLEX环境下，有两种方式可以考虑，第一种迁移方式为主机层面的数据迁移方式，第二种迁移方式为VPLEX层面的数据转移方式。6.1.1 主机层面的迁移主机层面的在线数据迁移方式通常采用LVM Mirror作为数据迁移手段，将应用系统不中断（在线）地从传统存储系统上迁移到VPLEX环境中，但是VPLEX环境需要有足够的存储空间，迁移步骤简述如下：1) VPLEX分配存储空间给主机2) 主机通过LVM Mirror方式将数据从传统的存储系统上同步到VPLEX的存储空间上3) 主机释放传统的存储系统空间6.1.2 存储层面的迁移VPLEX层面的离线数据转移方式将应用系统从传统的存储系统上转移到VPLEX环境中，在转移期间，应用系统需要停止运行，迁移步骤简述如下：1) 应用系统停止运行2) 存储系统回收应用系统使用的存储空间，然后将其分配给VPLEX3) VPLEX将存储空间进行“封装”后创建分布式LUN分配给主机4) 恢复应用系统的运行6.2 应用系统数据迁移实施步骤简述6.2.1 主机层面在线数据迁移方式实施步骤简述1) 在主机上，安装支持VPLEX的EMC ODM软件2) 在SAN Switch上，增加主机与VPLEX前端端口之间的ZONE3) 在VPLEX上，将磁盘设备分配给主机4) 在主机上，识别VPLEX的磁盘设备，并将其加入到相应的VG中5) 在主机上，通过LVM Mirror将数据迁移到VPLEX使用的磁盘空间上6) 在主机上，将DS4800的磁盘设备从VG中分离出来7) 在unisphere上，回收主机释放出来的磁盘设备8) （可选）在SAN Switch上，删除主机与DS4800前端端口之间的ZONE9) 在unisphere上DS4800将回收的磁盘空间分配给VPLEX10) 在VPLEX上，将DS4800的磁盘设备“封装”成VPLEX的磁盘设备安装支持VPLEX的EMC ODM软件# uncompress EMC.AIX..tar.Z# tar -xvf EMC.AIX..tar# installp -ac -gX -d . EMC.Invista.aix.rte# installp -ac -gX -d . EMC.Invista.fcp.rte# installp -ac -gX -d . EMC.Symmetrix.aix.rte；如果已经安装，则忽略# installp -ac -gX -d . EMC.Symmetrix.fcp.rte；如果已经安装，则忽略安装EMC PowerPath软件如果主机没有安装PowerPath软件，请参照“PowerPath for AIX Installation and Administration Guide.pdf”，安装和配置PowerPath软件。SAN Switch上增加主机与VPLEX前端端口之间的ZONE在SAN Switch上，创建主机HBA与VPLEX前端端口之间的ZONE。VPLEX分配磁盘空间给主机根据应用系统所使用的磁盘设备的数量和大小，在VPLEX上创建相应数量和大小的Distributed Device（由来自于HP 3PAR和DS4800的磁盘设备组合成RAID 1类型），并且创建包含这些Distributed Device的Consistency Group，然后分配给主机。主机识别和配置VPLEX磁盘设备1) 运行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgrv”命令，识别和配置VPLEX磁盘设备2) 确认已经正确识别和配置VPLEX磁盘设备# lsdev -Cc disk.hdisk2 Available 2V-08-01 EMC INVISTA FCP Diskhdisk3 Available 2K-08-01 EMC INVISTA FCP Disk3) 运行“powermtconfig”命令，配置PowerPath设备，并且确认VPLEX磁盘设备的policy是Adaptive在主机上通过LVM Mirror将数据同步到VPLEX磁盘设备上系统管理员通过LVM Mirror，将数据同步到VPLEX磁盘设备上在主机上将旧的磁盘设备清除，保留VPLEX磁盘设备系统管理员将旧的存储系统磁盘设备清除，保留VPLEX磁盘设备回收旧的磁盘设备在unisphere上，回收之前分配给主机使用的DS4800的磁盘设备，然后重新分配给VPLEX。6.2.2 VPLEX层面的离线数据转移方式实施步骤简述在VPLEX环境中，对后端存储系统的磁盘设备采用整盘封装的方式下，可以将应用系统完整的迁移到VPLEX环境中。1) 在主机上，停止应用系统的运行2) 在主机上，删除相应的后端存储系统的磁盘设备3) 在主机上，安装支持VPLEX的EMC ODM软件4) 在后端存储系统上，取消主机对磁盘设备的访问5) （可选）在SAN Switch上，删除主机HBA与后端存储系统前端之间的ZONE6) 在SAN Switch上，增加VPLEX后端端口与后端存储系统前端之间的ZONE7) 在SAN Switch上，增加主机HBA与VPLEX前端端口之间的ZONE8) 在后端存储系统上，赋予VPLEX对磁盘设备的访问9) 在VPLEX上，对后端存储系统的磁盘设备进行整盘封装，以及增加镜像的操作10) 在VPLEX上，将封装后的VPLEX磁盘设备分配给主机11) 在主机上，识别和配置VPLEX的磁盘设备12) 在主机上，启动应用系统6.2.3 应用系统从VPLEX-Metro回退到DS4800存储系统实施步骤简述在客户环境中，VPLEX对后端存储系统的磁盘设备采用整盘封装的方式，因此，应用系统可以回退到传统的直接访问后端存储系统的磁盘设备的工作方式。1) 主机删除相应的VPLEX的磁盘设备2) VPLEX上删除相应的Storage View，取消主机对VPLEX磁盘设备的访问3) （可选）在SAN Switch上删除主机HBA与VPLEX前端之间的ZONE4) （可选）在SAN Switch上删除VPLEX后端与后端存储系统前端之间的ZONE5) 在后端存储系统上取消VPLEX对后端后端存储系统的磁盘设备的访问6) 在SAN Switch上增加主机HBA与后端存储系统前端之间的ZONE7) 在后端存储系统上分配磁盘设备给主机8) 主机识别后端存储系统的磁盘设备，启动应用系统9) 在VPLEX上，清除后端存储系统磁盘设备的配置信息7. VPLEX Metro实施步骤12345677.1 VPLEX 前期准备7.1.1 system volumesVPLEX的system volumes分为两种：metadata volumes 和 logging volumes7.1.2 meta data volumesmeta data volumes里包含VPLEX cluster的系统配置信息，主要为：l virtual-to-physical mapping informationl data about the devices and virtual volumesl system configuration settingsMeta data volume建议为Raid1或者Raid5保护的卷，其对I/O性能的要求不高。每个VPLEX Metro cluster安装需要4个78GB的volume，分别用于meta-volume, mirrored copy of meta-volume, backups of meta-volume and mirrored-meta-volume.ClusterMeta VolumeStorageRAID GroupLUN IDRAIDSize备注VPLEX_0001Mirror 1800RAID578GBBackup 1801RAID578GB与HP 3PAR的系统共享磁盘Mirror 2800RAID578GBBackup 2801RAID578GB与HP 3PAR的系统共享磁盘VPLEX_0002Mirror 1900RAID578GBBackup 1901RAID578GB与DS4800系统共享磁盘Mirror 2900RAID578GBBackup 2901RAID578GB与DS4800的系统共享磁盘7.1.3 logging volumesLoggging volume用于在inter-link断开时，记录Site之间的数据差异索引。建议logging volumes为10GB的volume，10GB的logging volume通常可以支持约320TB的分布式卷。ClusterLog VolumeStorageRAID GroupLUN IDRAIDSize备注VPLEX_0001Mirror 1802RAID510GB与HP 3PAR的系统共享磁盘Mirror 2802RAID510GB与HP 3PAR的系统共享磁盘VPLEX_0002Mirror 1902RAID510GB与DS4800系统共享磁盘Mirror 2902RAID510GB与DS4800系统共享磁盘7.2 Switch zoning按照规划完成VPLEX backend zoning7.3 Backend storage provisionqRegister VPLEX BE port on HP3PARAssign volume to VPLEX7.4 VPLEX initial setup7.4.1 Configip address and hostname of VPLEX Connect to management serverconnectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.Default user/password :service/MiDim7TService port IP: SSH client: SecureCRT or PUTTY entering the VPLEXCLI set the management server ipaddress change the hostname of VPLEX check software version7.4.2 use EZ-setup to initialize the VPLEX Start EZ-setup Configure the first cluster Chose the local authentication Configure event notification Configure send system report to EMC Configure performance statistics collector Generate the certificate Backend storage discovery1) display eligible meta data volumes create meta-data volume0 verify if meta-data volume is successfully created1 create meta-data volume backups2 enable FE port7.4.3 use EZ-setup to initialize the VPLEX Connect to VPLEX2Use SSH to connect to management IP of cluster 2, Sychronize the time on the clusters Start EZ-setup on cluster Configure the Meta-data volume and backup of VPLEX2Use the same method to configure the VPLEX2 meta-data volumes and backups Complete configuration of cluster Complete configuration of cluster27.4.4 Join the clustersFrom Vplexcli on cluster2 console, run the following command,7.4.5 Create logging volumes7.5 Check the cluster health7.6 VPLEX backend storage connectivity verify7.7 Claim the data volumel check if VPLEX can see the backend arraysVPlexcli:/ls -al /clusters/cluster-1/storage-elements/storage-arrays/clusters/cluster-1/storage-elements/storage-arrays:Name Connectivity Auto Ports Logical- Status Switch - Unit- - - - Count- - - - -EMC-CLARiiON-FNM00094200051 ok true 0x50060160446019f5, 252 0x50060166446019f5, 0x50060168446419f5, 0x5006016f446019f5l check backend volumesVPlexcli:/ls al /clusters/cluster-1/storage-elements/storage-volumes/clusters/cluster-1/storage-elements/storage-volumes/:Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild- - - - - - - - VPD83T3:6006016031111000d4991c2f7d50e011 VPD83T3:6006016031111000d4991c2f7d50e011 5G unclaimed DGC alive traditional falsel if can not see the volumes, use command to re-discoverVPlexcli:/cd /clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM00094200051VPlexcli:/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM00094200051/array re-discoverWARNING: This command cannot detect LUN-swapping conditions on the array(s) being re-discovered. LUN swapping is the swapping of LUNs on the back-end. This command cannot detect LUN swapping conditions when the number of LUNs remains the same, but the underlying actual logical units change. I/O will not be disrupted on the LUNS that do not change. Continue? (Yes/No) yl claim the data volumesClaim by use parameter “-appc” to ensure application consistency, because we have data on one leg of the mirror.VPlexcli:/storage-volume claim -d VPD83T3:6006016031111000d4991c2f7d50e011 -n lun_1 -appcThis can be confirmed by checking the Type of the storage-volume which should display as data-protected.VPlexcli:/ls al /clusters/cluster-1/storage-elements/storage-volumes/Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild- - - - - - - -lun_1 VPD83T3:6006016031111000d4991c2f7d50e011 5G used DGC alive data-protected false8. 设备的使用88.1 Vplex的使用使用英文版的Web browser: Firefox v3.5.5 or v3.5.7, or Internet Explorer 7（安装Adobe Flash Player 10.0.0 or higher插件）输入https:/设备管理IP9. 系统测试99.1 Vplex高可用测试a) 测试场景一：主机的一个光纤卡故障测试步骤预期结果 用powermtdisplay dev=all检查设备和路径状况 打开iometer对lun进行写操作 关闭一台服务器的HBA卡 再次用powermtdisplay dev=all检查设备和路径状况po