TRUECOPY安装实施.doc

TRUECOPY远程复制安装实施实施前准备TRUECOPY的实施本身并不算复杂，实施前的准备工作比较繁琐，建议事先了解清楚TRUECOPY实现原理和操作过程，实施起来好很多，实施中有一些需要提前注意得地方。现在根据手册上部分内容总结了一下：盘阵要点l DF700盘阵上的LUN可以和DF800盘阵上的LUN做Pair LUN（在TRUECOPY中本地和远程进行同步的一对LUN称为Pair LUN，生产中心的为P-VOL，灾备中心的为S-VOL），但是DF700的盘阵的微码必须要0780/A或者更新的版本；l DF700盘阵上的Pair LUN不可以通过SNM2的GUI界面来进行操作，DF800则可以通过SNM2来进行简单的操作；l 实施前需要规划好两端盘阵的Remote Path端口，即用于TrueCopy用来同步两端数据的端口，每个盘阵需要指定两个端口为Remote Path，在SNM软件的GUI中可以创建，端口的对应关系在创建过程中指定，手册建议从性能角度考虑，将本地和远程的两对端口指定为平行对应关系（本地control 0对应远程的control 0，本地control 1对应远程的control 1），当然其他的对应形式也是允许的；l 如果是同步的TRUECOPY，由于I/O需要远端盘阵的响应，所以远端盘阵的性能以及盘阵间的距离都会对整个系统的系能产生影响，需要提前考虑好并和用户说明；l Remote Path端口间的连接可以是直连(loop)或者通过交换机(point-to-point)，直连的距离在500米到10公里，通过交换机则取决于交换机的长波模块支持距离，如图1、图2所示拓扑结构：图1：两端盘阵直连图2：两端盘阵通过交换机连接LUN要点l TRUECOPY要求P-VOL和S-VOL所在的RAID组是相同的RAID级别，例如4D+1P的RAID5可以和4D+1P或者4D+2P做Pair LUN，但是不能和5D+1P做Pair LUN，RAID1+0无所谓了。l 不建议在一个RAID组里包含很多个Pair LUN，因为1个Pair LUN在执行和远端LUN的同步时会影响RAID组内其他的Pair LUN的性能；l 用于Pair卷的LUN，其stripe size为64kB以及segment size为16kB；l Pair卷的RAID组由4D或者更多组成时，主机性能和同步的性能会更好；如果是SATA盘的RAID组，建议采用4D到6D的数据盘组成，性能会更好；CCI、Command Device、DMLUl CCI（Command Control Interface）用来管理维护ShadowImage和TrueCopy环境的软件，需要安装在一台主机上；l 在本地盘阵和远端盘阵都需要规划出四个LUN用于TRUECOPY环境，其中两个用作Command device，另外两个用作DMLU（defferntial managerment logical unit），Command device和DMLU在每端盘阵上各有一个就可以，分别设两个是为了冗余的目的；;l DMLU是用来存放TrueCopy环境下两端存储的状态信息，以便盘阵断电重启后状态的恢复，DMLU至少需要10G空间，建议30G或者更多，每台盘阵上DMLU最多只能设两个，并且DMLU不需要mapping。l Command device是CCI软件用来将其命令行操作的控制信息在本地盘阵和远端盘阵间做通信的，需要的空间比较小，大于33M即可，Command device需要mapping给安装CCI管理软件的主机。当生产中心和灾备中心的都有主机安装了CCI软件，如图1、图2所示拓扑，则将生产盘阵的Command device映射生产中心的CCI主机，灾备盘阵的Command device映射给灾备中心的CCI主机；如果灾备中心没有CCI主机，只有生产中心的CCI主机，如图3所示拓扑，则需要将两端盘阵的Command device都映射给生产中心的CCI主机，这样CCI软件才既可以操作本地盘阵，又可以操作灾备盘阵。图3：灾备中心无主机安装实施下面以前阵子在安阳商业银行实施的TrueCopy环境为例来介绍，用户环境和图3所示拓扑相似，两台2300盘阵实现TrueCopy，灾备中心没有主机，只做数据的容灾，只有一条光纤链路连接生产中心和灾备中心，通过长波模块在交换机层进行交换机的级联，生产中心有一台AIX主机上安装CCI管理软件。l 将存储的TRUECOPY授权添加到两端的盘阵上，在SNM的管理菜单中会多出一项TrueCopy（AMS2000是多出一项Remote Replication），按规划做RAID组划LUN，并按上面提到的，每台盘阵规划出两块Command device的LUN和两块DMLU。l 盘阵端配置Remote Path，可以通过SNM软件的GUI界面配置，需要知道灾备中心盘阵的序列号，选中Remote Path，点击Add出现如图4示窗口：图4：Remote Path配置界面需要在窗口中指定远端盘阵的SN号，以及两端用作Remote Path的端口。l 将预先准备好的LUN设置为Command device 和 DMLU，如图5所示，通过Set按钮进行设置即可，这里注意要将Command device的Raid Manager Protect属性设为disable，AMS2000系列在创建的过程中将该项的复选框去掉即可。图5：Command device & DMLUl 如前面所说DMLU不需要mapping，Command device需要mapping 给装CCI的主机，由于只有生产中心一台主机上安装CCI，需要将两端盘阵的Command device都mapping给这台主机。l 安装配置CCI软件：文件名为RMHORC，是一个cpio的文件包，将该文件从介质拷贝至主机，执行命令：#cd /#cpio idmu /tmp/RMHORC *解压文件包，会出现 /HORCM 目录#cd /HORCM#ls#./horcminstall.sh *执行安装脚本#raidqry h *检验CCI是否成功安装，成功提示如下：Model : RAID-Manager/HP-UXVer&Rev: XX-XX-XX/XX XX = product version numberUsage : raidqry options for HORC -h Help/Usage:l 编辑CCI服务脚本：CCI安装成功后，会生成/etc/horcm.conf，该文件是horcm服务脚本的范例文件，将该文件分别拷贝为horcm0.conf和horcm1.conf，#cp /etc/horcm.conf /etc/horcm0.conf#cp /etc/horcm.conf /etc/horcm1.conf然后对它们的内容进行编辑，范例脚本中的注释内容比较全面，可以看看各项参数含义，但是内容过长，编辑起来不方便，建议还是直接vi 出这两个文件，然后填入相应的内容，编辑起来就方便很多。这两个脚本需要放在/etc目录下，将来会对应两个horcm服务的实例horcm0和horcm1，分别对应本地和远端盘阵的操作，具体对应关系取决于脚本的内容。编辑/etc/services，为horcm0和horcm1服务指定端口，在/etc/services文件后加入以下内容：horcm06000/udp*只要是空闲的udp端口即可horcm16001/udp编辑horcm0.conf和horcm1.conf配置文件的内容，下面所示为这两个编辑好的脚本内容，主要包括四部分：HORCM_MON、HORCM_CMD、HORCM_DEV和HORCM_ISNT；这里horcm0.conf对应的是本地盘阵的管理服务，horcm1.conf对应的是远端盘阵的管理服务：#vi /etc/horcm0.conf/* For HORCM_MON*/HORCM_MON#这项是指定运行horcm0服务的主机IP，以及超时设定，TrueCopy环境中poll建议设为10000以上；#ip_address service poll(10ms) timeout(10ms)localhost horcm0 12000 3000#/* For HORCM_CMD */HORCM_CMD#这项指定Command device设备，由于horcm0对应本地盘阵管理，这里的Command device设备应该是从本地盘阵映射过来的，至于盘号可以从mapping的H-LUN号查看以及用lspath命令来确定。#dev_name dev_name dev_name/dev/rhdisk5/dev/rhdisk6#/* For HORCM_DEV */HORCM_DEV#这项指定本地存储上的P-VOL。这里dev_group名字是自己起的，是由一个或多个Pair LUN组成；dev_name 也是自己定义的，每个dev_name代表一组Pair LUN，在horcm0.conf中指出的是P-VOL，具体哪个LUN是由后面的 LU#指定，LU#对应的是本地存储上LUN号，确定P-VOL对应的LUN；port#指的是P-VOL从本地存储的哪个端口映射出来，映射了多个端口的只需写一个端口即可，CL1-A代表第一个控制器的A端口；TargetID和MU#可以在服务起来后再查看具体值。#dev_group dev_name port# TargetID LU# MU#VG01 oradb1 CL1-A 0 0 0VG01 oradb2 CL1-A 0 1 0#/* For HORCM_INST */HORCM_INST#这项指定的是对应远端盘阵管理服务horcm1的信息，dev_group意义同HORCM_DEV，ip_address指出是运行horcm1服务的主机,这里两个服务运行在同一台主机上。#dev_group ip_address serviceVG01 localhost horcm1编辑horcm1.conf配置文件：#vi /etc/horcm1.conf#/* For HORCM_MON */HORCM_MON#horcm1.conf中，这里对应的是运行horcm1服务的主机信息和超时设置。#ip_address service poll(10ms) timeout(10ms)localhost horcm1 12000 3000#/* For HORCM_CMD */HORCM_CMD#这里指出的是远端盘阵mapping过来的Command device，也决定了该服务对应的是以远端盘阵为正向操作的管理服务#dev_name dev_name dev_name/dev/rhdisk7/dev/rhdisk8#/* For HORCM_DEV */HORCM_DEV#这里dev_group和dev_name和horcm0.conf中的相同，oradb1和oradb2这里确定了各自Pair关系中的S-VOL，也就是后面LU#中指定的LUN号对应的LUN（是远端存储上的）；port#项中定义的是S-VOL从盘阵上mapping出来的端口，意义同horcm0.conf。#dev_group dev_name port# TargetID LU# MU#VG01 oradb1 CL1-D 0 0 0VG01 oradb2 CL1-D 0 1 0#/* For HORCM_INST */HORCM_INST#定义的是horcm0服务运行的主机的信息，和horcm0.conf中定义的相对应，两个服务通过这里的定义确定相互间的关系#dev_group ip_address serviceVG01 localhost horcm0至此，两个服务的配置文件编辑完成。l 启动/停止horcm服务：CCI软件安装完成后，生成在 /HORCM/usr/bin/ 下的所有命令同时会加到 /usr/bin/ 目录下，这样这些命令就变成全局命令，可以直接运行。安装完可以到/HORCM/usr/bin/ 目录下看看CCI都有哪些命令，有兴趣深入了解可以去手册上查看，写的很详细。这里做下简单介绍：#horcmstart.sh 0 1 *启动horcm0和horcm1两个服务，也可单起一个#horcmshudown.sh 0 1 *停止horcm0和horcm1两个服务，l 设置环境变量由于在一台CCI主机来管理本地和远端的存储，所以horcm0和horcm1两个服务都需要启动，如果是从本地存储进行正向操作（也就是通过horcm0服务来进行操作），则需要执行 #export HORCMINST=0 将当前运行环境设为horcm0；然后再运行要执行的命令；同样，要从远端存储进行正向操作，则样执行 #export HORCMINST=1；查看当前运行于哪个服务下，可以通过下面的命令：#export HORCMINST=0#raidqry -hModel : RAID-Manager/WindowsNTVer&Rev: 01-19-03/04Usage : raidqry options for HOMRCF0 -h Help/Usage -I# Set to HORCMINST# -IH# or -ITC# Set to HORC mode and HORCMINST# -IM# or -ISI# Set to MRCF mode and HORCMINST# -z Set to the interactive mode一般情况下的操作是在horcm0环境下运行命令（除非本地存储故障需要从远端存储接管才会切换至horcm1服务），可以将这句话export HORCMINST=0加入root的.profile文件中，这样就会自动进入horcm0服务环境（Pair 的创建要从本地向远端正向创建，一定要在horcm0服务下执行）。l 创建P-VOL和S-VOL的Pair关系创建前可以用pairdisplay 命令查看各个P-VOL和S-VOL处于SMPL状态，也就是独立没有任何pair关系的状态下：#pairdisplay g VG01Group PairVOL(L/R) (Port#,TID, LU) , Seq#, LDEV# .P/S, Status, Fence, Seq#, P-LDEV# M VG01 oradb1(L) (CL1-A , 0, 0 ) 85041508 0 .SMPL - -, - - - VG01 oradb1(R) (CL1-D , 0, 0 ) 85014114 0 .SMPL - -, - - - VG01 oradb2(L) (CL2-A , 0, 1 ) 85041508 1 .SMPL - -, - - - VG01 oradb2(R) (CL2-D , 0, 1 ) 85014114 1 .SMPL - -, - - -通过上面命令，可以看到各P-VOL和S-VOL的TargetID（TID对应的列），以及我们在配置文件中定义的 dev_group和 dev_name的名字。下表是手册中列出的所有在CCI和Navigator2中能看到的pair状态以及相应描述：创建Pair关系：#paircreate g VG01 f never vl c 15 *上面命令将创建配置文件里定义的VG01组中包含的所有的pair关系（即oradb1和oradb2），-g 代表组名；-f 表示P-VOL的状态是否能被代替，never表示P-VOL在故障后会会回拷数据继续作为P-VOL；-vl（-vr） 定义数据同步的方向，l代表local，表示数据初始同步方向为本地向远端进行同步； -c 参数是指定同步时COPY数据的速度，值为1到15，一般指定为15，即最快速度。（关于命令中参数详细内容以及具体含义请参考Hitachi_AMS_2000_Family_CCI_Reference_Guide）此命令执行后，pair关系就会被创建，并开始从本地向远端进行数据初始同步，再用pairdisplay命令查看状态，会发现各P-VOL和S-VOL处于COPY状态：#pairdisplay g VG01Group PairVOL(L/R) (Port#,TID, LU) , Seq#, LDEV# .P/S, Status, Fence, Seq#, P-LDEV# M VG01 oradb1(L) (CL1-A , 0, 0 ) 85041508 0 .P-VOL COPY Never ,85000175 0 VG01 oradb1(R) (CL1-D , 0, 0 ) 85014114 0 .S-VOL COPY Never , - 0 - VG01 oradb2(L) (CL2-A , 0, 1 ) 85041508 1 .P-VOL COPY Never ,85000175 1 VG01 oradb2(R) (CL2-D , 0, 1 ) 85014114 1 .S-VOL COPY Never , - 1 - 还可以通过加上 fcx 参数显示COPY的进度是百分之多少（#pairdisplay g VG01 -fcx）；这个过程时间可能比较长，视Pair LUN的大小而定（实施时1.2T的LUN需要同步3个多小时），等同步过程结束后，用pairdisplay命令查看，Pair的状态会变为PAIR：#pairdisplay g VG01 -fcxGroup PairVOL(L/R) (Port#,TID, LU) , Seq#, LDEV# .P/S, Status, Fence, %, P-LDEV# M VG01 oradb1(L) (CL1-A , 0, 0 ) 85041508 0 .P-VOL PAIR Never , 100 0 VG01 oradb1(R) (CL1-D , 0, 0 ) 85014114 0 .S-VOL PAIR Never , 100 0 - VG01 oradb2(L) (CL2-A , 0, 1 ) 85041508 1 .P-VOL PAIR Never , 100 1 VG01 oradb2(R) (CL2-D , 0, 1 ) 85014114 1 .S-VOL PAIR Never , 100 1 - 如上面命令所示，至此，TrueCopy的远程同步环境就已经实施完成，后续要做的就是在主机端将P-VOL对应的hdisk做成VG让主机用起来，值得注意的是在PAIR状态下，只有P-VOL才可以被主机操作（读写等操作），S-VOL处于锁死状态是不能被主机操作的，任何对S-VOL的操作都会出现无响应状态，这样是为了保持数据一致，S-VOL只能在pair断开后，并在horcm1服务环境下执行takeover操作后才能被挂上使用，后面的测试会说明。测试l 简单测试数据同步：这个测试只是为了测试数据的同步，以确认P-VOL上的数据被同步到S-VOL上：1. 在生产主机端将P-VOL的hdisk做成VG，创建文件系统，并mount上，然后向mount点的目录中拷贝一些测试数据；2. 再将文件系统umount掉，并执行varoffvg和exportvg；3. 在CCI主机上运行pairsplit命令来断开pair关系#pairsplit g VG01 d oradb1 -rw *如果只想断开某一组pair来测试，可以用-d跟上pair的dev_name ，该命令如果跟上-S 参数则是彻底释放pair关系，需要重新做初始化同步，慎用。#pairdisplay g VG01 fcx *这里只断开了oradb1的pairGroup PairVOL(L/R) (Port#,TID, LU) , Seq#, LDEV# .P/S, Status, Fence, %, P-LDEV# M VG01 oradb1(L) (CL1-A , 0, 0 ) 85041508 0 .P-VOL PSUS Never , 85014114 0 VG01 oradb1(R) (CL1-D , 0, 0 ) 85014114 0 .S-VOL SSUS Never , - 0 - VG01 oradb2(L) (CL2-A , 0, 1 ) 85041508 1 .P-VOL PAIR Never , 100 1 VG01 oradb2(R) (CL2-D , 0, 1 ) 85014114 1 .S-VOL PAIR Never , 100 1 - 4. 将运行环境切换至horcm1服务（#export HORCMINST=1），执行horctakeover命令让S-VOL变成P-VOL：#horctakeover g VG01 d oradb1 S *oradb1中的S-VOL将变成P-VOL5. 此时原来S-VOL对应的hdisk将可以被操作，在灾备主机上执行importvg，将原来S-VOL（现在的P-VOL）对应的hdisk上的VG导入，并varyonvg，mount上文件系统，进入mount点看看，是否有之前拷贝的测试数据（肯定会有的。）；6. 完成该测试后，需要恢复到测试前状态： 先在灾备主机上把vg执行umount、varyoffvg、exportvg； 在CCI主机上把运行环境切回horcm0（export HORCMINST=0）; 执行pairresync命令把pair状态重新同步；#pairresync g VG01 d oradb1 c 15 swapp *本地重新同步为P-VOL*pairresync命令后面可以跟 swapp和-swaps，-swapp在horcm0服务环境下使用，是将本地存储重新同步为P-VOL；-swaps是在horcm1服务环境下使用，是重新同步后将原来的P-VOL和S-VOL对调，一般在生产端存储恢复，但是应用没有恢复，原来的S-VOL成为P-VOL接管应用，并向本地的存储同步数据；当本地的应用恢复后，需要在horcm0下再执行resync跟上-swapp，把本地重新同步为P-VOL，接管应用；l 模拟故障测试再进一步测试可以将本地存储上的所有光纤线都拔掉，两端盘阵都会出现报警亮黄灯，操作过程是上面的测试过程大体一样，只是光纤线拔了之后，Command device之间的通信断开，无法执行其他的pair操作，只能切换至horcm1服务下，执行takeover操作，其他和上面一样。Truecopy完成后数据挂载1、 说明假设源数据机房为A，目的机房为B。要将数据从A复制到B，操作系统全为Solaris ，卷管理软件为SVM，Cluster软件为Sun Cluster1)如果A和B都没有安装Sun Cluster，则复制完成后，如果没有做metaset，可视A的raid情况直接将分区挂载或重建raid；如果A有做metaset，直接用metaimport导入metaset即可。2)如果A有装Sun Cluster，B没有装，只能在B根据A的情况手动重建设metaset3)如果A没有装Sun Cluster而B有装，只要将B的某个节点启动到非cluster模式，其它跟1）相同4）如果两边都有装Sun Cluster，则只能根据A的情况在B重建metaset 2、环境介绍 这次在湖南郴州的环境就是上面第四种情况，源机房共16个100G的Lun，做成两个metaset，每个metaset又分出4个soft partion，我们要做的就是在目的机房里根据源机房的情况将metaset和soft partion重建出来3、 实施步骤metaset -s qyylset -a -h bhld02 在bhhld02上建立名为qllyset的metasetmetaset -s qyylset -a /dev/rdsk/c3t50060E8010461091d7 将8个lun加到qllysetmetaset -s qyylset -a /dev/rdsk/c3t50060E8010461091d6metaset -s qyylset -a /dev/rdsk/c3t50060E8010461091d5metaset -s qyylset -a /dev/rdsk/c3t50060E8010461091d4metaset -s qyylset -a /dev/rdsk/c3t50060E8010461091