存储子系统扩容方案

1、存储子系统扩容方案1说明12现有系统结构22.1设备连接22.2版本说明23扩容后系统结构33.1本次扩容目标:33.2新建存储系统设计说明43.3新系统产品版本清单54扩容步骤64.1扩容系统建设原则64.2参加人员64.3实施前的工程准备64.4备份94.5建立新系统9设备连接104.5.2软件安装114.5.2.1检查Solaris Patch114.5.2.2安装Veritas V以及Veritas File System3.3.2.114.5.2.3安装jaycor驱动程序124.5.2.4安装SYMplicity6.22 磁盘管理软件124.5.2.5设定fabric 模式13在新

2、磁盘中，创建LUN134.5.2.7使用Volume Manager创建Disk Group 和Volume144.5.3割接144.5.3.1准备144.5.3.2数据的加载164.5.3.3数据复制和迁移164.5.4加入和所有的服务器174.5.4.1VCS 的安装:174.5.4.2VERITAS VCS的准备工作174.5.4.3关于AIMC系统的 VCS Agent配置方法174.5.5测试185紧急情况处理206割接步骤总表：211 说明由于业务量的增长,的用户数据空间拓展已迫在眉睫,本次扩容系统即在原有的存储系统之上,增加新的存储设备,并且服务器系统进行相应的迁移.本次扩容的最

3、终目的即构造一个全新的存储结构,提供业务发展的空间.以下我们对整个系统割接的步骤以及维护事宜进行说明.2 现有系统结构2.1 设备连接现有Email系统由以下硬件部分构成:SUN E3500主机:4台Vixel2000 HUB:2台MetaStor 4766磁盘阵列:2台(总容量1TB)如图:2.2 版本说明现有Email系统的各部分软件版本如下:OS:solaris2.6JNI driver:2.2.1 LSIVeritas Volume Manager:2.6Veritas File System:3.3.2+PatchVeritas Netbackup:3.23 扩容后系统结构3.1 本

4、次扩容目标:1) 新增3个4766 CM(Command Module)和18个DM(168块36GB磁盘),见总图中的D3,D4 ,D52) 原D2的CM将取消,D2的2个CM连接到D1上3) 新增Vixel 8100 Switch,取代原有的Vixel2000HUB,详见扩容后21CN系统环境图:3.2 新建存储系统设计说明1) 新建系统中,每个CM连接6个DM,这样最大限度利用总线资源.6个DM中的相应磁盘建立5+1的Raid5结构,提供磁盘访问效率和安全性能的提升,这样确保单一总线或DM,disk故障的情况下,系统数据不会丢失,排除单点故障.见下图。6,16,05,15,04,14,0

5、3,13,02,12,01,11,02) 业务主机为3台SUNE3500主机，操作系统版本为Solaris2.7主机系统全部接入以Vixel8100交换机为骨干的存储局域网中。3) 存储局域网的交换核心为Vixel8100光通道交换机，替代原有的共享光通道网络。采用交换网络，除提供高速的交换通路外，也提供了数据环路的高度稳定性。4) 系统中将加入Veritas 公司的Cluster Server 高可用软件，确保应用系统的安全。任何服务器的应用系统故障，均通过VCS软件实现即时切换。5) 建议每一4766 阵列（如D3）配置两块热备份磁盘（hot_spare）,热备份磁盘通过磁盘阵列的管理软件

6、SYMplicity设置。热备份磁盘将确保任何单一磁盘故障时，迅速实现接替工作，保障数据访问的效率。6) LUN及卷的划分参考AIMC需求3.3 新系统产品版本清单OS:Solaris 7Veritas file system:VxFS3.3.2 +Veritas fs.332-patch01Vixel8100:1.1.17 VerSYMplicity:6.224 扩容步骤4.1 扩容系统建设原则由于一期系统目前承受较大的业务压力，本着用户服务第一的原则，新系统的建设应严格遵循以下设计原则：） 安全性原则任何操作严格确保不对原有数据产生任何不利影响，实现平稳过度） 最大限度减少业务中断间隔应通

7、过周密设计，使原有系统向新系统的过渡一次成功，最大限度减少对业务的影响） 预先测试的原则为减少操作的风险，所有步骤应在测试环境中模拟，并依据测试结果执行步骤。） 尽量减少原有系统改动的原则在向新系统过度期间，原有系统尽量减少任何修改）在条件许可的情况下，预先进行数据备份4.2 参加人员本次系统升级由朗登科技有限公司、亚信公司人员共同实施，所有步骤需经各方确认，共同完成。4.3 实施前的工程准备1)检查新增磁盘阵列的电源连接。2)按照以下要求调整磁盘阵列控制器的SCSI ID,并登记WWN地址，见下表：磁盘阵列控制器标号SCS I IDWWN地址D1-A2D1-B3D2-A4D2-B5D3-A8

8、D3-B9D4-A10D4-B11D5-A12D5-B13WWN 的读取可以采用以下几种方法：a) 从磁盘阵列RS接口读取.#fc 5b) 接入Vixle8100交换机View-àSNS à update SNS table c) 主机系统启动信息读取3)记录磁盘阵列中的DM的Tray-ID,并根据具体的分布进行设定。 Metastor 4766磁 盘 阵 列 电 缆 连 线 图 Driver MODULE 3Driver MODULE 4Fibre channelFibre channelcontrollerBBcontrollerAASCSI ID设置开关Driver

9、M ODULE 2Driver MODULE 1注 ： 为 SCSI端 口 为带 终 结 器 的 SCSI端 口 SCSI ID 的开关设置：（如ID=2,则设为） 在服务器中安装jaycorFC卡，每服务器各接两块。） 检查服务器上必备的OSpatch .OS patch: SUN 1065414.4 备份在条件许可的情况下，对磁盘阵列的所有数据进行全备份,可以在新建立的系统上采用NFS方式进行文件复制，预计天的时间。4.5 建立新系统4.5.1 设备连接） 将Vixel 8100 交换机固定，按照下图进行光纤连接。两个交换机采用对称连接Vixel8100D1-A7D5-A6D4-A5D3-

10、A4D-A2SUN 21SUN 1注：建立新系统的初期D1 、D2、D3暂不接入。） 进行Vixel8100 的配置设定a.通过Vixel8100的eth 口，接入控制台，启动SAN Insite2000。b.设定zoning.1-à3 4 5 6 72-à3 4 5 6 73-à3 4 5 6 7c.点击flash to memory 使设定生效。）再次检查D4和D5的firmware以及电缆连接。（见准备部分）4.5.2 软件安装在新加入的两台主机上，按照以下步骤进行软件安装。4.5.2.1 检查Solaris Patch4.5.2.2 安装Veritas V

11、olume以及Veritas File System3.3.2.#cd /cdrom/cdrom0/solaris_7/pkgs#pkgadd d .The following packages are available: 1 VRTSfsdoc VERITAS File System Documentation Package (SPARC) 3.3.2 GA Release 2 VRTSqio VERITAS file device interface 3 VRTSqlog VERITAS QuickLog 4 VRTSvmdev VERITAS Volume Manager, Head

12、er and Library Files 5 VRTSvmdoc VERITAS Volume Manager (user documentation) 6 VRTSvmman VERITAS Volume Manager, Manual Pages 7 VRTSvmsa VERITAS Volume Manager Storage Administrator 8 VRTSvxfs VERITAS File System 9 VRTSvxvm VERITAS Volume Manager, BinariesSelect package(s) you wish to process (or &#

13、39;all' to processall packages). (default: all) ?,?,q: 选输入序列号#vxlicense c建立 rootdg# vxconfigd -m disable# vxdctl init# vxdg init rootdg# vxdctl add disk c0t0d0s5 type=simplevxvm:vxdctl: WARNING: Device c0t0d0s5: Not currently in the configuration# vxdisk -f init c0t0d0s5 type=simple# # vxdg addd

14、isk c0t0d0s5# vxdctl enable# # cd /etc/vx/reconfig.d/state.d# lsinstall-db# rm install-db摘除DMP功能DMP功能按照以下方法摘除:1)停 止 Volume manager#vxdctl stop2)rm /kernel/drv/vxdmp3)修 改 /etc/system删 除 forceload:drv/vxdmp4)rm -rf /dev/vx/dmp /dev/vx/rdmp5)ln -s /dev/dsk /dev/vx/dmp6)ln -s /dev/rdsk /dev/vx/rdmp重新启动服

15、务器4.5.2.3 安装jaycor驱动程序本次安装需采用JNI 版本2.2.1 lsi，因此不能使用光盘介质。#pkgadd d fcaw2_2_1_01.pkg4.5.2.4 安装SYMplicity6.22 磁盘管理软件SYMplicity 是MetaStor磁盘阵列的管理软件，本系统采用6.22版本#cd /cdrom/cdrom0/symsm#pkgadd d .The following packages are available: 1 SYMsm SYMplicity Storage Manager 2 rfw020420 Disk Array Firmware 0204200

16、0 (sparc) 1 3 rfw020506 Disk Array Firmware 02050633 (sparc) 2 4 rfw030102 Disk Array Firmware 03010233 (sparc) 2Select package(s) you wish to process (or 'all' to processall packages). (default: all) ?,?,q:选1 44.5.2.5 设定fabric 模式由于本系统采用交换式存储网络，因此需要设定fabric的运行模式。1）插入SYMplicity6.22光盘2）#cd /cd

17、rom/cdrom0/hba/JNI3）#./add_fibre4）vi /kernel/drv/sd.conf修改target =2 3 4 5 6 8 9 10 11 1213的相应行，wwn设成实际的控制器对应地址（见准备工作步骤）例：xi name="sd" class="scsi" target=2 lun=7 hba="fcaw0" wwn="200800a0b807a56d"name="sd" class="scsi" target=3 lun=0 hba=&q

18、uot;fcaw1" wwn="200b00a0b807a56d"建议提前将所有控制器的WWN进行设定,这样可以加快割接进度.5) 修改kernel/drv/fcaw.conf文件 6)修改SYMplicity的参数在 /etc/system中 加 入 set sd:sd_max_throttle=64 在/etc/raid/rmparams中 修 改 System_MaxLunsPerController=327）#reboot - -r重新启动服务器，此时注意观察启动信息中fcaw0 LUN0的target信息，若target =4766controllers

19、 SCSIID，并且LUN0ready，说明各项设定和安装成功。例：fcaw0: Target 3 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3) ready.fcaw0: Target 5 Lun 0: Port 0000e0 (WWN 200000a0b8060495) ready.4.5.2.6 在新磁盘中，创建LUN本系统中，LUN采用5+1的Raid 5配置,每一LUN 的实际容量为180GB.每一阵列共创建9个LUN。创建LUN采用SYMplicity的工具进行。#symsm&在LUN创建完成之后，使用磁盘管理工具查看完成情况。lad(例

20、)c1t3d1 1T84610416 LUNS: 1 3 c1t5d0 1T84610004 LUNS: 0 2 4 c3t2d0 1T84710216 LUNS: 0 2 4 c3t4d1 1T84610170 LUNS: 1 3 注：LUN的创建预计花费小时。4.5.2.7 使用Volume Manager创建Disk Group 和Volume在LUN创建全部完成之后，使用Volume Manager的工具建立diskgroup和Volume,建议每一个LUN创建一个diskgroup和Volume。在本阶段,只建立一个Disk Group 和Volume, 其余所有的磁盘组在原有系统迁

21、移过来之后,通过镜像建立.建议全部diskgroup 和Volume设定完成之后，重新启动服务器。注：本项操作预计1小时完成。4.5.3 割接割接是本次系统升级最重要的部分,所有的数据将从原有系统平滑迁移到新系统中,同时立即开通业务运行.4.5.3.1 准备1)原服务器停止运行,将D1 、D2、D3按照制订的连接方法接入Vixel8100交换机(两台).2)按图示位置设备上架,其中D4、D5位于同一新机柜，D2、D3位于同一机柜，D3安装时注意不要影响原D2的设备连接，D1独占一个原有机柜;3)主机系统重新启动reboot - -r主机启动后，应能正常识别D1、D2、D3、D4、D5中的LUN

22、，即屏幕应出现类似信息:fcaw0: Target 2 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3) ready.fcaw0: Target 4 Lun 0: Port 0000e0 (WWN 200000a0b8060495) ready.fcaw0: Target 8 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3) ready.fcaw0: Target 10 Lun 0: Port 0000e0 (WWN 200000a0b8060495) ready.fcaw0: Target 12 Lun 0: Port 00

23、00e2 (WWN 200000a0b805e6b3) ready.fcaw1: Target 3 Lun 0: Port 0000e0 (WWN 200000a0b8060495) ready.fcaw1: Target 5 Lun 0: Port 0000e0 (WWN 200000a0b8060495) ready.fcaw1: Target 9 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3) ready.fcaw1: Target 11 Lun 0: Port 0000e0 (WWN 200000a0b8060495) ready.fcaw1: Ta

24、rget 13 Lun 0: Port 0000e2 (WWN 200000a0b805e6b3) ready.如果系统启动时,显示信息有误,应认真检测各配置文件,如WWN等的设定是否正确.在紧急情况下,万一新系统完全无法正常识别,原有磁盘系统迅速接回原有系统.4.5.3.2 数据的加载在原有磁盘系统加载至新系统之后,使用Volume Manager工具进行数据加载.1) import 原有的disk group(如MailDG0),如成功,则割接关键步骤完成,服务可立即开通;#vxdg import XXXXX或#vxdiskadm如果磁盘组加载失败，应立即对系统进行检测在紧急情况下可将原有

25、磁盘系统迅速接回原有系统.2) 开通服务如果前阶段完成顺利，本阶段将可以开通业务，此后的操作均可以在线进行4.5.3.3 数据复制和迁移本阶段，进行在线数据复制(即无需停止业务)，将原有系统的数据完全转移到新系统中） 将所有D1和的进行镜像vmsa#将新的lun加入到原有的磁盘组中#选中相应的（旧系统）volumeàadd mirroràselect disks（选中新的磁盘）OK后，镜像在后台进行） 镜像完全结束后（见磁盘的指示灯），从镜像卷中拆下D1、D2所属的磁盘，并将其设为未初始化状态；>volumeàmirroràremoveà

26、preserve (newdisk)>disk(old disk)àremoveàno evacuateàto uninitialize此时，原有磁盘可以完全释放出来4.5.4 加入和所有的服务器本阶段可以在新的服务器上加入，方法如下：4.5.4.1 VCS 的安装:# pkgadd d /cdrom/cdrom04.5.4.2 VERITAS VCS的准备工作1) 检查心跳线2) 配置llt3) 配置gab4.5.4.3 关于AIMC系统的 VCS Agent配置方法a. 增加type,在resource type中,输入名称,例如:Email;参数Nam

27、eRule输入名称,例如:Email.b. # cd /opt/VRTSvcs/binc. # mkdir Emaild. # cd Emaile. # cp ./ScriptsAgent EmailAgentf. # vi clean # !/bin/sh exit 0g. # vi monitor # ! /bin/sh if -r /opt/aimc/.HA/MyApp.tmp then exit 110 else exit 100 fih. # vi offline rm -f /opt/aimc/HA/.MyAPP.tmp exit 0i. # vi online (本机服务) #

28、! /bin/sh touch /opt/aimc/HA/.MyAPP.tmp exit 0j. # vi online(其他机器的服务) # ! /bin/sh su - aimc c “/opt/aimc/HA/ck_mss1” touch /opt/aimc/HA/MyApp.tmp exit 0Aimc资源配置后，即可监控和管理该类型资源.注意事项: 当主机因为某种原因非正常关机重新启动,应先将目录 /opt/aimc/HA下的.MyApp.tmp或MyApp1.tmp 或 MyApp2.tmp文件删除,再重新启动VERITAS VCS进程.实例:4.5.5 测试在VCS等完全配置完成

29、的情况下,进行整个系统的停机测试，预计2小时.测试内容如下:l 单根光纤故障的DiskArray Failover测试本系统的数据通路为冗余设计,单侧数据环路故障后,磁盘阵列的控制器会发生failover,使数据传送得以正常进行.l 环路恢复测试单侧数据环路故障恢复后,适用SYMplicity的恢复工具,原有的LUN可以恢复到原控制器,数据传送也恢复到原状态.SYMplicityàrecoveràcontrolleràplace onlinel 拔网线 VCS Failover检测网络故障时,VCS切换应用的有效性l Umount 文件系统VCS Failover检测文件系统被意外关闭时,VCS切换的有效性l AIMC集成测试(由亚信公司工程师安排并实施,ROYTON配合)1)磁盘阵列FAILOVER功 能 测 试 对 象 ： LSI 4766磁 盘 阵 列 的 双 控 制 器 和 双 光 通 道 卡 测 试 目 的 ： 检 查 LSI 4766磁 盘 阵 列 的 双 控 制 器 冗 余 配 置 和 自 动 切 换测 试 平 台 ： mail 服 务 器 序 号 测 试 步 骤 正 确 结 果 结 论 1单 点 故 障 的 控 制 器 切 换 ： 单 侧 通 路 故 障 ， 控 制