HP DS2405盘柜更换硬盘操作手册.docx

HP DS2405盘柜更换硬盘操作手册 (2011-12-20 22:24) 1 目的为了保障系统安全稳定的运行，HP DS2405盘柜的报错盘的拓扑结构和主机的磁盘划分和业务情况，对此次磁盘故障进行更换方案的准备，包括磁盘报错的分析，磁盘更换前的数据备份工作，备件准备，人员和时间安排，可能面临的风险以及遇到意外情况下的回退方案等，特撰写此操作手册。2 了解运行环境，定位错误硬盘系统运行环境：HP rp4440主机，操作系统版本为B11.11，主机名：s21和s22，分别直连两台共享盘柜DS2405，DS2405分别配备十四块36G15K硬盘。（1）其中盘柜的的十四块磁盘通过LVM管理软件统一管理，具体配置如下：系统使用的pv信息如下/dev/vg00/dev/dsk/c2t1d0/dev/dsk/c3t0d0/dev/vgdata/dev/dsk/c5t8d0/dev/dsk/c5t9d0/dev/dsk/c5t10d0/dev/dsk/c5t11d0/dev/dsk/c5t12d0/dev/dsk/c5t13d0/dev/dsk/c5t14d0/dev/dsk/c6t8d0/dev/dsk/c6t9d0/dev/dsk/c6t10d0/dev/dsk/c6t11d0/dev/dsk/c6t12d0/dev/dsk/c6t13d0/dev/dsk/c6t14d0/dev/vgdp/dev/dsk/c5t1d0/dev/dsk/c5t2d0/dev/dsk/c5t3d0/dev/dsk/c5t4d0/dev/dsk/c5t5d0/dev/dsk/c5t6d0/dev/dsk/c5t7d0/dev/dsk/c6t1d0/dev/dsk/c6t2d0/dev/dsk/c6t3d0/dev/dsk/c6t4d0/dev/dsk/c6t5d0/dev/dsk/c6t6d0/dev/dsk/c6t7d0/dev/vglockBj/dev/dsk/c5t0d0/dev/dsk/c6t0d0其中Vgdata中使用的pv信息如下： - Physical volume groups - PVG Name pvg0 PV Name /dev/dsk/c5t8d0 PV Name /dev/dsk/c5t9d0 PV Name /dev/dsk/c5t10d0 PV Name /dev/dsk/c5t11d0 PV Name /dev/dsk/c5t12d0 PV Name /dev/dsk/c5t13d0 PV Name /dev/dsk/c5t14d0 PVG Name pvg1 PV Name /dev/dsk/c6t8d0 PV Name /dev/dsk/c6t9d0 PV Name /dev/dsk/c6t10d0 PV Name /dev/dsk/c6t11d0 PV Name /dev/dsk/c6t12d0 PV Name /dev/dsk/c6t13d0 PV Name /dev/dsk/c6t14d0 Vgdata共使用十四块磁盘，其中c5t8d0 至c5t14d0在PVG0中，对应ds2405-1的后半部分磁盘，而 c6t8d0至c6t14d0在PVG1中，对应ds2405-2的后半部分，PVG0和PVG1做PVG条带化后镜像，报错的硬盘为c6t8d0在PVG0中，目前故障硬盘在系统的状态为claimed，还没有完全坏掉，通过lvdisplay查看可以看到有stale状态的坏块，需及时对此盘进行更换。目前系统运行在有风险的环境中，测试对此硬盘读写，写入数据失败，需要及时进行处理从而使系统重新在良好环境中运行。（2）根据报错信息定位故障硬盘：使用root权限登陆服务器，查看syslog和event.log发现有磁盘的严重报错，其中syslog中报有EMS检测到的硬件告警信息，event.log有Disk at hardware path 0/6/1/0/4/0.8.0.255.0.8.0 : Device connectivity or hardware failure，而0/6/1/0/4/0.8.0.255.0.8.0对应的磁盘为c6t8d0。 3 更换前的准备工作（1）数据备份配置信息备份：vgdisplay v;lvlnboot v;ioscan fn;bdf;cat /etc/lvmpvg;cat /etc/lvmtab由于vgdata是通过lvm来管理，已经做了镜像，目前坏盘对业务无影响，可在线换盘然后进行数据同步。（2）操作时间，人员安排及备件准备申请下更换硬盘的具体时间后，工程师会在约定的时间带备件到现场，对备件PN进行检查后准备下一步的确认工作。（3）操作前确认检查和确认故障硬盘的位置,确认没有其他硬件报错,cat /opt/resmon/log/event.log。确认没有NFS使用此主机, more /etc/exports。（4）VA上面使用使用的磁盘每个最小分区为520byte，多余的8byte用来保存raid校验等信息DS2405上面使用的磁盘的每个最小分区为512byte，当VA上面的一个坏时，我们可以使用相同型号的DS2405上面的盘进行更换，此时新盘插入到VA上面后，会自动被格式化为520的，不需要认为干预改为520的当DS2405上面的一个坏时，我们用相同型号的VA上面的盘进行更换时，需要首先使用JBODfmt命令将此硬盘格式化为512的，然后才能被系统使用，否则机器检测到盘但是无法使用。在给DS2405更换盘时，不要使用520的磁盘，否则，如果现场没有安装command view SDM（经过测试，不同系统需要不同版本的软件，现场能找到合适此系统版本的软件的可能行一般不大），会发生系统无法使用新更换的磁盘。使用swlist |grep CMDVIEWSDM检查是否装有CMDVIEWSDM软件。4 更换方法和步骤（1）在sdp21主机上确认lv信息：检查vgdata中使用到的所有lv的状态。（2）在sdp21主机上再次确认故障盘的位置及属性：dd if=/dev/rdsk/c6t9d0 of=/dev/null bs=10240kdd if=/dev/rdsk/c6t7d0 of=/dev/null bs=10240kdiskinfo /dev/rdsk/c6t7d0diskinfo /dev/rdsk/c6t9d0检查目前磁盘的块大小。（3）在ds2405第9槽位更换硬盘：拔出故障盘（需等待10秒左右），可用fcmsutil /dev/td0 devstat all | grep Loop进行确认，然后插入新盘。（4）在s21和s22主机上识别新盘、验证新盘的正确性ioscan fnCdisk如果失败，在s21和s22主机上分别执行如下操作：确认c6t8d0对应的光纤链路为/dev/fcd1Dmesg确认/dev/fcd1对应的node id，然后执行fcmsutil /dev/fcd1 replace_dsk dmesg(node id)ioscan检查是否正常识别出磁盘，如果失败继续定位原因，已经在测试环境测试通过。（5）确认磁盘的可用性，检查新加磁盘的块大小。diskinfo /dev/rdsk/c6t8d0 vendor: HP 36.4G product id: ST336753FC type: direct access size: 70000000 Kbytes bytes per sector: 520如果为520，则需要在s21和s22上执行操作，系统必须装有CMDVIEWSDM软件后新盘执行格式化，块大小会变为512。在s21和s22上执行：Armdiscover扫描系统认到的磁盘:/# JBODdsp -i sdp21 Product ID: HP 36.4G-ST336605FC Device Type: Disk Alias: Unique ID: 20000004cf7279e7 Serial Number: 3FP152EZ Management Path: n4000:/dev/dsk/c7t0d0 Product ID: HP 73.4G-ST373453FC Device Type: Disk Alias: Unique ID: 20000011c639fff6 Serial Number: 3HW2JJ12 Management Path: n4000:/dev/dsk/c7t8d0 Product ID: HP-A5236A Device Type: Enclosure Controller Alias: fc10 Unique ID: HPA5236AUSSA10028830-获得此号码。 Serial Number: USSA10028830 Management Path: n4000:/dev/rscsi/c7t10d0然后使用命令 #JBODdsp HPA5236AUSSA10028830可以查询到磁盘node id#JBODdsp HPA5236AUSSA10028830Vendor: HPProduct ID: A5236AProduct Firmware: HP06Serial Number: USSA10028830Midplane S/N: Node Unique ID: 50060b00000940df-获得此号。Port Unique ID: HPA5236AUSSA10028830Status: Critical最后使用命令#JBODfmt -f 50060b00000940df对磁盘进行块大小的重新格式化（-f默认为512byte）。系统会提示你format is started，接下来就是等待（近20分钟），硬盘灯成绿色闪烁，闪烁完毕。Diskinfo进行确认。（5）在s21上对vgdata配置信息恢复：vgcfgrestore -n vgvgdata /dev/rdsk/c6t8d0vgchange -a y /dev/vgdata（6）lvdisplay查看是否已经开始同步，如果没有自动同步则：vgsync /dev/vgdata。（7）验证lvdisplay v lvname查看使用c6t8d0的所有lv的同步状态，直至所有的lv都同步完。查看event.log和syslog.log确认没有硬盘新的报错，查看bdf，ioscan确认运行正常。5 风险及解决方案因为目前磁盘做有镜像，一块盘故障不会影响系统正常运行和启动，但考虑到设备老化等原因，也不排除其他的意外出现。此次硬盘更换操作存在的风险如下：更换过程中设备无法识别新换上的硬盘。更换的过程中更换新硬盘后无法正常完成数据同步。更换的过程中有其他硬件故障引起设备宕机，数据丢失等。更换之后系统无法正常运行，文件系统损坏等。针对以上的风险，可以有以下的解决方案：如果设备无法识别新换上的硬盘，则检查新硬盘状态，检查SCSI线连接等，一旦发现硬件有问题立即申请新备件。如果更换新硬盘后无法正常完成数据同步，则需要检查和硬盘连接同一总线的其他外设SCIS设备，一旦发现有冲突，可暂时对其他总线设备拔除后再同步。如果有其他硬件故障引起设备宕机，数据丢失等