存储维护管理

1、dell 存储,常见存储管理、故障处理和注意事项,常见故障原因,经验表明,造成客户存储故障的外部原因主要有以下几种： 存储内部错误的开关机顺序。 机头或扩展柜的速率开关处于错误的位置。 不规范的软硬件升级。 对存储子系统进行破坏性操作。 不规范的故障修复操作。 维护过程中触发了相关的隐患。 存储系统没有冗余的配置方案。,开关机步骤,开机： san交换机exp磁盘扩展柜主控柜主机 关机： 主机主控柜exp磁盘扩展柜san交换机 不正确的开关机顺序可能会导致部分硬盘离线以及数据无法访问。 注意：在ds5000按下电源按钮关机后，在控制器代码和所有电源灯熄灭前绝对不能进行任何操作！,管理软件,sto

2、rage manager客户端管理软件 连接方式如下： 将装有storage manager client客户端软件的工作站，通过以太网hub或switch，同时连接到ds4000/ds5000的两个控制器。 打开storage manager client客户端软件 控制器有一个出厂默认的ip地址：控制器a/b：192.168.128.101/102 （控制器a/b：192.168.129.101/102 ）,存储子系统状态标识,管理界面-企业主管理界面,管理界面子系统管理界面,子系统部件标识,故障检测按钮,使用“recovery guru” 故障检测按钮检查ds4000/ds5000子系统

3、的整体状态 “听诊器”,故障检测按钮,正常 故障,控制器和扩展柜的硬件状态,点击物理硬盘右侧的状态检查按钮，可以打开查看具体部件的硬件工作状态,查看控制器信息,选择“storage subsystem menu” “view” “ profile”,故障数据收集,收集 all support data 菜单：advanced-troubleshooting-collect all support data .,故障数据收集,查看major event log 菜单：advanced-troubleshooting-view event log,故障数据收集,查看链路信号噪音检测报告 菜单：ad

4、vanced-troubleshooting-run diagnostics-read link status ,电池和缓存,电池和缓存的设计原理 为了保证写缓存数据的安全性，ds4000/ds5000系统中，只要电池发生故障（处于failed状态）或者超过微码所规定的设计寿命，那么写缓存就会被自动禁用 为了保证写缓存数据的安全性，默认两个控制器的cache mirroring写缓存镜像功能是打开的。因此当一个控制器的写缓存被禁用之后，另外一个控制器的写缓存也不能使用了。,电池和缓存,写缓存禁用之后的故障现象 主机端应用程序响应变慢，从topas检查主机性能指标，i/o waiting显著增加

5、，每个逻辑盘的busy接近100%，但是io吞吐量很小，每秒只有几十k到1m不等：,电池和缓存,电池的更换策略 如果电池当前是处于“failed”或“removed”状态 如果电池当前状态正常，只是接近或已超过告警寿命,在aix上使用mpio的一些注意事项,aix版本5.2以上，除了原有的集成的rdac功能以外，操作系统还新增了mpio的功能来实现外部磁盘的多通路访问。aix 5.2/5.3默认是使用rdac，而aix6.1默认是使用mpio。 rdac和mpio的兼容性 ds3000: 只支持 mpio ds4000: 支持方式：rdac, mpio ds5000: 支持方式：mpio (d

6、s5000在aix上不再支持rdac),在aix上使用mpio的一些注意事项,如何在aix上确认当前正在使用mpio还是rdac 在aix中执行“manage_disk_drivers” 以下是一个当前使用mpio的例子： #manage_disk_drivers 1: ds4300: currently mpio; supported: rdac/fcparray, mpio 2: ds4500: currently mpio; supported: rdac/fcparray, mpio 3: ds4700/ds4200: currently mpio; supported: rdac/f

7、cparray, mpio 4: ds4800: currently mpio; supported: rdac/fcparray, mpio 以下是一个当前使用rdac的例子： 1: ds4300: currently rdac/fcparray; supported: rdac/fcparray, mpio 2: ds4500: currently rdac/fcparray; supported: rdac/fcparray, mpio 3: ds4700/ds4200: currently rdac/fcparray; supported: rdac/fcparray, mpio 4:

8、 ds4800: currently rdac/fcparray; supported: rdac/fcparray, mpio,在aix上使用mpio的一些注意事项,如何检查当前磁盘的工作路径 rdac：fget_config -av mpio: mpio_get_config -av,常见故障处理和注意事项,控制器微码是不是有重大隐患的版本？ 06.23.05.00： 隐患一：当某个控制器内存校验出错时，故障控制器无法正确的被隔离offline，从而导致逻辑盘lun不能切换到好的控制器上，主机访问中断。 隐患二：ds4800写缓存被禁用，主机写性能大幅度下降，从而影响业务。 07.10.2

9、3.00： 隐患一：更换故障硬盘后，之前已经接管的热备盘无法copyback 隐患二：media scan被自动禁用,常见故障处理和注意事项,exp扩展柜的esm微码版本有没有重大隐患？ exp710的esm的微码隐患（9681以下版本） 当一块硬盘故障时，mel里面显示fiber channel link up和link down的event，发生大面积的多块硬盘的同时故障，客户数据访问中断。 exp810和exp420的esm的微码隐患（98d0以下版本） 当一块硬盘故障时，mel里面显示fiber channel link up和link down的event，发生大面积的多块硬盘的同时

10、故障，客户数据访问中断。,常见故障处理和注意事项,要特别注意前面板右下方的（2gb/4gb）速率开关，是否处于正确的位置。速率开关处于4gb位置时，2gbps的硬盘将不能被识别；相反速率开关处于2gb位置时，4gbps的硬盘是可以使用的，但是性能将会下降。这种情况比较容易被忽视。速率开关的更改需要关机下电。注意：所有3gbps的sata硬盘，都推荐运行在4gbps。,常见故障处理和注意事项,磁盘扩展柜的光纤连线符合ibm的规范。 在控制器有冗余的光模块条件下，建议将多个扩展柜连接在多个冗余环路上，尽量不要将所有的扩展柜串联在一个环路里。,常见故障处理和注意事项,只要使用了光纤交换机，做zone

11、是强制要求。每一个zone必须只包含两个成员，一个对应主机的一张光纤卡的一个端口，另一个对应ds4000/ds5000的一个控制器的一个端口。,常见故障处理和注意事项,逻辑盘不在最优路径“logical drive not on preferred path” 。这个问题指的是ds4000/ds5000的逻辑盘（lun）没有挂在原本所属的控制器下。,常见故障处理和注意事项,原因分析：（主要有6点） 从主机的光纤卡到logical drive的光纤物理链路有问题。 p-series主机的dar0的虚拟设备配置有问题 光纤交换机fabric1的zone设置有问题。 主机光纤卡hba和ds4000/

12、ds5000控制器的主机端口host port之间的光纤连线方式不正确，没有符合ibm的规范。 控制器发生过重启，或者控制器已经offline（离线）,常见故障处理和注意事项,检查的确认方法：（主要有8点） 确认从主机的光纤卡到逻辑盘logical drive的物理链路是完全正常的。 查看光纤交换机相应的主机光纤卡端口和ds4000/ds5000控制器端口的状态灯 登陆主机，运行“fget_config -av”确认dar的虚拟设备配置正常 确认光纤交换机的zone设置没有问题。 确认主机光纤卡hba和ds4000/ds5000控制器的主机端口host port之间的光纤连线方式是正确。 在s

13、m客户端管理软件里面确认ds4000/ds5000的控制器状态正常 检查ds4000/ds5000内部的mapping是否正确 确认 linux主机的host type是否正确。,常见故障处理和注意事项,恢复方法 在storage manager客户端管理软件里面运行: advanced recovery redistribute logical drives 在storage manager客户端管理软件里面，更改每一个逻辑盘logical drive的所属控制器 菜单：logical drivechangeownership/preferred path 注意：在恢复之前，一定要确认从主机

14、的光纤卡到logical drive的通道是完全正常的，只有在完全确认上述几种故障都已经解决之后，才能实施恢复。否则后果一定是灾难性的！,常见故障处理和注意事项,storage manager客户端软件不能连接和访问ds4000/ds5000的控制器 首先排除网络方面的问题 看看控制器的两位数字led的显示是否正常 如果控制器的两位数字led的显示在循环变化，或者ping的时通时断，这时候可以通过串口连上控制器，观察并捕获屏幕的输出。 控制器能ping通但是storage manager连不上 如果能安排停机时间，重启机头是最有效的解决方法。,常见故障处理和注意事项,拔除ds4000/ds50

15、00系统中所有未使用（没有光纤连接）的光电转换模块sfp 会导致光纤链路的不稳定 在mel event log中，会发现有大量的“fibre channel link down”和“fibre channel link up”的提示信息。,常见故障处理和注意事项,特别注意：不规范的实施ds4000/ds5000系统exp扩展柜和物理硬盘的升级和迁移，可能会造成客户数据丢失！ ds4000/ds5000系统增加新的exp扩展柜（升级） ds4000/ds5000系统增加新的物理硬盘（升级） 将一个或多个exp扩展柜，从一个现有的ds4000/ds5000系统迁移到另一个ds4000/ds5000

16、系统（迁移） 将一块或多块硬盘，从一个现有的ds4000/ds5000系统迁移到另一个ds4000/ds5000系统（迁移） 以上工作必须严格按照最新版的ibm官方文档里面所规定的步骤进行。,常见故障处理和注意事项,注意定期保存ds4000/ds5000系统的all support data（asd） ds4000/ds5000的all support data里面记录了所有array的配置信息和主机mapping的信息，在关键时刻对于客户的数据恢复有着非常重要的作用。,常见故障处理和注意事项,寻找ds4000/ds5000的recovery profile sm客户端软件的一个功能 记录了d

17、s4000的array和lun的基本信息,常见故障处理和注意事项,不能对处于“degraded”状态的array的故障硬盘使用revive操作! 当array变成degraded状态时，主机的访问将会恢复。 故障硬盘仍然处于被隔离的静止状态 造成数据丢失！,常见故障处理和注意事项,故障误报 微码和旧版的不兼容 通过升级微码解决 通过重启机头解决,常见故障处理和注意事项,绝对不能在生产系统使用sm客户端管理软件的“reset configuration”功能 删除ds4000/ds5000系统里面所有的array/lun信息 将所有配置恢复成出厂设置值,常见故障处理和注意事项,ds5000维护注意事项