故障演练方案.docx

故障演练方案1硬件故障1.1 硬件故障1.1.1 主机硬盘现两台小型机本机的硬盘，都做了逻辑卷组镜像，可以通过以下步骤来完成硬盘更换工作第一步：查看相关信息：物理卷：lspv；逻辑卷组：lsvg； 硬盘状态：lsdev -Cc disk;第二步：停止HACMP：smitty clsstop第三步：取消镜像：unmirrorvg rootvg hdisk0第四步：将磁盘从rootvg中去除(以hdisk0为例)：reducevg rootvg hdisk0第五步：在hdisk1上创建启动镜像boot image: bosboot -ad hdisk1,cd0第六步：改变启动设备的顺序：bootlist -m normal hdisk1第七步：删除hdisk0: rmdev -l hdisk0 -d第八步：关机并拔出损坏硬盘：shutdown -F第九步：开机，将发现的hdisk0加入rootvg: extendvg rootvg hdisk0第十步：创建创建启动镜像boot image：bosboot -ad hdisk0第十一步：改变启动设备的顺序：bootlist -m normal hdisk0,hdisk1, cd0第十二步：重新启动机器：shutdown -Fr第十三步：启动HACMP:smitty clstart检验：查看启动顺序：bootlist -m normal -o查看HA、RAC是否正常：smitty hacmp. crs_stat -t1.1.2 存储硬盘目前存储硬盘都做的RAID5的冗余，在巡检过程中入发现有故障及时更换就可以了。1.1.3存储电池机器故障现象通过Storage Manager8进入到系统里面，“Recover from failures（小听诊器）”在闪动，点开后，发现里面报A、B控制器电池错误，即有效期已到，一般是3年。更换步骤备份数据，里面有两个逻辑盘，分别放在A控制器和B控制器。先在B控制器里操作（带电热插拔控制器）：、1. 在SM里面，用鼠标右键点Arr22（逻辑盘2）changeCache Settings,把Enable read caching 、Enable write caching、Enable write caching without batteries前面小方框的的“勾号”去掉，点OK，即把Cache关了； 2. 然后在右边栏目里，Back一栏里，用鼠标有键点控制器B，选Placeoffline,即把控制器B关掉； 3. 取下来B控制器，更换电池，把控制器B再插入原来位置；4.然后在右边栏目里，Back一栏里，用鼠标有键点控制器B，选Placeonline,即把控制器B打开； 5 用鼠标右键点Arr22（逻辑盘2）changeCache Settings,把Enable read caching 、Enable write caching、Enable write caching without batteries前面小方框的的“勾号”加上，点OK，即把Cache打开；6 在SM里看到两个逻辑盘现在都在A控制器里面，正常切换；7. B控制器电池更换完毕。1.1.4 电源损坏第一步：关闭小机：shutdown -F第二步：更换电源，重新启动：shutdown -Fr1.1.5其他比如光纤模块损坏，光纤线路断开，网卡损坏等及时进行更换就可以了。1.2 软件故障1.2.1 系统文件系统损坏进行逻辑卷的修复：fsck -y /file1.2.2 oracle数据库问题一表空间使用率超过极限1.查看表空间对应的数据文件 select , from v$tablespace a, v$datafile b where a.ts#=b.ts#; 2. 查看对应数据文件逻辑卷PP个数及其一个PP大小lsvg -l oracle_vglsvg oracle_vg3.根据对应数据文件创建裸设备逻辑卷mklv -t raw -y 数据文件名 -a e -e x -o y oracle_vg PPS;或用smitty 菜单中的HACMP中的并发卷来建立。4.根据此表空间数据文件权限给新建LV在两个节点赋予LV权限chown -R *:* 数据文件名5.对应表空间上增加数据文件alter tablespace btas_sta add datafile /dev/r数据文件名 size *m;2 数据丢失1. 丢失 controlfile ;步骤：1. startup nomount;2. restore controlfile;3. alter database mount;4. restore database;5. recover database;6. alter database open resetlogs;2. 丢失 datafile步骤：1. startup mount;2. restore datefile num; 3. recover datafile num; 4 .alter database open; （这里的 num 是通过 dba_data_files 查询得出）3. 丢失redo步骤：1. sql startup 2. sql recover database until cancel;3. sqlalter database open resetlogs;4, 表空间损坏（这时数据库可以启动）比如：citsm_zone坏了 步骤：1. sqlalter tablespace citsm_zone offlin