丢失的ASM磁盘组

1、 近日遇到一个问题，ASM的磁盘组无法挂载，之前是正常的，由于一些其他的操作，数据库启动失败，当问题排除时候，发现在数据库整体启动时，挂载磁盘组的环节出现问题。环境介绍#硬件：Vmware ESX虚拟机OS: Red hat linux 5Oracle version: ASM disk是通过 asmlib挂载的这个磁盘组只有一个虚拟出的硬盘，是 /dev/sdb1.#下面是我整个分析的过程1. 首先通过ASM alert.log，发现如下错误,磁盘挂载失败，无法找到磁盘组1. SQL> alter diskgroup DATA&#

2、160;mount  2. NOTE: cache registered group DATA number=1 incarn=0xc28a1e2d  3. NOTE: cache began mount (first) of group DATA number=1 incarn=0xc28a1e2d  4. Tue Dec 11 18:06:55 

3、;2012  5. ERROR: no PST quorum in group: required 2, found 0                               

4、;         <<<<<<<<<<<  6. NOTE: cache dismounting (clean) group 1/0xC28A1E2D (DATA)  7. NOTE: dbwr not being msg'd to dismount  

5、8. NOTE: lgwr not being msg'd to dismount  9. NOTE: cache dismounted group 1/0xC28A1E2D (DATA)  10. NOTE: cache ending mount (fail) of group DATA number=1 incarn=0xc28a1e2d

6、0; 11. NOTE: cache deleting context for group DATA 1/0xc28a1e2d  12. GMON dismounting group 1 at 8 for pid 17, osid 32163  13. ERROR: diskgroup DATA was not mounted&

7、#160; 14. ORA-15032: not all alterations performed  15. ORA-15017: diskgroup "DATA" cannot be mounted  16. ORA-15063: ASM discovered an insufficient number of disks for diskgr

8、oup "DATA"  17. ERROR: alter diskgroup DATA mount  2. 首先检查ASM pfile 文件，未发现异常1. asm_diskgroups='DATA'  2. instance_type='asm'  3. large_pool_size=12M  4. remote_login_passwordfile='EXCLUSIVE' 

9、3. 尝试通过以下命令检查磁盘是否物理存在，是如何对应物理设备的，发现查询不到ASM磁盘1. gridlgto_test $ kfod disks=all 2.  3. -Non output- 4.  5.  6.  7. gridlgto_test peer$ cd /dev/oracleasm/disks/  8. gridlgto_test disks$ ls 9.  10. -Non o

10、utput- 11.  12.  13. gridlgto_test disks$ /etc/init.d/oracleasm listdisks 14.  15. -Non output-   4. 但是直接检查物理设备，/dev/sdb1是存在的，说明OS已经识别该硬盘设备，只是ASMlib无法正常识别:1. 查询对应的物理硬盘2. oracleOEL $ /etc/init.d/oracleasm querydisk -d disk1 Disk "DISK1&

11、quot; is a valid ASM disk on device 8,173. oracleOEL $ ls -l /dev/ |grep 8|grep 17 brw-r- 1 root disk 8, 17 Oct 16 14:01 sdb14.  5. rootlgto_test # ls -lst /dev/sd*  6. 0 brw-r- 1 root disk 8,  0 Dec 11 19:29 /

12、dev/sda  7. 0 brw-r- 1 root disk 8,  2 Dec 11 19:29 /dev/sda2  8. 0 brw-r- 1 root disk 8, 16 Dec 11 19:29 /dev/sdb  9. 0 brw-r- 1 root disk 

13、8, 17 Dec 11 19:29 /dev/sdb1  <<<<<<<This is the missed diskgroup  10. 0 brw-r- 1 root disk 8,  1 Dec 11 11:29 /dev/sda1 5. 起先是考虑是否是磁盘头损害，导致无法ASMlib识

14、别该磁盘， dump磁盘头发现没有问题. 1. #od -c /dev/sdb1 2.  3. 0000040   O   R   C   L   D   I   S   K   D   A   T  

15、; A   D   G   0   1 4.  5. 7760040   O   R   C   L   D   I   S   K   D   A&

16、#160;  T   A   D   G   0   1 这里补充下，如果磁盘头信息丢失，将会显示如下1. 0000040 O R C L D I S K 0 0 0 0 0 0 0 0 如果显示这个结果，需要通过以下方式renamedisk，具体可

17、以参考文档Oracleasm Listdisks Cannot See Disks (Doc ID 392527.1)1. Use the "oracleasm renamedisk" utility to add an asmlib label to the disk:  2. /etc/init.d/oracleasm renamedisk /dev/<device> <asmlib_

18、label>  3. If it fails, use the "-f" switch:  4. /etc/init.d/oracleasm renamedisk -f /dev/<device> <asmlib_label>   6. 重启ASMLib ，检查是否是ASMLib 问题1. rootlgto_test # /etc/init.d/oracle

19、asm restart 2. Dropping Oracle ASMLib disks: 3.   OK   4. Shutting down the Oracle ASMLib driver: FAILED 检查文件系统oracleasm文件系统已经成功挂载1. rootlgto_test # df -ha 2. Filesystem   

20、60;        Size  Used Avail Use% Mounted on 3.  4. oracleasmfs              0     0     0  

21、; -  /dev/oracleasm 7. 检查 /dev/sdb1状态，查看是否已经marked为ASM disk，显示已经标记成功1. rootlgto_test # oracleasm querydisk /dev/sdb1 2. Device "/dev/sdb1" is marked an ASM disk with the label "DATADG01

22、" 3.  4. rootlgto_test # /sbin/service oracleasm scandisks 5. Scanning the system for Oracle ASMLib disks: 6.   OK   7.  8. rootlgto_test # /etc/init.d/oracleasm listdisks 9.

23、-Non output- 8. 检查 rpm package也没有问题1. gridlgto_test $ rpm -qa|grep oracleasm  2. oracleasmlib-2.0.4-1.el5  3. oracleasm-support-2.1.7-1.el5  4. oracleasm-2.6.18-308.el5-2.0.5-1.el5   9. 收集 Kfed logs,没有检查到异常新信息。1. rootlgto_tes

24、t # /oracle/ora11g/product/app/grid/bin/kfed read /dev/sdb1 2.  3. kfbh.endian:                          1  0x000: 0x01 

25、4.  5. kfbh.hard:                          130  0x001: 0x82 6.  7. kfbh.type:          

26、60;                 1  0x002: KFBTYP_DISKHEAD 8.  9. kfbh.datfmt:                     

27、;     1  0x003: 0x01 10.  11. kfbh.block.blk:                       0  0x004: T=0 NUMB=0x0 12.  13. kfbh.

28、block.obj:              2147483648  0x008: TYPE=0x8 NUMB=0x0 14.  15. kfbh.check:                  3351358462&

29、#160; 0x00c: 0xc7c1abfe 16.  17. kfbh.fcn.base:                        0  0x010: 0x00000000 18.  19. kfbh.fcn.wrap:   &#

30、160;                    0  0x014: 0x00000000 20.  21. kfbh.spare1:                  &

31、#160;       0  0x018: 0x00000000 22.  23. kfbh.spare2:                          0  0x01c: 0x000

32、00000 24.  25. vstr: ORCLDISKDATADG01  0x000: length=16 26.  27. kfdhdb.driver.reserved0:   1096040772  0x008: 0x41544144 28.  29. kfdhdb.driver.reserved1:    825247556  0x0

33、0c: 0x31304744 30.  31. kfdhdb.driver.reserved2:            0  0x010: 0x00000000 32.  33. kfdhdb.driver.reserved3:            0  0

34、x014: 0x00000000 34.  35. kfdhdb.driver.reserved4:            0  0x018: 0x00000000 36.  37. kfdhdb.driver.reserved5:            0  

35、;0x01c: 0x00000000 38.  39. pat:                186646528  0x020: 0x0b200000 40.  41. kfdhdb.dsknum:             &#

36、160;          0  0x024: 0x0000 42.  43. kfdhdb.grptyp:                        1  0x026: KF

37、DGTP_EXTERNAL 44.  45. kfdhdb.hdrsts:                        3  0x027: KFDHDR_MEMBER 46.  47. kfdhdb.dskname:      

38、          DATADG01  0x028: length=8 48.  49. kfdhdb.grpname:                    DATA  0x048: length=4 50.

39、  51. kfdhdb.fgname:                 DATADG01  0x068: length=8 52.  53. kfdhdb.capname:                &#

40、160;         0x088: length=0 54.  55. kfdhdb.crestmp.hi:             32977140  0x0a8: HOUR=0x14 DAYS=0x7 MNTH=0xc YEAR=0x7dc 56.  57. k

41、fdhdb.crestmp.lo:           1642529792  0x0ac: USEC=0x0 MSEC=0x1c1 SECS=0x1e MINS=0x18 58.  59. kfdhdb.mntstmp.hi:             32977140 

42、; 0x0b0: HOUR=0x14 DAYS=0x7 MNTH=0xc YEAR=0x7dc 60.  61. kfdhdb.mntstmp.lo:           1664549888  0x0b4: USEC=0x0 MSEC=0x1c1 SECS=0x33 MINS=0x18 62.  63. kfdhdb.secsize:&

43、#160;                    512  0x0b8: 0x0200 64.  65. kfdhdb.blksize:                  

44、;  4096  0x0ba: 0x1000 66.  67. kfdhdb.ausize:                  1048576  0x0bc: 0x00100000 68.  69. kfdhdb.mfact:      &

45、#160;             113792  0x0c0: 0x0001bc80 70.  71. kfdhdb.dsksize:                  204797  0x0c4: 0x00

46、031ffd 72.  73. kfdhdb.pmcnt:                         3  0x0c8: 0x00000003 74.  75. kfdhdb.fstlocn:       

47、;                1  0x0cc: 0x00000001 76.  77. kfdhdb.altlocn:                      &

48、#160;2  0x0d0: 0x00000002 78.  79. kfdhdb.f1b1locn:                      2  0x0d4: 0x00000002 80.  81. kfdhdb.redomirrors0:   

49、;             0  0x0d8: 0x0000 82.  83. kfdhdb.redomirrors1:                0  0x0da: 0x0000 84.  85. kfd

50、hdb.redomirrors2:                0  0x0dc: 0x0000 86.  87. kfdhdb.redomirrors3:                0  0x0de:&

51、#160;0x0000 88.  89. kfdhdb.dbcompat:              168820736  0x0e0: 0x0a100000 90.  91. kfdhdb.grpstmp.hi:             32977140&#

52、160; 0x0e4: HOUR=0x14 DAYS=0x7 MNTH=0xc YEAR=0x7dc 92.  93. kfdhdb.grpstmp.lo:           1642390528  0x0e8: USEC=0x0 MSEC=0x139 SECS=0x1e MINS=0x18 94.  95. kfdhdb.vfstar

53、t:                       0  0x0ec: 0x00000000 96.  97. kfdhdb.vfend:               &#

54、160;         0  0x0f0: 0x00000000 98.  99. kfdhdb.spfile:                       58  0x0f4: 0x0000003

55、a 100.  101. kfdhdb.spfflg:                        1  0x0f8: 0x00000001 102.  103. kfdhdb.ub4spare0:       

56、60;           0  0x0fc: 0x00000000 104.  105. kfdhdb.ub4spare1:                   0  0x100: 0x00000000 10

57、6.  107. kfdhdb.ub4spare2:                   0  0x104: 0x00000000 108.  109. kfdhdb.ub4spare3:             

58、60;     0  0x108: 0x00000000 110.  111. kfdhdb.ub4spare4:                   0  0x10c: 0x00000000 112.  113. kfdhdb.ub4spare5: 

59、;                  0  0x110: 0x00000000 114.  115. kfdhdb.ub4spare6:                   0&#

60、160; 0x114: 0x00000000 116.  117. kfdhdb.ub4spare7:                   0  0x118: 0x00000000 118.  119. kfdhdb.ub4spare8:       

61、;            0  0x11c: 0x00000000 120.  121. kfdhdb.ub4spare9:                   0  0x120: 0x00000000

62、0;122.  123. kfdhdb.ub4spare10:                  0  0x124: 0x00000000 124.  125. kfdhdb.ub4spare11:             

63、60;    0  0x128: 0x00000000 126.  127. kfdhdb.ub4spare12:                  0  0x12c: 0x00000000 128.  129. kfdhdb.ub4spare13:  

64、60;               0  0x130: 0x00000000 130.  131. kfdhdb.ub4spare14:                  0  0x134: 

65、;0x00000000 132.  133. kfdhdb.ub4spare15:                  0  0x138: 0x00000000 134.  135. kfdhdb.ub4spare16:           

66、       0  0x13c: 0x00000000 136.  137. kfdhdb.ub4spare17:                  0  0x140: 0x00000000 138.  139. kfdhdb.ub4spare18:

67、                  0  0x144: 0x00000000 140.  141. kfdhdb.ub4spare19:                  0 &#

68、160;0x148: 0x00000000 142.  143. kfdhdb.ub4spare20:                  0  0x14c: 0x00000000 144.  145. kfdhdb.ub4spare21:        

69、60;         0  0x150: 0x00000000 146.  147. kfdhdb.ub4spare22:                  0  0x154: 0x00000000 148.  149. kfd

70、hdb.ub4spare23:                  0  0x158: 0x00000000 150.  151. kfdhdb.ub4spare24:                 

71、 0  0x15c: 0x00000000 152.  153. kfdhdb.ub4spare25:                  0  0x160: 0x00000000 154.  155. kfdhdb.ub4spare26:      

72、            0  0x164: 0x00000000 156.  157. kfdhdb.ub4spare27:                  0  0x168: 0x00000000 158.

73、  159. kfdhdb.ub4spare28:                  0  0x16c: 0x00000000 160.  161. kfdhdb.ub4spare29:              

74、60;   0  0x170: 0x00000000 162.  163. kfdhdb.ub4spare30:                  0  0x174: 0x00000000 164.  165. kfdhdb.ub4spare31:   

75、60;              0  0x178: 0x00000000 166.  167. kfdhdb.ub4spare32:                  0  0x17c: 0x000

76、00000 168.  169. kfdhdb.ub4spare33:                  0  0x180: 0x00000000 170.  171. kfdhdb.ub4spare34:            

77、      0  0x184: 0x00000000 172.  173. kfdhdb.ub4spare35:                  0  0x188: 0x00000000 174.  175. kfdhdb.ub4spare36: 

78、                 0  0x18c: 0x00000000 176.  177. kfdhdb.ub4spare37:                  0  0x

79、190: 0x00000000 178.  179. kfdhdb.ub4spare38:                  0  0x194: 0x00000000 180.  181. kfdhdb.ub4spare39:         

80、60;        0  0x198: 0x00000000 182.  183. kfdhdb.ub4spare40:                  0  0x19c: 0x00000000 184.  185. kfdhdb.ub

81、4spare41:                  0  0x1a0: 0x00000000 186.  187. kfdhdb.ub4spare42:                  

82、0  0x1a4: 0x00000000 188.  189. kfdhdb.ub4spare43:                  0  0x1a8: 0x00000000 190.  191. kfdhdb.ub4spare44:       

83、           0  0x1ac: 0x00000000 192.  193. kfdhdb.ub4spare45:                  0  0x1b0: 0x00000000 194.  

84、;195. kfdhdb.ub4spare46:                  0  0x1b4: 0x00000000 196.  197. kfdhdb.ub4spare47:               

85、60;  0  0x1b8: 0x00000000 198.  199. kfdhdb.ub4spare48:                  0  0x1bc: 0x00000000 200.  201. kfdhdb.ub4spare49:    

86、60;             0  0x1c0: 0x00000000 202.  203. kfdhdb.ub4spare50:                  0  0x1c4: 0x00000000 204.  205. kfdhdb.ub4spare51:                  0  0x1c8: 0x00000000 206.  207. kfdhdb.ub4