IBM小型机常见故障的基本定位

1、故障的定义. 弄清楚系统发生了什么问题. 系统现在能做什么？不能做什么？. 故障什么时候发生的？. 有没有做平时不同的操作？. 故障有没有规律？定时还是不定时？发生的频率有多高？. 是一台机器出现故障还是多台机器故障？故障现象是否相同？. 最近有没有做改动？如安装了新的硬件、软件，改变了系统的一些设置。故障信息的收集1）收集故障信息对于判断、诊断故障原因，修复系统非常重要。2）系统故障记录 （errorlog） errdemon 进程在系统启动时自动运行 记录包括硬件、软件及其他操作信息 故障记录文件为 /var/adm/ras/errlog ，可备份下来或拷贝到别的机器上分析 errpt 命

2、令的使用 （ 普通用户权限也可使用 ）#errpt |more 列出简短出错信息ERROR_ID TIMESTAMP T C RESOURCE_NAME ERROR_DESCRIPTION 192AC00 T 0 errdemon Error logging turned off0E017ED1 0720131000 P H mem2 Memory failure 9DBCFDEE 0701000000 T 0 errdemon Error logging turned on 038F2580 0624131000 U H scdisk0 UNDETERMINED ERRORAA8AB241

3、0405130900 T O OPERATOR OPERATOR NOTIFICATIONTIMESTAMP: MMDDHHMM月YY日 （时分年）T（类型） : P 永久; T 临时; U 未知 （永久性的错误应引起重视） C（分类） : H 硬件; S 软件; O 用户; U 未知#errpt -d H 列出所有硬件出错信息#errpt -d S 列出所有软件出错信息#errpt -aj ERROR_ID 列出详细出错信息# errpt -aj 0502f666 ERROR_ID用大小写均可例：LABEL: SCSI_ERR1ID: 0502F666Date/Time: Jun 19 22

4、:29:51Sequence Number: 95Machine ID: 123456789012Node ID: host1 Class: HType: PERMResource Name: scsi0Resource Class: adapterResource Type: hscsiLocation: 00-08VPD: 选高级诊断( Advance Diagnostic) 选问题诊断( Problem Determination) 或 选系统检查( System Verification) (选 PD 会对系统错误记录进行分析 ) diag 运行后会给出 SRN 代码，故障设备名称及百

5、分比，地址代码等。 对于 PCI 机型应在系统报错 7 天之内运行 diag 程序对出错记录里的 sense 数据进行分 析。其他用于收集系统信息的命令 lsdev -C 系统设备信息#lsdev -Cc diskhdisk0 Available 00-06-00-2,0 4.5 GB 16 Bit SCSI Disk Drivehdisk1 Available 00-06-00-1,0 4.5 GB 16 Bit SCSI Disk Drivehdisk2 Defined 00-06-00-4,0 16 Bit SCSI Disk Drivelspv 查看物理卷信息#lspvhdisk0 0

6、007821160af3d76 rootvghdisk1 000782117f571294 rootvghdisk2 0000000045c45bde datavglsvg 查看卷组信息#lsvg datavg VOLUME GROUP: datavg VG IDENTIFIER: 0000000055e2458b VG STATE: active PP SIZE: 4 megabyte(s)VG PERMISSION: read/write TOTAL PPs: 2169 (8676 megabyt MAX LVs: 256 FREE PPs: 1 (4 megabytes) LVs: 3

7、USED PPs: 2168 (8672 megabyt OPEN LVs: 2 QUORUM: 2 TOTAL PVs: 1 VG DESCRIPTORS: 2 STALE PVs: 0 STALE PPs: 0 ACTIVE PVs: 1 AUTO ON: yes MAX PPs per PV: 2032 MAX PVs: 16#lsvg -l rootvg rootvg: LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT hd5 boot 1 1 1 closed/syncd N/Alv00 jfs 51 102 1 closed/stale /

8、ibmcxx lv01 jfs 1 1 1 open/syncd /cics_regions lv02 jfs 4 4 1 open/syncd /var/mqmlslpp 查看文件组信息 # lslpp -L |grep 23100020devices.pci.23100020.rte 4.3.2.7 C IBM PCI 10/100 Ethernet Adapt 看某个文件组是否已安装，如以太网卡驱动。也用于查询补丁程序的版本。lsattr 查看设备参数设置# lsattr -El ent2 busio 0 x7fffc00 Bus I/O address False busintr 9

9、Bus interrupt level False intr_priority 3 Interrupt priority False tx_que_size 512 TRANSMIT queue size True rx_que_size 256 RECEIVE queue size True rxbuf_pool_size 384 RECEIVE buffer pool size True media_speed 10_Half_Duplex Media Speed True use_alt_addr no Enable ALTERNATE ETHERNET address True alt

10、_addr 0 x0 ALTERNATE ETHERNET address True ip_gap 96 Inter-Packet Gap True lscfg 查看 VPD信息( Virtual Product Data)# lscfg -vl ssa1DEVICE LOCATION DESCRIPTION ssa1 30-68 IBM SSA Enhanced RAID Adapter (14104500)Part Number097H0645FRU Number097H0645 -备件号Serial NumberC8217227EC Level0000F20825Manufacturer

11、IBM053ROS Level and ID7201 -微码版本Loadable Microcode Level04Device Driver Level00Displayable MessageSSA-ADAPTERDevice Specific.(Z0)DRAM=032Device Specific.(Z1)CACHE=0Device Specific.(Z2)5dab2Device Specific.(YL)P2-I7 Access a Root Volume Group Access this volume group and start a shellbefore mounting

12、the 格式化文件系统日志 (jfslog)# /usr/sbin/logform /dev/hd8检查修复文件系统# fsck -y /dev/hd1# fsck -y /dev/hd2/home 文件系统)/usr 文件系统)# fsck -y /dev/hd3（ /tmp 文件系统）# fsck -y /dev/hd4（ / 文件系统）# fsck -y /dev/hd9var（ /var 文件系统）用 exit 命令退出，文件系统会自动 mount 起来。重建 bootimage# lslv -m hd5 找出 bootimage 所在的硬盘，如 hdisk0# bosboot -ad

13、 /dev/hdisk0# bootlist -m normal /dev/hdisk0重建启动顺序表。重启动系统# shutdown -Fr如上述步骤不奏效 用系统备份带恢复系统。如备份带不能恢复，用诊断光盘（ Diagnostic CDROM）检查是否坏硬盘。.CDE图形界面挂死CDE 运行时不要更改网络参数（如：主机名和 IP 地址） 更改网卡设置，请先退出 CDE图形环境，选择命令行方式登录，在字符界面下更改 如 CDE 已经挂死远程 telnet 登录找出所有 dt 有关的进程用 kill 命令杀掉# ps -ef |grep dt# kill PID 检查当前主机名# hostna

14、me tscf50 查看主机名是否对应有效的 IP 地址# netstat -i |grep tscf50tr0* 1500 9.185.40 tscf50 506049 0 28247 0 0 更改主机名或 IP 地址，使主机名与当前有效的 IP 地址存在对应关系。# smitty tcpip 重新启动 CDE界面# /etc/rc.dtHACMP环境下可把主机名 alias 到 127.0.0.1 上# cat /etc/hosts127.0.0.1 loopback localhost tscf50 # loopback （lo0） name/addressbvg. 系统 dump 发生

15、在系统崩溃时， AIX 会做 dump（系统内存的快照 ） 。此时机器会显示闪动的 888 102 xxx 0cx 代码：0c9 系统 dump 进行中。 0c9 状态可能会维持超过 2分钟，不要关电和按 reset, 等待 dump做完。0c0 dump 成功完成，这时可以断电重起。0c2 手动启动 dump 功能0c4 dump 设备空间不足，只有部分信息保存下来0c5 不明原因导致 dump 失败一般 dump是由于软件出错引起 （888-102-207 除外） ，机器通常可以重启。重启时可能提 示用户插入磁带拷贝 dump文件，不要选择退出，这样会丢失重要的故障信息。 dump的有关设

16、置估算系统 dump的大小，在系统最繁忙时（内存使用最多）# sysdumpdev -e0453-041 Estimated dump size in bytes: 53477376# lsps -aPage Space Physical Volume Volume Group Size %Used Active paging00 hdisk0 rootvg 480MB 1 yes hd6 hdisk1 rootvg 544MB 1 yes 当前的设置#sysdumpdev -lprimary /dev/hd6 - dump的主设备secondary /dev/sysdumpnullcopy

17、directory /var/adm/ras - dump拷贝的目录forced copy flag TRUE always allow dump TRUEhd6应比估算值稍大。/var/adm/ras 是默认的 dump拷贝目录，比较估算值，保证 /var 文件系统有足够的剩余空 间拷贝 dump文件。否则机器重起时会提示用户插入磁带。dump文件名为 vmcore.#对 PCI 机型如要手动做 dump，须把 always allow dump 先设成 true 。# sysdumpdev -Kdump打包# snap -a -o /dev/rmt#或# snap -a -c 把 /tmp

18、/ibmsupt 目录做成一个压缩文件snap.tar.Z 如果 /tmp 文件系统空间不够，可用-d directory 参数指定别的目录代替 /tmp/ibmsupt7133-D40 SSA 磁盘柜的故障定位当 SSA磁盘柜出现故障时，在磁盘柜前面板的液晶显示屏上会显示相应的SRNs,同时黄色的显示灯会闪动，在 AIX 的 error log 中也会有记载错误信息，如： DISK_ERR，1 DISK_ERR，4 SSA_ARRAY_ERR等O。R 请在出现问题后记录下代码，并致电 IBM服务热线。软件故障定位方法 软件故障情况错综复杂，下面列举几个常见案例的故障处理方法。文件系统空间不够

19、。查看有没有“满”的文件系统。特别是 / 、/var 、 /tmp ，不要超过 90%。文件系统满可导致 系统不能正常工作，尤其是 AIX 的基本文件系统。如 / ( 根文件系统 )满则会导致用户不能 登录。用 df k 查看。# df -k ( 查看 AIX 的基本文件系统 )1024-blocks Free %Used Iused %Iused Mounted on /dev/hd4 24576 1452 95% 2599 22% / /dev/hd2 614400 28068 96% 22967 15% /usr /dev/hd9var 8192 4540 45% 649 32% /va

20、r /dev/hd3 167936 157968 6% 89 1% /tmp /dev/hd1 16384 5332 68% 1402 35% /home 除 /usr 文件系统，其他文件系统都不应太满，一般不超过 80%。处理方法 1：删除垃圾文件# du -sk * |sort -rn |head 查找出当前目录下占空间最大的子目录，逐层往下直到找出占空间最大的文件。(要区分 哪些目录是文件系统的 mount point ，哪些是文件系统的子目录)删除文件，释放空间。 有时删除文件后空间并不马上释放，这是由于你删除的文件正被某个程序打开。只有当这 个程序停止后空间才释放，有时甚至需要重起系

21、统。处理方法 2：增加文件系统大小# smitty chjfs 文件系统可以在任何时候加大，前提是卷组 (VG)中有剩余空间。检查文件系统的完整性# umount# fsck -y注意：文件系统必须先 umount，再做检查和修复，否则可导致未 知的后果。查看卷组信息 (lsvg -l vg_name) ： 有没有 stale 状态的逻辑卷。 若有，用 syncvg 命令修复 stale 逻辑卷。检查内存交换区 (paging space) 使用率(lsps -s) ：使用率是否超过 70% ，若有则用 chps sX pgname增加 X 个 PP或用 mkps a n sX myvg在 m

22、yvg上增加一个 PP数为 X 的内存交换区。小型机内存泄漏问题 小型机出现内存泄漏，即系统或应用进程无法将使用过的内存释放，使可用内存的容量逐渐减少。如果可用内存降到某最小值将造成系统或应用程序无法FORK子进程，就会造成系统瘫痪。通常我们可以用 ps和sar 命令来查看小型机内存和 CPU占用率的大概情况以及各进程的 内存和 CPU占用率的发展趋势。(a) ps# ps gv|head -n 1; ps gv|egrep -v RSS | sort +6b -7 -n -r |head -n 5 PID TTY STAT TIME PGIN SIZE RSS LIM TSIZ TRS %C

23、PU %MEM COMMAND 15674 pts/11 A 0:01 0 36108 36172 32768 5 24 0.6 24.0 ./tctestp 22742 pts/11 A 0:00 0 20748 20812 32768 5 24 0.0 14.0 ./backups 10256 pts/1 A 0:00 0 15628 15692 32768 5 24 0.0 11.0 ./tctestp 2064 - A 2:13 5 64 6448 xx 0 6392 0.0 4.0 kproc 1806 - A 0:20 0 16 6408 xx 0 6392 0.0 4.0 kpr

24、oc SIZE virtual size (in the pagingspace), in kilobytes,RSS real-memory (resident set) size in kilobytes of the process. 通过不同时间输出的比较，就能观察出内存和 CPU占用率的基本情况。找出其中占用内存 数不断变大的进程，这个进程可能就已经发生了内存泄漏。(b) sar 指令也可以查看 CPU占用率，但统计的结果不是很准确。通常使用 sar 令的格式 为：#sar -P ALL 2 1009:29:37 cpu %usr %sys %wio %idle 09:29:39 0

25、 0 0 4 951 0 4 95 - 0 0 4 95 09:29:41 0 0 2 6 921 3 4 2 91 - 2 3 4 92 09:29:43 0 3 1 2 941 2 2 2 95 - 2 1 2 94 09:29:45 0 2 2 7 901 4 5 6 86 - 3 3 6 88 09:29:47 0 1 1 2 961 1 2 2 96 - 1 1 2 96 09:29:49 0 0 0 0 1001 0 1 0 99 - 0 0 0 100 09:29:51 0 2 0 0 981 0 1 0 98 - 1 0 0 9809:29:53 0 7 1 6 861 2 2

26、 5 90- 5 2 5 8809:29:55 0 4 5 56 351 12 2 55 32- 8 4 55 3309:29:57 0 16 8 14 641 15 9 11 65- 15 8 12 64Average 0 3 2 10 851 4 3 8 85- 4 2 9 85表示 2 秒钟输出一次结果总共有 10次结果，然后平均。 目前，如果发现内存泄漏，最好重新启动系统。HACMP环境下的排错在一般情况下 ,HACMP软件很少需要手工干预 , 但一旦有问题发生 ,诊断和恢复的技巧是很重 要的.需要能很快地断定问题然后运用你对 HACMP的理解来恢复 HACMP的正常运作 . 一般地

27、,HACMP环境下的排错包括 :. 了解问题的存在 . 判断问题的出处 . 解决问题 .一 了解问题的存在您可以通过以下途径了解到一个 CLUSTER环境下出现了问题 . 最终用户的投诉 , 他们无法访问应用程序 . 控制台上出现一些 HACMP的信息 .应用服务无法访问最终用户的抱怨通常预示 CLUSTER出现了问题 . 他们无法正常执行应用或是无法登录到系 统.我们必须采集到详细的信息以判断到底那里出现了问题 . 是否有错误的信息提示 ?如果 可能的话 , 让用户重复步骤以确定那里是错误的开始 .您也可以在自己的系统上重复 . 要知 道用户应用不可用并不代表 HACMP有问题. 问题可能出

28、现在应用程序本身或是它的启动或 终止脚本出现了问题 .因此应用程序本身的排错也应是 HA排错的一部分 .控制台上出现一些 HACMP的信息在 HACMP启动,终止或出错时 ,控制台上会出现一些 HACMP的信息, 同时也会写入相应的文 件中.判断问题的出处 当错误出现时 ,我们应尝试发现错误的所在 . 但我们常常被错误的表面所误导 . 以下的步骤 可以使我们得到更详细的信息 .1. 保存好一些 LOG文件 .(/tmp/hacmp.out & /tmp/cm.log).因为它们可能被覆盖 .2. 仔细检查 HACMP所产生的 LOG文件. 它们能提供最初的判断线索 .用 HACMP的工具和 A

29、IX 的命令来检查 HACMP的部件是否正常 .打开 HACMP的跟踪工具来产生更详细的信息 .HACMP的 LOG文件:以下文件都是文本文件 ,可以用 VI 来看.每个日志文件都含有每个信息 的产生时间 ./usr/adm/cluster.log :记录了 HACMP的状态 , 由 HA的守护进程所产生 ./tmp/hacmp.out : 记录了 HA的详细脚本 ./usr/sbin/cluster/history/cluster.mmdd : 记录了 HA的各个事件的发生 . /tmp/cm.log : 由 clstrmgr 进程产生 , 每次 HA重起时会被覆盖 .HACMP FOR A

30、IX的结构应用层HACMP软件层 LVM & TCPIP 层 AIX 层 物理网络层 物理硬盘层 硬件层在物理网络层,物理硬盘层,硬件层,LVM & TCPIP 层,AIX 层 我们可以用 AIX系统命令来 看是否硬件和系统出现了问题 .一般地,在用 errpt 命令来看没有类型为 PH的错误,lsvg - o 来看我们所须的 VG已 varyon,mount 来看我们所须的文件系统已安装 , netstat -i 来看 我们所须的 service IP 是 UP的状态 ( 或用 ifconfig en*),cluster node之间的 service与 service IP ,standb

31、y 与 standby IP 互相可以 ping 通. 在各个节点上执行 stty1%ping 自己网卡地址 (ip 地址 )ping 其它机器地址，如不通，在其机器上用 diag 检测网卡是否有问题。 在同一网中， subnetmask 应一致。网络配置的基本方法：如需修改网络地址、主机名等，一定要用 chdev 命令# chdev l inet0 a hostname=myhost# chdev -l en0 -a netaddr=9.3.240.58 -a netmask=255.255.255.0 查看网卡状态： # lsdev Cc if确认网络地址： # ifconfig en0启

32、动网卡： # ifconfig en0 up配置路由 有两种方式加入路由： 永久路由# chdev -l inet0 -a route= 10.47.0.0 , 9.3.240.59 临时路由# route add 10.47.1.2 9.3.240.59用命令 netstat -rn查看路由表附：常用命令列表：Any XXXX, #, *, or X is to be substituted by a name, resource name or #, fn =DIR = Directory| = pipe symbolbosboot -a -d /dev/hdiskx -rebuilds

33、boot record/image on boot device(hdiskx) cat -view contents of a /tmp/*.1 -view a file, look at output cat fn fn new two files to a single -will return you to default DIR cd / -will put in root DIRcd /xxxx -change you to a DIR anywhere is systemcd . -will drop you out of 1 DIR at a timecd xxxxx -wil

34、l change you to a DIR in current dircfgmgr -will auto config devicescfgmgr -v & -(-v) shows processes (&) puts in backgroundchps -s xx hd# -increase paging space (xx=# of addtl PPs) cp oldfn newfn -copy a oldfn Dirn -copy a another directory crontab -l -list crontab entries for the current user ctrl

35、 + v -will page down 1 page ctrl + 6 -will page up 1 page del fn -same as rm -i,promts to remove fn df -I -shows status of (no inodes) df -Ik -(k) show status in 1024 bites(1mb)(only AIX 4 diag -a -updates changes in hardware configuration diag * -*= a device type(as tape,diskFastpath)diag -cd rmtX

36、-resets tape drive dosformat -formats a diskette to DOS dosdir -list files on dos formated diskette dosread XX YY -copies dos to aix doswrite YY XX -copies aix to doserrpt -generates a one line synopsis of logged errors errpt | pg -list errorlog 1 page a time(1st column is ID) errpt -a -displays det

37、ailed information of logged errors errpt -s Mmddhhmmyy -select entries posted later than date errpt -aj XXXXXXX -list detail error by ID number.(XXX=1st column) errpt -d S -list software errorserrpt -j XXXXXXX -list summary report by ID number. errpt -aN XXXXXX -list detailed report by resource name

38、 column errpt -N XXXXXXX -list summary report by resource name column errclear 0 -clears errorlog errclear -N XXXXX 0 -clears errorlog by resource name, 0=all enter errclear -j XXXXX 0 -clears errorlog by ID number. finger -same as who but with more details flcopy -copies a diskette to another diske

39、tte format -formats a diskette in default diskette drive format -l -formats in lower denity: 1.44 on 2.44 / 720 on 1.44 hostname -responds with host system name host (hostname) -responds with internet address instfix -ik IPAR# -lists ipar fix was completely installed lppchk -v -checks install status

40、 of LPPslppchk -v 2 /dev/lpX -sends output of lppchk to printer lpx lpstat -a all -view all printer queues lptest 80 5 /dev/lp0 -send test pattern to lp0 ls -list names of files & directories in current dir ls -lia -list details of files, current dir & subdir ls -al -list details of files or dir in

41、current dirlsattr -El xxxxxx -list specific settings on a device lsdev -C | sort -d -f -list system hardware (devices) lsdev -C | grep 00-0X -list resourses for a adapter lsdev -Cc xxxxx -H -list devices(xxx=tty,printer,disk,memory,adpt lsdev -Cs scsi -list scsi devices(not serial or raid) lsdev -Cc

42、 tape -list tape devices lsdev -Cs pci -list pci devices lsdev -Cs isa -list isa devices lscons -lists the assigned console lscfg -list hardware list (same as diags list) lscfg -rl mem* |pg -lists the memory on PCI bus machines lscfg -vl XXXXX -list config info from a device.(rmt0,hdisk,etc) lscfg -

43、vl sysplanar0 -lists the machine type, model, s/n on SMP lsfs -list all + data from df cmd lslpp -l | grep BROKEN -lists incomplete ptfs lslv -m hd5 -finds boot drive under pv1 column lsps -a -checks available paging space lsps -s -checks available paging space lspv -lists information about the phys

44、ical volumes lspv hdisk# -list drive info lspv -l hdisk# -lists logical volume group disk in lsuser -f ALL -lists all attributes for all users lsvg -lists volume groups lsvg -p XXXXXX -lists disks in volume group (xxxxx= volume name) more -reads files and displays the text one screen at a time. mpcf

45、g -df -list all setting the machine is set to (smp) mpcfg -cf 11 1 -changes to fast IPL on SMP machines (smp) mv fn (path fn) -move and rename a -shows AIX version (3.2.4 and above) pg -reads and displays text one screen at a time.pdisable -makes unavailable or shows all disabled ttys pdisable tty#

46、-disables a tty penable -makes available or shows all enabled ttys penable tty# -enables a tty ps -el |pg -look at process running on system pwd -list what DIR you are currently inr -repeats last command rm -i * -remove a file & will prompt you if you are sure rmdev -l XXXXX -removes a device and de

47、fines it to data base rmdev -l XXXXX -d -removes a device and deletes it from data base set -o vi -sets up to veiw cammands that have been run :wq -write(save) and quit + k -used with SET command to list last command k,l -k=list next command ran, l=steps you thru command I -use with SET command inse

48、rts characters j -steps you backwards cw -cw=removes a word,just type in new word (use with Esc) a,x,r -a=added text, x=delete text, r=replace text(r+letter) R -lets you type over letters or words smit * -(*= tape,disk,tty,etc.fastpath) su -stands for switch user,(NOT super user) su -switches to roo

49、t id or prompts you for password su XXXXXX -switches to XXXXXXs id tar -cvf /dev/rmtX /etc -will copy /etc to a tape drive tar -tvf /dev/rmtX -will read a tape drive tctl -f /dev/rmtX rewoffl -rewind & eject tape tctl -f /dev/rmtX.1 fsf 3 -forward advances a tape to be read by TAR tctl -F -list avai

50、l commands(-F flag is not correct) tctl retension -retensions tape in tape drive& -put any command in background with process ID uptime -how long since last IPL and how many users on system vmstat # # -reports virtual memory statistics and more iostat # # -reports CPU,disk & cdrom statistics use wit

51、h vm & iostat -1st #(how many sec to repeat), 2nd #(how many times) who -shows users on system who am i -shows user id on your terminal & tty number USE the following with other commands./tmp/*.1 -creates a file (used with lsXXX command) /dev/lp# -redirectes output to a printer(use with a comd) |gre

52、p -is useful to search for text in a file.|pg -use after any command to view one page at a time| -pipe sign - Takes the output of one command and feeds it to the input of another. -redirect sign or greater than sign/ -slash sign-back slash sign -double redirect will add text to end of file& -put any

53、 command in background with process IDMUST unmount 1st to run fsck & dfsck/only use with a problem fsck XXXXXXX -will check a for errors & prompt dfsck /XXXX /XXXX -will check 2 different at the same timeFOLLOWING command lines will delete a group of devices as a group, the #, sign is the hdisk#s that you want t