AIX维护手册_第_5_部分：问题的确定和解决

1、IBM AIX V5.3 系统管理(Test 222)认证指南系列，第 5 部分：问题的确定和解决（上） Shiv Dutta (), 技术顾问, IBM2007 年 12 月 20 日本文分两部分向您介绍不同的问题确定工具，以及何时使用它们。还提供了一些示例，说明如何解释这些命令的输出以及如何采取正确的操作。本文是摘自 IBM 红皮书IBM Certification Study Guide eServer p5 and pSeries Administration and Support for AIX 5L Version 5.3。 问题确定和解决这个部分

2、提供了一些相关的信息以帮助您解决网络、硬件、或者操作系统方面的问题。 网络问题在这一部分中，您将了解系统中网络支持和故障诊断的一些重要的方面，包括修改网络适配器和接口。请注意，本部分并没有提供网络支持方面的所有内容（因为网络可能是非常复杂的环境），但是为支持专业人员提供了一个很好的起点。 ping 命令 ping 命令适用于下列情况：确定网络以及各种外部主机的状态跟踪和隔离硬件和软件问题测试、测量和管理网络ping 命令发送一个 Internet Control Message Protocol (ICMP) ECHO_REQUEST，以便从网络中的某台主机或者网关那里获取一个 ICMP EC

3、HO_RESPONSE。如果这台主机正在运行，并且位于该网络中，那么它将对 ECHO 请求做出响应。每个 ECHO 请求包含一个 Internet Protocol (IP) 和 ICMP Header，后面紧跟着一个 timeval 结构，以及足够数量的字节以填充数据包。在缺省情况下，ping 命令每秒发送一个数据报，并为每个接收到的响应输出一行内容。ping 命令将计算往返时间，以及数据包丢失的统计信息，并在结束时显示简要的汇总信息。当程序超时、或者收到一个 SIGINT 信号 (Ctrl-C) 时，ping 命令将会结束。对于 ping 命令，唯一必需的参数是一个有效的主机名、或者 In

4、ternet 地址。说明：因为持续的 ECHO 请求可能会加重系统的负担，所以主要应该在进行问题隔离的时候使用重复的请求。 下面的示例说明了 ping 命令的某些用途：要检查到某台主机的网络连接，并指定发送五个 ECHO 请求，可以使用下面的命令：# ping -c 5 server2 PING :(95)： 56 data bytes64 bytes from 95:icmp_seq=0 ttl=255 time=0 ms 64 bytes from 95:icmp_seq=1 ttl=255 t

5、ime=0 ms 64 bytes from 95:icmp_seq=2 ttl=255 time=0 ms 64 bytes from 95:icmp_seq=3 ttl=255 time=0 ms 64 bytes from 95:icmp_seq=4 ttl=255 time=0 ms - PING Statistics- 5 packets transmitted, 5 packets received, 0% packet loss round-trip min/avg/max = 0/0

6、/0 ms # 要显示所返回的数据包的路由缓冲区，可以运行下面的命令：# ping -R server2 PING :(95)： 56 data bytes 64 bytes from 95:icmp_seq=0 ttl=255 time=0 ms RR: (95) (96) 64 bytes from 95:icmp_seq=1 ttl=255 time=0 m

7、s (same route)64 bytes from 95:icmp_seq=2 ttl=255 time=0 ms (same route)64 bytes from 95:icmp_seq=3 ttl=255 time=0 ms (same route)64 bytes from 95:icmp_seq=4 ttl=255 time=0 ms (same route)64 bytes from 95:icmp_seq=5 ttl=255 time=0 ms (same route)C -server2.itsc.austin.ibm

8、.com PING Statistics- 6 packets transmitted, 6 packets received, 0% packet loss round-trip min/avg/max = 0/0/0 ms # 说明： IP Header 最多只能记录九次路由。另外，许多主机和网关将忽略这个选项。 如果您使用 ping 命令无法连接到相同子网中的其他计算机，那么应该在您的系统网络配置方面查找存在的问题。arp 和 ifconfig 命令可以帮助您隔离这个问题。 arp 命令 arp 命令可以显示并修改地址解析协议（Address Resolution Protocol，AR

9、P）所使用的 Internet 地址到物理地址（MAC 地址）的转换表。arp 命令可以显示由 HostName 变量指定的主机的当前 ARP 条目。可以通过名称或者数值（使用 Internet 带点的十进制表示法）来指定主机。说明：您可以使用 arp 命令来隔离仅在本地子网中存在的问题。 例如，在尝试对 IP 为 93 的系统使用 ping 命令时，我们获得了如下的输出：# ping 93 PING 93:(93): 56 data bytes C -93 PING Statistics- 7 packets transm

10、itted, 0 packets received, 100% packet loss# 但是，当尝试对 IP 为 96 的系统使用 ping 命令时，我们获得了如下的输出：# ping 96 PING 96:(96): 56 data bytes 64 bytes from 96:icmp_seq=0 ttl=255 time=0 ms 64 bytes from 96:icmp_seq=1 ttl=255 time=0 ms 64 bytes from 96:icmp_seq=2 ttl=25

11、5 time=0 ms 64 bytes from 96:icmp_seq=3 ttl=255 time=0 ms 64 bytes from 96:icmp_seq=4 ttl=255 time=0 ms C -96 PING Statistics- 5 packets transmitted, 5 packets received, 0% packet lossround-trip min/avg/max = 0/0/0 ms # 查看 arp 表，我们发现（在使用 grep 命令对输出进行筛选之后）：# arp -a | grep

12、9 (93) at (incomplete) (96) at 0:2:55:d3:dd:0 ethernet stored inbucket 46 IP 为 93 的系统的物理地址无法解析；您应该在该系统中查找存在的问题。如果您的系统无法解析相同子网中其他计算机的物理地址，那么您应该检查您的电缆连接。ifconfig 命令也可以用于检查网络接口的状态。 ifconfig 命令 ifconfig 命令可用于网络问题确定任务，以显示或更改接口的状

13、态、或者重新定义 IP 地址，如下面的示例所示：要显示接口 en2 的状态，可以输入： # ifconfig en2 en2: flags=5e,c0 inet 96 netmask 0xffffff00 broadcast 55 tcp_sendspace tcp_recvspace 65536 # 接口 en2 已经启用 (UP)。要仅显示那些已经禁用的接口，可以输入： # ifconfig -a -d en1: flags=5e,c0 inet netmask 0xffffff00 broadcast 55 tcp_sendspa

14、ce tcp_recvspace 65536 # 这个输出显示，接口 en1 已经禁用 (DOWN)。如果您无法连接到子网中配置为这个接口的计算机，那么可以运行 errpt 命令，并查看是否报告了有关该接口的任何错误（例如，网络中存在重复的 IP 地址）；运行 diag 命令以便对该接口进行诊断。要启用接口 en1 并将其标记为活动的，可以输入下面的命令：# ifconfig en1 up 如果这些接口没有任何问题，它们处于活动状态，并且您的系统无法连接到相同子网中的其他计算机，那么您应该检查该接口的子网掩码是否正确。要将接口 en1 的子网掩码更改为 52，可以输入

15、下面的命令：# ifconfig en1 netmask 52 up 网络路由配置也可能导致出现通信问题；traceroute 命令可以帮助您对路由进行跟踪。 traceroute 命令 traceroute 命令将尝试跟踪 IP 数据包到某个 Internet 主机的路由，其具体方法是：先启动一个具有较小的最大存活时间值的 UDP 探测数据包，然后侦听从沿途的网关发来的 ICMP TIME_EXCEEDED 响应。探测数据包的存活时间值在开始时为一个跃点，每次对该值增加一个跃点，直至返回 ICMP PORT_UNREACHABLE 消息。ICMP PORT_UNRE

16、ACHABLE 消息说明该主机已经被定位，或命令已经达到跟踪所允许的最大跃点数目。说明： traceroute 命令可用于网络测试、测量和管理方面。它应该主要用于手动故障隔离。由于它将加重网络的负担，所以不应该在正常操作的情况下、或者自动化的脚本中使用 traceroute 命令。 对于 traceroute 命令，唯一必需的参数是目标主机名、或者 IP 数值。traceroute 命令将根据传出接口的最大传输单元（Maximum Transmission Unit，MTU）来确定探测数据包的长度。它将 UDP 探测数据包设置为一个不可能的值，以便防止目标主机对其进行处理。例如，如果您希望查看

17、从 IP 地址为 41 的系统到 IP 地址为 的系统的路由信息，那么您应该输入下面的命令：# traceroute trying to get source for source should be 41traceroute to () from 41 (41), 30 hops maxoutgoing MTU = 14921 (4) 11 ms 2 ms 2 ms2 9.444.33.129 (9.444.3

18、3.129) 4 ms 4 ms 4 ms3 (00) 7 ms 4 (02) 8 ms 7 ms5 (25) 17 ms 19 ms 17 ms6 74 (74) 74 ms 80 ms 71 ms7 () 327 ms 329 ms 327 ms硬件问题在这个部分中，我们将介绍如何解释 errpt 命令所生成的输出，以及如何运行诊断任务以查找与硬件相关

19、的问题并进行故障排除。 errpt 命令 errpt 命令将从错误日志中的条目生成一个错误报告，但是它并不进行错误日志分析；对于错误分析，可以使用 diag 命令。可以考虑下面的示例，其中通过执行 errpt -a 命令生成了一个错误报告：# errpt -a -LABEL:LVM_SA_STALEPP IDENTIFIER:EAA3D429 Date/Time:Tue Dec 6 23:24:37 CST 2005 Sequence Number: 441 Machine Id:00C7CD9E4C00 Node Id:lpar20 Class:S Type:UNKN Resource Na

20、me:LVDD Description PHYSICAL PARTITION MARKED STALE Detail Data PHYSICAL VOLUME DEVICE MAJOR/MINOR 0000 0000 0000 0000 PHYSICAL PARTITION NUMBER (DECIMAL) 227 LOGICAL VOLUME DEVICE MAJOR/MINOR 8000 000A 0000 0005 SENSE DATA 00C7 CD9E 0000 4C00 0000 0107 706A 336C 0000 0000 0000 0000 0000 0000 0000 0

21、000- (lines ommited).#根据错误的类型，errpt -a 报告可能包含下面的信息：LABEL事件的预定义名称。IDENTIFIER事件的数值标识符。Date/Time事件的日期和时间。Sequence Number事件的唯一编号。Machine ID您的系统处理器单元的标识编号。Node ID您的系统的助记名称。Class错误的一般来源。可能的错误类型包括：H硬件。 S软件。 信息性消息。 U未定的。 Type所发生的错误的严重程度。可能的错误类型包括：PEND设备或组件的可用性损失是急迫的。 PERF设备或组件的性能已下降到可接受的级别以下。 PERM出现了不可恢复的情况

22、。如果错误类型为这个值，那么通常是最严重的错误，并且很可能意味着出现了硬件设备或者软件模块的故障。如果错误类型为 PERM 之外的其他值，通常并不表示故障，但是对这些错误进行了记录，以便可以使用诊断程序对它们进行分析。 TEMP在出现多次不成功的尝试之后，所恢复到的状态。这种错误类型也可以用于记录信息性条目，如 DASD 设备的数据传输统计信息。 UNKN无法确定错误的严重程度。 INFO错误日志条目是信息性的，并且不是某个错误所产生的结果。 Resource Name检测到错误的资源的名称。对于软件错误，这是某个软件组件或可执行程序的名称。对于硬件错误，这是某个设备或系统组件的名称。它并不表

23、示该组件出现故障或者需要更换。相反，它用于确定合适的诊断模块以用于对错误进行分析。Resource Class检测到故障的资源的一般类别（例如，磁盘的设备类别）。Resource Type检测到故障的资源的类型。Location Code设备的路径。最多可能有四个字段，分别是抽屉、插槽、连接器和端口。VPD关键的产品数据。这个字段的内容（如果存在）可能各不相同。设备的错误日志条目通常返回有关设备制造商、序列号、工程变更级别、以及只读存储级别的信息。Description错误的汇总信息。Probable Cause一些可能的错误原因的列表。User Causes由用户错误所导致错误的可能原因的列

24、表。用户所导致的错误可能包括不正确插入的磁盘、未能开启的外部设备（如调制解调器和打印机）。Actions对于纠正用户所导致的错误的推荐操作的描述。Install Causes因为不正确的安装或者配置过程所导致错误的可能原因列表。这种类型的错误包括硬件和软件不匹配、电缆的不正确安装或电缆连接变松，以及未能正确配置的系统。Actions对于纠正安装所导致的错误的推荐操作的描述。Failure Causes可能的硬件或者软件故障列表。Actions对于纠正故障的推荐操作的描述。对于硬件错误，这将导致运行诊断程序。Detailed Data针对每个错误日志条目的、唯一的故障数据，如设备检测数据。可以考

25、虑下面的示例错误输出，这是运行不带任何标志的 errpt 命令的错误输出：# errptIDENTIFIER TIMESTAMP T C RESOURCE_NAME DESCRIPTION A6DF45AA I O RMCdaemon The daemon is started. 2BFA76F6 T S SYSPROC SYSTEM SHUTDOWN BY USER 9DBCFDEE T O errdemon ERROR LOGGING TURNED ON 192AC071 T O errdemon ERROR LOGGING TURNED OFF 291D64C3 I H sysplana

26、r0 platform_dump indicator event BFE4C025 P H sysplanar0 UNDETERMINED ERROR 291D64C3 I H sysplanar0 platform_dump indicator event 291D64C3 I H sysplanar0 platform_dump indicator event EAA3D429 U S LVDD PHYSICAL PARTITION MARKED STALEBFE4C025 P H sysplanar0 UNDETERMINED ERROR F6A86ED5 P S ent7 SERVIC

27、E CALL FAILEDF6A86ED5 P S ent6 SERVICE CALL FAILED# 如果错误类别值为 H，并且错误类型值为 PERM（在这个示例中，标识符 BFE4C025 就是这种情况），则说明系统碰到了硬件问题，并且无法对其进行恢复。可能存在与这种错误类型相关联的诊断信息。 如果错误类别值为 H，并且错误类型值为 PEND，则表示因为系统检测到大量的错误，以使得某个硬件马上将变得不可用。 如果错误类别值为 S，并且错误类型值为 PERM（在这个示例中，标识符 F6A86ED5 就是这种情况），则说明系统碰到了与软件相关的问题，并且无法对其进行恢复。 如果错误类别值为 S

28、，并且错误类型值为 TEMP，则表示系统碰到了与软件相关的问题。在经过几次尝试之后，系统能够对该问题进行恢复。 如果错误类别值为 O，则表示已经记录了一个信息性消息（在这个示例中，标识符 A6DF45AA、9DBCFDEE 和 192AC071 就是这种情况）。 当您怀疑出现了硬件问题的时候，可以使用 diag 命令来帮助查找问题。 diag 命令 diag 命令是运行各种可选的任务和服务帮助的起点。diag 使用错误日志来诊断硬件问题。为了正确地诊断新的系统问题，系统将删除错误日志中时间超过 90 天以上的、与硬件相关的条目。系统还将删除所记录的时间超过 30 天以上的、与软件相关的条目。说

29、明：如果您删除了时间在 90 天以内的硬件错误条目，那么可能会限制错误日志分析的有效性。例如，要运行问题诊断程序，可以输入下面的命令：# diag在“DIAGNOSTIC OPERATING INSTRUCTIONS”屏幕中，按 Enter 以继续；图 1 中显示了相应的菜单。图 1 功能选择菜单如果您选择了“Diagnostic Routines”并按 Enter，那么将显示“DIAGNOSTIC MODE SELECTION”菜单（如图 2 中所示）。 图 2 诊断模式选择菜单如果您选择了“Problem Determination”，那么将对设备进行测试。在测试结束之后，系统可能向您显示

30、如下内容：“PREVIOUS DIAGNOSTICS RESULTS”，这意味着已经报告了一项或多项错误。 “ADDITIONAL INFORMATION”屏幕，这意味着错误日志分析已经检测到某些需要您注意的情况。 “DIAGNOSTIC SELECTION”菜单，如图 3 所示。 图 3 诊断选择在“DIAGNOSTIC SELECTION”屏幕中，显示了相关设备的列表。通过将光标移动到某项资源并按 Enter，您可以选择任何资源；加号 (+) 表示选中了一项资源。通过选择某项资源并再次按 Enter，您可以取消对该资源的选择。前面加 M 表示丢失的资源，前面加 P 表示至少丢失一项路径。在

31、完成了所有的选择之后，按 Commit 键（F7 或者 ESC-7）。诊断程序将对所选的资源进行诊断。 监视 root 用户邮件的原因AIX 5L 提供了一些不同的机制，以便在系统出现问题的时候及时地通知系统管理员。下面的方法可用于查找错误消息：检查本地 root 用户的收件箱。 检查 syslog 输出文件。请参见 8.4“附加信息的系统日志配置”。 检查 alog 输出文件。 大多数进程都会向 root 帐号发送包含详细信息的邮件。要检查 root 用户的邮件，可以执行 mail 命令：# mailMail 5.2 UCB AIX 5.X Type ? for help./var/spoo

32、l/mail/root:1 message 1 newN 1 root Tue Mar 17 17:11 24/872 diagela message from localhost要阅读 diagela 消息，可以按邮件前面的数值（在这个示例中，按 1）：? 1Message 1:From root Wed Nov 09 17:11:48 2005Date:Tue, 09 Nov 2005 17:11:48 -0600From:rootTo:rootSubject:diagela message from localhostA PROBLEM WAS DETECTED ON Wed Nov 0

33、9 17:11:48 CST 2005 The Service Request Number(s)/Probable Cause(s)(causes are listed in descending order of probability):AC:Power/Cooling subsystem Unrecovered Error, general.Refer to thesystem service documentation for more information.Error log information:Date:Wed Nov 09 17:11:45 CST 2005Sequenc

34、e number: 11Label:SCAN_ERROR_CHRPPriority:L FRU:ACMODUL Location:U787B.001.DNW108F? 要退出 mail 命令，可以按 q。Diagnostics Automatic Error Log Analysis (diagela) 提供了在记录永久硬件错误的时候进行错误日志分析的功能。它不会进行任何自动测试工作。如果诊断程序确定该错误需要一项服务操作，那么它将向您的控制台和所有的系统组发送一个消息。消息包含 SRN、或者一项纠正的操作。在 BOS 安装时，缺省情况下将禁用 diagela。下面的示例显示了另一个 diag

35、ela 消息：From root Tue Nov 22 15:18:46 2005Date:Tue, 22 Nov 2005 15:18:46 -0600From:rootTo:rootSubject:diagela message from server3A PROBLEM WAS DETECTED ON Tue Nov 22 15:18:46 CST 2005 The Service Request Number(s)/Probable Cause(s)(causes are listed in descending order of probability):57D-129:Error

36、log analysis indicates a SCSI bus problem.Error log information:Date:Tue Nov 22 15:18:39 CST 2005Sequence number: 80Label:DISK_ERR3n/a FRU:n/a SCSI bus problem:cables,terminators or other SCSIdevicesU787B.001.DNW108F-P1-T14-L8-L0hdisk7 FRU:00P3833 16 Bit LVD SCSI Disk Drive(73400 MB)U787B.001.DNW108

37、F-P1-T14-L8-L0sisioa1 FRU:80P5530 PCI-X Dual Channel U320 SCSIRAID AdapterU787B.001.DNW108F-P1n/a FRU:n/a SoftwareU787B.001.DNW108F-P1-T14-L8-L0从这封邮件的内容可以看出，server3 的 U320 SCSI RAID 适配器上的 hdisk7 出现了问题。另一个使用邮件消息的命令的示例是 crontab。因为 crontab 运行于后台，无需与用户进行交互，所以它将发送一封邮件，其中包含调度程序的输出。示例 crontab 输出消息可能与下面的内容类

38、似：From daemon Wed Nov 23 11:07:01 2005Date:Wed, 23 Nov 2005 11:07:01 -0600From:daemonTo:rootSubject:Output from cron job /usr/sbin/nonexistingprogram, rootserver3, exit status 127Cron Environment:SHELL =PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java14/jre/bin:/usr/java14/binCROND

39、IR=/var/spool/cron/crontabsATDIR=/var/spool/cron/atjobsLOGNAME=rootHOME=/Your cron job executed on server3 on Wed Nov 23 11:07:00 CST 2005/usr/sbin/nonexistingprogramproduced the following output:sh:/usr/sbin/nonexistingprogram:not found.*cron:The previous message is the standard outputand standard

40、error of one of the cron commands.产生这个错误消息的原因是 /usr/sbin/nonexistingprogram 不存在。其他软件包，尤其是那些与安全性相关的软件包，可以指定具体的管理员。例如，在出现了安全性破坏、非法的文件权限更改、或者未经授权的 passwd 文件访问等情况下，系统管理员都将接收到一则消息。 系统转储工具在发生严重错误的时候，您的系统将生成系统转储。还可以由具有 root 用户权限的用户发起系统转储。系统转储将为您系统的内存内容建立一份快照。在调试新的应用程序时，系统管理员和程序员可以生成转储，并分析其中的内容。 配置转储设备当您安装操

41、作系统时，将自动地为您配置转储设备。在缺省情况下，主设备是 /dev/hd6，它是一个分页逻辑卷，而辅助设备是 /dev/sysdumpnull。说明：如果您的系统具有 4 GB 或者更多的内存，那么缺省转储设备是 /dev/lg_dumplv ，并且它是一个专门的转储设备。 可以将转储设备配置为磁带、或者硬盘上的逻辑卷，以便存储系统转储。主转储设备是一个专门的转储设备，而辅助转储设备则是共享的。说明：如果您使用分页的设备作为转储设备，那么只能使用 hd6 ，这是主分页空间。如果您使用了可移动设备，如磁带或 DVD ，那么请注意，转储不能够跨卷；因此，转储必须仅限于单个卷。 在一个运行的系统中

42、，可以使用 sysdumpdev 命令来更改所指定的主转储设备、或者辅助转储设备，如下面的示例所示：要列出当前的转储目标，可以使用下面命令：# sysdumpdev -l primary /dev/hd6 secondary /dev/sysdumpnullcopy directory /var/adm/ras forced copy flag TRUE always allow dump FALSE dump compression ON # 下面的示例显示了将主转储设备从 /dev/hd6 更改为逻辑卷 /dev/dumpdev 的命令：# sysdumpdev -P -p /dev/du

43、mpdev primary /dev/dumpdev secondary /dev/sysdumpnullcopy directory /var/adm/ras forced copy flag TRUE always allow dump TRUE dump compression ON # 说明：您可以使用根卷组之外的转储逻辑卷，如果它不是一个永久的转储设备，例如，如果没有指定 -P 标志。然而，如果您选择分页的空间，那么除非它位于 rootvg ，否则您将无法复制该转储设备。在此过程中，系统必须复制转储设备；在分页开始之前，只有 rootvg 是活动的。 要显示有关以前的转储的统计信息，

44、可以输入下面的命令：# sysdumpdev -L 0453-039 Device name:/dev/hd6 Major device number: 10 Minor device number: 2 Size: bytes Uncompressed Size: bytes Date/Time:Mon Nov 21 10:43:09 CST 2005 Dump status: 0 dump completed successfully Dump copy filename:/var/adm/ras/vmcore.3.Z # 增加转储设备的大小请参考下面的部分，以便为您的转储逻辑卷确定合适的

45、大小，以及增加逻辑卷或分页空间逻辑卷的大小。确定转储设备的大小 进行转储所需的大小并不是一个常数值，因为系统并不转储分页空间；只有那些位于实际内存中的数据才会被进行转储。通常，可以使用分页空间逻辑卷来保存系统转储。然而，因为不完整的转储毫无用处可言，所以请按照下面的步骤执行，以确保您具有足够大的转储空间。当发生系统转储时，将转储实际内存中内核段的所有内容（该内核段为段 0）。还将对常驻内存的用户数据（如 U 区）进行转储。最好使用 sysdumpdev -e 命令来确定转储空间的最小大小。这将得到一个估计的转储大小，其中考虑到了系统当前所使用的内存。如果对转储进行压缩，那么这个估计值表示经过压缩后的转储的大小，而不是原始大小。通常，压缩的转储大小估计值要比实际的大小大得多。这是因为无法预计压缩算法的效率。您还应该确保，相对于所估计的大小，转储设备的容量足够大，以避免丢失转储数据。例如，可以输入：# sysdumpdev -e 0453