[计算机硬件及网络]小机生产系统异常操作指南

1、 小机生产系统异常操作指南小机生产系统异常操作指南目录目录第一章第一章 WASWAS 篇篇 .4无法登陆管理控制台.4应用效劳器无法启动.4应用程序请求无响应.4应用程序无法访问.5应用效劳器JAVA进程CRASH.5概要文件被破坏.6JAVA进程 CPU 100%.10新部署应用程序无法访问.10在集群模式下节点不同步.12第二章第二章 MQMQ 篇篇 .13通道无法启动.13队列管理器无法启动.13队列管理器无法停止.14死信队列不断有消息堆积.14MQ 对象被损坏.14第三章第三章 DB2DB2 篇篇 .16实例停止.16实例无法启动.16表空间暂时性的无法访问.16表空间永久性的无法访

2、问.17数据库活动日志丧失.17表空间满.17活动日志空间满.17活动日志所在目录文件系统满.18表被锁，无法访问.18表中的内容被误删除.18第四章第四章 AIXAIX 篇篇 .19硬件故障.19CPU 使用过度 .19内存使用过度.19系统PING不通.20系统可以PING通，但是无法TELNET.20局部主机不能访问某台主机.20HA 无法切换，或切换不正常 .21文件系统满.21文件系统无法进行正常读写.22镜像不同步.22DUMP设备太小.22密码丧失.23系统有报错信息.23TELNET的响应很慢 .23文件系统不能UMOUNT.24TCP 网络的SOCKET端口不能释放，始终处于

3、CLOSE_WAIT状态 .24系统中包含大量的僵尸进程.25第五章第五章 突发情况信息收集突发情况信息收集 .26DB2 需要收集的信息.26WAS 需要收集的信息.27MQ 需要收集的信息.29SNA 需要收集的信息.29AIX 需要收集的信息 .30第一章第一章 WASWAS 篇篇无法登陆管理控制台无法登陆管理控制台1、现象描述、现象描述IE 浏览： :/IP:9060/admin 判断是否还能登陆，不能登录时说明控制台应用没有发布。其中 9060 是 WAS 的效劳端口。2、处理方法、处理方法进入 wsadmin状态(AdminConsole.ear_Path, -server ser

4、ver1)AdminConfig.save完成安装/usr/WebSphere/AppServer/bin/目录下执行：./startServer.sh server应用效劳器无法启动应用效劳器无法启动1、现象描述、现象描述对于 WAS5.1，在 bin 目录下执行：./startServer.sh server 判断是否能正常启动。对于 WAS6.1，WAS 使用的端口是 9060，因此不会和 9090 端口冲突。2、处理方法、处理方法1) # netstat an|grep 9090 查看端口9090 是 WAS5.1 控制台所用的默认端口2) #/usr/websm/bin/wsmser

5、ver disable 关闭系统占用的 9090 端口3)/usr/WebSphere/AppServer/bin/目录下执行：./startServer.sh server信息收集时请收集 install_root/logs/server_name 的所有信息应用程序请求无响应应用程序请求无响应1、现象描述、现象描述生产环境系统访问长时间没有页面显示，在浏览器访问后长时间没有反响。2、处理方法、处理方法1)ps ef|grep java 查看 java 进程号；2)/usr/WebSphere/AppServer/bin/目录下执行：./stopServer.sh server假设无法停止那

6、么使用 kill 命令杀掉3)/usr/WebSphere/AppServer/bin/目录下执行：./startServer.sh server在以下图中可以看到进程号码是 8822。信息收集时，参见 5.2 3 系统 hung 或者性能下降。应用程序无法访问应用程序无法访问1、现象描述、现象描述生产环境系统访问出现 404 错误页面或者找不到效劳器2、处理方法、处理方法1.查看 IBM Server 的 d 进程是否正常状态运行；例如是否有父进程为“1”的现象；2. /usr/IBMIHS/bin/apachectl stop 停止 IBM Server假设无法停止那么把相关的 进程杀掉3

7、. /usr/IBMIHS/bin/apachectl start 启动 IBM Server信息收集时，收集 IHS 的 logs 目录下的日志，ps ef|grep 的输出。Plugin 的日志和 WAS 的 logs 目录的日志应用效劳器应用效劳器 java 进程进程 crash1、现象描述、现象描述ps ef|grep java 没有 WAS 的 java 进程在执行2、处理方法、处理方法/usr/WebSphere/AppServer/bin/目录下执行：./startServer.sh server成功启动后可以看到类似如下的输出：信息收集时，参见 5.2 - 2 系统崩溃概要文件

8、被破坏概要文件被破坏1、现象描述、现象描述对于 WAS6.1 版本，创立效劳器需要一个概要表，即 profile。概要文件位于$WAS_HOME/profiles，包含了一个应用所用的一组 server，如果遭到人为破坏，那么需要重建整个 profile。2、处理方法、处理方法假设以前对配置做过备份，先恢复以前的配置，看是否能够启动，假设仍然不能启动，那么创立新的概要文件：/usr/WebSphere/AppServer/bin/manageprofiles.sh -help命令输出如下，可以看到，针对所需的配置内容，可以从命令中得到进一步的联机帮助，例如 manageprofiles.sh

9、-create -help 用来查看创立 profile 的帮助内容。信息收集时，需要收集的内容如下:1./startServer.sh server trace 的信息；2install_root/logs/server_name 的所有信息。以下脚本会创立一个名为 newProfileName 的新的 Default 类型 Profile，对应节点名称为 newNode。1进入 WAS 安装目录下 bin 目录，例如在 AIX 上为 cd /usr/IBM/WebSphere/AppServer/bin2在 root 权限下执行：# ./manageprofiles.sh -create

10、-profileName newProfileName -profilePath /usr/IBM/WebSphere/AppServer/profiles/newProfileName -templatePath /usr/IBM/WebSphere/AppServer/profileTemplates/default -nodeName newNode概要文件名：newProfileName概要文件路径：/usr/IBM/WebSphere/AppServer/profiles/newProfileName概要文件类型：defaultnode 名称：newNode如果需要使用 Dmgr P

11、rofile 对 Default Profile 进行管理，那么需要把 Default Profile 的节点添加到 Dmgr Profile 所在的单元。假设 Dmgr Profile 所在主机名称为DMGR_HOSTNAME，那么把名为 newProfile 的 Default Profile 添加其中的步骤为：1.进入 Default Profile 安装目录下的 bin 目录；cd /usr/IBM/WebSphere/AppServer/profiles/newProfile/bin;2.把节点添加到单元，在 root 权限中执行：./addNode.sh DMGR_HOSTNAME

12、 8879PMT 是管理概要表的图形工具，是 profile management tool 的简称。通常位于WAS_HOME/bin/ProfileManagement/pmt.sh，或 pmt.bat，或 pmtAIX.sh，脚本取决于操作系统和 WAS 版本。如果使用 PMT 管理概要文件，可以通过图形界面创立概要表1。1 不同版本的 pmt 界面会有较大的差异，64 位版本的 was 不包含管理概要表的图形工具。选择概要表类型：选择概要表的创立位置和名称：选择节点名和主机名：在安装过程不要启用全局平安性，安装后需要该功能时可以从管理控制台启用。由 WAS 生成默认的端口，如果需要也可以

13、自行修改，此时需要确保端口和该效劳器上安装的其他应用不存在冲突。复核概要表的定义无误后，点击“下一步创立概要表：Java 进程进程 CPU 100%1、现象描述、现象描述topas 查看 java 的 CPU 使用情况2、处理方法、处理方法ps ef|grep java 查看 java 进程号；用 kill 杀掉该进程。/usr/WebSphere/AppServer/bin/目录下执行：./startServer.sh server信息收集参见 5.2 - 1 CPU 利用率到达 100%。新部署应用程序无法访问新部署应用程序无法访问1、现象描述、现象描述访问新系统出现 404 错误2、处理

14、方法、处理方法1).查看最新的插件更新日期：/usr/WebSphere/AppServer/config/cells/2).在 IE 管理控制台里面更新插件，然后复制最新的插件到 Web Server 的指定目录下；/usr/IBMIHS/bin/apachectl stop 停止 IBM Server/usr/IBMIHS/bin/apachectl start 启动 IBM Server应用程序部署完成后，需要为 IHS 配置插件，提供给用的 URI、虚拟主机、效劳器地址等信息，以便 IHS 把请求转发到应用效劳器。IHS PLUGIN 的配置包含两个步骤：插件的生成和传播，这里的插件指

15、的是 IHS PLUGIN所需的配置文件 plugin-cfg.xml。进入 WAS 控制台，进入应用效劳器web 效劳器，选中需要更新插件的 web 效劳器，点击“生成插件所生成的效劳器的插件位置将会显示如下。如果 IHS 和 AppServer 处于同一台效劳器上，那么不需要传播插件。否那么请按照下一节内容完成插件的传播。如果 IHS 和 AppServer 位于不同的机器上，请在插件生成后，再次选择需要传播插件的效劳器，点击传播插件。此前需要确认 IHS 效劳器的控制台已经启动，WAS 将通过 IHS的控制台端口把插件配置传播到 IHS 效劳器中。信息收集时，需要收集 install_r

16、oot/logs/server_name 的所有信息。在集群模式下节点不同步在集群模式下节点不同步1、现象描述、现象描述访问管理控制台之后，管理控制台无法修改和管理节点,在 nodeagent 上显示：不同步2、处理方法、处理方法1).停止节点上的 server 和 nodeagent，保持 dmgr 正常启动状态；在节点的 bin 目录下执行：#./syncNode.sh server 88792).在节点的 bin 目录下执行：3).进管理控制台查看节点是否同步信息收集时，需要收集 install_root/logs/server_name 的所有信息。第二章第二章 MQMQ 篇篇通道无法

17、启动通道无法启动1、现象描述、现象描述在 Runmqsc 中 start channel(channel name)无法启动。2、处理方法、处理方法将通道序列号复位。使用 Reset channel 命令。使用 strmqm 和 endmqm 命令重启队列管理器。根据错误代码检查 sna 和网络、对方 MQ 的状态。以下图为 dspmq 命令的输出样例：信息收集时，参见 5.3 1-5 点内容。队列管理器无法启动队列管理器无法启动1、现象描述、现象描述Strmqm QMGR 命令失败2、处理方法、处理方法使用 ps ef 检查，把所有的 MQ 进程都杀掉。使用 mqiclen x m QMGR

18、 命令去除共享内存资源。然后重启 MQ：strmqm该命令的输出结果类似下面的情况：信息收集时，参见 5.3 1-5 点内容。队列管理器无法停止队列管理器无法停止1、现象描述、现象描述Endmqm QMGR 命令不能停止队列管理器2、处理方法、处理方法使用 endmqm i QMGR 命令。仍然不能停止那么使用 endmqm p QMGR 命令。命令的输出情况如下所示：信息收集时，参见 5.3 1-6 点内容。死信队列不断有消息堆积死信队列不断有消息堆积1、现象描述、现象描述Dis queue(DLQ)看到有消息堆积。2、处理方法、处理方法查看通道的状态是否正常：dis chs(*);以及对端

19、 MQ 的状态是否正常。使用 amqsbcg Qname Qmgr 命令浏览死信队列的消息内容，根据原因码再采取相应的措施。该命令的使用参数列表如下：信息收集时，参见 5.3 1-5 点内容。MQ 对象被损坏对象被损坏1、现象描述、现象描述MQ 队列、通道等对象被删除或者 MQ 的系统文件被破坏，Dis queue(*)Dis channel(*)找不到对象。2、处理方法、处理方法使用 crtmqm QMGR 的命令重新创立队列管理器，使用 runmqsc 80%表示CPU消耗过量2 2、处理方法、处理方法方法 1控制应用使用的CPU量，减小系统的负荷来保证系统的稳定方法 2进行CPU紧急扩容

20、。使用LPAR动态调整功能，扩充系统的CPU总量。降低系统的CPU使用百分比方法 3在方法 1 和方法 2 都无法执行，且系统问题非常紧急的情况下，使用sar 以及nice等命令，调整进程的使用CPU优先级，确保主要应用暂时不受影响。另行安排时间进行CPU扩容。信息收集时，需要收集perfpmr的信息。内存使用过度内存使用过度1 1、现象描述、现象描述Vmstat观察pi po值；Svmon观察free的内存值；Topas观察内存和paging。如果free的内存为零，并且pi po值持续保持较高的值，代表系统以及存在内存紧缺的问题2 2、处理方法、处理方法方法 1控制应用使用的内存量，减小系

21、统的负荷来保证系统的稳定方法 2进行内存紧急扩容。使用LPAR动态调整功能，扩充系统的内存总量，保证有足够的内存使用。方法 3调整vmo参数，平衡系统内部内存的分配情况，首先保证关键和繁忙的应用拥有足够的内存。信息收集时，需要收集perfpmr的信息。系统系统 ping 不通不通1、现象描述、现象描述Ping 时，发生ping不通的现象2、处理方法、处理方法由hmc登录主机，检查系统的ip设置。重点检查系统与网关之间的通讯是否正常。遇到这种情况，最好直接登录系统查看和分析问题。信息收集时，需要收集snap ac的信息。系统可以系统可以 ping 通，但是无法通，但是无法 telnet1、现象描

22、述、现象描述telnet 时，发生telnet不通现象，但是这个系统可以被ping通2、处理方法、处理方法方法 1由hmc登录主机，检查inetd进程是否正常方法 2检查所有的系统文件系统包括/ /tmp /var 是否有足够空间方法 3检查网络设备是否存在防火墙或者telnet的限制遇到这种情况，最好直接登录系统查看和分析问题。信息收集时，需要收集snap ac的信息。局部主机不能访问某台主机局部主机不能访问某台主机1 1、现象描述、现象描述从某个或某些主机可以telnet到这台主机，但从另一个或另一些主机不能telnet到这台主机2 2、处理方法、处理方法方法 1检查主机的路由信息nets

23、tat rn，确定主机的路由表是否正常方法 2检查不同网络设备之间的通讯是否存在问题遇到这种情况，最好直接登录系统查看和分析问题。信息收集时，需要收集snap ac的信息。HA 无法切换，或切换不正常无法切换，或切换不正常1 1、现象描述、现象描述HA切换异常，表现为备机不能完全接管主机的资源。观察应用是否运行正常；观察 HA相关地址是否正确boot、standby、service 。2 2、处理方法、处理方法方法 1如果主机仍然可以访问，依次手动关闭主机的应用，数据库，文件系统，vg。杀死HA进程。在备机端关闭HA进程，并确认所有IP和资源正常。重起备机HA，拉起资源。方法 2如果主机已经无

24、法访问，关闭主机系统。在备机端重复方法 1 中的拉起资源的步骤。方法 3如果主备机都无法使用，HA拉起资源和应用，采取手动方式恢复业务。依次手动开启vg，文件系统，数据库和应用。信息收集时，需要在两个节点上分别收集snap ac的信息，并在其中任意一个节点上收集snap ec信息。文件系统满文件系统满1 1、现象描述、现象描述df k发现文件系统使用率超过 702 2、处理方法、处理方法方法 1采取紧急扩容，扩充文件系统的大小。方法 2如果已经影响到主机的正常使用，由HMC登录主机。方法 3如果HMC也无法登录主机，使用光盘引导进入系统，在maintenance的模式下扩充文件系统。这种情况一

25、般不需要收集信息。如果一定要收，请收snap ac信息。文件系统无法进行正常读写文件系统无法进行正常读写1 1、现象描述、现象描述任何读写操作都会发生I/O 的报错2 2、处理方法、处理方法首先备份文件系统所在的数据。将所有仍然可以访问的数据全部备份方法 1关闭文件系统，进行fsck的检查。试图修复文件系统的逻辑错误。方法 2如果文件系统无法修复，那么必须重建一个新的文件系统，由备份数据恢复。如果之前的备份数据完整，那么可以使用事先准备的备份数据，不然那么需要客户提供完整的数据备份信息收集时，需要收集snap ac的信息。镜像不同步镜像不同步1 1、现象描述、现象描述lsvg l 发现有局部l

26、v的状态是stale2 2、处理方法、处理方法检查是否存在硬件故障。如果是，请解除镜像、修复硬件、重做镜像。如果不是硬件问题导致的不同步，那么需要在系统中重新建立同步关系。syncvg l 做完后检查是否状态都是syncd。这种情况一般不需要收集信息。信息收集时，需要收集snap ac的信息。Dump 设备太小设备太小1 1、现象描述、现象描述系统errpt会提示当前的dump文件已经超出了存放dump的空间2 2、处理方法、处理方法寻找dump 存放的位置sysdumpdev l检查dump 需要的空间sysudmpdev e扩大dump 设备，到达预计的大小extendlv这种情况一般不需

27、要收集信息。信息收集时，需要收集snap ac的信息。密码丧失密码丧失1 1、现象描述、现象描述Root或其他用户密码丧失2 2、处理方法、处理方法如果普通用户密码丧失，使用root 用户登录，su到普通用户，然后执行passwd命令修改密码如果root用户密码丧失，停系统，使用光盘引导进入maintenance模式，执行passwd命令修改密码这种情况不需要收集信息。系统有报错信息系统有报错信息1 1、现象描述、现象描述使用errpt命令发现有报错信息。2 2、处理方法、处理方法如果是小型机硬件设备报错例如sysplanner0 的错误，fcs的H类错误，网卡的H类错误，内置磁盘的H类报错等

28、 ，请联系设备处相关维护人员进行问题诊断和处理；如果是外置存储磁盘和链路报错例如hdisk的报错 ，请联系设备处相关维护人员进行问题诊断和处理；如果是软件类报错，请联系IBM工程师进行分析。info类的信息可以忽略不计。在这种情况下，需要收集snap gc的信息。telnet 的响应的响应很慢很慢1 1、现象描述、现象描述在终端上使用telnet命令登录AIX系统时，终端会过很久1，2 分钟左右才显示出登录提示字符。2 2、处理方法、处理方法这种情况一般是设置了域名解析造成的。处理方法：和应用沟通，问是否可以删除/etc/resolv.conf文件。如果可以，就删除它。如果不可以，编辑文件,加

29、参数c在telnet最后,如下 telnet stream tcp6 nowait root /usr/sbin/telnetd telnetd -a -c 刷新inetd效劳: # refresh -s inetd在这种情况下，不需要收集信息文件系统不能文件系统不能 umount1 1、现象描述、现象描述在umount某一文件系统时，终端上报文件系统busy，不能umount。2 2、处理方法、处理方法首先使用fuser xuc ，查看有哪些进程占着该文件系统。然后使用fuser kuxc ，强制关闭占用该文件系统的进程。注意：这步风险很大。如果没调查清楚，可能会导致误杀应用和系统进程，从而

30、导致系统或应用crash。在这种情况下，不需要收集信息TCP 网络的网络的 socket 端口端口不能不能释放，始终处于释放，始终处于 close_wait 状态状态1 1、现象描述、现象描述应用已经停止，但它所在的端口一直得不到释放。2 2、处理方法、处理方法查看端口PCB的值：netstat An |grep 端口号去除tcpcb地址所在的socket：rmsock tcpcb 在这种情况下，不需要收集信息系统中包含大量的僵尸进程系统中包含大量的僵尸进程1 1、现象描述、现象描述ps Af查看到系统中有很多defunct进程2 2、处理方法、处理方法用ps Af查看defunct进程的父进

31、程。如果父进程是应用进程，那么停止该应用进程即可去除僵尸进程；如果父进程是系统进程，只有重启系统才能去除僵尸进程。在这种情况下，不需要收集信息第五章第五章 突发情况信息收集突发情况信息收集对于开放平台如发生突发事件，如果现场不能确定问题的根本原因，在进行应急预案的同时，应收集相关信息，包括故障现场的环境、描述、日志、诊断文件等等，以进行事后原因分析。对于宕机，hang等问题，考虑收集trace文件。如果收集信息需要的时间较长，影响应急生产恢复，那么应保证后者的更高优先级。5.1 DB2 需要收集的信息1.任何故障都应收集db2pd -file -everything2.数据库 hangdb2p

32、d -db -stack all -repeat 3db2trc on -l 128Mrecreate the problem db2trc offdb2service.perf1 ( Performance/hang data collection scripts) 本命令将用到的 script: db2service.perf13.数据库性能问题db2 update monitor switches using bufferpool on lock on sort on statement on uow ondb2 get snapshot for dbmdb2 get snapshot

33、for all on 4.实例故障db2support . -s5.数据库故障db2support . -d -c -s 5.2 WAS 需要收集的信息1.CPU 利用率到达 100%a)得到所有网络连接的信息b)得到 CPU 利用率使用信息tprof_ps.sh tprof_psc)每隔 2 分钟生成一个 javacorekill -3 java 的进程号d)e)install_root/logs/server_name 的所有信息f)2.系统崩溃a)b)executable is /usr/WebSphere/AppServer/java/jre/bin/javacore_file_nam

34、e is the core filec)d)getlib.sh java_executable_full_path core_filename (系统必须安装 dbx)e)tar cvf core_file_name core_file_namef)install_root/java/jre/bin/jextract -o core.sdff core_pathg)install_root/logs/server_name 的所有信息h)3.系统 hung 或者性能下降a)b)c)svmon -P pid -m -r -I 60 5 svmon.out &d)tprof -k -s -e -x

35、 sleep 60e)每 2 分钟生成一个 javacorekill -3 PID_of_hung_JVMf)g)h)i)j)k)install_root/logs/server_name,plugin-cfg.xml, _plugin.log, install_root/logs/ffdc 的所有信息4.数据库连接问题a)检查数据源配置情况，测试数据库连接b)TroubleshootingLogging and TracingDiagonstic Trace Enable trace with the following specification is selectedc)Troubles

36、hootingLogging and TracingDiagonstic TraceTrace Specification Connecting to a database in V5.1:2c=all=enabled:RRA=all=enabled:WAS.database=all=enabled:Transaction=all=enabled Connecting to a database in V5.0:2c=all=enabled:RRA=all=enabled:WAS.database=all=enabled:com.ibm.ejs.jts.*=all=enabled:com.ib

37、m.ws.LocalTransaction.*=all=enabledd)Restart Application Servere)Collect the resulting trace output file5.3 MQ 需要收集的信息1.2.收集 mqs.ini 3.收集/var/mqm/errors/目录下的日志4.收集/var/mqm/qmgrs/SYSTEM/errors/目录下的日志5.收集/var/mqm/qmgrs/QM/errors 目录下的日志6.MQ TRACE INSTRUCTIONS：Start trace：trace -a -j30D,30E -o /path/to/

38、trace.out -L 50000000End trace：trcstop5.4 SNA 需要收集的信息1.2.3.4.5.SNA TRACE INSTRUCTIONS：snaadmin set_log_file,log_file_type=AUDIT,file_size=20000000 snaadmin set_log_file,log_file_type=ERROR,file_size=20000000 snaadmin set_trace_file,trace_file_type=IPS,trace_file_size=100000000 snaadmin set_global_lo

39、g_type,audit=YES, exception=YES snaadmin set_global_log_type,succinct_audits=YES, succinct_errors=YES snaadmin add_dlc_trace snaadmin set_trace_type,trace_flags=NONE,api_flags=NONE 等待相应需要的时间执行：snagetpd -q 收集以下数据：5.5 AIX 需要收集的信息1.硬件问题导致的系统异常a)检查系统 errpt 报错，观察故障点的报错信息b)检查 hmc 上的报错信息，观察故障点的报错信息c)观察主机各个部件的工作状态是否正常，是否有黄灯警告2.系统本身损坏而导致的系统异常a)检查系统的完整性 /lppchk vb)检查操作系统版本是否正确 /oslevelc)观察 errpt 中有无软件的 coredump 生成d)如果能定位遭到破坏的文件，尝试修复或者从备份中导出e)如果系统已经完全无法访问，尝试从系统备份中恢复系统3.性