系统日常维护说明

1、RS/6000系统维护说明l 维护目的Ø 尽早发现系统及设备存在的潜在问题，使可能的故障消除在萌芽状态。Ø 可以减少紧急故障发生频率，减少对系统的影响。Ø 监测系统的当前运行状况。Ø 做好数据及系统的备份工作，减轻问题发生时的风险和责任l 一般维护的方法（RS/6000系统）一、 系统启动及关闭系统启动遵循先开外设再开主机的顺序；系统关闭则先关主机再关外设。1. 系统启动在开机之前，应检查所有的外设(如磁盘阵列，外接磁带设备等)已经加电。如您的系统为两台主机+磁盘阵列并使用了HACMP软件时: 请注意系统启动顺序。正常顺序如下：1、 打开磁盘阵列，待磁盘

2、阵列完全启动后再进行下一步。2、 打开主控台、外置磁带机、带库、或光盘库、打印机等外设，待这些外设完全启动后再进行下一步。如果双机采用主备模式，则：3、 启动生产主机，待生产主机完全启动后再进行下一步， 这时在终端上应可login。4、 启动备份主机，待备份主机可以登陆时再进行下一步。如果双机采用互备模式或其它无优先级别之分的双机模式时，两台主机启动的顺序可不分先后，或根据具体需要决定启动顺序。5、 检查主备机的网络地址、路由表 (可用 “netstat in ” 、“netstat rn ”等)，检查文件系统、逻辑卷 (可用 “mount”、“lsvg o ” 等)。6、 检查各项业务是否工

3、作正常。2. 关闭系统系统关闭遵循以下的流程1、 关闭所有应用程序2、 关闭所有数据库3、 如果安装了如TSM的备份软件和网管软件，关闭这些程序。上述3个步骤如果已经配置到HACMP中，则不需另外执行4、 停止HACMP(参见后面HACMP的维护说明)5、 关闭系统以root用户登录，Ø 如果要关闭掉系统，执行：#shutdown F等到主机前部面板上的液晶屏显示“OK”时，系统即告关闭完成。Ø 如果只需要重启机器，而不是关闭，执行#shutdown Fr6、关闭外设电源。二、 系统状态检查和监控3. 错误日志Ø # errpt | pg最简单，最基本，最常用的发

4、现错误的命令。我们知道其中有很多错误是冗余或可以忽略的，但也的确需要注意下面这类报错：Ø # errpt dH主要列出硬件类的报错。如果同一天大量出现“Disk operation error”，参照LVM(staled)、SSA(degraded)小节，做进一步的判断，需要的话更换这块硬盘。如果同一天大量出现“Tape operation error”，首先说明需要用清洗带清洁磁头，必要的话更换磁带机。偶尔的SSA“Adapter Detected Open Serial Link” 一般是因为共享对机关机造成的，通过判断可以忽略。如果sysplanar0的报错紧跟着“error

5、logging turned on”，通常说明机器被非正常关机，例如掉电。如无持续报错，可不理会。Ø # errpt aN<resource_name>查看来自报错源<resource name>的详细错误信息。在AIX运行时errdemon进程随时对系统进行检测，当该进程发现任何异常情况时将发出错误警告，这些警告记录在错误日志errlog中，其中有些错误还会在终端上显示。不能忽视这些错误警告，它们很可能是您系统的故障隐患。系统管理员应每日检查错误日志，及时处理异常情况。检查错误日志可用smit 或 errpt。如：#errptIDENTIFIERTIMSTA

6、MPTCRESOURCE_NAMEDESCRIPTION220065230323111298THrmt0TAPE DRIVE FAILUREAA8AB2410323110098TOclstrmgtOPERATOR NOTIFACATIONAA8AB2410323110098TOclstrmgtOPERATOR NOTIFACATION其中IDENTIFIER为错误编号，当需要检查详细信息时常会用到。TIME STAMP为时间标签，它记录的是出错时间，其格式为：月日时分年，如以上rmt0的错误发生在98年3月23日11时12分。T是Type的缩写，它记录的是错误类型。C是Class的缩写，它记录

7、的是错误种类，如H: HardwareS: SftwareO: Errloger command messagesU: UnderterminedRESOURCE_NAME为错误来源。DESCRIPTION为错误描述。发现异常错误警告时可用以下命令：#errpt a j <IDENTIFIER> |pg其中IDENTIFIER 为错误编号，如#errpt a j 220065234. 文件系统Ø # df Ik查看文件系统的使用情况。我们最关心的是/、/var、/tmp是否已满，接近或已到100%。这是极其危险的状况。它们每个至少应有20M左右的剩余空间。Ø #

8、 lsps a查看Paging Space的使用情况。一般来讲可能使用率很低，我们可以不去管它。5. LVMØ # lsvg rootvg主要看VG的满剩程度和是否有staled PP和PV。Ø # lsvg p rootvg可以帮助我们找出staled PV是哪一个。Ø # lsvg l rootvg可以帮助我们找出staled LV是哪一个。Ø # lspv hdisk#如果在errpt中某hdisk#“PP marked staled”，可通过此知道hdisk#属于哪个VG。6. SSAØ # smitty ssaraid如果errpt连

9、续指出pdisk error 、SSA RAID hdisk“Degradation Detected”、 “ssa resource unavailable” 或“performance degraded”等，从这里的菜单可查看是哪一个SSA RAID hdisk的状态为Degraded，或explored ；此SSA RAID hdisk的哪一个pdisk是Missing。如果没有pdisk missing，则看此SSA RAID hdisk属性是否hot spare“enabled”，却没有定义Hot Spare Disk。7. 系统状况系统的运行状况变数较多，无一定之规。Ø

10、# uptime上次系统重起后经历了多长时间，有多少用户正在使用系统。Ø # sar mn监测CPU使用情况。Idle%=0则系统很忙，负荷较大。其中：m 为检查时间间隔的秒数，n为检查次数Ø # ps aux | pg查看进程资源占用。kproc占用8090%为正常。Ø # vmstat m n监测内存使用情况其中：m 为检查时间间隔的秒数，n为检查次数。Ø # iostat m n监测硬盘使用情况。其中：m 为检查时间间隔的秒数，n为检查次数。8. SP specifiedSP各节点检测与单机相同，对SP系统则有：Ø # spmon d G

11、查看Frame电源模块，节点Host/Switch Response和LCD/LED。Ø # sphardware systemProfile monitorTableView &表格化显示监测各节点状态。Ø # spled &监测各节点LCD/LED显示。Ø # klist如果执行上两监测时，弹出报错对话框，用此命令查看是否Kerberos过期。也可用k4list。Ø # kinit root.admin如果Kerberos过期，可执行此命令初始化，口令一般为root。也可用k4init。9. 记录在需要记录项目命令后加 “>&g

12、t; pm.log”，然后Ø # doswrite a pm.log pm.log将文本记录拷到软盘文件。10. SHARK开机：操作面板上的白色按钮，按向“ I ”关机：操作面板上的白色按钮，按向“ O ”如果操作面板上的Message 灯亮，则向IBM 报修并给出PE password。 Run PE password 过程： 在SHARK 主控台上Start à Programs à Essnet - > Essconsole à Specialist à Cluster 1 à Communication à

13、Reset PE password 记下PE password 并告知IBM 工程师。 注： 此password 有效期为一周，过期失效，需重新RUN ； 此password 大小写敏感。 三、 系统及数据备份有效及时的系统备份是系统管理非常重要的一环。当系统出现故障时，特别是文件系统被严重损坏或硬盘损坏时，常需要使用系统备份来恢复系统。如果没有有效的系统备份而导致无法恢复系统或数据，将可能给您的工作带来很大的麻烦。在以下情况下应作系统备份：1、 新装机。在装机刚完成，即硬件及系统软件安装完成后，应作系统备份。2、 软件改动。系统软件或应用软件有改动时，应作系统备份。3、 定期备份。对系统应进

14、行定期备份。另外，对于重要的系统，最好保留两到三个有效备份。系统备份可用smit菜单完成，其快速路径为smit mksysb.SP环境：如果您使用的是RS6000/SP，则备份可用下列方式完成：1· 确认SP控制台还有足够的空间。2· 建立一个文件系统(如取名为mksysb)，使用网络文件系统NFS将该文件系统export 并使需备份的节点可以访问该文件系统。3· SP控制台上的文件系统mksysb mount 到节点的一个空目录(如/mnt)中，命令为 mount spcw:/mksysb /mnt4· 用smit mksysb 进行备份，将输出定为

15、/mnt/<mksysb-file-name> ，其中 <mksysb-file-name> 为您指定的文件名，如 node1.mksysb.980323等。5· 将备份好的文件 (在SP控制台的 /mksysb 中)拷贝至磁带中保存。四、 系统备份的恢复如由于某种原因需将系统备份恢复到系统中可采用以下方法：1、 一般情况对于单机，将备份磁带插入磁带机中,启动主机,在主机启动至出现MEMORY检测字符时按下F5键。按照系统提示进行相应的选择即可。2、 sp环境对于RS6000/SP 主机，需采用网络启动恢复。五、 DUMP在系统运行过程中，如遇到异常情况，特别

16、是软件问题而导致宕机时，AIX常会将当时系统的运行情况记录下来，这就是DUMP。因此DUMP是我们分析宕机原因的重要手段。为保证一旦宕机时DUMP能顺利完成，请检查以下设置：Sysdumpdev以下是其输出的一个例子：primary/dev/hd6secondary/dev/sysdumpnullcopy directory/var/adm/rasforced copy fileTUREalways allow dumpTURE这表明当DUMP发生时，系统将它拷贝至文件系统 /dev/hd6, 由于hd6是paging space, 故系统在下次启动时又将其拷至 /var/adm/ras 目录

17、中。因此需保证 hd6 及 /var/adm/ras 有足够的空间。sysdumpdev e其输出为当前系统DUMP所需的空间大小，单位为字节。如:0453-041 Estimated dump size in bytes: 16563200lslv <lvname> 如：lslv hd6其输出为：LOGICAL VALUME:hd6VOLUME GROUP:rootvgLV IDENTIFIER:000144595d292b1d.1PERMISSION:read/writeVG STATE:active/completeLV STATE:opened/syncdTYPE:pagi

18、ngWRITE VERIFY:offMAX LPS:512PP SIZE:4 megabyte(s)COPIES:1SCHED POLICY:paralledLPs:16PPs:16STALE PPs:0BB POLICY:non-relocatableINTER-POLICY:minimumRELOCATABLE:yesINTER-POLICY:middleUPPER BOUND:32MOUNT POINT:N/ALABEL:NoneMIRROR WRITE CONSISTENCY: offEACH LP COPY ON A SEPARATE PV ?: yes在以上输出中，用PP size

19、 乘以PPs 即为hd6 的大小 (4 X 16 = 64M)。当发生DUMP时，请用snap a 命令，它将相关信息收集到/tmp/ibmsupt 中。该命令执行完备后，请根据提示将 errlog 存至相应目录。另行检查/tmp/ibmsupt/dump 目录中应有dump.Z 。将/tmp/ibmsupt 整个目录tar 至磁带中，注明磁带机的block size 。将磁带寄至IBM公司。六、HACMPHACMP 的启动与停止启动：smitty clstart停止：smitty clstopHACMP的启动与停止均可用smit 实现，但应注意启动时应等主机启动全部完成后再启动备机，可以在主

20、机上用命令tail f /tmp/hacmp.out 看到启动过程。同样停止时应等主机完全停止后才开始停备机。在本系统中HACMP已配置为开机时自动启动，不用手动开启。HACMP的接管及处理当主机出现问题时，备机会自动接管主机工作。这时应检查主机的状态，视具体情况决定是否启动主机并接管备机工作。由于切换时会造成应用的短暂中断 (具体时间主要与应用、数据库的启动时间有关)，因此在切换时应慎重。当主机HACMP启动后应用会自动切换回主机(该项动作与HACMP的设置有关，如果。当HACMP出现问题时，请将/tmp/hacmp.out* 及errpt a 的输出结果用电子邮件传给我们。七、一些常用于检查系统/设备状态的命令1、lsdev命令#lsdev C H S a列出系统中可用设备。#lsdev Cc processor列出系统中的所有CPU。#lsdev Cc memory列出系统中的所有内存。#lsdev Cc disk列出系统中的所有硬盘。# lsdev -Cc adapter | grep ent列出系统中的所有网卡。# lsdev -Cc adapter | grep scsi列出系统中的所有SCSI卡。# lsdev -Cc adapter | grep ssa列出系统中的所有SSA卡。2、 lspv命令#lspv显示系统中可用的PV。#lspv hdiskn显示hdis