系统故障分析与排查.ppt

第九章 系统故障分析与排查 1 课程回顾 l如何判断一个文件是否存在？ l如何进行整数变量的四则运算？ lif语句从结构上分为哪几类？ lfor、while、until在循环流程上有何区别？ 2 技能展示 l熟悉常见的日志文件及分析方法 l会解决常见的启动登录类故障 l会解决常见的软件包安装类故障 l会解决常见的文件系统、磁盘类故障 l熟悉常见的系统性能监控方法 3 本章结构 日志分析及管 理 主要日志文件 修复文件系统 日志文件分析 磁盘资源耗尽故障 日志管理策略 系统启动类故 障排除 文件系统、磁 盘类故障排除 MBR扇区故障 /etc/inittab文件丢失 rpm数据库损坏 缺少*.so类文件 软件包类故障 排除 检测硬盘坏道 无法卸载已挂载设备 查看CPU负载 查看系统性能 状况 查看内存使用情况 GRUB引导故障 /etc/fstab文件丢失 遗忘root用户的密码 磁盘I/O性能监控 系统故障分 析与排查 4 日志分析及管理 l日志的功能 用于记录系统、程序运行中发生的各种事件 通过阅读日志，有助于诊断和解决系统故障 l日志文件的分类 内核及系统日志 l 由系统服务syslog统一进行管理，日志格式基本相似 用户日志 l 记录系统用户登录及退出系统的相关信息 程序日志 l 由各种应用程序独立管理的日志文件，记录格式不统一 5 日志分析及管理 l日志保存位置 默认位于：/var/log 目录下 l主要日志文件介绍 内核及公共消息日志：/var/log/messages 计划任务日志：/var/log/cron 系统引导日志：/var/log/dmesg 邮件系统日志：/var/log/maillog 用户登录日志：/var/log/lastlog、/var/log/secure、 /var/log/wtmp、/var/run/utmp 6 内核及系统日志 l由系统服务 syslogd 统一管理 软件包：sysklogd-1.4.1-39.2 主要程序：/sbin/klogd、/sbin/syslogd 配置文件：/etc/syslog.conf rootlocalhost # grep -v “#“ /etc/syslog.conf | grep -v $ *.info;mail.none;authpriv.none;cron.none/var/log/messages authpriv.*/var/log/secure mail.*-/var/log/maillog cron.*/var/log/cron 设备类别.日志级别消息发送位置 7 内核及系统日志 l日志消息的级别 0 EMERG（紧急）：会导致主机系统不可用的情况 1 ALERT（警告）：必须马上采取措施解决的问题 2 CRIT（严重）：比较严重的情况 3 ERR（错误）：运行出现错误 4 WARNING（提醒）：可能会影响系统功能的事件 5 NOTICE（注意）：不会影响系统但值得注意 6 INFO（信息）：一般信息 7 DEBUG（调试）：程序或系统调试信息等 数字越小，表示优先级 越高、问题越严重 8 rootlocalhost # tail -5 /var/log/messages Sep 14 11:22:44 localhost kernel: sdb: cache data unavailable Sep 14 11:22:44 localhost kernel: sdb: assuming drive cache: write through Sep 14 11:22:44 localhost kernel: sdb: sdb1 Sep 14 11:23:37 localhost kernel: VFS: Cant find ext3 filesystem on dev sdb1. Sep 14 16:54:48 localhost NetworkManager: starting. 内核及系统日志 l日志记录的一般格式 时间标签主机名子系统名消息字段 9 用户日志分析 l保存了用户登录、退出系统等相关信息 /var/log/lastlog：最近的用户登录事件 /var/log/wtmp：用户登录、注销及系统开、关机事 件 /var/run/utmp：当前登录的每个用户的详细信息 /var/log/secure：与用户验证相关的安全性事件 l分析工具 who、w、user、last、ac 10 程序日志分析 l由相应的应用程序独立进行管理 Web服务：/var/log/httpd/ l access_log、error_log 代理服务：/var/log/squid/ l access.log、cache.log、squid.out、store.log FTP服务：/var/log/xferlog l 分析工具 文本查看、grep过滤检索、Webmin管理套件中查看 awk、sed等文本过滤、格式化编辑工具 Webalizer、Awstats等专用日志分析工具 11 日志管理策略 l及时作好备份和归档 l延长日志保存期限 l控制日志访问权限 日志中可能会包含各类敏感信息，如账户、口令等 l集中管理日志 便于日志信息的统一收集、整理和分析 杜绝日志信息的意外丢失、恶意篡改或删除 12 日志管理策略 l应用示例： 调整syslogd服务设置，建立集中管理的日志服务 器 将客户机B中crond服务产生的日志消息，自动发送 到服务器A的/var/log/cron文件中 rootlocalhost # vi /etc/sysconfig/syslog SYSLOGD_OPTIONS=“-r -x -m 0“ rootlocalhost # vi /etc/syslog.conf cron.* 服务器A 客户机B 13 修复MBR扇区故障 l故障原因 病毒、木马等造成的破坏 不正确的分区操作、磁盘读写误操作 l故障现象 找不到引导程序，启动中断 无法加载操作系统，开机后黑屏 l解决思路 应提前作好备份文件 以RHEL5安装光盘引导进入急救模式 从备份文件中恢复 14 修复MBR扇区故障 l应用示例： 1.备份MBR扇区数据 l dd if=/dev/sda of=/backup/sda.mbr.bak bs=512 count=1 2.模拟MBR被破坏的故障 l dd if=/dev/zero of=/dev/sda bs=512 count=1 3.RHEL5光盘引导，进入急救模式 l boot: linux rescue 4.从备份文件中恢复MBR扇区 l dd if=/tempdir/sda.mbr.bak of=/dev/sda bs=512 count=115 修复GRUB引导故障 l故障原因 MBR中的GRUB引导程序遭到破坏 grub.conf文件丢失、引导配置有误 l故障现象 系统引导停滞，显示“grub”提示符 l解决思路 尝试手动输入引导命令 进入急救模式，从备份中恢复 grub.conf 向MBR扇区中重建grub程序 16 修复GRUB引导故障 l应用示例1： 在“grub”提示符后，手动输入引导命令 成功进入系统后，恢复或重建 grub.conf 配置文件 grub root (hd0,0) grub kernel /vmlinuz-2.6.18-8.el5 ro root=/dev/VolGroup00/LogVol00 rhgb quiet grub initrd /initrd-2.6.18-8.el5.img grub boot rootlocalhost # cd /boot/grub/ rootlocalhost # cp grub.conf.bak grub.conf 从备份文件恢复 17 修复GRUB引导故障 l应用示例2： 进入急救模式，从备份文件中恢复 grub.conf 文件 向MBR扇区中重建GRUB程序 sh-3.1# chroot /mnt/sysimage sh-3.1# cd /boot/grub/ sh-3.1# cp grub.conf.bak grub.conf sh-3.1# grub-install /dev/sda 18 /etc/inittab文件丢失 l故障原因 inittab文件被误删除，或者存在配置错误 l故障现象 启动中提示 “. INIT: No inittab file found” 系统停滞，无法完成初始化 l解决思路 进入急救模式，从备份文件中恢复 或者，在急救模式中重新安装 initscripts 软件包 l rpm -ivh -replacepkgs initscripts- 8.45.14.EL.i386.rpm 19 /etc/fstab文件丢失 l故障原因 fstab文件被误删除，或者存在配置错误 l故障现象 启动中提示 “. /etc/fstab: No such file or directory” 系统停滞，无法完成初始化 l解决思路 进入急救模式，手动查找并挂载根分区 l 查找逻辑卷：lvm vgscan l 激活指定的逻辑卷：lvm vgchange -ay /dev/VolGroup00 恢复或重建fstab配置文件 20 遗忘root用户的密码 l故障原因 遗忘root用户的密码 l故障现象 无法进行需要root权限的管理操作 若没有其他可用帐号，将无法登录系统 l解决思路 引导进入单用户模式，然后重设密码 l grub kernel . single 或 s 或 1 或进入急救模式，然后重设密码 21 小结 l请思考： Linux系统中最常用的公共日志文件是什么？ 负责管理内核日志的系统服务是什么？ 如何进入单用户模式？ 使用RHEL5光盘引导时，如何进入修复模式？ 如何向MBR中重建GRUB程序？ 22 软件包类故障 rpm数据库损坏 l故障原因 非正常关机、误删除运行中的程序文件 RPM数据文件被误写或删除 l故障现象 不能正常查询rpm包信息 无法安装、升级或卸载软件包等 l解决思路 重建RPM数据库 l rpm -rebuilddb 或 rpm -initdb 23 软件包类故障 缺少*.so类文件 l故障原因 软件正常运行所需要的依赖包没有安装 系统找不到依赖包的 *.so 共享链接库 l故障现象 无法正常编译、安装或运行软件 报错提示“缺少. .so文件” l解决思路 确认已安装能提供相应 *.so 共享库的软件包 添加库文件搜索路径，并更新缓存 rootlocalhost# vi /etc/ld.so.conf /usr/local/mysql/lib/mysql rootlocalhost# ldconfig 24 修复损坏的文件系统 l故障原因 非正常关机、突然断电、设备读写失误等 文件系统的超级块（super-block）信息被破坏 l故障现象 无法向分区中读取或写入数据 启动后提示“Give root password for maintenance” l解决思路 根据提示输入root口令，进入修复状态 使用fsck命令进行修复 25 修复损坏的文件系统 l应用示例： 模拟对/dev/sdb1分区的破坏操作 l dd if=/dev/zero of=/dev/sdb1 bs=512 count=4 检查是否能挂载该分区 l 报错：mount: you must specify the filesystem type 对/dev/sdb1分区进行修复 l fsck -yt ext3 /dev/sdb1 再次挂载该分区 26 磁盘资源耗尽故障 l故障原因 磁盘空间已被大量的数据占满，空间耗尽 虽然还有可用空间，但文件数i节点耗尽 l故障现象 无法写入新的文件，提示“ : 设备上没有空间” 部分程序无法运行，甚至系统无法启动 l解决思路 清理磁盘空间，删除无用、冗余的文件 转移或删除占用大量i节点的琐碎文件 进入单用户模式、急救模式进行修复 为用户设置磁盘配额 27 无法卸载已挂载的设备 l故障原因 需要卸载的设备正在被使用 l故障现象 无法卸载设备，提示“. device is busy” l解决思路 将工作目录切换到挂载点以外 退出正在使用该设备的程序 或使用fuser命令找出相关进程，并终止该进程 rootlocalhost mnt# fuser -mv /media/cdrom USER PID ACCESS COMMAND /media/cdrom: root 3297 c bash rootlocalhost mnt# fuser -k /media/cdrom 28 检测硬盘中的坏道 l故障原因 磁盘设备中存在坏道（逻辑的或物理的） l故障现象 部分文件无法正常访问，提示文件损坏 新建立的分区无法完成格式化 访问磁盘设备时死机，磁盘发出异常声响 l解决思路 检测硬盘中是否存在坏道 l mkfs -t ext3 -c /dev/sdb1 或 badblocks -sv /dev/sdb1 修复硬盘，或更换新的硬盘 29 系统性能监控 查看CPU负载 l执行uptime命令 运行时间，登录用户数，CPU平均负载 l查看/proc/loadavg文件 CPU平均负载，活动进程数/总数，最近进程的PID rootlocalhost # uptime 05:33:11 up 7:22, 2 users, load average: 0.04, 0.09, 0.08 rootlocalhost # cat /proc/loadavg 0.15 0.03 0.01 4/84 25697 30 系统性能监控 查看内存使用情况 lvmstat命令 报告系统虚拟存储使用情况，包括内存使用信息 lfree命令 显示系统的物理内存和交换空间的使用情况 rootlocalhost # vmstat procs -memory- -swap- -io- -system- -cpu- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 304280 27084 145844 0 0 29 8 1007 20 0 2 98 0 0 rootlocalhost # free total used free shared buffers cached Mem: 515600 211320 304280 0 27264 145852 -/+ buffers/cache: 38204 477396 Swap: 1048568 0 1048568 31 系统性能监控 磁盘I/O性能监控 liostat命令 用于查看系统磁盘I/O统计信息 由软件包sysstat-7.0.0-3.el5.i386.rpm提供 l sysstat还提供了 mpstat 命令，用于显示进程负载信息 rootlocalhost # iostat -dkt 5 Linux 2.6.18-8.el5 (localhost.localdomain) 2009年05月24日 Time: 16时17分49秒 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 1.28 15.12 6.54 167183 72314 sdb 0.83 11.95 1.95 132182 21526 dm-0 2.40 14.95 6.54 165325 72312 dm-1 0.01 0.04 0.00 456 0 hdc 0.02 0.07 0.00 746 0 rootlocalhost # mpstat Linux 2.6.18-8.el5 (localhost.localdomain) 2009年05月25日 05时18分11秒 CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s 05时18分11秒 all 0.45 0.02 1.93 3.08 0.02 0.07 0.00 94.43 1010.03 32 本章结构 日志分析及管 理 主要日志文件 修复文件系统 日志文件分析 磁盘资源耗尽故障 日志管理策略 系统启动类故 障排除 文件系统、磁 盘类故障排除 MBR扇区故障 /etc/inittab文件丢失 rpm数据库损坏 缺少*.so类文件 软件包类故障 排除 检测硬盘坏道 无法卸载已挂载设备 查看CPU负载 查看系统性能 状况 查看内存使用情