【ch04】Linux系统运维故障排查思路

《Linux服务器安全管理高级运维》课程教案课题：项目4Linux系统运维故障排查思路教学目的：1.了解Linux系统的启动流程及日志管理2.了解Linux系统无法启动的原因3.理解Linux系统无响应时的处理方法4.理解Linux系统常见的网络故障及其处理方法5.掌握Linux系统故障的常见处理方法6.掌握Linux系统的主要启动方法7.掌握Linux系统启动时故障的分析、定位与解决方法8.掌握Linux系统无响应时的安全处理方法9.掌握Linux系统网络故障的分析、定位与解决方法课型：新授课课时：本章安排4个课时。教学重点：重点：掌握Linux系统启动流程（BIOS→Bootloader→Kernel→systemd→用户空间）及各阶段常见故障的定位与修复方法。掌握Linux系统网络故障的排查思路与具体操作步骤（硬件→网卡→DNS→服务→权限→连通性）。教学难点：难点：MBR扇区故障与GRUB引导故障的区分、备份恢复及手动修复方法（含grub>提示符下的手动引导操作）。/etc/fstab文件丢失导致系统无法启动时，通过Linuxrescue修复模式结合LVM逻辑卷激活与挂载来重建该文件的方法。教学过程：教学形式：讲授与实训结合，教学组织采用课堂整体讲授、命令行演示操作与分组讨论相结合的方式。教学媒体：采用“课堂整体讲授+投屏命令行演示+系统运行测试”的方式进行。通过整体讲授建立Linux系统运维故障排查的完整知识框架，涵盖系统启动流程、日志管理、启动故障修复、系统无响应处理及网络故障排查五大模块；借助投屏实时执行命令，分步演示dd命令备份与恢复MBR、CentOSrescue修复模式进入与操作、grub2-install重建MBR、grub>提示符下手动引导（insmod/set/linux16/initrd16/boot）、fsck修复文件系统、LVM逻辑卷激活（pvs/lvscan/vgchange）与/etc/fstab重建、魔法键REISUB安全重启、网卡与路由排查（iproute/routedelete/add）、DNS配置文件检查（/etc/resolv.conf/etc/nsswitch.conf）、服务状态检查（systemctlstatus/ss/netstat）、iptables策略查看与修改等关键操作；同时设计有备份恢复与无备份恢复对比、MBR故障与GRUB故障现象对比、正常切换与救援模式切换对比、systemd目标态与传统运行级别对比、不同网络故障排查层次的对比等多组对比案例，引导学生通过对比分析掌握各类故障的定位思路与解决方法。板书设计：本课标题Linux系统运维故障排查思路课次2授课方式理论课□讨论课□习题课□其他□课时安排4学分共2分授课对象普通高等院校学生任课教师教材及参考资料1.《Linux服务器安全管理高级运维》；电子工业出版社。2.本教材配套视频教程及学习检查等资源。3.与本课程相关的其他资源。教学基本内容教学方法及教学手段项目情境处理系统故障是Linux系统运维工作中的一项基础工作。作为一名合格的Linux系统运维人员，一定要有一套清晰、明确的解决故障的思路，这样在出现问题时才能迅速定位并解决问题。本项目重点介绍Linux系统故障的基本处理思路和常见Linux系统故障的处理方法。参考以下形式：1.衔接导入2.悬念导入3.情景导入4.激疑导入5.演示导入6.实例导入7.其他形式本章基本知识汇总任务1处理Linux系统故障的储备知识4.1.1Linux系统故障的处理思路错误提示信息：系统和应用程序通常会给出提示，是定位问题的首要依据。查阅日志文件：系统日志（/var/log/）和应用日志结合，一般能定位问题。分析、定位问题：结合错误提示、日志文件及其他相关情况，找到根本原因。解决问题：确定原因后，解决问题相对简单。4.1.2初识Linux系统的启动流程5个阶段：BIOS引导阶段→引导装载程序阶段→内核启动阶段→systemd启动阶段→用户空间启动阶段。BIOS引导阶段：上电自检POST→枚举初始化设备→按启动顺序搜索启动驱动器→读取MBR（512B，含446BBootloader+64B分区表+2B55AA标志）→控制权转移至Bootloader。引导装载程序阶段：GRUB2执行3步骤——通过分区表识别磁盘分区→识别文件系统→装载配置文件及LinuxKernel（/boot/grub/grub.conf）。内核启动阶段：解压缩vmlinuz→创建rootfs并挂载/→解压缩initramfs到/→执行initramfs中的init（指向systemd）→内核启动完成。systemd启动阶段：处理local-fs.target和swap.target（挂载/etc/fstab）→处理sysinit.target（侦测硬件、加载模块）→处理basic.target（加载外围硬件驱动）→启动用户级目标态（multi-user.target或graphical.target）。systemd目标态与传统运行级别对应关系表（halt/poweroff/emergency/rescue/multi-user/graphical/reboot/default.target等）。4.1.3认识Linux系统日志管理日志分类：内核及系统日志（rsyslogd管理，配置文件/etc/rsyslog.conf）和程序日志（应用程序自行管理）。重要日志文件：/var/log/cron（定时任务）、/var/log/dmesg（内核自检）、/var/log/btmp（错误登录）、/var/log/lastlog（最后登录时间）、/var/log/maillog（邮件）、/var/log/messages（核心系统日志）、/var/log/secure（验证授权）、/var/log/wtmp（永久登录记录）、/var/log/utmp（当前登录用户）。日志级别（0~7）：EMERG（紧急，系统不可用）、ALERT（警告，须立即处理）、CRIT（严重）、ERR（错误）、WARNING（警告）、NOTICE（注意）、INFO（信息）、DEBUG（调试）。日志格式：{时间_主机名_服务名[PID]:事件具体信息}。日志管理建议：定期检查各类系统日志，在第一时间发现问题并定位解决。任务2Linux系统无法启动的解决方法4.2.1MBR扇区故障故障原因：病毒/木马破坏、不正确分区操作或磁盘读写误操作、硬件损坏。故障现象：找不到引导程序、系统启动中断、无法加载操作系统、退出BIOS后屏幕无显示。应对思路：首次启动后立即备份MBR（ddif=/dev/sdaof=/root/mbr.bkbs=1count=512）；有备份时进入rescue模式挂载备份设备用dd恢复；无备份时进入rescue模式chroot切换后执行grub2-install/dev/sda重建MBR；最严重时送专业数据恢复机构。具体操作：fdisk-l查看磁盘→dd备份MBR→进入CentOSrescue修复模式（Troubleshooting→RescueaCentOSsystem→选择1继续）→有备份时mount备份分区后用dd恢复→无备份时chroot/mnt/sysimage/→grub2-install/dev/sda→reboot。4.2.2GRUB引导故障故障原因：MBR中GRUB引导程序遭破坏、grub.conf文件丢失或配置有误。故障现象：启动后仅出现“grub>”提示符，无法继续启动。应对思路：首次安装后备份GRUB（ddif=/dev/sdaof=grub.bakbs=446count=1和cp/boot/grub2/grub.cfg备份）；有备份时rescue模式恢复；无备份时可在grub>提示符下手动引导（ls查看分区→insmodxfs→setroot=(hd0,msdos1)→linux16/vmlinuz-xxxroot=/dev/mapper/centos-root→initrd16/initramfs-xxx.img→boot），进入系统后执行grub2-install和grub2-mkconfig重建；也可通过重建MBR方式修复。GRUB可用命令：root（指定启动分区）、ls（查看设备）、set（查看环境变量）、insmod（加载模块）、prefix（设定启动路径）。4.2.3文件系统破坏导致系统无法启动故障原因：系统意外掉电、实际生产环境误差超出容错范围。故障现象：系统无法自动修复，自动进入单用户模式或交互界面提示手动修复（如“Giverootpasswordformaintenance”）。应对思路：在修复模式下使用fsck命令强制修复。具体操作：按Ctrl+D重启→输入root密码进入修复模式→umount故障分区（如/dev/sdb1）→fsck.ext4-y/dev/sdb1→无法恢复的数据存于lost+found目录→reboot。4.2.4/etc/fstab文件丢失导致系统无法启动故障现象：检测挂载分区时所有文件显示为readonly，系统中止启动。应对思路：利用Linuxrescue修复模式登录，获取分区和挂载点信息，重建/etc/fstab文件（不能直接在单用户模式下重建，因为只读无法写入）。具体操作：进入rescue模式→fdisk-l查看分区→判断/boot分区和根分区（LVM类型）→创建临时目录/tmpdir→pvs查看物理卷→lvscan扫描逻辑卷→vgchange-ay激活逻辑卷组→mount/dev/centos/root/tmpdir→lsblk-f和blkid查询文件系统类型与UUID→重建/tmpdir/etc/fstab→reboot。任务3Linux系统无响应问题分析常见原因及处理思路：系统硬件问题（SCSI卡/主板/RAID卡/网卡/硬盘）：定位硬件故障细节，尝试更换硬件。外围硬件问题（网络故障）：从网络设备、网络参数排查。软件问题（内核Bug/应用Bug/驱动Bug）：按CapsLock/NumLock/ScrollLock键LED正常则按Ctrl+Alt+F2切换终端重启，之后升级内核或修复程序。系统设置问题（参数设置不当）：恢复默认状态、关闭防火墙等。魔法键REISUB：按住Ctrl+Alt+SysRq(PrtSc)依次按R→E→I→S→U→B，安全重启（R恢复键盘控制、E正常终止进程、I强制终止进程、S同步文件系统、U卸载文件系统、B重启）。任务4Linux系统下常见网络故障的处理思路排查顺序（由内到外，由点及面）：网络硬件→网卡工作状态→DNS设置→服务开启状态→访问权限→局域网连通性。4.4.1检查网络硬件问题检查网线、网卡、集线器、路由器、交换机等硬件是否正常，更换故障硬件。4.4.2检查网卡是否可以正常工作网卡驱动加载检查：insmod/ifconfig显示网络接口信息则加载正常。IP地址设置检查：IP是否配置、是否正确、是否有冲突。系统路由配置检查：iproute查看路由表→确定默认路由是否正确绑定出口网卡→错误时执行iproutedeletedefault删除→iprouteadddefaultvia网关dev网卡添加正确路由。4.4.3检查DNS设置是否正确/etc/host.conf：指定主机名查询顺序（orderhosts,bind，先hosts文件后DNS）。/etc/resolv.conf：配置DNS客户端，含域名搜索顺序和DNS服务器地址。/etc/nsswitch.conf：规定信息查询途径、顺序和方法（hosts:filesdns表示先查/etc/hosts再查DNS），已基本取代host.conf。4.4.4检查服务是否可以正常开启检查端口是否开启：ss-tlnp或netstat-tlnp查看服务监听端口。检查服务运行状态：systemctlstatus服务名。检查服务配置文件：如/etc/ssh/sshd_config中PasswordAuthentication和PermitRootLogin等参数。4.4.5检查访问权限是否可以打开iptables防火墙：iptables-L查看策略，若INPUT/OUTPUT链设为DROP则需添加允许策略（如iptables-AINPUT-ptcp--dport80-jACCEPT）。SELinux：系统级安全防护工具，排查时可临时关闭（setenf