【ch04】Linux系统运维故障排查思路

Linux系统运维故障排查思路Linux服务器安全管理高级运维项目4“十四五”高等教育网络空间安全产业人才培养系列丛书“互联网+”新形态立体化一体精品教材+处理Linux系统故障的储备知识01Linux系统故障的处理思路04010203错误提示信息每当出现错误时，Linux系统或应用程序通常会给出错误提示信息。这些提示信息通常能够帮助定位问题，因此一定要重视这些提示信息。如果对这些提示信息视而不见，则问题可能永远得不到解决。查阅日志文件有时错误提示信息仅给出问题的表面现象，要想深入地了解问题，必须查阅相应的日志文件。日志文件又分为系统日志文件（/var/log）和应用的日志文件。结合这两个日志文件，一般就能定位问题。分析、定位问题这个过程是比较复杂的，需要根据错误提示信息，结合日志文件，并考虑其他相关情况，最终找到引起问题的原因。解决问题0确定了引起问题的原因，解决问题就会变得相对简单。初识Linux系统的启动流程理解Linux系统开机引导和启动过程对配置操作系统和解决相关启动问题是至关重要的。本书以经典的BIOS、MBR、GRUB2和systemd为载体，介绍操作系统的开机引导和启动过程，涉及目前主流的Linux发行版本所使用的引导装载程序和初始化软件。总体来说，Linux系统的开机引导和启动过程相当容易理解。从按下开机键到Linux系统完成启动进入终端，该过程可以分为5个阶段：①BIOS引导阶段；②引导装载程序阶段；③内核启动阶段；④systemd启动阶段；⑤用户空间启动阶段。认识Linux系统日志管理系统日志详细地记录了在什么时间，哪台服务器、哪个程序或服务出现了什么情况。无论哪种操作系统，都会详细记录重要程序和服务的日志。在Linux系统中，日志文件用于记录Linux系统的各种运行信息，类似于Linux主机的日记。不同类型的日志文件会记载不同类型的信息，如Linux内核消息、用户登录事件、程序错误等。日志文件对诊断和解决Linux系统中产生的问题很有帮助，这是因为Linux系统运行的程序通常会尽最大努力将系统消息、警告和错误写入对应的日志文件。特别是在遭受攻击时，如果能够保留日志文件，那么会为运维人员寻找攻击者的踪迹提供很大帮助。+Linux系统无法启动的解决方法02MBR扇区故障MBR在设备正常工作时一般不会出现错误，因为大部分的磁盘读写都由Linux系统的文件系统控制，屏蔽了磁盘的低级操作。因此，一般造成MBR故障的原因有以下3个。（1）由病毒、木马等造成的磁盘破坏。（2）不正确的分区操作、磁盘读写误操作。（3）硬件损坏。01故障原因02故障现象MBR扇区故障首先，在首次启动Linux系统后，应该立即备份MBR，并且在日常使用过程中，每当对磁盘分区进行修改或对磁盘进行低级读写操作之前，必须对现有MBR进行备份。这样即使发生MBR故障，也能够及时解决问题。然后，在有MBR备份的情况下，使用安装光盘或USB引导进入CentOSrescue修复模式，尝试从备份中恢复MBR。如果MBR没有备份或MBR备份丢失了，则同样需要进入CentOSrescue修复模式，切换到磁盘根文件系统，尝试重新安装GRUB并重建MBR。若重建MBR成功，则可以尝试重新启动操作系统，使用fdisk命令查看分区是否正确恢复，并查看文件是否能够正确读取。最后，在最糟糕的情况下，即使重建了MBR仍无法正常启动Linux系统或分区没有正确恢复，应立即停止任何写操作并关机，随后将硬盘送往专业数据恢复机构，以尽可能减少数据损失。03应对思路MBR扇区故障04具体操作进入CentOSrescue修复模式。在没有备份的情况下恢复MBR。系统正常使用时的备份MBR。在有备份的情况下恢复MBR。（1）（2）（3）（4）GRUB引导故障01故障原因（1）MBR中的GRUB引导程序遭到破坏。（2）grub.conf文件丢失、引导配置有误。02故障现象Linux主机在启动后可能仅出现“grub>”提示符，无法继续完成系统启动过程。GRUB引导故障03应对思路首先，在首次安装Linux系统后，应该及时备份GRUB配置文件，并且在日常使用过程中，每当对磁盘分区进行修改或对磁盘进行低级读写操作之前，必须对现有GRUB配置文件进行备份。在Linux系统中，GRUB配置文件一般存放在/boot/grub2/目录下，如/boot/grub2/grub.conf。然后，在有GRUB文件备份的情况下，使用安装光盘或USB引导进入CentOSrescue修复模式，尝试从备份中恢复GRUB文件备份。如果GRUB没有备份或GRUB备份丢失了，通常有两种方式来处理GRUB引导故障。在GRUB引导依然可以使用，仅丢失了Linux系统引导项的情况下，可以尝试手动输入引导命令并修复GRUB。如果GRUB已经被损毁或丢失，则需要使用第二种方式，即使用安装光盘或USB引导进入CentOSrescue修复模式，并重新安装GRUB。若重建GRUB成功，则可以尝试通过重新启动操作系统，使用fdisk命令查看分区是否正确恢复，并查看文件是否能够被正确读取。最后，在最糟糕的情况下，重建GRUB仍无法正常启动Linux系统或没有正确恢复分区，应立即停止任何写操作并关机，随后将硬盘送往专业的数据恢复机构，以尽可能减少数据损失。GRUB引导故障04具体操作（有GRUB备份）进入CentOSrescue修复模式，并恢复GRUB。（无GRUB备份，可选）通过重建MBR来修复GRUB。重复4.2.1节具体操作中的步骤（2）和步骤（4），并重建GRUB引导文件grub.cfg。（系统正常使用时的维护工作）备份GRUB。在没有GRUB备份的情况下，手动修复GRUB。（1）（2）（3）（4）文件系统破坏导致系统无法启动当前Linux发行版普遍采用的都是ext3、ext4、zfs等文件系统，这些文件系统大多具有日志记录功能，并且具有一定的容错和纠错能力。例如，日志文件系统，它并不是实时将数据写入磁盘的，而是定期批量写入的。但是，文件系统的所有读写操作都会被实时记录到日志文件中。当系统因发生掉电或其他错误而导致没有将数据写入磁盘时，可以通过日志文件中的记录来回滚发生故障时的读写操作，进而确保数据和文件系统的一致性。但是，由于实际生产环境的复杂性和应用的多样性，文件系统的容错机制并不能保证每次都能成功自我修复。在这种情况下，需要运维人员进行手动修复。/etc/fstab文件丢失导致系统无法启动/etc/fstab文件中存放了系统的文件系统挂载相关信息。如果此文件配置正确，那么在Linux系统启动时，系统会读取此文件，并自动挂载系统的各个分区；如果此文件配置错误或丢失，则会导致系统无法启动。+Linux系统无响应问题分析03安装环境说明Linux系统在长期运行后，难免会出现无响应的现象，俗称“死机”。在系统死机后，设备屏幕一般会输出故障信息，键盘失去响应。处理这种情况的常见方法就是重新启动系统。在重新启动系统之前，需要重点关注屏幕的输出信息，因为该信息可能提示的是引起死机的主要原因，这对解决问题很有帮助。实际上，还有另一种方法能够解决死机问题，即通过串口直连线连接客户机和服务器，将服务器的错误详细信息发送到客户机上。引起系统死机的原因有很多，但主要包括两个方面：软件问题和硬件问题。下面总结了引起Linux系统死机的常见原因和解决问题的思路。安装环境说明01020304主要由SCSI卡、主板、RAID卡、HBA卡、网卡、硬盘等硬件设备引起的死机。在这种情况下，需要定位硬件故障细节，并尝试通过更换硬件来解决问题。主要由网络故障引起的死机。在这种情况下，需要从网络设备、网络参数等方面查找和解决问题。主要由系统参数设置不当导致的死机。在这种情况下，可以通过将系统恢复到默认状态、关闭防火墙等方法来解决问题。主要由网络故障引起的死机。在这种情况下，需要从网络设备、网络参数等方面查找和解决问题。系统硬件问题系统设置问题外围硬件问题软件问题+Linux系统下常见网络故障的处理思路04DRBD的安装操作1.检查网络硬件问题：可以通过检查网线、网卡、集线器、路由器、交换机等是否正常来确认网络故障是否是由硬件引起的。2.检查网卡是否可以正常工作：可以从网卡驱动是否正常加载、网卡IP地址设置是否正确、系统路由配置是否正确这3个方面进行确认。3.检查DNS设置是否正确：可以从Linux系统的DNS客户端配置文件/etc/resolv.conf、本地主机文件/etc/hosts进行确认。4.检查服务是否可以正常开启：可以通过telnet或netstat显示网络状态命令来检测是否已开启服务。5.检查访问权限是否可以打开：可以从本机ip