IT运维故障排查与处理速查手册

IT运维故障排查与处理速查手册前言本手册旨在为IT运维人员提供一套系统、高效的故障排查与处理指导。面对复杂多变的IT环境，快速定位并解决故障是保障业务连续性的关键。手册内容力求精炼实用，涵盖常见故障类型的排查思路与处理方法，希望能成为运维同仁日常工作中的得力助手。请注意，具体故障处理需结合实际环境灵活运用，本手册仅为通用参考。一、故障排查总则1.冷静分析，切勿盲目操作：故障发生时，首先保持冷静，全面了解故障现象，避免因慌乱导致操作失误，扩大故障影响。2.先了解现象，后动手操作：明确故障表现（如：无法访问、响应缓慢、报错信息等）、发生时间、影响范围（单个用户/部分用户/全部用户）、是否有近期变更等关键信息。3.最小化影响原则：在排查和处理过程中，优先考虑采用对业务影响最小的方案。如需中断服务，务必评估风险并获得必要授权。4.记录与追溯：详细记录故障排查的每一步操作、观察到的现象、使用的命令及输出结果。这不仅有助于问题定位，也为后续复盘和经验积累提供依据。5.由简入繁，逐步深入：从最可能的简单原因入手（如：物理连接、服务状态），逐步排查复杂因素（如：配置错误、系统漏洞、网络环路）。6.善用工具，提高效率：熟练掌握并运用各类诊断工具（如ping,telnet,traceroute,tcpdump,top,df等）。7.及时求助：当个人排查陷入僵局时，应及时向团队成员或相关技术支持寻求帮助，避免延误故障处理。二、网络故障排查与处理2.1排查思路1.确认故障现象与范围：明确是单个节点、特定区域还是整体网络故障。2.检查物理连接：网线、光纤、交换机端口、网卡指示灯状态是否正常。3.网络配置验证：IP地址、子网掩码、网关、DNS等配置是否正确，是否存在IP冲突。4.逐层排查：从OSI七层模型或TCP/IP四层模型的角度，自下而上或自上而下逐步测试各层连通性及服务状态。5.逐步深入与工具辅助：利用网络诊断工具，缩小故障点范围，定位具体问题设备或链路。2.2常见网络故障与处理*现象：本地无法连接网络*排查：检查网线是否插好，交换机对应端口灯是否亮；查看本地连接是否禁用；检查IP配置。*处理：重新插拔网线；启用本地连接；修正IP配置；更换网线或端口。*现象：能上内网，无法访问互联网*排查：检查网关配置是否正确；测试网关连通性；检查DNS配置及DNS服务器可用性；检查出口设备（如防火墙）策略。*处理：修正网关或DNS配置；确保DNS服务器正常；检查并调整防火墙策略。*现象：网络丢包或延迟高*排查：使用ping命令测试到网关、关键节点及目标地址的连通性与延迟；使用traceroute/mtr追踪路径中的异常节点；检查网络设备CPU、内存使用率；检查是否存在广播风暴或环路。*处理：检查异常节点设备状态；排查线路质量；优化网络拓扑或配置；处理环路或广播风暴。*排查：确认服务端是否正常运行；使用telnet测试目标端口连通性；检查客户端与服务端防火墙策略；检查服务配置。*处理：启动或重启服务；开放相应端口的防火墙规则；修正服务配置。三、服务器与操作系统故障排查与处理3.1排查思路1.检查服务器物理状态：电源、硬盘指示灯、报警信息。2.远程连接测试：能否通过SSH/RDP等方式远程登录。3.系统状态检查：CPU、内存、磁盘IO、网络IO使用率；进程状态；系统日志。4.服务状态检查：关键服务是否正常运行，监听端口是否正常。5.近期变更回顾：是否有系统更新、软件安装、配置修改等操作。3.2常见服务器与操作系统故障与处理*现象：服务器无法启动*排查：检查电源连接及供电；检查服务器硬件指示灯状态；查看BIOS/UEFI启动日志；检查启动盘是否正常。*处理：确保供电正常；排查硬件故障（如电源、主板、硬盘）；修复或重建引导；重装操作系统（最后手段）。*现象：服务器可启动，但远程无法连接*排查：检查服务器网络配置；检查远程服务（如sshd、TerminalServices）是否运行并监听正确端口；检查服务器防火墙规则；检查网络链路。*处理：修正网络配置；启动或重启远程服务；调整防火墙规则以允许远程连接；修复网络链路。*现象：系统运行缓慢*排查：使用top/htop/nmon等工具检查CPU、内存占用率高的进程；使用df-h检查磁盘空间是否已满；使用iostat检查磁盘IO是否瓶颈；检查是否存在异常进程或资源竞争。*处理：终止或优化高资源占用进程；清理磁盘空间；增加硬件资源（如内存、CPU、更换更快存储）；查杀病毒或恶意程序。*现象：磁盘空间满*排查：使用df-h确认磁盘使用率；使用du-sh*逐级查找大文件或目录。*处理：删除无用日志、临时文件；归档或迁移大文件；扩展磁盘空间。*现象：服务无法启动或频繁崩溃*排查：查看服务启动日志（通常在/var/log/目录下或服务特定日志文件）；检查服务依赖是否满足；检查配置文件是否有误；检查服务运行账户权限。*处理：修正配置文件错误；安装缺失依赖；修复账户权限；重启服务；升级或回滚服务版本。四、应用系统故障排查与处理4.1排查思路1.复现故障：尽可能准确地复现故障现象，记录操作步骤和报错信息。2.检查应用日志：这是定位应用问题的关键，关注错误日志、异常堆栈信息。3.检查应用配置：数据库连接串、端口、路径、依赖服务地址等配置是否正确。4.依赖服务检查：数据库、缓存、消息队列等依赖服务是否正常。5.代码与版本：近期是否有代码更新或版本迭代，可尝试回滚到上一稳定版本验证。4.2常见应用系统故障与处理*现象：应用无法启动*排查：查看应用启动日志，寻找错误提示；检查JVM/容器启动参数；检查配置文件格式及内容；检查端口是否被占用。*处理：修正配置文件错误；调整启动参数；释放被占用端口；解决依赖问题。*现象：应用运行中报错（如500错误、特定功能失败）*排查：查看应用运行日志，定位报错模块和具体异常信息；检查相关功能模块的输入输出数据；检查与数据库或其他外部系统的交互是否正常。*处理：根据日志提示修复代码逻辑或配置；处理数据异常；修复外部系统交互问题。*现象：应用响应缓慢*排查：检查应用服务器资源使用率；分析应用日志中的慢查询或耗时操作；检查数据库查询性能；检查网络链路到后端服务的延迟。*处理：优化代码逻辑；优化数据库查询（加索引、SQL改写）；增加应用服务器资源或进行负载均衡；优化网络。*现象：用户登录异常（无法登录、登录后无权限）*排查：检查账号密码是否正确；检查认证服务是否正常；检查用户权限配置；检查会话管理机制。*处理：重置用户密码；修复认证服务；调整用户权限；检查并修复会话相关配置。五、存储故障排查与处理5.1排查思路1.确认存储故障类型：是无法访问、性能下降还是数据损坏。2.检查存储硬件状态：存储阵列指示灯、控制器状态、物理磁盘状态。3.检查存储网络：FCSAN的交换机、HBA卡状态；IPSAN的网络连接、iSCSI服务状态。4.检查存储卷/文件系统状态：卷是否在线、挂载是否正常、文件系统是否损坏。5.查看存储系统日志：获取详细的错误信息和告警。5.2常见存储故障与处理*现象：服务器无法识别存储卷*排查：检查存储阵列对应LUN是否映射给服务器；检查存储网络连接及配置；检查服务器HBA卡/驱动状态；在存储端检查LUN状态。*处理：确保LUN正确映射；修复存储网络故障；重新扫描存储设备；更新HBA卡驱动或更换HBA卡。*现象：文件系统挂载失败或只读*排查：检查磁盘或卷是否正常识别；查看系统日志中关于文件系统的错误信息；使用fsck等工具检查文件系统完整性。*处理：修复文件系统错误；若硬件故障，更换故障盘并重建冗余；恢复数据（如已备份）。*现象：存储性能下降*排查：监控存储IOPS、吞吐量、延迟等指标；检查是否有大量并发读写操作；检查存储缓存命中率；检查物理磁盘是否有降级或预故障状态。*处理：均衡负载；优化应用IO模式；增加存储缓存；更换故障或性能不足的磁盘；考虑存储扩容或升级。六、故障处理后的工作1.故障恢复验证：确认故障已彻底解决，业务服务恢复正常，相关功能验证通过。2.详细记录故障报告：包括故障现象、影响范围、排查过程、处理方法、解决时间、根本原因分析（RCA）、预防措施等。3.经验总结与分享：将故障案例及处理经验在团队内部进行分享，共同学习，提升整体运维能力。4.优化与改进：根据故障原因，对现有系统、流程或配置进行优化，防止类似故障再次发生。七、附录：常用故障排查工具*网络工具：ping,telnet,traceroute/mtr,tcpdump,netstat/ss,ifconfig/ip,nslookup/dig*系统工具：top/htop,ps,df/du,free,iostat,vmstat,sar,dmesg,journalctl/v