IT运维故障处理工作手册

IT运维故障处理工作手册一、手册概述本手册旨在为IT运维人员提供故障处理的规范流程与实用方法，帮助提升故障响应效率、降低业务影响。适用于各层级运维人员（含初级运维工程师、资深运维专家、运维团队管理者），覆盖网络、服务器、应用、数据库等多类故障场景。二、故障处理全流程（一）故障发现故障的发现渠道决定了响应的及时性，需结合主动监控与被动反馈，构建全方位的故障感知体系：监控告警：依赖Zabbix、Prometheus等监控系统，关注指标告警（如CPU使用率超阈值、磁盘空间不足）与事件告警（如服务进程停止、端口异常）。需区分告警级别（紧急/重要/次要），紧急告警（如核心业务中断）需在5分钟内响应。用户反馈：通过工单系统、即时通讯工具接收反馈，需记录故障现象（如“OA系统无法访问”“文件上传失败”）、涉及模块（如财务系统、电商交易）、出现时间，初步判断影响范围（如单部门/全公司）。日常巡检：定期（如每日/每周）检查服务器状态（CPU/内存/磁盘）、网络设备运行日志、应用错误日志，主动发现潜在故障（如磁盘坏道、日志中偶发的报错信息）。（二）故障上报与定级故障需分级处理，确保资源合理分配：上报：将故障信息（现象、影响范围、初步判断）同步给直属上级或运维团队。重大故障（如核心业务中断、大面积用户受影响）需立即上报，并启动应急预案；一般故障可先自主诊断，再同步进展。定级：根据影响程度（业务中断时长、受影响用户数、数据安全风险）分为三级：一级故障：核心业务中断（如支付系统瘫痪），需全员协同，优先恢复业务。二级故障：重要业务受影响（如办公系统部分功能异常），可降级运行，2小时内恢复。三级故障：局部功能异常（如某部门打印机无法使用），4小时内恢复，不影响核心业务。（三）故障诊断诊断的核心是缩小范围、定位根因，需结合工具与经验，分层排查：信息收集：汇总故障相关信息，包括：系统日志：Linux（`/var/log/messages`、应用日志）、Windows（事件查看器）。监控数据：CPU/内存/磁盘/网络的历史曲线（如Zabbix趋势图）。用户操作：报错前的操作步骤（如“点击提交后系统崩溃”）。环境配置：服务器参数（如JVM堆内存）、网络拓扑、应用配置文件（如`Nginx.conf`）。初步分析：用工具快速定位方向。例如，用户反馈访问慢：网络层：`ping`目标服务器（看延迟）、`traceroute`（看链路跳数）。系统层：`top`（看服务器负载）、`netstat`（看连接数）。应用层：查看应用日志（如Tomcat的`catalina.out`）。关联排查：考虑组件依赖。例如，应用访问慢可能是数据库查询慢，需检查数据库的`showprocesslist`（MySQL）、SQL执行计划（`explain`）。（四）故障处理处理需遵循“最小影响、备份优先、记录操作”原则：最小影响：优先采用不中断业务的方式，如热重启服务、动态调整配置（如修改Nginx的`upstream`权重）。备份优先：修改配置/数据前，备份相关文件（如`cp/etc/nginx/nginx.conf/etc/nginx/nginx.conf.bak`）或数据库（如`mysqldump`）。记录操作：每一步操作记录时间、内容、结果（如“____10:00，重启Tomcat服务，进程ID____，重启后服务正常”），便于回滚或复盘。处理步骤示例（磁盘空间不足）：1.清理日志：`find/var/log-typef-mtime+7-execrm-f{}\;`（删除7天前的日志）。2.迁移数据：将非核心数据（如备份文件）迁移到大容量存储。3.扩容磁盘：若仍不足，联系机房运维扩容（如LVM在线扩容）。（五）故障验证处理后需双重验证，确保故障彻底解决：功能验证：通过用户操作（如访问OA系统、上传文件）或自动化测试（如Postman调用接口），验证业务功能恢复。性能验证：检查系统指标（如响应时间、吞吐量、资源利用率）是否恢复正常，避免“表面恢复，潜在隐患”（如服务重启后内存泄漏未解决）。（六）故障复盘复盘是预防重复故障的关键，需深入分析、落地改进：根因分析：召开复盘会，用5Why法追问（如“服务崩溃→进程内存泄漏→代码未做内存限制→运维未监控内存使用→监控指标缺失”），区分直接原因与根本原因。改进措施：制定可落地的方案，如：技术层面：优化监控（增加内存泄漏告警）、更新配置（设置JVM内存上限）。流程层面：完善应急预案（补充内存泄漏处理步骤）、规范上线流程（代码需做内存测试）。团队层面：开展Java内存管理培训，提升代码质量。三、常见故障类型及处理（一）网络故障1.链路中断现象：终端无法`ping`通网关/目标服务器，业务提示“网络连接失败”。可能原因：网线松动、交换机端口故障、运营商中断、防火墙拦截。处理步骤：1.检查物理连接：终端与交换机的网线指示灯是否常亮，重新插拔网线。2.交换机排查：登录交换机（如华为S5700），执行`displayinterfaceGigabitEthernet0/0/1`，查看端口状态（`up`/`down`），尝试切换端口或重启交换机（需确认无其他业务）。3.运营商协作：联系运营商，提供`traceroute`结果（如“到百度的第3跳超时”），请求排查公网链路。4.防火墙检查：登录防火墙（如FortiGate），查看会话表（`diagnosesyssessionlist`），确认是否误拦截业务流量。2.IP地址冲突现象：终端提示“IP地址已被使用”，网络访问时断时续，`arp-a`（Windows）发现重复IP。处理步骤：1.定位冲突设备：断开疑似终端，使用`arping192.168.1.100`（Linux），响应的MAC即为冲突设备。2.DHCP优化：登录DHCP服务器（如WindowsServer），检查地址池（如“192.168.1.____”），确认是否有IP重叠，调整地址池范围或租期（如从8天改为1天）。3.静态IP配置：对冲突设备，重新分配静态IP（如“192.168.1.201”），或绑定MAC与IP（在DHCP中设置保留）。3.DNS解析异常处理步骤：3.域名平台验证：登录阿里云/腾讯云域名控制台，确认域名未过期，解析记录（A/CNAME）正确，重新生效解析（如“刷新DNS缓存”）。（二）服务器故障1.硬件故障现象：服务器无法开机，硬盘/电源指示灯告警，性能骤降。处理步骤：1.硬件管理界面：登录iDRAC（戴尔）/ILO（惠普），查看故障部件（如“硬盘0故障”“电源模块1告警”）。2.更换部件：热插拔故障硬盘（插入新硬盘，系统自动同步RAID），或更换电源模块（注意冗余电源的切换）。3.数据恢复：若硬盘故障，优先使用数据恢复工具（如DiskGenius）提取数据，再更换硬盘。4.散热优化：检查服务器风扇转速（`ipmitoolsensorlist`），清理风道灰尘，调整机房温度（建议22-25℃）。2.系统崩溃现象：服务器蓝屏（Windows）、Linux进入紧急模式，核心服务异常。处理步骤：1.安全模式排查：Windows进入安全模式，Linux进入单用户模式（`systemd.unit=rescue.target`），查看系统日志（`dmesg`/事件查看器）。2.文件系统修复：Linux执行`fsck/dev/sda1`（需卸载分区），Windows执行`chkdsk/f`（重启后自动修复）。3.回滚更新：卸载最近的系统补丁（Windows：“控制面板→程序→卸载更新”；Linux：`yumhistoryundo`）。4.病毒扫描：使用卡巴斯基/火绒，扫描并隔离受感染文件，恢复系统备份（如Veeam备份）。3.资源过载现象：CPU持续100%，内存不足（OOMkiller触发），磁盘I/O等待高。处理步骤：1.定位进程：`top`（Linux）/任务管理器（Windows），找到高资源进程（如Java进程CPU占90%）。2.进程处理：若为异常进程（如挖矿病毒），`kill-9进程ID`；若为业务进程，先重启（`systemctlrestart服务`），再分析代码（如Java堆内存泄漏，需dump内存`jmap-dump:format=b,file=heap.bin进程ID`）。3.配置优化：调整JVM堆内存（`-Xmx2g`改为`-Xmx4g`），增加交换分区（`swapoff-a&&swapon-a`），或临时扩容资源（如升级CPU至16核）。（三）应用故障1.服务不可用现象：用户访问提示“连接超时”，应用进程未运行。处理步骤：1.进程检查：`ps-ef|grep应用名`（Linux），若进程不存在，执行`systemctlrestart应用服务`。2.端口排查：`netstat-tuln|grep8080`（假设端口8080），若被其他进程占用（如PID1234），`kill-91234`后重启应用。3.依赖检查：确认数据库（如MySQL）、中间件（如Redis）是否正常，`systemctlstatusmysqld`，若异常则重启依赖服务。2.响应缓慢现象：应用加载超时，操作卡顿，监控显示响应时间超5秒。处理步骤：1.日志分析：查看应用日志（如SpringBoot的`application.log`），定位耗时操作（如“SQL查询耗时3秒”）。2.SQL优化：`explainSELECT*FROMusersWHEREage>18`，发现无索引，执行`CREATEINDEXidx_ageONusers(age)`。3.带宽优化：`iftop`查看带宽使用，发现P2P流量占90%，配置防火墙限制P2P端口（如____）。4.代码优化：修改代码为异步处理（如`@Async`注解），或增加Redis缓存（如缓存热点数据）。3.数据异常现象：查询结果错误，文件上传损坏，订单重复生成。处理步骤：1.数据备份：`mysqldump-uroot-pdbname>backup.sql`，防止数据进一步损坏。2.代码复现：在测试环境复现故障（如“提交订单时重复生成”），定位代码逻辑（如事务未提交），修复后灰度发布。3.同步修复：检查Redis主从同步状态（`inforeplication`），若延迟高，重启从节点；修复MySQL主从复制（`stopslave;changemaster...;startslave`）。4.用户恢复：从备份恢复误删数据（如`mysql-uroot-pdbname<backup.sql`），或回滚操作日志（如“删除重复订单”）。（四）数据库故障1.连接失败现象：应用提示“数据库连接超时”，Navicat无法登录。处理步骤：1.进程检查：`systemctlstatusmysqld`（MySQL），若未运行，`systemctlstartmysqld`（注意数据一致性）。2.防火墙开放：`firewall-cmd--permanent--add-port=3306/tcp`（CentOS），或临时关闭防火墙（`systemctlstopfirewalld`）测试。3.账号验证：`mysql-utest-p`，输入密码，若报错“Accessdenied”，重置密码（`ALTERUSER'test'@'localhost'IDENTIFIEDBY'newpass';`）。4.连接池调整：修改应用连接池参数（如`maxActive=200`改为`maxActive=500`），释放空闲连接（`netstat-an|grepTIME_WAIT|wc-l`查看连接数）。2.查询缓慢现象：SQL查询耗时10秒，数据库CPU/IO高。处理步骤：1.执行计划分析：`explainSELECT*FROMordersWHEREcreate_time>'____'`，发现全表扫描，执行`CREATEINDEXidx_create_timeONorders(create_time)`。2.SQL简化：拆分复杂查询（如“SELECT*FROM(SELECT*FROMAWHERE...)ASBJOINCON...”改为两次查询），或使用存储过程（`DELIMITER//CREATEPROCEDURE...//DELIMITER;`）。3.表分区：对大表（如1000万行），执行`ALTERTABLEordersPARTITIONBYRANGE(YEAR(create_time))(...);`，按年份分区。3.数据丢失/损坏现象：表数据缺失，记录错误，备份恢复失败。处理步骤：1.停止写入：`FLUSHTABLE