行业技术故障排查模板

行业通用技术故障排查模板适用场景与触发时机日常运维突发故障：如服务器宕机、网络中断、业务系统响应缓慢等；系统升级/变更后异常：如新功能上线后出现数据错乱、接口调用失败等；用户反馈集中问题：如多用户报告同一功能无法使用、数据同步异常等；预防性巡检发觉隐患：如磁盘空间不足、服务进程异常退出等潜在风险排查。系统化排查流程与操作要点故障排查需遵循“先外后内、先软后硬、先易后难”原则，具体步骤第一步：故障信息收集与初步核实操作内容：记录故障触发时间、持续时长、具体现象（如错误提示、异常日志、用户操作描述等）；确认故障影响范围（如特定用户、某个模块、全系统等）；收集相关证据：系统日志（应用日志、系统日志、数据库日志）、监控数据（CPU/内存/网络使用率）、用户截图或录屏、错误代码等；初步判断故障类型（网络、硬件、软件、数据、权限等），区分“必现故障”与“偶现故障”。关键输出：《故障信息登记表》（含基本信息、现象描述、影响范围、初步分类）。第二步：故障影响范围评估与优先级划分操作内容：评估故障对业务的影响程度（如核心业务中断、次要功能异常、轻微体验下降等）；根据影响范围、紧急程度、用户数量划分优先级（如P0-紧急核心业务中断、P1-重要业务异常、P2-次要功能故障、P3-轻微体验问题）；通知相关方（如业务部门、用户、上级领导），同步故障状态及预计处理时间。关键输出：故障优先级确认记录、通知沟通记录。第三步：分层定位故障根源操作内容：网络层排查：检查网络连通性（如ping、tracert、telnet测试）、防火墙规则、DNS解析、负载均衡状态等；硬件层排查：检查服务器状态（如CPU/内存/磁盘占用率）、硬件指示灯（如磁盘灯、电源灯）、外设连接（如打印机、传感器）等；系统层排查：检查操作系统进程（如ps、tasklist）、服务状态（如systemctl、scquery）、系统日志（如/var/log/messages、EventViewer）、依赖组件（如JDK、数据库版本）等；应用层排查：检查应用日志（如Error.log、StackTrace）、接口调用链（如SkyWalking、Zipkin）、数据库连接池、缓存服务（如Redis、Memcached）等；数据层排查：检查数据库表结构、索引状态、数据一致性、备份文件完整性等。关键输出：各层排查过程记录、异常数据截图/日志片段。第四步：制定临时解决方案与根本原因分析操作内容：临时方案：针对可快速恢复的场景（如服务重启、临时配置调整、数据回滚），执行操作恢复业务，优先保障用户体验；根本原因分析：使用“5Why分析法”或“鱼骨图工具”，从临时方案反推故障底层原因（如代码逻辑缺陷、配置错误、资源不足、第三方依赖异常等）；验证原因：通过复现故障（如模拟相同操作、注入测试数据）确认根本原因的准确性。关键输出：临时方案执行记录、根本原因分析报告。第五步：故障修复与验证操作内容：根据根本原因制定修复方案（如代码热修复、配置参数调整、硬件更换、扩容资源等）；在测试环境验证修复方案的有效性，保证无副作用（如无新故障、功能无下降）；上线修复方案，同步监控业务状态（如成功率、响应时间、错误率）；修复完成后，逐步恢复全量流量，观察是否复发。关键输出：修复方案文档、测试验证报告、上线操作记录。第六步：故障复盘与知识沉淀操作内容：组织故障复盘会（含开发、运维、测试、业务相关人员），讨论故障处理过程中的不足（如响应慢、定位偏差、预案缺失等）；输出故障复盘报告，明确改进措施（如优化监控指标、完善应急预案、加强代码审查等）；将故障现象、排查过程、解决方案、预防措施归档至知识库，避免同类问题重复发生。关键输出：故障复盘会议纪要、知识库文档归档记录。故障排查过程记录表字段填写说明示例故障编号按规则（如“故障-YYYYMMDD-序号”）故障-20231025-001故障时间精确到分钟（如“2023-10-2514:30”）2023-10-2514:30故障现象具体描述异常表现，包含错误提示、用户反馈等用户登录系统时提示“验证码失效，请重试”影响范围明确影响用户/模块/区域影响移动端AndroidV5.2版本用户约500人优先级P0（紧急）/P1（重要）/P2（次要）/P3（轻微）P1初步分类网络/硬件/系统/应用/数据/权限等应用层（验证码服务异常）排查步骤分步骤记录操作过程，引用日志或工具1.检查验证码服务日志：发觉Redis连接超时；2.测试Redis连通性：端口6379无法连接处理方法临时方案或修复方案的具体描述重启Redis服务，调整连接池超时参数为30s处理结果“已解决/部分解决/未解决”，附当前状态已解决，验证码恢复正常发送负责人处理故障的主要人员（用*工代替）*工根本原因最终确认的故障底层原因Redis服务因内存溢出导致连接超时改进措施针对根本原因提出的预防方案增加Redis内存监控，设置自动清理策略备注其他需要说明的信息无关键注意事项与风险规避安全操作优先：执行故障修复前，确认操作权限，避免误操作导致数据丢失或服务中断（如修改配置前备份原文件，重启服务器前通知业务方）。信息同步及时：故障处理过程中，定期向相关方同步进展（如每30分钟更新一次状态），避免信息差导致误解。记录完整详实：所有排查步骤、操作命令、日志片段需详细记录，便于后续复盘和追溯（禁止仅口头描述，需留存电子记录）。避免盲目操作：未明确原因前，禁止随意重启服务、删除文件或修改生产环境配置，防止故障扩大。预案前置准备：针对核心业务，提前制定应急预案（如备用服务器、降级方案、数据恢复流程