技术问题排查及故障诊断操作手册

技术问题排查及故障诊断操作手册一、典型应用场景本手册适用于各类技术场景中的问题排查与故障诊断，具体包括但不限于以下情况：系统功能异常：如服务器响应缓慢、应用接口超时、数据库查询效率骤降等；服务不可用：如网站无法访问、API接口返回错误、中间件（如Redis、Kafka）连接失败等；数据异常：如数据丢失、数据不一致、报表数据错误等；硬件故障：如服务器宕机、存储设备损坏、网络设备端口故障等；安全事件：如疑似黑客攻击、异常登录、数据泄露等；版本变更问题：如系统升级后功能异常、新版本兼容性问题等。二、标准化排查流程技术问题排查需遵循“由简到繁、由表及里”的原则，按以下步骤执行：（一）问题信息收集与初步判断明确问题现象详细记录问题表现（如“用户登录接口返回500错误”“数据库连接超时”）；确认问题发生时间（精确到分钟）、持续时间、是否周期性出现；收集用户反馈（如“某地区用户无法访问”“特定操作触发报错”）。收集基础信息系统环境：操作系统版本、中间件版本（如Nginx1.18、Tomcat9.0）、应用版本；硬件信息：服务器配置（CPU、内存、磁盘）、网络拓扑（交换机、防火墙）；相关日志：应用日志、系统日志、中间件日志（需包含问题发生前后时间段的日志）。初步判断问题范围判断是否为普遍问题（影响所有用户）或局部问题（特定用户/场景）；判断问题层级（网络层、系统层、应用层、数据层）。（二）分层级深度排查根据初步判断，从底层到上层逐层排查，避免盲目操作：1.网络层排查连通性测试：使用ping测试目标主机/端口连通性（如ping192.168.1.100、telnet127.0.0.18080）；路由检查：使用traceroute（Linux）或tracert（Windows）跟进数据包路径，定位网络中断点；端口状态：使用netstat-tuln或ss-tuln检查端口是否正常监听（如“8080端口是否被占用”）；防火墙/安全组：检查服务器防火墙（如iptables、firewalld）、云平台安全组规则，确认是否拦截相关端口/IP。2.系统层排查资源使用率：使用top（Linux）或任务管理器（Windows）查看CPU、内存、磁盘I/O使用率，确认是否存在资源瓶颈（如“CPU使用率持续高于90%”）；磁盘空间：使用df-h（Linux）或“磁盘管理”（Windows）检查磁盘剩余空间，确认是否因磁盘满导致服务异常；系统日志：使用journalctl-u服务名（Linux）或“事件查看器”（Windows）查看系统级错误日志，定位内核或服务报错；进程状态：使用ps-ef（Linux）或“任务管理器-进程”查看关键进程是否存在（如“Java进程是否运行”）。3.应用层排查应用日志分析：重点排查应用日志中的ERROR、WARN级别日志，结合堆栈信息定位代码报错位置（如“NullPointerException”）；配置文件检查：确认应用配置文件是否正确（如数据库连接参数、缓存地址、端口配置）；依赖服务状态：检查应用依赖的中间件/服务是否正常运行（如“Redis是否启动”“Kafka集群是否健康”）；代码逻辑复现：在测试环境中尝试复现问题，定位具体代码逻辑缺陷（如“循环导致内存泄漏”“接口参数校验缺失”）。4.数据层排查数据库连接：使用mysql-u用户名-p-h主机名-P端口（MySQL）或sqlplus（Oracle）测试数据库连接是否正常；表空间与锁：检查数据库表空间使用率，确认是否存在长时间运行的锁（如SHOWPROCESSLIST查看MySQL进程）；数据一致性：对比异常数据与正常数据，确认是否因数据同步问题、ETL任务失败导致；慢查询分析：使用数据库慢查询日志（如MySQL的slow_query_log）定位低效SQL，优化索引或查询语句。（三）根因分析与验证定位根因结合排查结果，排除次要因素，确定问题根本原因（如“磁盘空间不足导致数据库写入失败”“Redis连接池耗尽引发接口超时”）；若问题复杂，组织技术负责人、运维工程师、开发工程师*联合分析，通过日志对比、压力测试等手段验证假设。验证根因在测试环境中模拟根因场景，确认问题可复现；实施临时解决方案（如清理磁盘空间、重启服务），验证问题是否解决。（四）解决方案实施与监控制定解决方案优先选择临时解决方案恢复服务（如“扩容磁盘”“重启应用”），再制定长期优化方案（如“优化代码逻辑”“增加监控告警”）；方案需明确操作步骤、负责人、时间节点（如“由运维工程师*于15:00前完成磁盘扩容”）。执行解决方案按方案步骤执行操作，执行过程中记录操作日志（如“执行resize2fs/dev/sdb1扩容文件系统”）；关键操作前需进行数据备份（如数据库备份、配置文件备份），避免操作风险。效果监控解决方案实施后，持续监控系统功能、服务状态、业务指标（如“接口响应时间是否恢复至500ms以内”）；确认问题彻底解决后，结束应急响应流程。（五）问题复盘与知识沉淀编写复盘报告记录问题发生时间、影响范围、根因、解决方案、改进措施；分析问题暴露的流程漏洞（如“监控缺失未提前预警磁盘不足”“测试覆盖不全未发觉配置问题”）。知识沉淀将问题及解决方案录入知识库，标注关键词（如“磁盘满”“Redis连接池”），方便后续查询；修订监控指标、应急预案，完善问题排查流程，避免同类问题重复发生。三、常用工具模板（一）技术问题记录表字段填写内容示例问题编号TECH-20231027-001问题描述用户登录接口返回500错误，影响所有用户发觉时间2023-10-2714:30发觉人客服代表*影响范围全站用户无法登录优先级P1（严重，核心业务中断）初步判断应用层异常（日志显示数据库连接超时）负责人运维工程师*联系方式（虚拟，示例用）（二）排查过程跟踪表排查步骤操作内容执行人执行时间结果说明下一步动作信息收集收集应用日志、数据库连接日志运维工程师*14:35-14:45日志显示“Toomanyconnections”错误检查数据库连接池配置应用层排查检查Redis连接池参数开发工程师*14:45-15:00最大连接数设置过小（100）调整连接池最大连接数为500解决方案实施重启应用服务，更新连接池配置运维工程师*15:00-15:10服务重启成功监控登录接口状态效果验证观察登录接口成功率、响应时间测试工程师*15:10-15:30成功率100%，响应时间<300ms问题关闭（三）根因分析表问题现象根因描述直接原因根本原因用户登录接口500错误数据库连接池耗尽，无法建立新连接最大连接数设置过小（100）日常容量评估不足，未考虑高峰期并发（四）解决方案验证表解决方案验证内容验证结果是否达标调整Redis连接池最大连接数为500高峰期并发登录测试（100并发）连接数峰值320，无超时错误是（响应时间<300ms，成功率100%）四、关键操作提醒保持冷静，避免盲目操作：问题发生时切勿慌乱，先收集信息再排查，避免因误操作扩大故障（如未备份数据直接删除文件）。及时沟通，同步进展：问题涉及多团队时，需及时同步排查进展（如通过钉钉群/邮件通报“当前定位到数据库连接池问题，正在调整参数”），避免信息差导致延误。全程记录，留存证据：详细记录排查步骤、操作命令、日志片段，便于复盘和追溯（如执行rm命令前确认路径并截图）。防范风险，最小化影响：操作前评估风险，优先选择对业务影响最小的方案（如“先在测试环境验证扩容操作，再生产执行”）。遵守规范，合规操