IT系统故障快速排查问题库和修复手册

IT系统故障快速排查问题库和修复手册一、手册说明与适用范围本手册旨在为IT运维人员、系统管理员及技术支持团队提供标准化的故障排查与修复指导，通过结构化的问题库模板和流程化操作步骤，缩短故障定位时间，降低业务影响范围。适用于企业内部各类IT系统（如服务器、网络设备、应用系统、数据库等）的突发故障应急处理，也可作为新入职运维人员的培训参考工具。二、标准化故障排查与修复操作流程（一）故障发觉与初步响应故障发觉渠道监控系统告警：通过Zabbix、Prometheus等工具触发CPU、内存、磁盘、网络流量等阈值告警；用户反馈：通过客服、企业群、工单系统收到用户“无法访问系统”“功能异常”等报障；主动巡检：通过每日巡检脚本或人工检查发觉服务状态异常、日志报错等潜在问题。初步响应动作确认故障真实性：避免误告警（如监控agent异常），通过登录目标设备或交叉验证确认故障存在；评估影响范围：明确故障影响用户数、业务模块（如“支付系统无法下单”）、严重程度（P1/P2/P3级）；通知相关方：立即通知运维负责人、业务接口人，同步故障概况及预计处理时间（ETA）。（二）故障信息收集与记录必填信息清单基本信息：故障发生时间、系统名称、设备IP/主机名、故障现象描述（如“用户登录提示密码错误”）；环境信息：系统版本（如CentOS7.9）、应用版本（如V1.2.3）、依赖组件（如MySQL5.7、Nginx1.18）；操作记录：故障前近1小时内的人工操作（如重启服务、配置变更、补丁安装）、定时任务执行情况；错误信息：完整的错误日志（截取关键报错行，如“Connectionrefused:connect”）、截图或录屏（如用户端错误界面）。记录工具使用企业ITSM系统（如Jira、ServiceNow）创建故障工单，填写《故障信息收集表》（模板见第三章）。（三）故障定位与原因分析分层排查法物理层：检查设备电源、网线、光纤连接是否松动，指示灯状态（如服务器硬盘灯常亮/闪烁）；网络层：使用ping、traceroute、telnet测试网络连通性，检查交换机端口状态、防火墙策略（如是否拦截端口）；系统层：查看系统日志（/var/log/messages、/var/log/syslog）、进程状态（ps-ef）、资源使用率（top、htop）；应用层：检查应用日志（如Tomcat的catalina.out、应用的debug.log）、数据库连接池状态、中间件配置（如Redis、Kafka）。常见故障定位思路若“无法访问服务”，优先排查网络连通性→端口开放状态→服务进程是否运行；若“功能异常”，排查代码逻辑→数据库数据→第三方接口调用是否正常；若“功能下降”，分析CPU/内存/磁盘I/O/网络带宽瓶颈，检查是否存在死锁或慢查询。（四）制定修复方案与执行方案制定原则优先选择“最小影响”方案：避免直接重启核心业务服务器，优先尝试重启服务、回滚配置、清理临时文件等操作；涉及高风险操作（如数据库修改、系统重装）需经运维负责人*审批，制定回滚预案。执行步骤示例（以“Tomcat服务无法启动”为例）步骤1：检查Tomcat日志catalina.out，定位错误原因（如“端口8080被占用”）；步骤2：执行netstat-tlnp|grep8080查看占用端口的进程PID；步骤3：若为无用进程，执行kill-9[PID]终止进程；若为必需进程，修改Tomcat配置文件server.xml中的端口为8081；步骤4：重新启动Tomcat服务：./startup.sh，确认服务状态（ps-ef|greptomcat）。（五）修复验证与结果确认验证标准功能验证：故障现象是否消失（如用户可正常登录、业务流程可完成）；功能验证：系统响应时间、资源使用率是否恢复正常；兼容性验证：关联系统或模块是否受影响（如修复支付系统后，订单系统是否正常同步）。验证通过后通知业务方*故障已解决，确认业务恢复情况；在故障工单中记录验证结果及操作人（如“经测试，用户登录功能恢复正常，关闭工单”）。（六）故障归档与复盘归档内容填写《故障处理记录表》（模板见第三章），补充故障原因、解决方案、处理时长、改进建议；整理故障期间的关键日志、截图、操作命令，存入知识库（如Confluence）。复盘要求故障处理后2个工作日内，组织运维团队*召开复盘会，分析故障根因（如“配置变更未测试”“监控盲区”）；输出《故障复盘报告》，明确改进措施（如“增加配置变更审核流程”“新增监控指标”）及责任人、完成时限。三、IT系统故障问题库与修复手册模板表格（一）故障信息收集表（模板）字段名称填写说明示例故障编号ITSM系统自动或手动编号（格式：故障日期+系统简称+序号，如20231027-支付-001）—系统名称发生故障的系统/设备名称支付系统、核心交换机S7800设备IP/主机名故障设备的IP地址或主机名00、pay-app-01故障发生时间精确到分钟（YYYY-MM-DDHH:MM）2023-10-2714:30故障现象描述清晰描述用户或系统观察到的异常（避免专业术语，如“打不开页面”而非“502错误”）用户登录支付页面时提示“系统繁忙，请稍后重试”影响范围受影响用户数、业务模块（如“全国30%用户无法下单”）影响华东地区所有用户，无法发起支付告警/报错信息监控告警内容或完整错误日志（截取关键部分）Zabbix告警：支付应用服务器CPU使用率95%；日志：.ConnectException:Connectionrefused故障前操作记录故障前1小时内的人工操作、定时任务、变更记录（如“14:00重启Nginx服务”）14:25执行数据库索引优化脚本初步排查人发觉并首次处理故障的人员姓名（用*代替）张*联系方式初步排查人的电话/企业（仅内部可见）138（企业：zhang*）（二）故障处理记录表（模板）字段名称填写说明示例故障编号关联《故障信息收集表》编号20231027-支付-001故障原因分析基于排查结果，明确根因（如“数据库连接池配置过小，高并发时连接耗尽”）数据库连接池最大连接数设置为50，峰值并发达80，导致连接不足修复方案详细描述执行步骤（含命令、配置文件路径）1.修改/usr/local/tomcat/conf/context.xml中连接池maxTotal=“200”；2.重启Tomcat服务：./shutdown.sh&&./startup.sh执行人执行修复操作的人员姓名（用*代替）李*执行时间修复方案开始和结束时间（YYYY-MM-DDHH:MM-HH:MM）2023-10-2715:10-15:30验证结果功能/功能验证情况（如“经压测，系统支持100并发，响应时间<500ms”）支付功能恢复正常，并发100时响应时间300ms，CPU使用率60%业务方确认业务接口人签字/确认（如“已确认，支付流程可正常完成”）王*（2023-10-2716:00确认）改进建议针对故障原因提出的预防措施（如“增加连接池动态扩容监控，设置告警阈值”）新增连接池使用率监控，阈值>80%时告警归档人负责整理归档的人员姓名（用*代替）赵*归档时间完成归档的日期（YYYY-MM-DD）2023-10-2717:00（三）常见故障类型与修复手册（示例片段）故障类型子类故障现象描述可能原因排查步骤修复方案网络故障无法访问特定服务用户无法打开“订单查询”页面目标服务器防火墙拦截端口80801.telnet008080测试端口连通性；2.登录服务器检查firewall-cmd--list-ports1.执行firewall-cmd--add-port=8080/tcp--permanent；2.firewall-cmd--reload服务器故障CPU使用率持续100%服务器响应缓慢，操作卡顿进程死循环或恶意挖矿程序1.top查看CPU占用最高进程PID；2.ps-ef|grep[PID]定位进程；3.jstack[PID]>jstack.log分析线程1.若为无用进程，kill-9[PID]；2.若为业务进程，重启应用服务并联系开发排查代码数据库故障应用连接数据库失败日志报错“Accessdeniedforuser”数据库用户密码错误或权限不足1.mysql-u[用户名]-p[密码]-h[数据库IP]测试连接；2.selectuser,hostfrommysql.user检查用户权限1.重置用户密码：alteruser'[用户名]''%'identified'[新密码]'；2.授权：grantallprivilegeson*.*to'[用户名]''%'四、关键注意事项与风险规避策略（一）安全操作规范数据备份优先：涉及数据修改（如数据库、配置文件）前，必须通过mysqldump、scp等工具完成全量或增量备份，并验证备份文件可用性；权限最小化：禁止使用root账户直接操作业务应用，优先通过普通用户+sudo执行命令，避免误操作导致系统崩溃；高危命令确认：执行rm-rf、mkfs、fdisk等高危命令前，需二次确认目标路径或设备，防止误删数据或格式化磁盘。（二）沟通与协作要求统一出口：故障期间，所有对外沟通（如通知业务方、上报领导）必须由运维负责人*统一发布，避免信息不一致；跨团队协作：若故障涉及第三方系统（如云服务商、合作接口），需第一时间联系对应接口人*，同步故障现象及排查进展。（三）文档记录完整性实时记录：故障处理过程中，每一步操作、排查结果需实时记录在工单中，避免事后遗忘或遗漏关键信息；术语标准化：描述故障现象时，使用统一术语（如“502错误”而非“页面报错”），便于后续检索和知识复用。（四）避免二次故障变更控制：生产环境任何配置变更（如修改参数、升级版本）需通过变更管理流程审批，测试环境验证通过后再上线；操