IT系统故障排除手册模板

IT系统故障排除手册模板一、手册适用范围本手册适用于企业内部各类IT系统的故障排查与处理工作，覆盖硬件设备、网络环境、数据库、应用软件等多个技术领域。具体包括但不限于：服务器宕机、网络中断、数据库连接失败、应用系统无法访问、数据异常等常见场景。手册面向企业IT运维团队、系统管理员、技术支持工程师及相关技术人员，旨在通过标准化流程提升故障响应效率，降低业务中断风险，保证IT系统稳定运行。（一）适用系统类型基础设施层：包括物理服务器、虚拟化平台（如VMware、KVM）、存储设备、网络交换机/路由器等硬件设备故障。平台软件层：包括操作系统（WindowsServer、Linux）、数据库系统（MySQL、Oracle、SQLServer）、中间件（Tomcat、Nginx、WebLogic）等平台软件故障。应用业务层：包括企业资源计划（ERP）、客户关系管理（CRM）、办公自动化（OA）、人力资源（HR）等业务应用系统故障。安全防护层：包括防火墙、入侵检测系统（IDS）、杀毒软件等安全设备或策略配置故障。（二）适用人员角色一线运维人员：负责故障初步响应、信息收集与简单处理。二线技术专家：负责复杂故障定位、深度分析与方案制定。业务部门接口人：负责配合描述故障现象、确认业务影响范围。系统管理员：负责权限管理、系统配置与长期优化。二、故障排查标准化流程故障排查需遵循“快速响应、准确定位、高效处理、彻底闭环”的原则，严格按照以下流程执行，保证每一步骤可追溯、可复盘。（一）故障发觉与上报故障发觉渠道监控系统告警：通过Zabbix、Prometheus等监控系统捕获服务器CPU、内存、磁盘IO、网络流量等指标异常，或应用服务状态异常告警。用户反馈：通过客服、企业群、故障申报平台等渠道接收业务部门或用户的故障报告（如“无法登录OA系统”“数据报表失败”）。主动巡检：运维人员定期执行系统巡检时发觉潜在故障（如磁盘空间不足、证书过期）。故障上报规范一线运维人员发觉或接到故障后，需在15分钟内通过《故障报告单》（见表1）记录关键信息，并同步至二线技术负责人及业务接口人。故障报告需明确：故障发生时间、影响范围（如“销售部无法访问ERP系统”）、故障现象描述（如“登录时提示‘数据库连接超时’”）、是否已尝试初步处理等。表1：IT系统故障报告单故障编号系统名称故障类型发生时间上报人联系方式F20240515001ERP系统数据库故障2024-05-1509:30张*1385678故障现象描述影响范围初步处理措施优先级销售模块订单查询报错，提示“ORA-12514:TNS:监听程序当前无法识别连接描述符中请求的服务”销售部全部门无法正常下单检查数据库监听状态，发觉监听未启动高（二）故障信息收集故障信息是定位问题的核心依据，需全面、准确地收集以下内容，避免遗漏关键线索：系统环境信息硬件配置：服务器型号、CPU/内存规格、磁盘阵列类型（如RD5）。软件版本：操作系统版本（如CentOS7.9）、数据库版本（如Oracle19c）、应用版本（如ERPV2.1.3）。网络拓扑：故障设备IP地址、VLAN划分、网关及防火墙策略。故障日志信息系统日志：通过/var/log/messages（Linux）、事件查看器（Windows）获取系统级错误日志。应用日志：访问应用日志目录（如/opt/tomcat/logs/catalina.out），检索故障发生时间前后的ERROR、WARN级别日志。数据库日志：Oracle的alert.log、MySQL的error.log，记录数据库启动、运行及错误信息。中间件日志：Nginx的error.log、Tomcat的catalina.out，捕获服务异常堆栈信息。用户操作记录向故障涉及人员询问故障前的操作行为（如“是否最近更新了插件？”“是否了大文件？”）。通过系统操作审计日志（如数据库审计、应用操作日志）验证用户操作记录。监控数据趋势调取监控系统历史数据，对比故障发生前CPU、内存、磁盘、网络等指标的变化趋势（如“故障前10分钟内存使用率突然从60%飙升至95%”）。（三）故障定位与根因分析基于收集的信息，采用“从外到内、从简到繁”的排查思路，逐步缩小故障范围，最终定位根因。分层排查法网络层排查：使用ping测试目标主机连通性（ping-t192.168.1.100），tracert追踪网络路由路径（tracert192.168.1.100），netstat-an检查端口监听状态（如“3306端口是否被MySQL监听”）。系统层排查：通过top/htop查看进程资源占用，df-h检查磁盘空间，tail-f实时监控日志文件变化。应用层排查：检查应用服务状态（如systemctlstatustomcat），验证配置文件正确性（如数据库连接串、JVM参数）。数据层排查：连接数据库执行简单查询（如SELECT1FROMDUAL），检查表空间使用率（SELECTtablespace_name,SUM(tes)/1024/1024MBFROMdba_data_filesGROUPBYtablespace_name）。根因分析工具5Why分析法：对故障现象连续追问“为什么”，直至找到根本原因。例如：“应用无法访问→数据库连接超时→数据库服务未启动→监听进程未创建→监听配置文件损坏→误操作修改了配置文件”。鱼骨图分析法：从人、机、料、法、环、测六个维度分析可能原因，逐项验证排除。定位结果输出完成定位后，填写《故障定位记录表》（见表2），明确故障类型、根因、影响范围及初步处理方案。表2：故障定位记录表故障编号故障类型根因分析影响范围责任人F20240515001数据库故障监听配置文件listener.ora被误删，导致监听进程无法启动销售部订单查询、新增功能李*（四）故障处理与恢复根据根因分析结果，选择合适的处理方案，优先恢复业务，再根除问题。处理原则业务优先：对于影响核心业务的故障（如数据库宕机），先采取临时措施恢复业务（如启用备库、重启服务），再排查根因。安全第一：处理前确认操作权限，避免误操作（如修改数据库配置需提前备份）。最小化影响：优先选择对系统影响最小的处理方式（如重启服务而非重装系统）。常见处理措施硬件故障：更换故障硬盘（RD冗余下无需停机）、重启服务器（需提前通知业务部门）。网络故障：修复网线、调整防火墙策略、重启交换机端口。软件故障：恢复配置文件（从备份中恢复）、重启服务、回滚版本（如应用更新后故障）。数据故障：通过备份恢复数据（全量备份+增量备份）、执行数据修复脚本（如myisamchk修复MySQL表）。处理过程记录详细记录每一步操作命令、执行时间及结果，例如：“14:20执行cp/backup/listener.ora.bak/oracle/product/19c/dbhome_1/network/admin/listener.ora恢复配置文件；14:22执行lsnrctlstart启动监听，返回‘LSNRCTLforLinux:Version19.0.0.0.0-Productionon15-MAY-202414:22:32’”。（五）故障验证与闭环故障处理完成后，需全面验证系统功能，保证彻底解决，并完成文档归档与复盘。验证内容功能验证：测试故障涉及的核心功能（如“登录ERP系统→查询订单→新增订单”，确认各步骤正常）。功能验证：监控系统资源使用率，保证处理过程未引入新功能瓶颈（如“重启后CPU使用率稳定在70%以下”）。关联验证：检查关联系统是否受影响（如“ERP恢复后，供应链系统同步功能是否正常”）。用户确认邀请业务部门接口人进行验证，确认故障已解决且业务恢复正常，签字确认后关闭故障。闭环与复盘更新《故障处理记录表》（见表3），记录最终处理结果、耗时及经验教训。组织故障复盘会，分析故障暴露的问题（如“配置文件未定期备份”“监控指标不全面”），制定改进措施（如“实施配置文件自动备份”“增加内存使用率监控阈值”）。表3：故障处理记录表故障编号处理开始时间处理结束时间处理措施摘要验收结果经验教训F202405150012024-05-1510:002024-05-1510:45恢复监听配置文件并重启监听业务部门确认正常需定期备份核心配置文件三、常见故障类型及处理模板针对IT系统高频故障场景，本部分提供标准化处理模板，包含故障现象、排查步骤、处理方案及预防措施，可直接套用。（一）应用系统无法访问1.故障现象用户反馈无法打开应用系统（如OA、ERP），页面提示“连接超时”“404错误”或“服务不可用”。2.排查步骤（1）网络连通性检查：在用户终端执行ping应用服务器IP，确认网络可达；若不可达，检查网关、DNS及防火墙策略。（2）服务状态检查：登录应用服务器，执行systemctlstatus应用服务名（如systemctlstatusnginx），确认服务是否运行。（3）端口检查：执行netstat-tlnp|grep端口号（如netstat-tlnp|grep80），确认应用端口是否监听。（4）日志分析：查看应用日志（如/var/log/nginx/error.log），定位错误原因（如“权限不足”“配置错误”）。3.处理方案服务未运行：执行systemctlstart应用服务名启动服务，并设置开机自启（systemctlenable应用服务名）。端口冲突：修改应用配置文件中的端口号（如Nginx配置listen8080;），重启服务。资源不足：清理磁盘空间（df-h查找大文件）、释放内存（kill进程号终止异常进程）。4.预防措施配置应用服务开机自启，避免服务器重启后服务未启动。设置服务状态监控（如Zabbix监控进程是否存在），异常时自动告警。（二）数据库连接失败1.故障现象应用系统提示“数据库连接超时”“ORA-12541:TNS:无监听程序”或“Communicationslinkfailure”，无法查询或操作数据。2.排查步骤（1）监听状态检查：登录数据库服务器，执行lsnrctlstatus，确认监听进程是否启动。（2）数据库实例状态：执行sqlplus/assysdba，输入SELECTstatusFROMv$instance;，确认实例状态为“OPEN”。（3）网络连接测试：在应用服务器执行telnet数据库IP端口（如telnet192.168.1.2001521），确认端口可达。（4）参数文件检查：检查数据库tnsnames.ora配置文件中的连接串是否正确（如“HOST=192.168.1.200;PORT=1521;SERVICE_NAME=ORCL”）。3.处理方案监听未启动：执行lsnrctlstart启动监听，并检查listener.ora配置是否正确。实例未启动：执行startup启动数据库实例（需sysdba权限）。防火墙拦截：在数据库服务器防火墙添加入站规则，允许数据库端口（如1521）访问。4.预防措施定期备份监听配置文件（listener.ora）和参数文件（tnsnames.ora）。配置数据库集群（如RAC、主从复制），实现故障自动切换。（三）服务器磁盘空间不足1.故障现象服务器告警提示“磁盘空间使用率超过90%”，应用系统变慢或无法写入数据，日志报错“Diskfull”。2.排查步骤（1）磁盘使用率检查：执行df-h，查看各分区使用率，定位高占用分区（如/dev/sda1使用率98%）。（2）文件定位：执行du-sh/*|sort-rh，查找根目录下大文件或目录；进入高占用分区，执行find目录-typef-size+100M-execls-lh{}\;，定位大文件。（3）日志文件检查：检查/var/log目录下的日志文件（如messages、secure），确认是否因日志未轮转导致占用过大。3.处理方案清理临时文件：删除/tmp目录下临时文件（rm-rf/tmp/*），注意备份重要文件。日志轮转：配置logrotate，定期切割日志文件（如“每日切割，保留7天”）。扩容磁盘：对于物理服务器，新增磁盘并挂载；对于虚拟机，扩容磁盘后使用growpart、resize2fs扩展分区。4.预防措施设置磁盘使用率监控（如Zabbix监控分区使用率），超过80%时告警。配置日志自动轮转策略，避免单个日志文件过大。四、故障处理注意事项（一）操作安全规范权限控制：故障处理需使用最小权限账户，避免使用root或sysdba账户执行常规操作。操作前备份：修改配置文件、删除数据前，务必备份原文件（如cp/etc/nginx/nginx.conf/etc/nginx/nginx.conf.bak）。操作记录：重要操作需在《运维操作记录表》中记录，包含操作人、时间、命令及结果，便于追溯。（二）沟通协作机制及时通报：故障处理过程中，每30分钟向业务部门及上级同步进展（如“已定位原因为数据库监听未启动，预计10分钟内恢复”）。跨部门协作：涉及网络、安全、硬件等跨领域故障时，及时通知对应负责人（如网络故障联系网络工程师）。用户安抚：向用户解释故障原因及预计恢复时间，避免引发不必要的恐慌。（三）文档与知识管理知识库更新：故障解决后，将处理方案、经验教训录入知识库，标注关键词（如“数据库监听故障”“Nginx404错误”），方便后续查询。手册定期更新：每季度根据新增故障类型及处理经验，更新本手册内容，保证模板的适用性。（四）应急响应原则业