IT系统故障排查与问题解决手册

IT系统故障排查与问题解决手册一、适用场景与问题范畴本手册适用于企业内部IT系统（包括但不限于业务系统、服务器集群、网络设备、数据库、存储系统等）在运行过程中出现的各类故障场景，具体包括但不限于：系统无法正常访问或完全宕机；系统功能显著下降（如响应缓慢、卡顿、超时）；数据异常（如数据丢失、错乱、同步失败）；网络连接中断或网络服务异常（如无法访问特定端口、带宽占用异常）；用户权限问题（如无法登录、权限不足、功能模块无法使用）；系统报错（如应用程序崩溃、日志报错、第三方接口调用失败）。二、标准化排查流程（一）故障信息收集与初步登记接收故障报告通过统一故障申报渠道（如IT服务台电话、企业内部工单系统、即时通讯群组）接收故障信息，记录报告人联系方式（内部工号/分机号）、所在部门及故障发生时间。示例：市场部员工*于2024年5月20日09:15通过企业报备：“CRM系统无法打开客户详情页，提示‘数据库连接超时’”。详细记录故障现象向报告人确认故障具体表现，包括：故障发生频率（偶发/持续/周期性）；影响范围（特定用户/部门/全公司）；相关操作步骤（故障发生前用户正在执行的操作）；报错信息完整截图或文本（若有）；是否伴随其他异常（如服务器告警、网络中断等）。初步判断故障优先级根据业务影响程度划分优先级：紧急：核心业务中断（如生产系统宕机、支付接口失效），影响全公司或关键部门运营；高：重要业务功能异常（如数据库无法写入、核心报表失败），影响部分用户工作；中：非核心功能异常（如辅助系统查询缓慢、界面显示异常），不影响主要业务流程；低：轻微问题（如个别页面样式错乱、提示文案错误），可暂缓处理。（二）故障分类与资源协调故障分类定位基于故障现象初步划分故障类别，明确排查方向：故障类别典型特征负责团队硬件故障服务器宕机、磁盘损坏、网络设备指示灯异常运维硬件组系统软件故障操作系统蓝屏、服务进程崩溃、内存泄漏系统管理组应用程序故障业务功能报错、接口调用失败、前端白屏应用开发组数据库故障数据连接异常、查询缓慢、数据损坏数据库管理组网络故障无法访问内外部网络、端口不通、带宽拥堵网络安全组协调处理资源根据优先级与故障类别，通知对应负责人（如“紧急”故障需1小时内通知运维主管及开发负责人），协调技术支持团队、备件资源（如备用服务器、替换磁盘）及业务部门（如是否需要临时切换业务流程）。（三）深度排查与问题定位硬件故障排查检查设备物理状态：服务器指示灯（电源灯、硬盘灯、网络灯）是否正常，有无异响、高温；通过远程管理卡（如iDRAC、iLO）查看硬件日志，确认是否存在硬件报错（如内存故障、磁盘阵列错误）；使用硬件检测工具（如MemTest、磁盘检测工具）进行硬件诊断，定位故障部件。系统软件排查检查操作系统服务状态：通过systemctlstatus（Linux）或“服务”管理工具（Windows）确认关键服务是否运行；分析系统日志：查看/var/log/messages（Linux）、事件查看器（Windows）中是否存在服务启动失败、资源不足等报错；监控系统资源：使用top、htop（Linux）或任务管理器（Windows）检查CPU、内存、磁盘I/O、网络带宽占用情况，定位资源瓶颈。应用程序排查检查应用进程状态：确认应用服务进程是否存活，端口是否正常监听（如netstat-tuln）；查看应用日志：定位业务报错的具体模块、代码位置及异常堆栈信息；接口与依赖检查：验证应用调用的第三方接口（如短信服务、支付接口）是否正常，数据库连接池配置是否正确。数据库排查检查数据库服务状态：确认数据库进程（如MySQL的mysqld、Oracle的oracle）是否运行，端口是否监听；分析数据库日志：查看错误日志（如MySQL的error.log）确认是否存在SQL语法错误、锁表、空间不足等问题；监控数据库功能：使用showprocesslist（MySQL）、AWR报告（Oracle）检查慢查询、锁等待、连接数使用情况。网络故障排查网络连通性测试：通过ping、traceroute（Windows为tracert）测试本地到目标服务器/网络的连通性；端口状态检查：使用telnet、nc测试目标端口是否开放，防火墙（如iptables、Windows防火墙）是否拦截；网络设备日志：查看交换机、路由器、防火器的日志，确认是否存在端口关闭、流量异常、策略拦截等情况。（四）故障处理与临时措施制定处理方案根据排查结果，明确故障根因（如“数据库磁盘空间不足导致服务停止”），制定处理方案：直接修复：如清理磁盘空间、重启服务、修复配置文件；临时规避：如切换备用服务器、调整业务路由、限制非核心功能访问；紧急恢复：如从备份恢复数据、回滚版本至正常状态。执行处理操作由授权人员（如系统管理员、开发工程师）按方案执行操作，全程记录操作步骤（如“09:30执行df-h确认根分区使用率100%，09:35删除/tmp目录下过期日志文件，释放空间20GB”）；处理过程中密切监控系统状态，避免操作引发二次故障（如重启服务前确认依赖服务是否正常）。验证处理效果处理完成后，通过业务测试（如登录系统、执行核心操作）、监控工具（如Zabbix、Prometheus）确认故障是否解决，系统功能是否恢复正常；若故障未解决，重新排查根因，调整处理方案（如初步判断为磁盘故障，更换磁盘后仍异常，则需检查磁盘控制器或RD配置）。（五）故障总结与归档填写故障处理报告故障解决后24小时内，由处理负责人填写《IT系统故障处理报告》（模板见下文），内容包括：故障基本信息、排查过程、根因分析、处理措施、耗时统计、改进建议。组织复盘会议针对重大故障（优先级“紧急”“高”），组织IT团队及业务部门召开复盘会，分析故障暴露的流程漏洞（如备份策略缺失、监控告警阈值不合理）、技术短板（如缺乏自动化恢复工具），明确改进措施与责任人。更新知识库将典型故障案例、处理方案更新至IT知识库，标注关键词（如“数据库磁盘满”“应用接口超时”），方便后续快速检索。三、关键工具与模板表格（一）故障信息登记表字段名称填写说明示例故障编号系统自动（如IT-20240520-001）IT-20240520-001报告时间年-月-日时:分:秒2024-05-2009:15:00报告人姓名+部门+联系方式（内部工号）/市场部/工号1001故障系统名称具体系统名称（如CRM、ERP）CRM系统故障现象详细描述故障表现（附截图或报错文本）客户详情页打开失败，提示“数据库连接超时”影响范围受影响用户/部门/业务市场部全体员工，无法查看客户信息优先级紧急/高/中/低（由IT服务台判定）高初步处理人接收故障的IT人员/IT服务台（二）排查过程记录表时间节点操作人操作内容操作结果/现象下一步计划09:20联系确认故障细节确认仅市场部无法访问，其他部门正常检查CRM系统网络连通性09:30（网络组）执行ping192.168.1.100（CRM服务器IP）网络连通正常检查服务器端口状态09:40赵六（系统组）执行telnet3306（数据库端口）端口连接超时检查数据库服务状态09:50赵六登录数据库服务器，执行showprocesslist发觉大量“Locked”状态的查询检查磁盘空间使用情况（三）故障处理结果表故障编号处理人根因分析处理措施解决时间验证结果后续改进建议IT-20240520-001赵六数据库根分区磁盘空间不足（100%）删除过期日志文件，扩容分区至500GB2024-05-2010:30市场部恢复正常访问，无报错优化日志清理策略，设置自动告警四、关键注意事项与风险规避（一）时效性优先紧急故障需在15分钟内启动排查，1小时内反馈初步进展，4小时内解决；高优先级故障2小时内启动排查，8小时内解决；避免因响应延迟导致业务损失扩大。（二）操作规范与安全处理前确认操作权限（如非授权人员禁止修改核心配置、删除数据）；涉及数据修改或删除时，需提前备份（如执行mysqldump备份数据库），避免误操作导致数据丢失；生产环境操作需双人复核（如由系统管理员提出操作方案，由运维主管审核后执行），关键步骤截图留痕。（三）记录完整性全程记录故障现象、排查步骤、处理操作、验证结果，保证信息可追溯，避免因口头沟通导致信息遗漏；故障报告需客观描述根因，避免模糊表述（如“系统问题”应明确为“数据库连接池配置错误导致连接溢出”）。（四）团队协作与沟通跨团队故障（如网络与应用同时异常）需指定主负责人（如由系统管理组牵头协调网络组与应用组），避免责任推诿；定期向业务部门同步故障