ERP系统数据库定期巡检方案

ERP系统数据库定期巡检方案一、总则1.1目的与适用范围数据库故障的直接代价是停机：ERP停机1小时通常影响订单录入、库存扣减、财务凭证打印三条业务线，回补数据的平均人工成本远高于巡检投入。本方案通过「日检—周检—月检—专项检查」四级巡检体系，将数据库隐患在演化为停机或数据丢失之前识别并处置，适用于公司ERP生产库、报表库及测试库的巡检管理。1.2适用对象与责任划分对象巡检责任人复核人职责边界ERP生产库（主库+备库）数据库管理员（DBA）运维主管执行四级巡检全部项目，出具报告报表库/只读库值班运维工程师DBA日检、周检，异常上报DBA测试库值班运维工程师DBA周检中的容量与备份项1.3规范依据•《中华人民共和国网络安全法》•《GB/T22239-2019信息安全技术网络安全等级保护基本要求》•《GB/T28827.1-2022信息技术服务运行维护第1部分：通用要求》•ERP厂商提供的《数据库运维手册》（以合同附件版本为准）二、巡检分级体系四级巡检的划分依据是「故障演化速度」：能在分钟级演化为停机的问题靠日检拦截，能靠冗余设备顶住的问题靠周检，属于慢性退化的问题靠月检发现趋势，需要停机窗口的问题归入专项检查。2.1巡检级别与频次级别频次执行时间耗时上限核心内容日检每工作日工作日08:30前15分钟可用性、备份完成、告警、错误日志周检每周五周五14:00-16:0045分钟性能基线、空间增长、复制状态、作业成功率月检每月首个工作日当日09:00起半天参数合规、安全基线、全量恢复演练、趋势报告专项检查季度或触发式变更前/大版本升级前按计划深度健康评估、容量规划重审、故障演练2.2巡检方式优先使用自动化巡检平台（Zabbix/Prometheus+自定义巡检脚本）采集数据、自动生成日报；不具备自动化条件的项目（日志人工判读、恢复演练）手动执行。严禁仅凭「平台没报警」直接填写巡检记录——监控系统自身宕机是巡检要兜底的第一场景，日检第一步必须是确认监控系统与被监控端通信正常（向数据库发一次探活查询SELECT1）。三、日检项目与操作规程日检的目标是在15分钟内回答一个问题：「昨夜到现在，数据库有没有发生或即将发生影响业务的事件？」3.1日检清单序号检查项方法判定标准异常处置1实例与监听探活执行SELECT1；检查监听端口响应时间<见3.2一级响应2昨夜全量备份查备份系统作业记录备份完成且校验通过，完成时间在备份窗口内（23:00-04:00）备份失败当日10:00前手工补备，DBA复盘失败原因3错误日志检索昨日新增error/fatal级条目无新增error及以上级别每条error记录编号并归档至故障台账4磁盘空间监控平台数据文件/日志文件所在分区使用率<达到85%当日清理；达到90%启动应急扩容5表空间/事务日志增长对比前一日增长量日增长量<20超限即排查大事务（见5.3）6会话数与锁等待查活跃会话数、锁等待队列会话数<80%配置上限；锁等待<见3.2二级响应7主备复制状态查复制延迟延迟<30延迟超5分钟判定复制异常，DBA15分钟内介入3.2日检异常分级响应级别判定标准启动权限处置原则与时限一级（业务中断风险）主库不可连接、复制完全中断、备份连续失败2天值班工程师立即电话通知DBA，DBA15分钟内响应优先恢复服务（切换备库/重启实例），恢复动作须两人复核命令；处置后2小时内提交事件报告二级（性能劣化）锁等待堆积、会话逼近上限、磁盘达85%值班工程师处置并记录4小时内定位根因；不能定位的升级为工单交DBA三级（观察项）偶发单次慢查询、日志warning级条目值班工程师记录连续3天出现同类项则升级为二级3.3关键操作机理说明主备切换：切换的本质是让备库基于已同步的日志提升为主库，提供读写服务。必须在切换前确认备库日志已追平（延迟为0），否则切换后原主库上未同步的事务丢失，导致ERP已确认的出入库单据在数据库中不存在——这是账实不符的直接来源。严禁在复制延迟未确认的情况下执行强制切换；如主库整机宕机无法确认，切换后必须立即停用原主库并保留其数据目录用于事后比对补录。四、周检与月检项目4.1周检清单（每周五执行）1.性能基线对比：取本周与上周的慢查询数量、Top10SQL耗时、缓冲池命中率。判定：缓冲池命中率>95%；慢查询数环比增幅2.空间增长趋势：绘制近8周数据文件与日志文件容量折线，预测达到85%阈值的日期；预测4周内触线的，当周提交扩容申请。3.备份成功率与耗时：统计本周备份成功率=100%，单次全备耗时环比增幅4.作业与调度检查：核对ERP统计报表、月结预跑、数据归档等定时作业成功率，失败作业登记并重跑。5.碎片与统计信息：检查关键大表（如订单表、库存流水表）统计信息更新时间，超过7天未更新的手工刷新。4.2月检清单（每月首个工作日执行）1.全量恢复演练：从最近一次全备+日志备份恢复到临时实例，校验ERP核心表行数与最新交易记录，出具《恢复演练报告》。必须演练——备份文件存在不等于可恢复，未经演练的备份在真实故障时的可用性不可知。演练失败视同一级异常，DBA当日出具整改措施。2.安全基线核查：核查账号清单与权限（回收离职/转岗人员账号）、口令复杂度、审计日志开启状态、默认端口与非默认端口一致性。3.参数合规：对照ERP厂商运维手册核对内存分配、最大连接数、超时参数，偏差项记录原因或整改。4.高可用机制验证：每季度首月的月检中增加一次计划内主备切换演练，验证切换时间<55.出具《月度数据库运行报告》：包含月度可用率、事件台账汇总、容量预测、下月风险项，提交运维主管与IT负责人签阅。五、重点风险项的深度要求5.1磁盘空间耗尽演化路径：归档作业未运行或大事务产生海量日志→日志文件持续增长吃满分区→数据库无法写日志→所有写入事务挂起→ERP订单录入、库存扣减全线停滞。阻断点有两处：85%告警（第一道）与日志文件上限设置（第二道）。处置顺序：暂停非核心批量作业（如报表抽取）→归档或转移历史日志→必要时扩容。严禁直接删除在线事务日志文件（破坏日志链，导致后续无法做时间点恢复）；替代方案是备份后截断或收缩日志，并由DBA执行。5.2备份失效判定：连续2次全备失败或校验失败即判定备份体系失效，此时系统处于「无有效恢复点」状态。处置：立即（DBA响应后1小时内）手工执行全备；若手工备份仍失败，评估启用存储层快照作为临时恢复点，并上报IT负责人决定是否限制批量数据变更操作直至备份恢复。备份失效期间必须在ERP端冻结大批量数据导入类操作，降低暴露窗口内的数据损失上限。5.3大事务与锁风暴演化路径：月末批量过账→长事务持有行锁→其他业务会话排队等待→连接池耗尽→新会话无法建立→全库表现为「卡死」。处置：优先定位长事务的发起业务与账号，与业务方确认后终止该会话（终止前记录其SQL供事后补账）；严禁直接重启数据库实例（重启会回滚该大事务，回滚耗时可能比事务本身更长，且中断其他正常会话）。六、巡检记录与考核闭环巡检的价值在于闭环：发现问题只是起点，登记—跟踪—复盘—改进才构成PDCA循环。1.记录：每次巡检在《巡检台账》（见附件一）逐项打勾填写，异常项必须附处理记录；台账保存期限不少于2年（依据等级保护审计留存要求）。2.报告：日报自动化推送至运维群；周报、月报按4.1、4.2要求出具。3.考核：按月统计巡检执行率（目标100%）、异常漏检率（监控系统发现而巡检未发现的事件数/事件总数，目标<10%4.复盘改进：所有一级事件处置完成后3个工作日内召开复盘会，输出改进项并指定责任人与完成期限；连续两个月的同类事件视为改进未闭环，纳入运维主管考核。七、附件附件一：数据库巡检台账（日检样表）日期检查人探活备份错误日志磁盘%会话/锁复制延迟异常描述处置结果2025--☐正常☐异常☐正常☐异常☐正常☐异常附件二：月检报告必填要素清单•月度可用率及停机明细•一/二/三级事件台账及闭环状态•备份成功率与恢复演练结论•容量趋势图与触线预测日期•安全基线核查结果与整改项•下月风险项与预防措施附件三：应急联络通讯录角色姓名联系电话响应要求DBA张某某138******一级异常15分钟内运维主管李某某139******一级异常30分钟内ERP厂商技术支持服务台400-x