数据中台数据质量告警监控方案

数据中台数据质量告警监控方案一、方案定位与适用范围数据质量告警监控是数据中台从「能跑通」升级为「可信可用」的分水岭——管道不报错不等于数据正确，只有把质量校验嵌入采集、加工、服务全链路并建立分级响应机制，数据故障才能在业务方感知之前被发现和修复。本方案适用于数据中台承载的全部数据资产，包括：离线数仓（ODS/DWD/DWS/ADS分层）、实时计算链路、数据服务API、指标口径体系。覆盖数据从源系统抽取、加工转换、入仓存储到对外服务的完整生命周期。读者对象与用途：角色阅读重点读完后的动作数据平台团队第三、四章配置监控规则、搭建告警通道数据开发/运维第四、五章按值班手册处置告警业务方/数据产品经理第二章、第六章提出质量需求、确认业务规则部门负责人第六、七章审批流程、复盘改进本方案依据GB/T36344《信息技术数据质量评价指标》确立的完整性、准确性、一致性、及时性、唯一性、有效性六大维度组织监控规则；告警通知机制参考《中华人民共和国突发事件应对法》关于分级响应的管理原则，按故障影响面划分三级响应。二、质量监控维度与校验规则设计监控规则不是越多越好——每个规则都是一次误报机会。设计原则是：核心表全维度覆盖、边缘表只监控及时性与完整性，规则总数控制在人均可运维范围内（建议每位数据开发负责的规则不超过200条）。2.1六大维度规则清单2.1.1完整性（DetectionPriority:高）规则类型校验逻辑适用层参考阈值表行数波动率当日分区行数与近7天均值比较ODS/DWD偏离超过±20%告警，超过±50%阻断下游分区存在性目标分区目录/记录是否存在全部分区表调度依赖检查时点（如06:00）前缺失即告警非空字段检查主键、外键、金额、时间字段NULL占比DWD/DWSNULL占比>0.1%告警，>1%阻断源字段缺失率上游接口到仓字段数对比ODS字段缺失即告警，禁止默认补NULL入仓行数波动是性价比最高的规则：一张日增百万行的核心交易表，行数突降60%往往意味着上游某通道静默丢失数据——这类问题下游聚合后只会表现为「指标变小了」，极难溯源，必须在ODS层拦截。2.1.2唯一性主键唯一性校验在DWD入仓后立即执行：SELECTCOUNT(*)-COUNT(DISTINCTpk)ASdup_cnt

FROMdwd_order_detailWHEREdt='${bizdate}';

--dup_cnt>0即触发告警，dup_cnt/COUNT(*)>0.5%时阻断下游调度重复的典型成因：上游重推消息、离线链路重跑未去重。处理路径为「先隔离分区（置为不可见状态），排查去重逻辑，修复后重跑该分区」，严禁带重复数据向下游发布。2.1.3准确性准确性无法凭空判断，必须依托三类参照物：1.业务逻辑规则：订单金额=单价×数量×（1−折扣），等式不成立的记录占比>0.05%告警；2.值域规则：状态字段枚举值白名单、年龄0~120、金额非负；越界占比>0.1%告警；3.对账规则：数仓汇总值与源系统报表值对比（如日GMV对账），相对偏差>0.5%告警，>2%升级为一级响应。2.1.4一致性同一指标在DWS与ADS两层的口径必须可交叉验证：核对各汇总层的指标值一致性，偏差超过0.1%即告警。一致性问题的典型演化路径：某任务改口径未同步下游→DWS与ADS数值分叉→业务方两份报表对不上→丧失对中台的信任。阻断点是「口径变更必须走评审并在变更平台登记影响表清单」。2.1.5及时性•离线链路：核心表数据就绪时间晚于SLA承诺时刻（如订单明细表07:30前、经营看板底表08:00前）即告警；•实时链路：消费延迟（Lag）超过60秒或Flink作业Checkpoint连续3次失败即告警。2.1.6有效性格式类校验：手机号11位数字、身份证18位且校验位正确、日期字段可解析。脏数据进入隔离表（如ods_xxx_dirty），隔离表日记录数超过当日总量1%时告警并通知源系统排查，隔离数据不参与下游计算。2.2规则分级与覆盖要求表级别判定标准覆盖要求P0（核心）服务于经营决策、对外收费报表完整性+唯一性+准确性+及时性全量配置，且必须含对账规则P1（重要）内部高频分析使用及时性+行数波动+非空校验P2（一般）低频或探索性使用及时性+分区存在性表级别由数据Owner在元数据平台登记，新增表上线前必须在工单中填写级别与规则清单，未登记级别的表不允许发布到生产调度。三、监控体系架构与实施路径架构设计的核心决策是校验前置：问题拦截得越早，修复成本越低——ODS层一条规则告警可能省去下游20张表的返工。3.1总体架构监控体系由四层组成：1.执行层：质量校验以调度节点形式嵌入数仓任务流。P0表的校验节点设为下游任务的强依赖（校验失败则下游不启动）；P1/P2表设为弱依赖（校验失败仅告警，下游继续但打标记）。2.规则引擎：校验SQL/脚本统一由规则配置平台管理，规则版本化，禁止散落在各任务代码内硬编码——散落的规则无法统计覆盖率，也无法批量调整阈值。3.存储层：校验结果写入dq_check_result明细表（含校验时间、表名、规则ID、期望值、实际值、通过状态），保留180天，供趋势分析与复盘取证。4.展示层：质量大盘展示P0表最近30天校验通过率、各维度问题分布、SLA达成率；告警明细接值班群与工单系统。3.2实施计划阶段时间交付物验收标准一期：P0表覆盖第1~4周P0表规则全量上线，质量大盘上线P0表规则覆盖率100%，告警通道端到端演练通过二期：P1表覆盖+阻断机制第5~8周强依赖调度上线，值班手册发布强依赖演练（人为制造脏数据）验证阻断生效三期：实时链路+对账自动化第9~12周Flink作业监控、自动对账任务上线实时告警延迟<5分钟，对账任务无人干预稳定运行2周每阶段结束由数据平台负责人组织验收评审，未达标项列入下阶段冲刺，连续两个阶段未达标须上报分管负责人并调整资源。3.3阈值调优机制新规则上线前2周设为「观察模式」（只记录不告警），依据历史数据校准基线。此后每月第一个工作周执行阈值复审：某规则连续30天误报率>30%的，调整阈值或下线，由规则Owner在复审会上说明并记录于规则变更日志。优先使用动态基线（近7天均值±N倍标准差）；若该表历史波动过大（变异系数>0.5），改用固定业务阈值并在规则备注中写明依据。四、告警分级、通道与响应SLA告警管理的目标只有一个：让对的人在对的时间收到对级别的消息。误报淹没值班群与漏报同样致命。4.1告警三级定义级别判定标准（满足其一即定级）启动权限响应SLA一级（P0故障）P0表数据错误已对外发布且被业务使用；或核心链路中断预计无法在SLA时刻前恢复值班工程师可先行处置，30分钟内上报数据平台负责人15分钟内响应，1小时内给出初步结论，恢复后24小时内出复盘报告二级（P1异常）校验失败但下游已阻断未扩散；P0表告警但预计SLA前可恢复值班工程师直接处置30分钟内响应，当班期间闭环三级（提示）阈值临近、波动观察、隔离表脏数据累积等自动记录工单，不呼叫人员次日工作时间处理分级冲突时按高者执行：例如一条三级提示若48小时未处理且持续累积，自动升级为二级。4.2通知通道矩阵级别通道呼叫策略一级电话+短信+值班群@所有人5分钟未响应依次呼叫值班→备班→平台负责人二级值班群消息+工单群消息10分钟未认领则短信值班工程师三级工单系统不推送即时消息告警消息必须包含五要素：级别、告警对象（表/任务名）、规则ID与校验结果（期望值vs实际值）、疑似影响面（下游表清单由血缘系统自动带出）、处置入口链接（值班手册对应条目）。只有「XX校验失败」一句话的告警消息属于不合格消息。4.3认领与升级机制告警产生后进入「待认领」状态：值班工程师在响应时限内点击认领，系统记录认领时间；超时未认领按呼叫策略升级；升级至平台负责人仍30分钟无人响应（节假日夜间极端情况），由值班系统短信呼叫部门负责人。每一级超时升级均自动记录，用于月度值班质量考核。五、故障处置流程与应急预案处置流程的设计前提是先止损、再修复、后追因——顺序颠倒会让小问题演变成对外事故。5.1标准处置流程1.确认与止损（响应后15分钟内）：核实告警真实性（排除误报）；确认影响面（血缘系统查下游）；一级故障立即对错误分区执行隔离（删除/置为临时表/打不可见标记），阻止继续向ADS与API层扩散。2.定位（30~60分钟内）：按「检查清单」逐项排查——上游源系统是否有变更（查变更平台当日记录）、调度任务是否有重跑或并发冲突、资源是否受限（队列排队、OOM）、数据本身特征（坏记录集中在某分区/某字段/某时间窗）。3.修复与重跑：修复代码或阈值后重跑受影响分区，重跑必须从问题发生的最早层开始（严禁只重跑最末端ADS表——中间层的错误数据会残留在DWS增量表中造成二次污染）；重跑前确认下游强依赖会自动阻断，避免业务方读到半成品。4.验证：重跑完成后执行对账校验，P0表必须Owner之外的第二人复核签字。5.恢复对外：隔离解除、数据重新发布，值班群发布恢复通知（含故障时段、影响表、是否需要业务方重取数）。5.2分场景处置要点场景A：上游源系统数据延迟/缺失。优先等待并与源系统负责人确认预计到数时间；若确认当日源数据不可恢复，启用备选方案（取前一日快照并在报表打「T-2数据」水印），严禁使用超过3天前的陈旧数据冒充当日数据；同时评估是否需要业务方手工补录关键数字。场景B：实时链路中断。Flink作业失败优先从最近Checkpoint自动恢复；Checkpoint损坏时从最早Offset重放，重放前必须确认下游幂等（写入按主键去重），否则会产生重复数据触发唯一性告警。场景C：错误数据已对外发布。这是唯一必须走一级响应的情形：15分钟内通知所有已知使用方停用该数据，由数据产品经理通过公告渠道发布；事后24小时内完成复盘，明确是否需要发布更正说明。5.3复盘与改进（PDCA闭环）每次一级、二级告警闭环后3个工作日内由处理人提交复盘，内容固定为五项：时间线、根因、影响量化（受影响表数/业务方数/时长）、改进项（每项指定责任人与完成期限）、是否需要新增监控规则（本次未能提前拦截的原因）。改进项由数据平台负责人每月核对一次，逾期未完成项逐级上报。月度质量例会分析告警趋势：同类告警一个月内重复出现2次以上的，必须立项专项治理而非继续依赖人肉处置。六、组织保障与考核监控体系能否长期有效，取决于责任是否落到具体的人，而不是落在「团队」这个模糊概念上。6.1职责分工•数据平台团队：监控平台建设维护、告警通道运维、月度阈值复审、值班表编排；•各域数据开发（表Owner）：负责名下表规则的制定与维护、告警一线处置、规则随表变更同步更新——表结构变更而规则未更新导致的告警，考核算Owner责任；•数据产品经理：一级故障对业务方的通知公告、确认业务影响并决定是否更正发布；•值班工程师：按周轮值，值班期间负责告警认领与处置，交接时在值班本登记未闭环事项。6.2考核指标指标目标值统计口径P0表规则覆盖率100%已配置规则的P0表数/P0表总数告警响应达成率≥95%在SLA内响应的告警数/告警总数误报率≤20%误报告警数/告警总数，按月问题发现早于业务方比例≥90%中台先发现的问题数/全部问题数复盘按期完成率100%3个工作日内提交复盘的次数/应复盘次数考核结果按月发布至部门，连续两月未达标的团队由分管负责人约谈并制定整改计划。七、附录7.1附录A：值班处置检查表（一级故障）•[]告警真实性已确认（非误报）•[]影响面已通过血缘系统查明并记录下游表清单•[]错误数据已隔离，下游扩散已阻断•[]15分钟内已在值班群通报初步情况•[]根因定位中：已查变更平台、调度日志、资源监控•[]修复方案已确定，重跑起始层已确认•[]重跑完成，对账校验通过，第二人复核签字•[]恢复通知已发布（故障时段、影响表、业务方动作）•[]24小时内复盘报告已提交7.2附录B：告警登记表样表字段填写说明示例告警ID系统自动生成DQ-2025-00001级别一级/二级/三级一级告警对象表名+分区+规则IDdwdorderdetail，dt=2025-01-01，R-UNIQ-003触发时间系统时间2025-01-0206:42认领人/认领时间值班工程师张某某/06:50根因分类源系统变更/代码缺陷/资源/阈值失准/其他源系统重推消息处置动作隔离/修复/重跑/恢复隔离分区，去重后重跑闭环时间恢复通知发出时间2025-01-0209:15改进项责任人+期限上游去重改造，李某某，1月底前7.3附录C：应急联络通讯录（模板，敏感信息脱敏）角色姓名电话升级顺序当周值班工程师按值班表138******1备班工程