数据中台数据质量监控实施方案

数据中台数据质量监控实施方案一、方案概述1.1编制目的数据中台承接了企业全域数据的汇聚、加工与共享，一旦底层存在脏数据，污损会沿着「源系统→ODS→DWD→DWS→数据服务」的链路逐层放大，最终以报表数字错误、标签误算、API返回异常的形式影响业务决策。本方案的核心逻辑是：在污损扩散之前拦截——即在每个加工节点设置质量检查卡口，不合格数据阻断流入下游，并按分级规则自动告警与修复。1.2适用范围适用于数据中台内全部数据域（交易域、用户域、商品域、营销域、财务域）的离线批处理任务与实时流任务，覆盖以下人员：•数据开发工程师：负责在任务中嵌入校验规则、处理告警•数据质量专员（DQA）：负责规则配置评审、日常巡检、质量问题闭环•数据平台运维：负责监控基础设施的可用性保障•各业务域数据Owner：负责确认问题数据的业务口径与修复决策1.3编制依据•《中华人民共和国数据安全法》•《中华人民共和国个人信息保护法》•GB/T36344-2018《信息技术数据质量评价指标》•企业《数据资产管理办法》《数据中台建设规范（内部）》（以现行有效版本为准）1.4总体目标指标现状基线6个月目标12个月目标核心表质量规则覆盖率约40%（估算值）90%100%核心报表数据准确率约98%（估算值）99.5%99.9%质量问题平均修复时长（MTTR）无统计24小时8小时质量问题导致的报表返工次数每月约8次每月3次以内每月1次以内二、数据质量评价维度与规则体系2.1六大评价维度本方案依据GB/T36344-2018，结合中台链路特点确定六个维度，每个维度必须绑定到具体校验规则才能生效：维度定义典型规则示例失败后果示例完整性字段/记录不为空、不缺失订单表order_id非空率=100%主键为空导致下游关联丢失，报表少算交易额唯一性主键无重复用户表user_id重复数=0用户标签重复计算，营销触达重复发送及时性数据到达与加工时效达标T+1任务06:00前完成；实时链路延迟≤5分钟早晨经营晨会拿不到昨日数据准确性值域、格式、业务逻辑正确amount≥0；手机号匹配正则^1[3-9]\d{9}$金额为负的异常订单污染GMV汇总一致性跨表/跨系统口径一致中台订单数与业务库订单数日偏差率≤0.1%财务与运营两套数据对不上账有效性枚举值、编码合法status∈{1,2,3,4,5}未知状态数据流入下游报错2.2规则分级规则按严重程度分三级，级别决定告警方式与阻断策略：•L1（阻断级）：失败则禁止该表数据流入下游。适用于主键唯一性、核心金额字段非空、汇总值与上游偏差超1%。触发后由调度系统自动置下游任务为「跳过（Skipped）」状态，并以电话通知值班数据开发（15分钟内响应）。•L2（告警级）：失败继续加工但立即告警，限4小时内人工定夺。适用于空值率超阈值、值域少量越界（越界占比<0.5%）。•L3（观察级）：仅记录到质量看板，纳入周度评审。适用于统计波动类指标（如表行数环比波动±20%以内）。阈值设定原则：初始阈值按「历史30天统计分布」设定——取P99分位作为L2触发线，P99.9作为L1触发线；上线后每月按实际误报率校准一次，误报率高于5%的规则必须调阈或下线重构。2.3规则覆盖要求•中台核心表（入ADS层及对外服务的表）必须配置至少3条规则，其中主键唯一性为必备项；严禁仅依赖「任务跑成功=数据没问题」的假设——调度成功只代表代码执行无异常，不代表数据内容正确。•一般表优先配置行数波动+空值率两条基础规则；无上游依赖且从未被下游引用的冷表可暂缓配置，但必须登记在《规则覆盖缺口清单》中并注明原因。三、监控架构与工具选型3.1架构分层监控体系分四层，各层职责与部署位置如下：1.采集层：校验逻辑以SQL/DSL形式嵌入ETL任务尾部（批处理）或流式窗口（实时），校验结果写入独立的质量结果库dq_result，与业务表隔离。2.规则引擎层：统一规则管理平台（基于开源Gralin/DolphinScheduler数据质量模块或自研，按企业现有技术栈确定），负责规则版本管理、灰度发布、执行调度。规则变更必须走评审流程（见4.3），严禁在生产环境直接改SQL。3.告警与阻断层：对接调度系统与IM机器人。L1触发阻断+电话；L2触发IM群消息（10分钟内送达）；L3只落看板。4.分析与展示层：质量大盘展示按数据域汇总的健康分（0~100分，按规则通过率加权计算），每日09:00自动推送前一日质量日报至数据团队群。3.2批处理与实时链路的差异化实施•离线链路：校验在每日任务完成后串行执行，全量核心表校验总耗时必须控制在30分钟以内（超出则将大表校验改写为分区抽样，抽样比例不低于1%，且主键唯一性必须全量校验）。原因：全量COUNT/DISTINCT在亿级表上可能超过20分钟，会拖垮整体产出时间窗。•实时链路：采用滑动窗口统计（5分钟窗口）计算空值率与延迟指标，延迟超过5分钟即触发L2告警。实时链路无法做跨表一致性校验，一致性检查统一放在次日凌晨的T+1对账任务中执行。3.3阻断的机理说明阻断通过调度系统的任务依赖实现：校验节点作为下游任务的「门禁父节点」，校验失败即返回非零退出码，下游全部置为Skipped。这样设计的原因是：脏数据一旦写入DWD，回滚成本远高于停摆——下游ADS、标签、接口可能已缓存了错误结果，需要逐一通知清理。停摆1小时的代价远小于召回错误数据3天的代价，这是阻断优先于放行的根本依据。四、组织职责与运行流程4.1职责矩阵（RACI）工作项数据开发DQA专员平台运维数据Owner规则开发与实现RCII规则阈值评审CRIA告警值守与首响RICI质量问题定级与闭环RAIC数据修复决策CIIR/A基础设施保障IIRIR=执行，A=审批，C=被咨询，I=被告知。每个数据域指定1名Owner（名单见附件二通讯录），Owner变更须在3个工作日内更新通讯录。4.2质量问题闭环流程（PDCA）1.发现：告警触发或人工巡检发现，DQA在质量平台登记问题单（30分钟内，L1告警场景由首响数据开发代登记）。2.定级：L1电话确认后在15分钟内完成初步影响评估；L2/L3在4小时内完成定级。定级内容必须包含：影响表清单、影响下游任务/报表清单（通过血缘系统自动解析）、影响业务方。3.处置：◦源头数据问题→通知业务系统Owner修数，中台侧在修复后触发指定分区重跑；◦加工逻辑问题→数据开发当日修复代码，按「先止血后根治」原则，先以临时脚本修正目标表，3个工作日内提交正式代码修复；◦口径不一致问题→由数据Owner在2个工作日内裁决权威口径，DQA更新规则基线。4.验证：修复后重跑校验规则，连续3天规则通过方可关闭问题单。5.复盘：L1问题必须在关闭后5个工作日内输出复盘报告（根因、阻断点缺失、改进项），改进项编号跟踪，纳入月度质量例会检查销项。4.3规则变更管理•新增/修改L1规则必须经DQA评审+数据域Owner确认，评审周期不超过2个工作日；L2/L3规则由DQA专员审批即可。•规则上线先灰度3天（只告警不阻断），确认无误报后切换为阻断模式。严禁跳过灰度直接上线阻断规则——否则一次误报就会造成整条链路大面积停摆。4.4会议与报告机制•每日：09:00质量日报自动推送。•每周：DQA输出质量周报（新增问题数、超期问题数、Top3问题域），抄送各数据Owner。•每月：数据质量例会（数据团队负责人主持），审议月度指标达成、阈值校准、改进项销项，会后24小时内下发纪要。五、应急预案5.1分级响应等级判定标准启动权限响应时限处置原则Ⅰ级（重大）核心报表（财报口径、对外经营大屏）数据错误已对外发布；或≥3个数据域同时L1阻断数据团队负责人15分钟内电话召集立即对外声明数据暂缓发布；优先恢复产出，追责后置Ⅱ级（较大）单个核心域L1阻断，下游任务Skipped≥10个值班组长30分钟内定处置方案阻断维持，4小时内修复或提供临时降级口径Ⅲ级（一般）L2告警，未阻断值班数据开发4小时内响应评估是否升级，当日给出结论5.2典型场景处置•场景A：上游业务库故障导致源数据缺失。演化路径：业务库宕机→抽取任务空跑成功→ODS分区行数骤降→汇总表GMV异常偏小→经营晨会误判业绩。阻断点：行数环比波动规则（波动超±30%触发L1）。处置：确认为源端故障后，将当日分区打上「数据不可用」标记，调度自动延迟至源端恢复后补跑，同时通知所有下游订阅方。•场景B：规则误报导致大面积停摆。处置原则：先恢复产出，后修规则——值班组长有权在30分钟内将疑似误报的L1规则临时降级为L2（降级操作必须留痕并记录理由），次日例会复盘。严禁值班人员直接关闭规则绕过留痕。•场景C：历史数据批量回刷期间质量异常。回刷前必须通知DQA暂停行数波动类规则对应分区（白名单机制，有效期不超过72小时），否则波动规则会连环误触发阻断，造成回刷任务反复中断。5.3应急通讯•值班电话：400-xxx-xxxx（7×24）；平台运维群、数据开发值班群二维码见值班室公告。•应急升级路径：值班数据开发→值班组长→数据团队负责人→CTO。每一级超时未响应（15分钟）自动升级到下一级。六、实施计划与保障6.1分阶段推进阶段周期关键任务验收标准一期：核心覆盖第1~2月完成ADS层全部核心表规则配置；上线告警链路与质量日报核心表覆盖率100%，日报正常推送连续2周二期：链路前移第3~4月ODS/DWD层规则覆盖；上线L1阻断与血缘自动定级阻断功能演练通过；覆盖率≥80%三期：闭环运营第5~6月问题闭环流程、月度例会、阈值校准机制全面运转MTTR≤24小时，误报率≤5%6.2培训与考核•上线前组织2场培训（规则配置实操、应急处置演练），全员考核通过方可授予生产规则配置权限。•将「质量问题导致报表返工次数」「超期问题单数量」纳入数据开发季度绩效，权重不低于10%。6.3附则本方案自发布之日起施行，由数据管理部负责解释与修订，每年度评审一次。附件一：数据质量规则配置登记表（样表）字段填写说明示例规则编号DQ-{域}-{层级}-{序号}DQ-TRD-DWD-001目标表库.表名dwdtrdorder_di校验维度六维之一唯一性规则SQL/DSL校验逻辑全文SELECTCOUNT(*)FROM(SELECTorder_idFROMdwd_trd_order_diWHEREdt='{yesterday}'GROUPBYorder_idHAVINGCOUNT(*)>1)t级别L1/L2/L3L1阈值数值或区间重复数=0Owner姓名/工号张某某/IT0101灰度截止日日期2025-xx-xx附件二：质量问题登记单（样表）字段填写说明示例问题单号QI-YYYYMM-序号QI-202506-003发现时间精确到分钟2025-06-1206:23级别Ⅰ/Ⅱ/Ⅲ或L1/L2/L3L1影响表血缘系统解析的下游全清单dwstrdgmv_1d等5张根因分类源端/加工/口径/基础设施加工处置措施止血动作+