数据质量管控管理办法

数据质量管控管理办法一、总则数据质量是企业数字化转型的生命线，没有高质量的数据，一切数据资产化与业务智能化均属空中楼阁。本办法旨在通过建立全链路的数据质量管控机制，消除“垃圾进、垃圾出”的系统性风险。1.1目的与依据为规范公司核心业务数据的管理流程，保障数据的真实性、准确性、完整性和及时性，依据《中华人民共和国数据安全法》《信息技术数据质量特征》（GB/T36344-2018）及公司内部数据治理相关制度，特制定本办法。1.2适用范围本办法适用于公司各业务系统（含ERP、CRM、MES及自研数据中台）的结构化与非结构化数据的采集、传输、存储、处理与对外提供环节。涵盖数据全生命周期的质量管控活动。1.3核心原则•源头管控优先：数据质量必须在产生节点解决，严禁依赖下游清洗兜底。•量化考核：将数据质量转化为可度量的指标，纳入各部门月度绩效考核。•闭环管理：所有数据质量问题必须经过“发现—定责—整改—复核—归档”闭环。二、组织架构与职责划分数据质量管控不是单一IT部门的责任，而是贯穿业务源头到数据应用端的全链路协同防线，必须通过明确的权责划分打破部门壁垒。2.1数据治理委员会（决策层）由分管副总裁担任主任，各业务一号位为成员。•决策权限：审批公司级数据质量标准，裁决跨部门数据质量争议。•考核机制：每季度召开一次数据质量评审会，对重大数据质量事故进行定级与追责。2.2数据质量管理组（管理层）由数据中台负责人兼任组长，配备专职数据质量管理员。•标准制定：每月5日前发布《月度数据质量白皮书》，通报各部门数据质量得分。•规则配置：在数据质量平台配置稽核规则，对异常数据执行“告警拦截”或“降级放行”策略。•技术兜底：对历史存量脏数据制定清洗脚本，经业务确认后于每周日00:00-04:00维护窗口执行。2.3业务部门（源头层）各业务部门设“数据专员”岗（兼职），为本部门数据质量第一责任人。•录入规范：业务人员在业务系统录入数据时，必须严格遵守前端校验规则。•异常处理：接到数据质量整改工单后，必须在24小时内完成数据修正或在系统内提交情况说明。•变更报备：业务流程或系统字典发生变更前，必须提前3个工作日向数据质量管理组报备，评估对下游数据管道的影响。2.4IT研发部门（执行层）•前端校验：业务系统新建或迭代时，必须将数据质量校验规则内嵌至前端表单（如手机号正则校验、必填项拦截）。•传输保障：保障数据在ETL（提取、转换、加载）过程中的完整性，丢失率必须控制在0.01%三、数据质量核心维度与量化标准脱离量化标准谈数据质量犹如盲人摸象，必须将抽象的“数据好坏”转化为可计算、可告警的数学指标。公司数据质量考核以以下六大维度为准，总得分按权重折算为100分制。3.1完整性判定数据记录及字段是否存在缺失。•表级完整性：每日业务系统同步至数据中台的记录数，与源系统日志流水差额≤0•字段完整性：核心字段（如订单号、客户ID、金额）空值率必须为0%；非核心字段空值率≤•扣分规则：核心字段每出现1条空值扣2分；非核心字段空值率超标按每超1个百分点扣0.5分。3.2准确性判定数据记录的真实业务含义与系统表达是否一致。•逻辑校验：订单支付金额=商品单价×数量-优惠金额。若等式不成立，判定为准确性异常。•交叉比对：系统记录的发货时间必须晚于订单创建时间。若时间倒挂，判定为异常。•扣分规则：准确性异常每万条记录中超过5条即判定不合格，每超1条扣5分。3.3一致性判定同一数据实体在不同系统中的描述是否一致。•主数据一致：客户在CRM系统中的名称与在ERP系统中的名称必须完全一致（通过统一社会信用代码关联）。•扣分规则：同一实体属性在不同系统冲突，每例扣3分。3.4及时性判定数据从产生到可供查询的延迟是否满足服务等级协议（SLA）。•实时交易数据：从源系统产生到进入数据中台ODS（操作数据存储）层，延迟T≤•T+1报表数据：每日08:00前必须完成前一日数据的清洗并刷新至数据集市。•扣分规则：未按时产出直接影响晨会报表的，每次扣10分。3.5唯一性判定数据是否存在重复记录。•去重标准：业务主键（如合同编号）在系统内必须唯一，重复率必须为0%•扣分规则：发现1条重复主键记录扣5分，引发下游聚合计算金额翻倍的，升级为L2级数据事故。3.6有效性/规范性判定数据格式是否符合约定格式或业务约束。•格式规范：身份证号必须为18位且通过末位校验码验证；日期格式统一为YYYY-MM-DDHH:MM:SS。•扣分规则：格式不规范记录占比>1四、数据全生命周期质量管控机制质量是设计出来的，不是检验出来的，必须在数据产生、流转、存储的每个物理节点植入校验逻辑，建立纵深防御体系。4.1数据录入与采集管控此环节是脏数据产生的最主要源头，必须通过硬性技术手段阻断非法输入。•前端强校验：IT研发部门在开发业务系统表单时，对于标识类、金额类核心字段，必须使用正则表达式进行前端拦截。例如：手机号输入框必须校验^1[3-9]\d{9}$，严禁放行字母或位数不足的输入。•软阻断机制：对于非核心但不合规的输入（如地址字段少于5个字符），前端应当弹出警告提示。操作人员确认后可强制提交，但系统必须自动打上“存疑”标记。•物理机理说明：前端强校验利用客户端算力进行过滤，可阻止90%以上的无效请求到达后端数据库；若仅依赖后端清洗，不仅占用数据库I/O资源，更易因清洗逻辑缺陷导致批量脏数据沉淀。4.2数据传输与集成管控数据在跨系统、跨网络传输过程中易发生丢失、截断或乱码。•传输协议：跨系统数据同步优先使用Kafka实时消息队列；若涉及大批量历史数据初始化，则使用DataX离线同步工具。严禁通过非加密的FTP裸传业务数据CSV文件（存在被中间人篡改与文件截断风险）。•断点续传与对账：ETL任务必须开启断点续传功能。每日同步任务完成后，调度系统自动比对源端与目标端记录数。若差额Δ>4.3数据存储与处理管控•主外键约束：数据中台ODS层保留源系统原始脏数据（只读不删），但在DWD（明细数据层）必须建立主外键约束与唯一索引。违反约束的脏数据应当被路由至“死信队列”表，严禁进入下游数据集市。•死信处理机制：数据开发工程师每日10:00前排查死信队列。对于因源系统字典变更导致的不匹配（如源端新增产品编码“P09”但数据中台维度表未更新），应当先手动维护维度表，再重跑清洗任务；严禁直接将脏数据物理删除了事。五、数据质量稽核与异常处置流程建立从问题发现到闭环追踪的PDCA（计划-执行-检查-改进）机制，确保每一个数据异常都能被拦截、定责、修复与复盘。5.1稽核规则配置与执行数据质量管理组通过数据质量平台配置稽核规则。规则分为两类：•强规则：阻断型。触发后立即挂起下游所有任务，并拨打值班人员电话。•弱规则：告警型。触发后发送飞书/钉钉告警，任务继续执行，人工排查。5.2数据质量异常分级与响应根据对业务的影响程度，数据质量异常分为三级，各级别须严格遵循对应的响应时效与处置权限。5.2.1L1级（重大事故）•判定标准：核心财务报表数据计算错误、全公司范围主数据瘫痪、导致高管决策误导。•启动权限：数据质量管理组组长。•响应时效：15分钟内响应，1小时内出具降级或回滚方案。•处置原则：保业务连续性优先。若修复时间超1小时，必须立即启动“降级报表”方案（使用前一日快照数据），并在大屏标注“数据维护中”。严禁在未告知业务部门情况下直接停用核心接口。5.2.2L2级（严重故障）•判定标准：单一业务线数据大面积异常、SLA延迟超2小时、下游应用部分功能不可用。•启动权限：当值数据工程师。•响应时效：30分钟内响应，4小时内修复。•处置原则：定位问题源头并隔离。若是源系统脏数据导致，应当通知业务数据专员在源端修正，并在数据中台触发重跑；严禁在数据中台通过UPDATE语句直接改数（破坏数据血缘与审计追踪）。5.2.3L3级（一般问题）•判定标准：少量非核心字段空值、格式不规范、不影响核心逻辑与对外展示。•启动权限：数据质量管理组专职人员。•响应时效：2小时内响应，24小时内修复。•处置原则：录入缺陷管理系统（如Jira），按优先级排期整改。5.3异常处置闭环流程1.发现与建单：通过稽核脚本或用户投诉发现问题，数据质量管理组在10分钟内生成《数据质量整改工单》，指派至责任业务部门。2.核查与定责：责任部门数据专员接单后，核对源系统录入情况。若属操作失误，由业务人员自行修正；若属系统缺陷，提IT工单修复前端校验。3.复核与归档：业务修正后，数据质量管理组重跑稽核规则。若通过，工单状态变更为“已闭环”并归档存储3年备查；若未通过，工单打回并升级为L2级故障。六、数据质量考核与问责机制没有考核的管控等于没有管控，必须将数据质量指标与部门绩效及个人KPI强绑定，倒逼源头规范。6.1考核计分模型部门月度数据质量得分S计算公式如下：S•S：部门月度最终得分（满分100分）。•Wi：第i•Fi：第i•Pj6.2绩效挂钩标准•S≥•80≤•S<80：不合格。扣减部门负责人当月绩效工资的•连续两个月S<6.3问责与追溯发生L1级数据事故时，数据治理委员会启动追溯机制。通过数据血缘图谱从应用层逆向追溯至物理录入源端。对因主观故意篡改数据、或未按规范录入导致严重后果的个人，按公司《员工违纪处分管理办法》给予警告直至解除劳动合同处分。严禁以“系统不完善”为借口推卸个人录入把关责任。七、附则1.本办法由公司数据治理委员会负责解释与修订。每年第四季度依据业务发展情况进行一次评估与版本迭代。2.本办法自发布之日起施行。原《业务数据管理规范》（文件编号XXX-2021-001）同时废止。八、附件8.1数据质量异常整改工单模板字段名称填写说明示例工单编号系统自动生成DQ-20231024-001发现时间稽核触发或投诉时间2023-10-2409:15:00问题描述具体异常现象及影响CRM客户行业字段空值率突增至30%数据链路涉及的源系统及数据表CRM.tcustomer->ODS.odscustomer事故等级L1/L2/L3L2责任部门源头数据录入部门华东区销售部限改时效要求完成修复的时间2023-10-2413:00:00整改方案业务方填写的具体修复动作安排专员按合同补充行业字段，更新前端校验复核结果数据组填写是否通过通过8.2数据质量日稽核检查清单（SOP）检查项执行人执行时间动作与机制异常处置任务跑批状态数据工程师每日06:30检查AirflowDAG执行状态。通过读取任务日志的exitcode判断，code=0为成功。code≠0源端与目标端对账数据工程师每日07:00执行SE