DB3301T 0364.2-2024公共数据质量治理 第2部分：实施指南

33012024-08-30发布I II 3 3 3 4 4 4 5 5 6 6 6 6 7 7 7 7 8本文件按照GB/T1.1—2020《标准化工作导则请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。3公共数据质量治理第2部分：实施指南GB/T44109—2024信息技术大数据数据治理实施DB3301/T0364.1公共数据质量治理第1部分：体系架构DB3301/T0364.1界定的以及下列术语和定义适用于本文件。公共服务运营单位（以下统称公共管理和服务机构在因履职需要使用公共数据的公共管理和服务机构，以及使用公共管理和服务机构相关业务系统中公共数据提供单位publicdata公共数据主管部门publicdataadministrationde4数据记录中最基本的、不可再分的可命名数据单位，用于描述实体的某种属性。控质、达标入库”等原则，开展数据的源头治理、系5.1.1公共数据提供单位(以下简称“数据提供单位”)提供数据时优先采纳国家部委、省级部门制定的标准，并将生产数据标准要求同步给公共数据主管部门(以下简称“数据主管部门”)。未编制标5.1.2数据提供单位应制定数据质量稽核计划，定期进行数据质量稽核，发现数据质量问题，定义数据规则模板，生成数据质量检查报告，对数据质量问5.1.3数据提供单位需根据质量检查计划对产生数据的完整性、唯一性、精确性、一致性、及时性、——数据完整性，业务所需的关键数据项在系统中是否有定义，或者关键数据项是否都采集了数——数据唯一性，是否满足一个业务唯一关键数据项值组合仅对应一条记录；——数据一致性，在同一业务标准情况下，相同数据项在不同系统或同一系统内不同表格记录多——数据及时性，是否能够在数据需求定义要求的期限内获得最新的数据，或按要求的更新频率——数据准确性，数据是否准确反映了其对应的真实业务内容，准确性检查可以通过对比权威数——数据有效性，数据值符合预先定义的业务规则或数据格式要求，有效性检查通常包括对数据5.1.4数据提供单位应定期关注数据问题工单，在规定时限内完成问题排查和整改，数据问题工单具5——完成整改，修正问题数据后，重新归集数据，并完成数据校验，整改结果应及时通知反馈——校核无误，对反馈的数据问题核查后，确认不存在数据问题，并将结果通知反馈方；——协商解决，因其他特殊原因难以修正的数据问题，可与反馈方协商解决。注：数据问题工单是反馈数据质量问题的工作单据，包括5.2.1数据主管部门统筹公共数据归集存储阶段的数据质量稽核等工作，在归集存储过程中，通过空完善，实现常用标准的质量治理，提升治理效率，包括但不限于以——身份证号码；5.2.2数据主管部门、数据提供单位应分析数据质量检查过程中发现的问题并开展分析，确定数据质量分析方法和要求，判断产生数据质量问题的原因及质量问题的影响范围,生成数据质量分析报告并对5.2.4数据主管部门应对数据提供单位已归集数据开展质量稽核工作，稽核内容除数据的完整性、唯稽核通过的项目数据，由数据主管部门出具项目数据验收通过意见书，方可认定为完成数据归集。5.3.1公共数据使用方（以下简称“5.3.2数据使用方应根据发现的质量问题生成数据问题工单，工单中包含的数据目录或数据接口所对5.3.3数据主管部门负责审批、流转、跟进数据问题工单处置进展，协调问题处置，定期统计分析质量问题，提出合理化建议。对数据提供单位开展相关培训工作，逐步降低质量问题的发生率。提升方案，跟踪数据质量改进过程，优化数据质量相关制度、流程、5.3.5数据使用方应负责核验数据提供单位整改并重新归集的数据，在确认问题解决后方可结束对应66实施过程管理6.1工作机制6.1.1建立领导负责机制，明确公共数据质量治理的主要目标、基本要求、工作任务等，牵头协调解决重大问题。6.1.2数据主管部门建立存量数据常态化治理机制，数据提供单位按照“一数一源一标准”要求对存量数据进行标准化治理，通过数据清洗、核对等手段发现的问题数据，数据主管部门及时督促数据提供单位落实整改。6.1.3数据主管部门应建立常态化数据质量稽核机制，发现的问题需反馈至数据提供单位，数据质量稽核的方法包括：——通过统计、查询等系统进行检查；——在业务软件使用过程中对数据库中已有数据进行检查；——用数据质量管理系统等工具进行检查；——抽取原始档案材料与数据库中数据进行对比。6.1.4建立共享数据快速治理机制，数据使用方在数据使用过程中发现的数据问题，应当以数据问题工单形式及时反馈至公共数据平台，由数据主管部门负责工单的分派、流转，数据提供单位应及时受理、修正。数据主管部门和数据使用方对修正后的数据进行校验，形成管理闭环。6.1.5建立数据质量评估和改进机制，涵盖评估标准指标、评估流程、反馈渠道、持续改进和优化等内容。6.1.6建立由数据主管部门、数据使用方和数据提供单位组成的公共数据质量治理工作体系，以及专人负责的工作联系机制。通过配备专业人员，开展知识培训、购买第三方服务等方式，满足公共数据质量治理的工作需求。6.1.7宜建立有效的公共数据质量治理组织架构，促进数据主管部门、数据使用方和数据提供单位之间的语义理解与业务融合，推动数据工作与业务场景的衔接。6.2清单梳理6.2.1数据提供单位、数据使用方和数据主管部门在公共数据全生命周期的不同阶段，应根据实际业务需求，确定需要开展质量治理的数据清单。6.2.2数据提供单位对公共数据质量进行定义，明确问题清单的基本要素。开展识别低质量公共数据问题规则和问题清单。6.2.3数据提供单位执行问题清单评估并排序，对核心高频的数据质量问题展开数据清洗和治理，识别主要的质量问题，进行根本原因分析，并对主要的质量问题制定解决改进方案。6.2.4数据主管部门应将各数据提供单位在公共数据平台上进行数据编目并且开展了数据归集的数据纳入需开展质量治理的清单。并将公共数据平台和数据资源系统上的编目数据进行自动融合比对，明确数据目录、数据项清单，实施数据质量精准管控。6.2.5数据主管部门应将通过公共数据平台申请应用于各数据使用方信息化系统建设的数据纳入需开展质量治理的清单。6.3规则建立6.3.1数据提供单位宜制定数据质量规则，提交数据主管部门确认，其制定的依据包括：——国家部委、省部门制定的数据标准定义的数据规格等要求；7——部门或行业业务规则和业务办理定义的数据质量要求；——数据主管部门制定的数据编目、归集、共享等制度规范中提出的数据质量要求；——上级单位或数据使用方提出跨层级、跨领域、跨系统的数据质量要求；——从指标类数据的质量要求中解析而得的基础数据质量要求。6.3.2基础类数据质量规则用于衡量业务产生的详细数据的质量，基础类数据主要产生于业务系统。6.3.3指标类数据质量规则用于衡量指标类数据的质量，指标类数据是指按照一定规则对基础类数据加工而生成的衍生数据。6.3.4预设表级、字段级质检规则模板，关联巡检稽核对象生成质检规则。6.3.5数据提供单位应参与数据标准库建设工作，并向数据主管部门提供相关数据标准并及时更新。6.3.6数据主管部门负责对接上级部门，定期上报本级数据标准库、回流上级数据标准库内容，融合到本级数据标准库。6.3.7已建成数据标准库应通过合规方式对外发布共享，可应用于数据组件、信息化项目建设等场景。6.4系统应用6.4.1数据质量管理系统需具备清单更新、规则生成、方案调度、报告输出、工单流转、统计分析、考核晾晒等功能。6.4.2系统应支撑问题数据发现、反馈及问题数据复核、修正等公共数据质量治理工作。6.4.3系统的数据问题工单反馈模块应统一接入公共数据工单系统，数据问题工单应进行统一管理。7评价改进7.1.1数据提供方、数据主管部门在公共数据质量治理评价工作启动前，应根据其愿景、战略目标、业务发展需要、法律法规和行业规范等制定整个评价的目标和范围。7.1.2依据公共数据质量治理的执行情况和取得成效两个角度，综合考虑定量和定性两个维度的评价指标，设计公共数据质量治理的评价指标体系，指标具体包括：——数据完整率，数据集赋值完整的数据项数量与数据项总数量之比；——数据唯一率，数据集唯一记录数量与记录总数量之比；——数据精确率，数据项精度符合标准规范的记录数量与记录总数量之比；——数据一致率，数据集具有相同含义数据(同一更新时间点、存储在不同位置)赋值一致的记录数量与记录总数量之比；——数据及时率，数据集赋值满足业务周期频率要求的记录数量与记录总数量之比；——数据准确率，数据集赋值准确的数据项数量与数据项总数量