DB54-T 0426-2024 公共数据数据质量管理规范

ICS35.24054IDB54/T0426—2024前言 2规范性引用文件 3术语、定义和缩略语 4数据质量管理原则 5数据质量管理框架 6数据质量职责 7数据质量目标 8数据质量评价体系 8.1数据质量评价指标 8.2数据质量规则 9数据质量控制 9.1数据生存周期 9.2数据需求 9.3数据采集 9.4数据清洗 9.5数据应用 9.6数据评估 9.7数据退役 10数据质量检查 10.1数据质量检查计划 10.2数据质量监控 10.3数据质量问题处理 11数据质量提升 11.1数据质量问题分析 11.2数据质量改进 11.3数据质量跟踪 参考文献 DB54/T0426—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由西藏自治区经济和信息化厅（自治区数据管理局）提出并归口。本文件起草单位：西藏自治区经济和信息化厅（自治区数据管理局）、西藏高驰信息技术服务有限责任公司、国家工业信息安全发展研究中心。本文件主要起草人：郭翔、旺堆、扎西尼玛、刘勇、宋雪述、兰劭晖、罗宇舟、周文华、曹亮、赵青、贺赟、陶炜、李云志、杜洪涛、栾燕、蔡长亮。DB54/T0426—20243公共数据数据质量管理规范本文件规定了数据主体单位及相关方开展公共数据质量管理工作的要求，包括数据质量管理原则、管理框架、质量职责、质量目标、质量评价体系、质量控制、质量检查和质量提升。本文件适用于西藏自治区各级机构的公共数据质量管理。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T25000.12系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分：数据质量模型GB/T36073数据管理能力成熟度评估模型GB/T36344信息技术数据质量评价指标3术语、定义和缩略语3.1术语和定义GB/T36073和GB/T36344界定的以及下列术语和定义适用于本文件。数据质量dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[来源：GB/T36344-2018，2.3]3.1.2数据生存周期datalifecycle将原始数据转化为可用于行动的知识的一组过程。[来源：GB/T36073-2018，3.14]3.1.3数据质量规则dataqualityrules数据质量规则是指判断数据是否符合数据质量要求的逻辑约束。3.1.4DB54/T0426—20244数据质量控制dataqualitycontrol数据质量控制是指通过数据质量检查、监控等手段发现并反馈数据质量风险的过程。3.1.5数据质量改进dataqualityimprove数据质量改进是指针对数据质量问题采取措施，对现有的数据质量水平加以提高。3.2缩略语下列缩略语适用于本文件。PDCA：“策划-实施-检查-处置”循环（Plan-Do-Check-Act）4数据质量管理原则实施数据质量管理，应遵循以下原则：a)聚焦关键数据关注对数据平台管理方及相关方最重要的数据（如主数据）和痛点问题，优先顺序应根据数据的重要性以及数据问题的风险水平来判定。b)覆盖全生存周期覆盖数据全生存周期，包括数据的采集、归集、汇聚、应用、处置阶段，以及数据在系统内部和系统之间的流转过程。c)预防为主数据质量方案的重点应放在预防数据错误和数据可用性降低等情形上，不应只放在简单的纠正记录d)根因修正数据质量问题的根本原因通常与流程或系统设计有关，需要对流程和支持它们的系统进行更改，而不仅仅是修正数据。e)融入治理数据治理必须支持高质量数据的开发，数据质量规划活动必须依托受治理的数据环境，比如充分利用元数据工具。5数据质量管理框架公共数据的质量管理框架采用PDCA循环方法，持续改进和提升数据质量。数据质量管理架构模型见图1，包括策划、实施、检查和处置4个阶段。DB54/T0426—20245图1数据质量管理闭环架构各阶段详细要求如下：a)策划数据质量需求与识别，明确数据质量的管理范围和内外部需求，并根据需求制定质量目标，建立数据质量评价的维度和指标体系、质量规则，识别所需的数据质量标准、业务规则；b)实施数据质量控制，明确数据质量管理的流程，制定全流程的数据质量控制策略，从数据的设计、产生、流通、应用的全生存周期进行管理控制；c)检查数据质量检查，根据需求基于质量目标制定质量检查计划，按照计划实施数据质量剖析、校验、告警等监控任务，并配套实施质量问题记录、查询、分发、跟踪等管理机制；d)处置——数据质量分析与提升，建立数据质量评估及分析方法，对检查结果进行质量评估和问题分析，并编制数据质量报告，报告主要内容包括数据校验记录、数据统计分析、质量问题的原因分析和影响分——将相关分析成果和问题形成质量知识库；——针对质量问题，制定和实施改进方案，包括问题数据校正、改进措施跟踪验证、通过流程优化提升质量等，形成良好的数据质量文化。6数据质量职责公共数据的管理机构或团队，应赋予相关人员角色的数据质量职责：a)首席数据官（或分管领导）DB54/T0426—20246作为数据质量管理工作的最高决策者、负责人，其数据质量管理工作内容宜包括：——下达数据质量目标；——签发数据质量评价及考核结果；——基于数据质量考核结果及改进状况，对相应领域数据责任人进行奖励及问责。b)数据质量主管作为数据质量管理工作的主要监督管理人，其数据质量管理工作内容宜包括：——牵头制定数据质量规则、数据质量计划、数据质量报告；——组织实施数据质量检查和质量问题分析、整改和跟踪验证工作；——负责审核相关质量文件、报告和整改措施。c)各业务/子系统负责人作为所辖业务领域数据质量的负责人，其数据质量管理工作内容宜包括：——承接本单位最高数据责任人设定的数据质量目标；——建立、实施、保持和持续改进所辖领域数据质量管理体系；——向最高数据责任人报告数据质量管理体系的绩效和改进需求；——基于所辖领域的数据质量结果及改进状况，对相应的业务数据责任人进行奖励及问责；——负责与所辖领域数据质量管理的相关外部联系工作。d)各业务数据责任人作为所辖业务数据质量的负责人，其数据质量管理工作内容宜包括：——承接所属领域数据责任人设定的数据质量目标；——建立、实施、保持和持续改进所辖业务数据质量管理体系；——向所属领域数据责任人报告数据质量管理体系的绩效和改进需求；——明确所辖业务数据质量问题改进责任人，并推动问题闭环管理；——负责与所辖业务数据质量管理工作的相关外部联系工作。7数据质量目标数据质量管理是一个持续的过程，为有效地进行数据质量管理，应达到以下目标：a)建立数据质量管理组织，承担最终质量审查监督职能，质量问题有人负责；b)建立完善的数据质量管理规范，质量管理有章可循；c)建立数据质量管理平台，进行质量评估、问题改进系统记录，质量评估有据可查；d)建立数据质量管理绩效体系，针对质量管理进行目标管理、绩效考核，质量考核有人监督。8数据质量评价体系8.1数据质量评价指标数据质量评价指标的制定，应参考GB/T25000.12-2017、GB/T36344-2018等标准及相关法规。各维度评价指标包括但不限于：a)规范性评价指标，对于数据标准、数据模型、元数据、业务规则、安全规范以及权威参考数据DB54/T0426—20247b)完整性评价指标，对于数据元和数据记录的赋值的完整性度量；c)准确性评价指标，对于数据内容正确性、数据格式合规性、数据重复率、数据唯一性、脏数据d)一致性评价指标，对于同一个数据在不同存储位置或引用的一致性，以及关联数据的一致性的e)时效性评价指标，对于基于时间段的正确性、基于时间点的及时性，以及数据间时序性的度量；f)可访问性评价指标，对于数据在需要时的可获取性，以及在设定有效期的可用性度量。8.2数据质量规则根据公共数据质量管理目标、评价体系规范和业务需求，以及国家、行业法规标准，制定各类数据的质量规则，形成统一的数据质量规则库。并根据业务发展需求及数据质量检查分析结果，对数据质量规则进行持续维护与优化，并同步更新数据质量规则库。数据质量规则的内容，主要包括衡量数据质量的技术评价指标、业务规则以及相应的校验规则与方法，具体要求如下：a)根据数据质量评价维度和业务需要，制定详细的数据质量技术指标；b)根据数据标准规范，进行基础校验规则定义，包括空值校验、值域校验、格式校验、长度校验、精度校验、唯一性约束校验、主键及外键校验等；c)结合应用场景，定义业务规则，保证数据具有合理性；d)支持通过自定义SQL语句等方式实现对数据质量的检核。9数据质量控制9.1数据生存周期数据质量管理活动应贯穿于数据生存周期的各个阶段，应符合图2的规定。图2数据生存周期质量控制9.2数据需求DB54/T0426—20248数据管理方应对数据需求进行评估，确认所需公共数据的开放主体。数据管理方和公共数据开放主体应共同建立或更新对应的数据质量要求，以保证数据质量要求与实际需求的一致性。公共数据开放主体应按照公共数据目录规范编制开放数据目录。9.3数据采集数据管理方应严格按照9.2的要求，采集满足相关需求的公共数据。9.4数据清洗数据管理方应按照开放数据目录的敏感级别等要求，对9.3采集的数据进行清洗数据应满足规范性、完整性、准确性、一致性和时效性等要求。9.5数据应用数据使用方基于开放数据开发数据应用，并在公共数据平台发布相关应用，同时从用户角度对数据质量进行验证，将相关结果反馈给平台数据管理方。数据管理方应积极响应公共数据使用方提出的相关需求。数据应满足规范性、完整性、准确性、一致性、时效性和可访问性等要求。9.6数据评估数据管理方应联合公共数据开放主体和公共数据使用方，开展数据评估工作。9.7数据退役数据管理方应结合9.6的评估结果及相关政策要求，对不再适合开放的数据进行归档或销毁。10数据质量检查10.1数据质量检查计划基于数据质量目标和评价体系规范，结合不同业务领域实际情况，梳理需要开展的数据质量检查任务，制定相应的数据质量检查计划，内容主要包括：a)数据质量检查的业务点位、系统点位；b)检查的数据对象；c)检查的项目、指标、方法、方式、工具；d)检查的时间、频次；e)检查人员及相关的数据质量责任人员；f)检查结果的输出要求；g)其他相关检查任务调度信息等。10.2数据质量监控DB54/T0426—20249根据数据质量规则中的有关技术指标和业务指标、校验规则与方法，结合剖析情况，对公共数据质量情况进行实时监控和校验，监控要求包括但不限于：a)对数据进行监控，明确数据的来源和去向；b)对规则校验的结果进行监控和分析，校验结果应定位到原始数据项。10.3数据质量问题处理对质量剖析、实时监控、系统维护发现的，以及内外部人员报告的数据质量问题，应及时进行处理、告警和反馈，并对问题进行记录、分类，统一汇聚到数据问题库或数据知识库，通过问题库或知识库实现问题查询、分发、跟踪；对质量问题告警进行定位分析、相似问题分析，宜利用元数据血缘分析来定位问题数据的路径节点及关联数据；对数据质量问题进行分类、统计，形成数据质量报表。11数据质量提升11.1数据质量问题分析质量问题原因与影响分析方面的内容包括但不限于：a)信息原因，指数据规范性异常，包括元数据标准异常、数据质量规则异常、变化频度异常等；b)流程原因，指信息系统处理流程和人工操作流程设置不当，包括数据的创建、传递、装载、使用、维护和稽核等流程；c)技术原因，指数据处理各技术环节的异常，包括数据校验规则设计不当、数据源接入不当、数据存储能力有限等，主要涉及数据创建、获取、传输、装载、使用、维护等环节；d)人员原因，指人员及管理机制不足，包括人员培训缺失、数据责任人不明确、激励与反馈机制e)问题影响，包括对数据管理、应用的直接影响，和对产品、业务、经营、公司竞争力的潜在影f)问题影响程度，可根据受影响的业务性质、造成的损失、修复难度等，将影响程度分级描述，比如一般影响、严重影响、重大影响等。11.2数据质量改进根据数据质量分析的结果，制定、实施数据质量改进方案，包括错