DB3307T 137-2024公共数据质量评价规范

ICS35.240.01CCSL703307QualityassessmentspecificationIDB3307/T137—2024前言 II 12规范性引用文件 13术语和定义 14指标体系框架 15评价指标 25.1评价指标设置原则 25.2指标说明 25.3评价方法 66评价程序 76.1评价流程 86.2评价流程图 8附录A（资料性）公共数据质量评价报告 9DB3307/T137—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本标准的某些内容可能涉及专利。本标准的发布机构不承担识别专利的责任。本文件由金华市大数据发展管理局提出、归口并组织实施。本文件起草单位：金华市大数据发展管理局、数字浙江技术运营有限公司、金华市计量质量科学研本文件主要起草人：徐李锐、庄迁伟、徐挺、薛海霞、刘家豪、施林波、赵勇、马慕遥、盛尚军、叶慧杰、冯骏、王秋娴。1DB3307/T137—2024公共数据质量评价规范本文件规定了公共数据质量评价的评价指标体系框架、评价指标、评价程序的要求。本文件适用于公共数据平台上公共数据的质量评价。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。DB33/T2350—2022数字化改革术语定义3术语和定义DB33/T2350—2022界定的以及下列术语和定义适用于本文件。3.1公共数据publicdate国家机关、法律法规规章授权的具有管理公共事务职能的组织以及供水、供电、供气、公共交通等公共服务运营单位，在依法履行职责或者提供公共服务过程中收集、产生的数据。3.2数据质量publicdatequality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[来源：GB/T36344—2018,2.3]4指标体系框架公共数据质量评价指标体系框架，见图1。2DB3307/T137—2024图1公共数据质量评价指标体系框架5评价指标5.1评价指标设置原则数据质量评价指标设置应遵循以下原则：——系统性：指标体系覆盖全面，综合考虑各要素对数据质量的影响，且各指标项之间尽可能相互独立；——科学性：需结合数据质量、数据生命周期管理的相关要求及实践情况，采用定性、定量的方法，科学设计评价指标体系；——通用性：根据不同参与主体、应用场景合理选择评价指标，并设置分值和权重；——可操作性：指标体系内容设置及评价方法符合公共数据共享的实际情况，选取数据可得、概念明确及计算方法简单的指标，此外评价内容和指标可量化，评价步骤和方法可操作，评价结果可使用。5.2指标说明5.2.1基础质量基础质量评价指标说明，见表1。3DB3307/T137—2024表1基础质量评价指标说明一级标1数据记录实际归属时间与目录所填报的数据时间覆盖范注：时间覆盖范围：目录编制时依据业务发生情况（按年、月、周、日、实时）进行时间覆盖范围填报，包括数据起始时间、数据截止时间，可剔除因未实际开展相关业务造成无数据记录））A=填报的数据截止时B=填报的数据起始时填报的数据时间覆盖2数据记录实际归属区域与目录所填报的数据区域覆盖范注：区域覆盖范围：目录编制时按照实际业务数据的地域来划分，进行区域覆盖范围填报。剔除因未开展相关业务造成A=实际业务覆盖且在填报地区内的区域数B=填报上传区域覆盖范围内的区域总数3数据记录实际归属业务与目录所填报的数据业务覆盖范注：业务覆盖范围：目录编制时按照业务发生情况B=填报上传全部业务中只包含A业务的数4例数据记录中不符合准确性清洗规则的数据记录条数占数表中原有10000条数据，根据清洗规则清洗后发现不准确数据5数据记录中不符合数据字典规范的异常记录数占数据记A=格式异常数据记录数据记录总数为106数据记录中异常重复的数据数据记录总数为104DB3307/T137—2024一级标记录条数占数据总条数的比A=异常重复数据记录7例符合唯一性的字段元素个数与有唯一性要求的数据字段A=符合唯一性的字段B=有唯一性要求的字有10个字段元素有唯一性要求，其中符合唯一性要求的字段元素有7个，则比值为8单等形式反馈问题的数据记录数与数据记录总条数的比A=反馈问题数据条数据记录总数为10反馈的问题数据条数为200条，则比值为9数据的实际更新频率与目录编制时填报的更新频率(小a=数据目录要求更新数据记录中最新的更新时间与要求的更新时间之间的差按要求数据记录更新点，但数据记录中实际的最新更新时间为例行业等数据标准的数据字段元素占有相关数据标准的数A=满足标准化要求的B=数据表中有国家、省级、行业等数据标准说明的总元素字段数据记录中共有20个数据字段元素，其中17个数据字段元素的数据符合数据标准，判断数据生成模型是否清晰数据生成模型规范，且清晰可理解，则评5DB3307/T137—2024一级标性a=数据模型是否符合5.2.2使用成熟度使用成熟度指标说明见表2。表2使用成熟度评价指标说明一级1数据编目时是否有完整配套数据目录中有数据说2设定数据表结构变更次数上A=评价周期内表结构B=评价周期内表结构上限为1，表结构实际变更2次，评价结果为5.2.3服务保障服务保障评价指标说明，见表3。表3服务保障评价指标说明一级1情况据及时整改比例的数据问题工单数与所有反馈的问题数据工单总数的比A=按时完成整改问B=反馈问题数据工馈的问题数据工单据整改情况为49/502数据审批通过据申请工单总数为6DB3307/T137—2024一级3数据审批及时性审批的数量与数据申请总数A=数据申请在按时据申请按时审批数为4个，数据申请总数为5个，则比值为5.2.4共享成效共享成效评价指标说明，见表4。表4共享成效评价指标说明1在使用数据后中对数据评分的平均值(去掉最大值和A=数据使用方评分的平均值(去掉最大值和最小B=数据使用方评分的中位为1、3、4，则满足条数据中位数3作为该指2数据以批量方式被申请共数占总的批量共享申请通A=该数据批量共享申请通B=数据批量共享申请通过据的批量共享申请通过次数为3次，总的批量共享申请通过数为3数据以接口形式被申请共有接口共享申请通过总数A=该数据接口共享申请通B=数据接口共享申请通过据接口申请通过次数5.3评价方法5.3.1重复值分析法在非冗余的情况下，将每条数据记录中的部分数据或者所有数据的取值，与所有的数据记录进行逐一比对，识别重复记录。可用于数据准确性相关指标评价。7DB3307/T137—20245.3.2缺失值分析法对每条数据记录的所有数据项进行逐一检查，识别是否存在空值。可用于数据完整性、数据规范性相关指标评价。5.3.3值域分析法将数据项的取值与字段的取值区间进行比对，识别是否超出取值区间。用于数据完整性、数据规范性相关指标评价。5.3.4逻辑关系分析法对数据记录中相关数据项取值的内在逻辑关系进行分析，识别违背逻辑关系的数据记录。用于数据准确性、数据及时性相关指标评价。5.3.5经验分析法对比验证数据取值与日常生产生活中产生的经验取值，证实或证伪数据内容。用于数据准确性、使用成熟度、共享成效相关指标评价。注：经验分析法常与逻辑关系分析法、词组比对分析法联合使用。5.3.6描述统计法通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。用于数据完整性相关指标评价。5.3.7对比分析法将两个或两个以上的数据进行比较，分析其中的差异，从而揭示这些事物代表的发展变化情况以及变化规律。用于数据准确性、数据及时性、评价周期内表结构稳定性、问题数据整改情况等相关指标评价。5.3.8平均分析法利用平均数指标来反映某一特征数据总体的一般水平。用于数据准确性、数据规范性、数据审批情况、用户对数据使用的评价等相关指标评价。5.3.9交叉分析法用于分析两个变量之间的相互关系的一种基本数据分析法。用于数据易用性、数据准确性相关指标评价。5.3.10关联性分析法作为一种数据挖掘技术，根据数据之间的关联性强度对数据质量进行评价，可以确定数据的利用效率。用于共享成效中应用接口共享使用次数比例、应用接口共享使用次数比例等相关指标评价。5.3.11全量检测法对整个数据集合进行检测，检测结果相对精准。用于整个评价体系各项指标评价。6评价程序8DB3307/T137—20246.1评价流程6.1.1申请公共数据来源机构提出申请公共数据质量评价。6.1.2对象确定根据申请的数据目录确定对应的数据表作为评价对象。6.1.3指标选择根据实际需要从第5章评价指标中选定适当的评价指标。6.1.4赋分规则应对选中的评价指标设置分值和权重。6.1.5数据获取加载公共数据平台数据到数据评价系统。6.1.6分值计算应对评价对象的各项指标依据6.1.4条款的赋分规则计算分值。6.1.7评价结果根据分值计算，汇总形成评价结果。6.1.8报告应根据基础质量、使用成熟度、服务保障、共享成效四个维度的评价结果，自动生成评价报告，报告模版应统一，示例参见附录A。6.2评价流程图评价流程图见图2。图2公共数据质量评价流程图9DB3307/T137—2024（资料性）公共数据质量评价报告A.1报告报告内容包括不限于以下部分：——报告总览图；——评价结果示例；——报告总结与意见建议。A.1.1报告总览报告总览示例见图A.1。评价对象：XXXX（数据目录名称）评价总体得分：94分评价机构：金华市大数据发展管理局评价对象归属单位：XXXX（部门名称）评价结论：通过（自定义通过阈值）评价时间：2023年11月20日图A.1报告总览图示例A.1.2评价结果示例A.1.2.1基础质量评价赋分60分，评价结果示例见表A.1。DB3307/T137—2024表A.1基础质量评价结果示例一级152435445565758395是是555是是A.1.2.2使用成熟度评价赋分10分，评价结果示例见表A.2。表A.2使用成熟度评价结果明细示例一级15是是25是是A.1.2.3服务保障评价赋分20分，评价结果示例见表A.3。DB3307/T137—2024表A.3服务保障评价结果示例一级1情况2535A.1.2.4共享成效评价赋分10分，评价结果示例见表A.4。表A.4共享成效评价结果示例一