（正式版）DB31∕T 1523-2024 《 公共数据质量评价要求》

公共数据质量评价要求2025-03-01实施2025-03-01实施上海市市场监督管理局发发出布版I Ⅲ 12规范性引用文件 13术语和定义 14总体要求 25评价指标体系 5.1指标体系框架 25.2指标编码 5.3评价指标 46评价方法 97评价流程 107.1评价准备 7.2评价方案编制 7.3评价实施 附录A(资料性)公共数据质量评价示例 11参考文献 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由上海市数据局提出并组织实施。1公共数据质量评价要求本文件适用于上海市公共数据的质量评价与改进。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文GB11643—1999公民身份号码GB/T35295—2017信息技术大数据术语GB/T36344—2018信息技术数据质量评价指标3术语和定义公共数据publicdata公共数据质量publicdataquality公共数据在使用时，数据的特性满足明确的和隐含的要求的程度。数据模型datamodel注：实际应用中通常会区分语义数据模型和逻辑数据模型。示例1:由框图组成的，且框图代表了对业务有意义的事务集，如“人”或“行动”,以及描述这类实体对之间关系的线条是语义模型。示例2:应用特定数据管理技术的关系表或可扩展标记语言XML等是逻辑数据模型。24总体要求4.1公共数据质量评价应在物理设备、网络连接、系统权限等正常的情况下进行，并遵循客观公正原则。4.2公共数据质量评价指标的设计应以融入业务、聚焦关键、遵循标准为原则，并符合可度量、可接受、b)公共数据提供方应根据管理方和使用方要求，制定公共数据质量管理目标，确认公共数据质量5评价指标体系5.1指标体系框架公共数据质量评价指标体系应按照GB/T36344—2018的指标框架，由若干个能够反映公共数据质量特性、相互独立又相互联系的指标组成，见图1。公共数据可访问性公共数据可访问性公共数据时效性公共数据一致性公共数据准确性公共数据完整性公共数据规范性图1公共数据质量评价指标体系框架a)公共数据规范性：数据符合数据标准(包括数据类型约束规范性、数据格式约束规范性、数据长c)公共数据准确性：数据准确性表示其所描述的实体真实值的程度，包括数据内容正确性、数据格d)公共数据一致性：数据与其他特定上下文中使用的数据无矛盾的程度，包括相同数据一致性、关联数据一致性(包括表内等值一致性、表内逻辑一致性、跨表等值一致性、跨表逻辑一致性)、内容数据记录数据项与元数据一致性等；e)公共数据时效性：数据在时间变化中的正确程度，包括基于时间段的正确性、基于时间点的及时f)公共数据可访问性：数据能被访问的程度，包括可访问和可用性等。各指标及其内容应结合公共数据业务预期进行设计。5.2指标编码5.2.1编码规则和三级指标的从属关系顺序编码。每一级指标代码分别用2位阿拉伯数字表示。编码规则如图2所示。图2指标编码规则5.2.2一级指标代码第1位和第2位一级指标代码由2位阿拉伯数字组成。一级指标代码及含义见表1。表1一级指标代码及含义5.2.3二级指标代码第3位和第4位二级指标代码由2位阿拉伯数字组成，编码范围为01～99。其中，91～99表示其他类。5.2.4三级指标代码第5位和第6位三级指标代码由2位阿拉伯数字组成，编码范围为00～99。其中，00表示沿用二级指标，91～99表示其他类。45.3评价指标5.3.1公共数据规范性公共数据规范性评价指标见表2。表2公共数据规范性评价指标指标示例的范围包括但不限于国际“公民身份号码”应符合体码和1位数字校验码组成；X表示数据标准指标的得分；标的得分；标的得分；数据类型约“报销金额”数据类型应为数标的得分；素的个数；数据格式约“邮箱地址”应满足有效邮箱标的得分；素的个数；数据长度约化数据“手机号”数据长度应为11位标的得分；素的个数；数据模型数据集中数据符合数据模型的度量，适用于结构化数据学生所属系的模型，学生表中空值。当修改系表中ID时，应关联更新所有学生表中属于X表示数据模型指标的得分；A表示满足数据模型要求的元素的个数；型值域等内容的数据字典等X表示元数据指标的得分；的个数；5表2公共数据规范性评价指标(续)指标示例业务规则服务业务规则的度量，适用于结构化数据龄，男性年龄应大于22周岁，女性年龄应大于20周岁X表示业务规则指标的得分；考源)源)指标的得分；素的个数；安全规范安全规范要求进行脱敏处理X表示安全规范指标的得分；5.3.2公共数据完整性公共数据完整性评价指标见表3。表3公共数据完整性评价指标指标示例数据元素的赋值程度分析需求A表示被赋值的元素的个数；数据记录的赋值程度整的X表示数据记录完整性指标的A表示被赋值的元素的个数；5.3.3公共数据准确性公共数据准确性评价指标见表4。6表4公共数据准确性评价指标指标示例5m之间元素的个数；度、精度等)是否满足预期要求如“国土面积”保留小数点后素的个数；数据集中特定字段、记录、在本市第一批优秀历史建筑名单表中存在两条关于“×××全一致，表明出现了不必要的数据重复A表示重复的元素的个数；数据集中特定字段、记录、的都是唯一的，没有重复的身的个数；脏数据出数据集中正确字段、记录、制不健全或者不完善导致读取临时值产生的脏数据与政府法人库的“统一社会信标的得分；的情况下，与该参照保持一致的元素的个数；5.3.4公共数据一致性7表5公共数据一致性评价指标指标示例数据集中同一数据在不同户使用时，数据的一致性；同位置的同一数据被同步据个数；关联数据规则检查关联数据的一资产负债表与利润表的一致性的得分；跨列的元素值的关系是否资产负债表中，“资产=负债十性的数据个数；跨列的元素值的逻辑关系是否保持一致，适用于结构“身份证号”的第7位～第14位数字符合性的数据个数；元素值的关系是否保持一的得分；数据个数；言，元素值的逻辑是否保持一致，适用于结构化数据晚于学生入学表中的“入学日期”数据个数；8表5公共数据一致性评价指标(续)指标示例内容数据X表示内容数据记录数据项与元数据一致性指标的得分；项与元数据一致的数据个数；5.3.5公共数据时效性公共数据时效性评价指标见表6。表6公共数据时效性评价指标指标示例的正确性频率分布符合业务需求的以本市每日天气信息为例，为实现提示市民应对天气变化的标的得分；的个数；基于时间点的及时性具有时效性的数据应及时公开或提供，公开的数据在有效期限内以本市高校专业设置情况及对外联系方式为例，其数据公开标的得分；时序性元素直接的相对时序关系，以股票交易数据为例，抽取某股票的若干交易数据，确认以X表示时序性指标的得分；供数据的使用以个人健康数据为例。A医院可以调取和存储B医院的个人健康信息，但仅在治疗期间有的B医院获取的健康信息自动标的得分；元素个数；5.3.6公共数据可访问性公共数据可访问性评价指标见表7。9指标示例可访问以婚姻核验为例，在调用婚姻核验数据时可调用成功X表示可访问指标的得分；素个数；以本市失业登记信息为例，提供持续适配应用场景、可用的失业登记信息X表示可用性指标的得分；6.2公共数据质量的最终得分按公式(1)进行计算。一级指标得分按公式(2)计算，二级指标得分按公式(3)进行计算。P——评估对象最终得分；i——第i个一级指标；X,——第i个一级指标的权重。j——第j个二级指标；n——第i个一级指标项下的结尾二级指标序号；S,—第j个二级指标(在第i个一级指标项下)实际得分；Y,——第j个二级指标(在第i个一级指标项下)的权重。m——第j个二级指标项下的结尾三级指标序号；b——第j个二级指标项下的起始三级指标序号；T以——第k个三级指标(在第j个二级指标项下)实际得分；Z——第k个三级指标(在第j个二级指标项下)的权重。7评价流程7.1评价准备7.2评价方案编制7.2.1指标确定量管理目标。质量评价指标宜完整覆盖第5章规定的指标体系，公共数据评价方可结合实际需求，增加个性化指标。7.2.2权重设定7.2.3规则确定7.2.4方案编制和确认7.3评价实施7.3.1启动评价录A。(资料性)公共数据质量评价示例A.2评价准备a)明确评价对象是婚姻相关公共数据集；姻相关数据质量要求；A.3评价方案编制A.3.1指标确定A.3.2权重设定公共数据评价方根据婚姻数据质量评价的实际需求，基于数据质量问题影响程度设定各级指标权最新的婚姻数据能够准确反映社会现状。见表A.1。A.3.3规则确定公共数据评价方根据选定的评估指标、评估对象确定数据质量规则。A.3.4方案编制和确认A.4评价实施A.4.1启动评价为100分。通过日常评价和阶段性评价，婚姻相关数据质量总分和各层级指标表A.1婚姻数据质量评价指标、权重及得分一级一级X二级指Z评价规则T二级指S一级RP11公民身份号码格式为18位；婚姻事项代码遵1一一一一一时间相符一唯一性一一公民身份号码数据唯一一关联数据1出生日期与公民身份号码中的出生年月日在涉及双方的记录中，名、证件号码等信息相时效性基于时间点及时性1一一数据更新时间符合一定的频率标准，如每日的值一问性可访问1一一时可调用成功一A.4.2报告编制(部分)如图A.1所示。可访问15完整性完整性准确性规范性时效性可访问图A.1婚姻数据质量分析[2]GB/T25000.12—2017系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部[3]