公共数据 数据治理规范 第5部分：数据质量-地方标准编制说明

1《公共数据数据治理规范第5部分:数据质量》(报批稿)地方标准编制说明一、工作简况（一）任务来源（二）起草单位、起草人及任务分工本标准的起草单位为山东省大数据局、山东省财政厅、山东省民政厅、山东省大数据中心、济南市考古研究院、威海市社会救助服务中心、山东新一代标准化研究院有限公司、山东省国有资产投资控股有限公司。本标准的主要起草人为王伟、杨阳、马骁、段志伟、张泽胜、张强、何俊发、李杨、郑毅、孙亮、郝晓乐、郭雨晴、赵世阳、杜晓飞、张昭、周杨误、石伟、陈洪波、王溪、刘佳佳、赵佳晖。起草人任务分工：王伟、杨阳、马骁、段志伟、张泽胜负责标准总体设计、技术把关工作，张强、何俊发、李杨、郑毅、孙亮负责标准资料调研、汇总等工作，郑毅、孙亮、郝晓乐负责技术资料分析、标准框架搭建等工作，郭雨晴、赵世阳、杜晓飞、张昭、周杨误、石伟负责标准内容起草、征求意见及修改、专家研讨及意见修改、送审材料编写等工2作，陈洪波、王溪、刘佳佳、赵佳晖等负责参与标准各阶段的技术讨论、标准的试验论证等工作。（三）起草过程标准编写组启动标准调研工作，对数据治理规范相关的标准和政策文件进行收集、研究，重点搜集数据质量相关的国家标准、行业标准、地方标准等资料。召开多次内部讨论会，充分借鉴国家和各省市数据质量治理工作提供的经验做法，并结合我省数据质量治理的实际工作和数据质量要求实际情况，确定了标准范围、标准框架和内容编制思路。调研组根据前期文件、省直部门和地市的实际需求调研，与标准负责人深入沟通，紧密结合业务和系统数据情况进行资料收集。标准编写组根据收集的资料和分析结论，搭建标准框架，确定标准框架和主要技术内容，编写形成标准草案。针对标准草案，标准编写组先后组织召开了多次多方共同参与的内部研讨会，对标准适用性、标准技术内容等开展研讨，根据研讨意见对标准草案多轮次迭代优化，形成征求意见稿。2022年11月以来，标准编写组多次讨论标准征求意见稿初稿，对《公共数据数据治理规范第5部分：数据质量》的框架、技术内容相关问题进行研讨，按照相关要求对标准草案进行了修改完善，形成征求意见稿。面向34个省3直部门和地市广泛征求意见，征求意见期限为一个月，收到25个省直部门和地市的征求意见回函，回函并有建议或意见的单位数6个。本标准一共收取7条意见，采纳6条，部分采纳1条。主要意见有：（1）建议补充数据命名的规范要求，避免无法通过命名直接了解数据内容的情况。经标准编写组讨论，决定采纳该意见，对数据文件、数据集、数据字段等命名进行了规范。（2）建议要求数据的格式类型应符合相应国家标准。经标准编写组调研，确定GB/T19488.1中对数据的格式类型有明确规定，最终决定采纳该意见，要求数据的格式类型应符合GB/T19488.1中的要求。（3）建议补充时序规范、符合预期和关联数据一致的示例。经标准编写组讨论，为帮助理解标准要求，决定采纳意见，补充上述要求的示例说明。（4）建议要求设置默认值替代空值。经标准编写组与技术团队沟通，从技术上来讲，该要求可以得到满足；后与相关部门确定，确定该要求符合实际需求。最终标准编写组决定采纳该意见。（5）建议补充数据获取无歧视的要求，即不得对中小企业和社会组织等主体设置歧视性的数据获取条件。经标准编写组讨论，决定部分采纳该意见，要求不得设置歧视性条件，但需将范围限定在开放数据，原因如下：不得设置歧视性条件要求合理，能够有助于促进公共数据开放利用，然而4考虑到部分公共数据可能由于涉及隐私等原因不便于开放，如要求所有数据获取均不得设置歧视性条件会影响数据安全，因此要求对于可开放的数据，不得设置歧视性获取条件。4.送审稿形成阶段（2023年1月-2024年8月）标准编写组整理归纳征求意见单位和地市的反馈意见，组织召开多次内部讨论会，逐条对意见反馈情况进行处理，对标准进一步修改完善，并同步准备送审材料，形成标准送审稿。2024年9月26日，山东省大数据局在济南市历下区省府前街1号综合楼613组织召开了《公共数据数据治理规范第5部分：数据质量》（2021年度山东省地方标准制修订项目计划—2021-T-197）山东省地方标准专家审查会议，省市场监管局对审查会议进行监督指导。邀请山东省建设培训与执业资格注册中心、中国标准化研究院、山东省监狱管理局信息科技处、山东省生态环境监测中心、山东省社会救助服务指导中心、山东省工信厅工业行业离退休干部服务中心、山东省社会治安综合治理服务中心、山东教育电视台、济南大学等单位共9名专家组成了审查委员会。审查委员会听取了标准编制情况汇报，对标准文本进行了逐章、逐条审查，对标准编制说明等进行了审查。会议提出的主要问题和处理结果如下：（1）“规范性引用文件”一章未引用GB/T34960.5—52018《信息技术服务治理第5部分：数据治理规范》、GB/T36344—2018《信息技术数据质量评价指标》两项国家标准，建议增加，标准编写组经讨论后，未采纳本条意见，有关考虑，按照GB/T1.1的要求，通过规范引用的标准应放在“规范性引用文件”一章中，其他提及文件放在参考文献中，两项国家标准在“证实方法”一章中不是规范性引用，因此不作修改。（2）“证实方法”一章建议增加日志留痕、配合审计的内容，标准编写组经讨论后，增加“大数据工作主管部门、公共管理和服务机构记录数据治理操作过程，形成日志进行留痕，配合审计数据治理过程”的相关内容。（3）根据前期文件调研以及本系列标准制定情况，为进一步发挥本标准对山东省数字强省建设工作的保障和规范作用，参考已发布的国家标准GB/T34960《信息技术服务治理》，审查委员会经讨论论证，建议该标准名称由《政务共数据数据治理规范第5部分：数据质量》。标准编写组根据专家审查会意见情况对标准作了认真修改，形成标准报批稿，按照相关程序对标准进行报批。二、地方标准制定目的和意义本标准制定的目的主要是确定数据质量要求，明确数据质量管理要求和数据质量验证方法，规定各政务部门归集数据至大数据工作主管部门的数据质量相关要求。6标准制定意义：可对全省数据质量治理工作进行统一规范，满足数据质量提升的需要，有利于数据治理工作的对全省公共数据资源进行有效管理，有效解决数据质量要求不一致等问题，为数据治理工作提供标准化支撑。三、地方标准编制原则、主要技术内容和确定依据（一）标准编制原则本标准依据GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》给出的规则起草，该标准编写的主要原则如下：1.科学性原则：本标准依据已经发布的相关国家标准、行业标准、地方标准制定，紧密结合我省一体化数据资源体系实际建设情况，具有较高的科学性。2.需求主导原则：本标准的制定充分考虑山东省公共数据质量相关工作的实际情况，调研分析省直部门和地市公共数据质量治理的需求，确定公共数据质量治理标准，确保标准与实际需求协调一致。3.紧密结合工程建设原则。标准研制与数据资源体系建设情况相互协调，充分调研数据资源体系中各组成部分的实际建设情况，并在标准编制过程中及时根据建设中反馈的问题完善标准。（二）本标准主要技术内容7本文件规定了公共数据质量的要求和证实方法等。本文件适用于各级公共管理和服务机构依托省一体化大数据平台开展公共数据质量提升工作。本文件主要内容包括：本部分主要明确了标准文本提出的缩略语，如IP—网络互联协议。本部分主要明确了数据质量提升工作的基本要求，包括数据全生命周期的质量要求和数据质量提升的要求。本部分主要明确了数据质量指标的相关要求，包括规范性、完整性、准确性、一致性、唯一性、时效性和可访问性。本部分主要提出了数据质量要求的证实方法方法。（三）本标准主要技术内容的确定依据1.相关标准和技术文献-《全国一体化政务大数据体系建设指南》（国办函〔2022〕102号）-《山东省深化数据“汇治用”体系建设加快推进数据价值化实施方案》（数字强省办发〔2023〕8号）-《山东省“十四五”数字强省建设规划的通知》（鲁政字〔2021〕128号）-《山东省支持数字经济发展的意见》（鲁政办字8〔2019〕124号）-GB/T1.1—2020标准化工作导则第1部分：标准化文件的结构和起草规则-GB/T19488.1—2004电子政务数据元第2部分：公共数据元目录-GB/T33850—2017信息技术服务质量评价指标体系-GB/T36344—2018信息技术数据质量评价指标-DB37/T4646.1—2023公共数据数据治理规范第1部分：数据归集-DB37/T4646.2—2023公共数据数据治理规范第2部分：数据清洗比对2.标准编制背景2022年10月，国务院发布《全国一体化政务大数据体系建设指南》（国办函〔2022〕102号），提出加强政务数据治理的目标，要求明确数据治理规则，对归集的数据进行全生命周期的规范化治理。各地区各部门按照国家标准规范，细化数据治理规则，开展数据治理工作。按照“谁管理谁负责、谁提供谁负责、谁使用谁负责”的原则，建立健全数据质量反馈整改责任机制和激励机制，加强数据质量事前、事中和事后监督检查，实现问题数据可反馈、共享过程可追溯、数据质量问题可定责，推动数据源头治理、系统治理。强化数据提供部门数据治理职责，确保数据真实、可用、有效共9享；数据使用部门要合规、正确使用数据，确保数据有效利用、安全存储、全面归档；数据管理部门要会同数据提供、使用部门，完善数据质量管理制度，建立协同工作机制，细化数据治理业务流程。2021年7月，山东省人民政府关于印发《山东省“十四五”数字强省建设规划的通知》（鲁政字〔2021〕128号提出构建数据全生命周期质量管理体系，健全数据质量相关标准规范，完善问题数据反馈校验机制，不断提高数据完整性、准确性、可用性和实效性。全面深化数据开放，扩大数据开放范围，提升开放数据质量。2021年12月，山东省大数据局关于印发《山东省公共数据共享工作细则（试行）》的通知（鲁数发〔2021〕明确了提出数据治理要求，开展数据治理工作。公共管理和服务机构应按照统一要求，开展数据源头治理，提升数据完整性、准确性，加强对公共数据采集、治理、共享、应用等过程的安全管理。2022年5月，山东省人民政府办公厅印发《深化数据赋能建设“无证明之省”实施方案的通知》（鲁政办字〔2022〕50号重点提出深化数据整合共享，依托省一体化大数据平台开展数据源头治理，分级分类推进各领域数据资源统一汇聚和服务；提出完善一体化大数据平台，提升全省一体化大数据平台数据治理和开发服务能力，按需建设省市节点“数据服务中台”，支撑各级各部门开展数据源头治理和创新应用。要求统筹制定电子证照证明数据质检规范，明确实体证照要素缺失、颁发机构调整等特殊情况的处理流程，组织补齐历史证照数据，不断提高电子证照证明数据的完整性和准确性。2023年10月，山东数字强省建设领导小组办公室印发《山东省深化数据“汇治用”体系建设加快推进数据价值化实施方案》提出强化公共数据源头治理，制定业务数据标准，提升源头数据质量，要求建立完备的数据质量反馈整改责任机制和激励机制，基本实现公共数据“一数一标准”。加强公共数据治理、脱敏等基础性处理，在保障数据安全的前提下，面向社会提供高质量、大规模、多样性公共数据训练集，支撑通用大模型、细分领域小模型应用。3.标准主要内容的确定（1）标准框架的确定一方面标准编写组调研了国家和其他省市已发布的数据质量相关规范的标准框架，总结出数据质量通常以完整性、唯一性、一致性等几个方面作为技术评估指标。另一方面对我省的省市县三级一体化大数据平台中各政务部门的数据质量的实际情况展开调研，通过调研的方式了解我省公共数据质量的现状、质量评估的方式方法和数据质量发展情况，了解到当下需要一套成熟的数据质量治理规范对日常工作进行指导和规范，以保证全省以及各地市公共数据质量治理工作合理有效展开。结合以上实际情况，标准编写组搭建了标准框架，主要包括基本要求、数据质量要求、证实方法等内容。其中，数据质量要求按照规范性、完整性、准备性、一致性、时效性和可访问性的不同维度进行规范。（2）数据质量基本要求的确定本标准数据质量基本要求的确定，是在调研数据质量相关国家标准、行业标准、地方标准后，考虑山东省数据质量工作开展的实际情况，最终从数据全生命周期质量管理工作层面和数据质量提升工作层面对数据质量作出基本要求。（3）数据质量要求的确定本标准对数据质量指标的确定，是在调研数据质量相关国家标准、行业标准、地方标准、相关期刊和论文，参考已发布的国家标准GB/T36344—2018《信息技术数据质量评价指标》，结合山东省实际的数据质量相关工作开展情况，最终从技术指标维度对数据质量进行要求，规定了数据质量指标应包括规范性、完整性、准确性、一致性、唯一性、时效性和可访问性。经过与相关部门和技术团队对接沟通，在上述7项指标的基础上进行修改和细化，最终形成了数据质量要求的详细说明。四、