DB35∕T 1952-2020 公共信息资源开放 数据质量评价规范

I35DB35/T1952—2020公共信息资源开放数据质量评价规范Opendata—Specificationforqualityevaluation2020-12-30发布2021-03-30实施福建省市场监督管理局发布IDB35/T1952—2020 II 12规范性引用文件 13术语和定义 14数据集元数据描述 25数据质量评价原则 36数据质量评价方法 36.1重复值分析法 36.2缺失值分析法 46.3值域分析法 46.4逻辑关系分析法 46.5词组比对分析法 46.6实验观察法 46.7经验分析法 47数据质量评价指标 47.1完整性 47.2一致性 5 67.4可机读性 77.5规范性 87.6及时性 97.7原始性 97.8非歧视性 97.9安全性 108数据质量评价步骤 8.1步骤 108.2选择评价指标 8.3初步评价 8.4数据集元数据评价 8.5标识数据记录评价 8.6内容数据记录评价 8.7形成评价结果 附录A（资料性）评价结果应用示例 DB35/T1952—2020本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由福建省经济信息中心提出。本文件由福建省信息化标准化技术委员会归口。本文件起草单位：福建省经济信息中心、浪潮软件股份有限公司。本文件主要起草人：阙天豪、何坤山、郑清溪、吴阳、戴起飞、张兆勇、鲍庆峰、许剑雄。DB35/T1952—20201公共信息资源开放数据质量评价规范本文件给出了公共信息资源开放数据集元数据描述，确立了数据质量评价的原则、方法、指标和步骤。本文件适用于公共信息资源管理、开放、开发和质量评价等活动中的数据质量评价。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T7408—2005数据元和交换格式信息交换日期和时间表示法GB/T19710—2005地理信息元数据GB/T36344—2018信息技术数据质量评价指标3术语和定义GB/T19710—2005、GB/T36344—2018界定的以及下列术语和定义适用于本文件。3.1政务部门governmentdepartment国家机关、经法律法规授权或者受委托管理公共事务的事业单位和团体组织。3.2公共信息资源publicinformationresources政务部门、公共服务企业在履行职责或经营过程中制作或获取的，以一定形式记录、保存的，与企业和公众息息相关的文件、资料、图表和数据等各类信息资源。3.3公共信息资源开放openingofpublicinformationresources经过数据加工处理后，将不涉及国家秘密、商业秘密和个人隐私的公共信息资源，通过公共信息资源开放平台，提供给社会使用的过程。3.4数据质量dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。2DB35/T1952—2020[来源：GB/T36344—2018，2.3]3.5数据质量评价dataqualityevaluation按照数据质量评价指标体系，采用适当的方法对数据质量进行评估，并形成数据质量评价结果的过程。3.6数据集dataset具有一定主题，可以标识并可以被计算机化处理的数据集合。[来源：GB/T36344—2018，2.6]3.7元数据子集metadatasection元数据的子集合，由相关的元数据实体和元素组成。[来源：GB/T19710—2005，4.8]3.8数据的不可分割的最小单位。4数据集元数据描述数据集元数据包括标识子集和内容子集，描述见表1。表1数据集元数据1234567DB35/T1952—20203表1数据集元数据（续）8提供单位更新公共信息属于结构化数据资源的，按更新频率较快的9提供单位发布公共信息提供单位更新公共信息数据项名称、数据项格5数据质量评价原则5.1系统性综合考虑各要素对数据质量的影响，全面评价公共信息资源开放应具备的条件、要求和优化提高数据质量的要素。5.2通用性根据不同参与主体、应用场景合理选择评价指标，并设置分值和权重。5.3可操作性评价内容和指标可量化，评价步骤和方法可操作，评价结果可使用。6数据质量评价方法6.1重复值分析法DB35/T1952—20204在非冗余的情况下，将每条数据记录中的部分数据项或者所有数据项的取值，与所有的数据记录进行逐一比对，识别重复记录。6.2缺失值分析法对每条数据记录的所有数据项进行逐一检查，识别数据记录的数据项是否为空。6.3值域分析法将数据项的取值与字段的取值区间进行比对，识别是否超出取值区间。6.4逻辑关系分析法通过对数据记录中相关数据项取值的内在逻辑关系进行分析，识别违背逻辑关系的数据记录。6.5词组比对分析法将数据记录目标数据项的取值与目标敏感词、常见错词等词库内容进行比对，识别与词库相同的数据记录。6.6实验观察法设置某些条件，通过控制行为过程，观察符合条件的结果是否出现。6.7经验分析法对比验证数据取值与日常生产生活中产生的经验取值，证实或证伪数据内容。经验分析法常与逻辑关系分析法、词组比对分析法联合使用。7数据质量评价指标7.1完整性完整性评价指标见表2。表2完整性评价指标1完整性2性析DB35/T1952—20205表2完整性评价指标（续）3完整性性填写不完整得0内容子集元数据完整性示址是“旅行社名录”数据4标识数据记录的所有数据析标识数据记录的信息资源56析数的内容子集元数据保存了数据集的最基本、最子集元数据均有不同。数据质量评价时，根据数据集名称、内容、产生此数7.2一致性一致性评价指标见表3。DB35/T1952—20206表3一致性评价指标1致性性分析2性分析A=内容数据记录有限公司”3分析内容子集元数据的计量单4A=内容数据记录7.3唯一性唯一性评价指标见表4。DB35/T1952—20207表4唯一性评价指标1唯性析旅游景区名录”的数据集且内容相同，出现了数据集重复2据唯一性析3析7.4可机读性可机读性评价指标见表5。表5可机读性评价指标1可机读性性可下载的数据集格式易被机0数据集可机读性示例/说明b）将非结构化的DOC、PDF等文件中的数据通过生硬方格式，而数据实质上仍是非DB35/T1952—20208表5可机读性评价指标（续）1可机读性性17.5规范性规范性评价指标见表6。表6规范性评价指标1规范性性分析的，元数据名称为“xm”2义3性标识数据记录的数据项格4内容数据记录中数据项填写的内容清晰，有明确的字典含义，且符合实际业A=内容数据记录“200项DB35/T1952—20209表6规范性评价指标（续）5规范性性7.6及时性及时性评价指标见表7。表7及时性评价指标1及时性7.7原始性原始性评价指标见表8。表8原始性评价指标1原始性放7.8非歧视性DB35/T1952—2020非歧视性评价指标见表9。表9非歧视性评价指标1分析开放数据集的申请条件较难7.9安全性安全性评价指标见表10。表10安全性评价指标1安全性敏包含了旅行社员工完整的身8数据质量评价步骤8.1步骤公共信息资源开放数据质量评价步骤见图1。DB35/T1952—2020开始开始选择评价指标初步评价数据集元数据评价详细评价详细评价标识数据记录评价标识数据记录评价内容数据记录评价内容数据记录评价形成评价结果形成评价结果图1数据质量评价步骤8.2选择评价指标从第7章数据质量评价指标选择合适的数据集评价指标。8.3初步评价按照数据集完整性、唯一性、可机读性、可调用性、公开及时性、原始性、获取非歧视性和安全性等指标，进行数据质量分析评价。8.4数据集元数据评价按照数据集标识子集元数据完整性，以及内容子集元数据完整性、唯一性和规范性等指标，进行数据质量分析评价。8.5标识数据记录评价按照数据集标识数据记录信息规范性，以及标识数据记录数据项完整性、数据项内容与元数据一致性、数据项格式填写规范性等指标，进行数据质量分析评价。8.6内容数据记录评价按照数据集内容数据记录完整性、一致性、唯一性，以及内容数据记录数据项完整性、与元数据一致性、与元数据计量单位一致性、填写规范性、取值规范性、格式填写规范性等指标，进行数据质量分析评价。DB35/T1952—20208.7形成评价结果综合初步评价和详细评价步骤的结果，汇总形成评价结果。若需要计算得分，推荐根据实际需要选定适当的评价指标并设置分值和权重，按照百分制计分，得分达到或超过60分为合格，低于60分为不合格。评价结果应用示例详见附录A。DB35/T1952—2020评价结果应用示例评价结果应用示例见表A.1。表A.1评价结果应用示例1唯一性、规范性、及时性和安全性等指标，检测已加工处理的拟开放数23及时性、原始性、非歧视性和安全性等指标，对政务部门、公共服务企原始性、非歧视性和安全性等指标，对公共信息资源开放平台管理单位4DB35