数字技术 数据元件 质量评价与管理-20231008

1T/CIITA411-2023数字技术数据元件质量评价与管理本文件明确了数据元件质量管理的框架、质量评价指标、质量评价模型、质量评价流程和质量管理机制，规范了数据元件质量评价的指标、方法和流程。本文件适用于数据元件开发设计、使用中的质量评估，为数据运营商评估数据元件质量和管理提供相关指导。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T25069-2010信息安全技术术语GB/T37973-2019信息安全技术大数据安全管理指南GB/T37988-2019信息安全技术数据安全能力成熟度模型GB/T36344-2018信息技术数据质量评价指标T/CIITA406-2022数据元件的结构要求3术语和定义T/CIITA406-2022界定的以及下列术语和定义适用于本文件。3.1数据质量dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[来源：GB/T36344-2018，2.3]3.2数据标准datastandard数据的命名、定义、结构和取值规范方面的规则和基准。[来源：GB/T36344-2018，2.8]3.3数据元件datacomponent具有一定主题，通过对数据资源脱敏处理后，根据需要由若干相关字段形成的数据集或由数据资源的关联字段通过建模形成的数据特征。3.4ⅡT/CIITA411-2023数据运营商dataoperator在获得授权运营的前提下，整合政务数据、社会数据等资源，推动数据价值开发和运营管理的机构。4质量评价与管理框架数据元件质量评价与管理建立在数据资源质量和数据元件结果质量两方面。图1给出了数据元件生产和管理过程中的质量评价与管理的总体框架图。数据元件的质量指标体系主要由数据资源质量评价指标和数据元件结果评价指标构成。数据资源质量评价指标包括以下方面：——数据资源完整性，——数据资源规范性，——数据资源准确性，——数据资源唯一性，——数据资源一致性，——数据资源时效性。数据元件结果质量评价指标包括以下方面：——数据元件结果规范性，——数据元件结果完整性，——数据元件结果准确性，——数据元件结果时效性，——数据元件结果可用性。5质量评价指标5.1质量评价指标概述数据元件使用的数据资源和数据元件结果是影响数据元件质量的两大影响因素，对数据元件质量的管理工作从这两方面开展。对使用的数据资源从完整性、规范性、准确性、时效性、一致性、唯一性六个维度进行质量检测，对数据元件的结果从完整性、规范性、准确性、时效性、可用性五个维度进行质量检测。5.2数据资源质量评价指标3T/CIITA411-20235.2.1数据资源完整性完整性主要用于描述数据属性信息是否存在缺失数据记录。数据资源完整性可以通过统计数据资源中缺失的记录数与数据记录总数的比例进行评价。5.2.2数据资源规范性规范性指标主要用于评估数据内容与数据标准的符合度情况。一般来说包含格式合规性和值域有效性。5.2.3数据资源准确性准确性是指数据记录的信息是否存在异常或错误。准确性指标主要用于描述数据是否与其对应的客观实体的特征相一致。任何字段的数据都应该符合特定的数据格式与值。准确性用于度量哪些数据和信息是不正确的，或者数据是没有可用含义的，如果准确性指标无法满足，那么数据资源质量提供的数据就缺乏实际的业务使用价值。比如人的年龄不应该是负数，概率数字应该在0和1之间取值。不可靠的数据可能会导致错误的结果，由不准确的数据资源开发的数据元件必然也会有严重的问题。5.2.4数据资源唯一性唯一性主要用于度量与评估数据资源内容或相关属性的重复情况，用于识别和度量重复数据、冗余数据。现实世界中的同一个主体，在不同的数据源中常常有多个表达，在语法上相同或相似的不同记录可能会代表现实世界中的同一主体，因而会对同一主体造成重复性记录。唯一性包括但不限于以下内容：a)主键唯一性：数据的主键属性值确保唯一，不允许重复；b)数据唯一性：数据的全部或部分属性值确保唯一，不允许重复。5.2.5数据资源一致性一致性是指数据是否遵循了统一的规范，数据集合是否保持了统一的格式。数据资源一致性用于评价数据记录的规范和数据内容是否符合逻辑。数据资源的一致性反映的是数据与其它特定上下文中使用的数据无矛盾的程度。一致性分为相同数据的一致性和关联数据的一致性。5.2.6数据资源时效性时效性是指数据从产生到当前利用的时间间隔。时效性主要用于描述数据的更新周期、更新时间等时间特性对数据应用的满足程度。不同类型的数据应用对数据的时间特性有不同的要求。评价数据资源时效性的意义在于如果数据分析周期加上数据建立的时间过长，就可能导致分析得出的结论失去了借鉴意义。时效性包括但不限于以下内容：a)接入时效性：数据接入与数据产生的时间差在合理的时间范围内；b)更新时效性：数据内容更新与数据内容变动的时间差在合理的时间范围内。5.3数据元件结果质量评价指标5.3.1数据元件结果规范性ⅡT/CIITA411-2023规范性指标主要用于评估数据元件描述内容与数据元件结果的符合度情况。一般来说包含格式合规性和值域有效性。5.3.2数据元件结果完整性完整性指标主要是用于评估数据元件属性信息是否存在缺失数据记录。数据元件结果的完整性可以通过统计数据元件结果中缺失的记录数与记录总数的比例进行评价。5.3.3数据元件结果准确性准确性是指数据元件记录的信息是否存在异常或错误。准确性指标主要用于描述数据是否与其对应的客观实体的特征相一致。任何字段的数据都应该符合特定的数据格式与值。5.3.4数据元件结果时效性时效性是指数据元件结果从产生到当前利用的时间间隔。时效性主要用于描述数据的更新周期、更新时间等时间特性对数据应用的满足程度。不同类型的数据应用对数据的时间特性有不同的要求。5.3.5数据元件结果可用性可用性指标主要用于评估数据元件的调用成功率和调用性能。调用成功率表示数据元件调用成功次数占调用总数的百分比，调用性能表示数据元件能够正常运行的概率或时间占有率期望，是否能在规定时间范围内返回结果。6质量评价模型6.1质量基准分质量基准分与制定数据元件质量评价模型时，所选取的质量评价规则项数量有关。本文件所提出的质量评价模型对数据元件质量结果采用百分制计分，如被评价数据元件所适用的规则项总数为N，则每个规则项基准分S=100/N。6.2质量系数对于不同的质量评价规则项计算不同的质量系数。以完整性指标中的非空检查项为例，对于数据元件某个属性，其非空值率=非空值记录数/总记录数。6.3质量评分公式将所有规则项的质量基准分与质量系数相乘，再计算总和，即得到数据元件的质量评分结果。数据元件质量评分公式如下：nt=1式中：Q——数据元件质量总分；F(t)——数据元件第t个规则项计算得到的质量系数；S——数据元件质量基准分。数据元件质量评价公式的计算示例，见附录B。7质量评价流程5T/CIITA411-20237.1评价流程数据元件质量评价流程如图2。数据元件质量评价是一个动态过程，如果数据发生变化，则重新启动质量评价过程，并及时更新质量评价结果。7.2质量评价规则定义数据元件质量规则是对数据元件进行质量核验的规则。基于数据元件的类型，定义合理的评价规则，根据规则对数据元件进行质量评价，得到数据的质量基础信息。数据元件质量规则定义包括以下内容：a)规则管理：内置常用的数据元件质量评估规则，支持自定义质量规则；b)规则库建设：基于行业特性，进行规则库的建设，包括技术类规则及业务类规则。7.3质量评价任务执行根据数据元件的类型，配置不同的质量规则，制定对应的数据元件质量评价任务，并执行数据元件质量评价操作。以定时任务触发的方式对数据元件质量评价任务进行管理和调度。应包括以下过程：a)任务创建：依据数据元件质量评价要求，匹配相应的评价规则，制定任务执行的其他条件，如系统资源、执行周期等，创建质量检核与评价任务。b)任务执行：将任务下发给执行模块，开始执行评价任务，支持评价任务的暂停、停止、重启等操作，支持定时周期执行。7.4质量结果分析报告基于质量评价任务所产生的问题数据及统计数据，并结合质量规则权重、评估指标权重，对数据元件的质量进行评价。数据元件质量报告包括以下三个方面：a)质量评分：依据数据元件质量指标体系、评估指标权重等多方面进行质量评分；b)质量分析展示：支持数据元件质量的分析展示，包含但不限于质量排行、问题统计、数据元件质量趋势等分析；c)质量报告输出：从全局视角进行质量问题概要分析，提供具体规则的质量问题说明，以便对数据元件质量问题进行整改。7.5质量问题反馈跟踪针对数据元件质量核验过程中记录的问题数据，及时向数据资源提供方反馈问题，跟踪问题数据的处置情况，保证问题的闭环处理，避免对后续业务造成影响。8质量管理机制8.1管理人员数据元件质量由数据运营商进行统筹管理，安排专职技术人员承担具体质量管理工作。ⅡT/CIITA411-2023质量管理人员符合以下要求：a)应具备基本的数据治理、数据质量和模型测试相关的专业知识；b)应熟悉数据元件质量管理相应的操作流程；c)应对数据元件质量进行客观公正的评估。8.2管理职责数据元件质量管理人员承担质量管理的各项工作职责，具体主要包括以下方面:a)确定数据元件质量管理的目标和需求；b)定义数据元件质量评价的指标和权重；c)制定数据元件质量评价的业务规则；d)执行数据元件质量评价任务；e)分析数据元件质量评价结果；f)输出数据元件质量评价报告；g)反馈数据元件质量问题；h)制定数据元件质量改善方案i)监督数据元件质量问题改进情况。8.3管理工作要求8.3.1数据资源质量管理要求数据元件的质量评价依赖于数据元件开发阶段所使用的数据资源的质量。数据运营商对数据资源进行质量管理。基于评价指标得分和指标权重得出数据资源的质量评估结果，形成数据资源质量报告。如数据资源不符合数据元件开发的要求，则将评估的结果反馈给数据资源提供方，由数据资源提供方对数据质量加以改进。8.3.2数据元件结果质量管理要求数据运营商对数据元件结果质量进行评价。建立模型评价机制，通过设定详细的评价指标，对数据元件结果进行评价打分。如数据元件结果质量不合格，则将评价结果反馈给数据元件开发商，由数据元件开发商改进完善后，重新提交数据运营商进行评价。7T/CIITA411-2023（资料性）数据元件质量评价指标与规则项附表A.1给出了数据元件质量的评价指标和对应的规则项。表A.1数据元件质量评价指标与规则项序号一级标1性性2性3性4性性5性性6性性7性8性9性域性性性性性性性性ⅡT/CIITA411-2023性性性性性性性域性性域性性性性性性域性性性域性域性域性域性性性域9T/CIITA411-2023性性性性性域性域性性性性码》码》性》性性性性性性域性性性ⅡT/CIITA411-2023性性性性性性性性性性性性性性性域性域性T/CIITA411-2023性域性域性域性性域性域性性域性域性域性性域性事性性性性域性域ⅡT/CIITA411-2023性域性性性性性性域性性性域性域性性性性T/CIITA411-2023性性域性域性性性域性性性性域性域性域性域性域性ⅡT/CIITA411-2023性性域性域性性性性性性性性性性域性性性性T/CIITA411-2023性性域码》码》性性性性性性域性域性性性性性ⅡT/CIITA411-2023性性性域性域性性性性性性性性域性性域性性性性性T/CIITA411-2023性性性性性性性性域性域性域性性性性性域ⅡT/CIITA411-2023性性域性域性性性性性性性域性域性性码》码》性性性T/CIITA411-2023性域性性域性域性性性性性域性性性域性域性域性域ⅡT/CIITA411-2023性性性性性性性性性性性性性性性性性性性性T/CIITA411-2023域性性性域性性性性域性性性性性性性性域性域性域ⅡT/CIITA411-2023性域性性性性性性性域性性性域性性性域性性性T/CIITA411-2023性域码》性域码》性性性性性性性性域性性性域性性性性域性域ⅡT/CIITA411-2023性性域性性性性域性性性性性性性性性T/CIITA411-2023性性性性性性性性性性性性性性性性性性ⅡT/CIITA411-2023性性性性性性性性性性性性性性性性域性性域性性T/CIITA411-2023性性性性性性性性性性性性性带性性性性ⅡT/CIITA411-2023性性性性性性性性性性性性域性域性域性性域T/CIITA411-2023性性域性性性域性性性性性性性性性性性ⅡT/CIITA411-2023性性性性性域性性性性性性性性性性性性性性性性性性T/CIITA411-2023性性性性性域性性性性性性性性性性性性性性性ⅡT/CIITA411-2023性性性性性性性性性性域性性域性性性性性