大数据管理与应用概论 课件 5.2-数据质量管理体系

5.2数据质量管理体系数据质量评估框架数据质量评估框架是一种手段，是一个组织可以用来定义它的数据环境的模型，明确有关数据质量的属性，在当前的环境下分析数据质量的属性，提供保证数据质量提高的手段。不同数据质量评估框架间的差别主要体现在：评估对象阶段步骤采用的策略和技术维度指标花费成本信息系统数据质量评估框架一些具有代表性的数据质量评估框架，其中部分框架将信息质量和数据质量等同。框架名称（全称）主要内容TDQM(TotalDataQualityManagement)基于过程管理，将信息看作一种产品，包括定义信息产品与质量、信息产品质量度量、分析信息产品质量、提升信息产品质量全过程。DWQ(TheDatawarehouseQualityMethodology)通过数据仓库中语义丰富的质量管理模型来评估数据仓库质量，从评估对象、质量目标、质量查询、质量维度、质量评估等方面定义数据仓库数据质量并建立模型。该模型可以直接集成到元数据库系统概念库中。TIQM(TotalInformationQualityManagement)该框架将信息质量视作一种管理工具，从固有与实用两方面对信息质量进行定义。将产品质量原则用于信息，提出信息质量评估的方法与维度，以及信息产品改进的方法步骤。AIMQ(Amethodologyforinformationqualityassessment)从内在信息质量、上下文信息质量、代表性信息质量和可访问性信息四个方面定义数据质量，该框架包括信息质量维度、一个信息质量模型，以及解释信息质量的分析技术。数据质量评估框架框架名称（全称）主要内容CIHI(CanadianInstituteforHealthInformationmethodology)从质量评估方法、信息质量与公司数据处理、信息质量与组织几方面建立框架。CIHI(CanadianInstituteforHealthInformationmethodology)从质量评估方法、信息质量与公司数据处理、信息质量与组织几方面建立框架。DQA(DataQualityAssessment)该框架开发了客观数据质量度量的三种功能形式，提出了一种结合主观和客观数据质量评估的方法。DQAF(DataQualityAssessmentFramework)该框架整体结构呈级联式展开，第一阶层的每个维度分别在第二阶层和第三阶层的评估指标中具体化。IQM(InformationQualityMeasurement)该框架分析和比较并整理了不同评测信息质量工具的功能，用于以系统和有计划的方式测量特定的IQ标准，并归纳为一种系统的评估方法。数据质量评估框架——TDQM基于过程管理的全面数据质量管理(TotalDataQualityManagement,TDQM)方法由RichardY.Wang首先提出，通过引入工程管理中的全面质量管理方法，将信息(或数据)视为产品，将信息生产过程看作是一个信息处理系统对源数据加工处理后生产出信息产品的过程。TDQM的内容主要包括信息产品定义。定义信息产品特征、信息产品质量要求、信息制造系统。信息产品度量。关键信息质量指标。信息产品分析。分析信息产品和导致信息质量问题的根本原因。信息产品提升。确定需要改进的领域。数据质量评估框架——AIMQ在TDQM框架的基础上，麻省理工学院小组提出AIMQ(amethodologyforinformationqualityassessment)框架。同时，研究小组开发并验证了一种问卷，通过收集关于数据质量状况的数据，可用于评估和检测数据质量四个象限的模型。AIMQ的内容主要包括信息质量维度。四个类别：内在信息质量、上下文信息质量、代表性信息质量和可访问性信息质量。PSP/IQ模型。将维度整合为四个象限：正确、可靠、有用和可用的信息。IQA工具的开发与管理。支持PSP/IQ模型和差距分析测量。信息质量差距分析。提供一种工具来了解与其他组织和一个组织内的不同利益相关者相比其信息质量的缺陷。数据质量评估框架——DQADQA(DataQualityAssessment)框架，于2002年由MIT的三位研究员提出。该框架侧重于对数据质量的评估，提出了一种结合主观和客观数据质量评估的方法，并开发了客观数据质量度量的三种功能形式。DQA框架的数据质量评估总体过程主观和客观数据质量评估确定差异原因确定并采取改进措施数据产品的收集者数据产品的保管者数据产品的消费者主观数据质量评估需求经验简单比率最小/最大值加权平均客观数据质量度量数据质量评估框架——DQAFDQAF融合了“联合国官方统计基本准则”和“SDDS/GDDS”在内的实践经验以及国际公认的统计概念、定义。DQAF框架整体结构呈级联式展开，在第一阶层提出质量的先决条件以及衡量数据质量的五个维度，然后将第一阶层的每个维度分别在第二阶层的评估要素和第三阶层的评估指标中具体化。DQAF框架质量的先决条件保证诚信方法健全性准确性和可靠性适用性可获取性法律和机构环境资源相关性其他质量管理基础专业化透明度职业道德标准范围概念和定义分类/部门划分记录基础源数据评估源数据统计技术评估和确认中间数据和统计产出修正研究频率和及时性一致性修正政策和作法对用户的帮助数据的可获得性数据诠释的可获得性数据质量维度在针对数据质量维度领域的研究中，许多国际机构和国家政府部门提出相应的维度。国际机构或国家政府部门数据质量维度欧盟统计局相关性、准确性、可比性、连贯性、及时性和准时、可访问性和清晰联合国粮食及农业组织相关性、准确性、及时性、准时性、可访问性和明确性、可比性、一致性和完整性、源数据的完备性美联邦政府（公众传播）实用性、客观性（准确、可靠、清晰、完整、无歧义）、安全性美国商务部可比性、准确性、适用性美国国防部准确性、完整性、一致性、适用性、唯一性及有效性加拿大统计局准确性、及时性、适用性、可访问性、衔接性、可解释性澳大利亚国际收支统计局准确性、及时性、适用性、可访问性、方法科学性数据质量维度根据国际机构和国家政府部门数据质量维度表，并结合TIQM框架，将数据质量维度划分为数据固有维度和数据使用维度。(一)数据固有维度

即与数据自身属性相关的数据质量维度，包括完整性、唯一性、有效性、准确性、一致性、波动性和数据覆盖范围。完整性数据元素完整性数据记录完整性数据集完整性唯一性数据元素唯一性数据记录唯一性一致性数据记录一致性跨记录一致性数据集一致性准确性数据元素准确性数据记录准确性有效性数据元素有效性数据覆盖范围数据覆盖率波动性数据质量维度(二)数据使用维度即从用户角度定义，与数据使用相关的数据质量维度。包括数据及时性、时效性、相关性、安全性、可追溯性、可访问性、可靠性、易于操作性、简洁性、可解释性、可信度和声誉。数据使用维度主要内容及时性衡量数据属性值是否是最新的时效性向用户发送数据或向用户提供数据的速度，是对数据存在到数据交付给用户之间的时间间隔的度量相关性数据内容和覆盖范围与使用目的相关的程度安全性为防止未经授权的访问而对数据访问进行适当限制和管理的程度可追溯性将数据追溯到其起源的能力数据质量维度(二)数据使用维度数据使用维度主要内容可访问性确定数据或元数据存在的难易程度，以及能够快速、方便地访问和检索数据的形式或媒介的适用性。可靠性指数据集在预期用途下的完整性、相关性、准确性、唯一性和一致性，以及将数据追踪到可靠来源的能力。易操作性指数据在不同任务中易于操作的程度。简洁性指数据被紧凑表示的程度。可解释性用户能轻松理解、正确使用和分析数据的程度。可信度用户认为数据可信的程度、数据提供者或数据源的诚信程度。声誉指数据在来源或内容方面受到高度重视的程度。数据质量管理标准(一)ISO8000数据质量标准ISO8000数据质量标准是针对数据质量制定的国际标准化组织标准，它由ISO工业自动化系统与集成技术委员会（TC184）SC4小组委员会开发。ISO8000数据质量标准由一般原则、主数据质量、交易数据质量、产品数据质量4个部分组成。每个部分独立发布，该标准是受版权保护的，不可免费使用。ISO8000-1简介ISO8000-2术语一般原则主数据的语法、语义编码、符合数据规范、主数据的数据来源、准确性、完整性、质量管理框架主数据质量数据质量管理标准(一)ISO8000数据质量标准ISO8000的重要部分主要包括：1.ISO8000-110主数据的语法、语义和数据规范2.ISO8000-120主数据的语法、语义和数据规范3.ISO8000-130主数据的准确性4.ISO8000-140主数据的完整性5.ISO8000-150主数据质量管理框架数据质量管理标准(二)ISO22745：2010标准ISO22745:2010标准是一个关于开放技术字典和主数据应用的国际标准，该标准给出了表示、处理和交换主数据的描述技术，通过与ISO8000配合使用来描述数据需求。其核心内容及标识如下：1.开放的技术字典（theOpenTechnicalDictionary，OTD）。ISO22745的核心是OTD，它是一组词条的集合，每一个词条描述一个概念/元数据，包含概念/元数据的标识符、术语和定义文本、注释、样例、图像、超链接到源标准。数据质量管理标准(二)ISO22745：2010标准1.开放的技术字典（theOpenTechnicalDictionary，OTD）。OTD的概念跨越整个供应链，从供应商->客户->材料->存储->服务；概念包含整个数据生命周期，从设计(CAD/CAM/CAE/PDM)->设备->制造/生产。OTD标识符类型及定义如下：类型概念与举例类一组具有相同特性的实体的集合。OTD不包含类的层次结构，它是一个扁平的概念集。特征指物件的属性，例如：螺纹级别、直径、材质，强度等。测量单位包括测量单位的国际系统和英制系统。测量约束如：极小值、极大值、正常值。特征类型指物件特征的类型，可以是枚举类型。例如一周中的日子有七天，螺纹的方向有两种。货币名称例如，美元、欧元等。语言标识符是指对不同的语言给定标识符，以便对与语言相关的术语、缩略语和定义进行语义识别。数据质量管理标准(二)ISO22745：2010标准2.主数据。任何一条主数据记录描述的都是“物件”，它可以是各种现实中具体的物体也可以是同样物体的集合。3.标识模式。标识模式如图。4.标识指南（IdentificationGuide，IG）。IG是基于OTD中的概念、提供给买家用来描述主数据的一个母模板、一组基本规则。RAI，注册权威标识符RegistrationAuthorityIdentifierICD，国际码标志符InternationalCodeDesignatorOI，组织标识符OrganizationIdentifierDI，数据标识符DataIdentifierCSI，码空间标识符CodeSpaceIdentifierCC，概念码ConceptcodeVI，版本标识符VersionIdentifier数据质量管理标准(三)GDDS(一般数据发布标准)和SDDS(特别数据发布标准)自1995年以来，国际货币基金组织出台了一套数据发布标准，并分为两种：特别数据发布标准（SpecialDataDisseminati