数据质量-培训ppt课件

1、数据质量.数据质量问题的危害Poor Data Quality or inconsistent data causes defects in the value chain and is a momentum killer for Data Alignment, Synchronisation and CollaborationCustomer ServiceLevelOOSFailed ATPCost to ServeLogisticsCall CentrePrice NegotiationsInventories levelsEmergency StockReturnsRetired pr

2、oducts.日程什么是数据质量数据质量的重要性影响数据质量问题的要素如何才干获取高质量数据Informatica平台如何处理数据质量问题.什么是数据质量-定义数据质量是一个涵盖面很广的术语，涉及某条或某组数据的准确性、完备性、一致性、符合性和时效性以及数据如何进入并在整个企业内流动。不同的企业对数据质量有着不同的定义和要求，但是数据质量最终可归结为“符合要求的数据 。并且数据质量是个继续的过程。.什么是数据质量-符合要求的数据完全性 一切必需的数据能否都存在吗？符合性 哪些数据是以非规范格式存储的？一致性 哪些数据值提供的信息自相矛盾？准确性 数据准确表示真实来源还是可验证的来源？反复性 哪

3、些数据记录是反复的记录？完好性 哪些数据失去了重要的关系联络？时效性 数据寿命能否满足用户要求吗？域级字段域之间业务逻辑数据传送，比如etl过程.数据质量的重要性数据质量问题是IT 工程胜利的最大妨碍76%的数据集成工程或完全的失败，或严重延迟主要的问题是缺乏对数据和数据质量的了解平均来看, 需求10个左右的迭代过程来分析数据质量，并纠正存在的问题低质量的数据影响决策的制定和执行低质量的数据影响对市场的反响效率低质量的数据导致不恰当的决策投资没价值的产品线关注无价值的客户现代企业管理是数据质量需求的催化剂知识任务者正在剧烈的认识到数据是他们任务中最重要的资产全球化的组织和全球化的数据分布，使得

4、数据集成变得愈发重要合规性的要求使得对数据管理的大意不能再被容忍高质量数据有利于提高客户称心度在与客户交互环节的数据质量问题更应该得到充分的关注正确的拼写客户的名字、性别和Title最新的产品信息最新的价钱信息CRM，Call Center系统中准确的客户数据有利于协助组织提升提供更佳的客户效力提升交叉销售和向上销售的有效性将更多的时机转化为真正客户确保法规服从高质量的数据协助实现Sarbanes-Oxley and BASEL II等法规的控制要求和对业务绩效的准确报告. 在法规服从方面都要求数据是可信任的，并且是可审计的低质量的数据呵斥资源、本钱的耗费TDWI估算由于客户数据质量问题，呵斥

5、全美国$6111亿美圆的人力资源，打印，邮寄等本钱的浪费.影响数据质量问题的要素.数据质量问题归类业务系统源数据的质量问题源数据信息不正确源数据信息不完好源数据信息不一致规范代码问题缺乏一致、完好的规范代码，如产品代码没有可执行的规范，或者有书面规范但执行不力等代码直接写在程序中，没有代码表维护ETL产生的质量问题技术性问题非技术性问题如业务规那么了解错误.数据质量问题产生的环节数据消费环节数据和业务规那么不符数据产生不严谨手工录入不规范新旧系统的切换数据的孤立修正呵斥系统之间数据不一致数据运用和加工环节数据抽取错误或脱漏数据的时间段错误数据的反复抽取数据生成的时间点错误数据加载转换规那么错误

6、.如何才干获取高质量数据访问和评价数据数据质量规划和目的数据质量战略选择和实施上游战略下游战略.如何才干获取高质量数据-访问和评价数据访问数据质量的当前形状，以了解隐藏的数据质量问题完全性 一切必需的数据能否都存在吗？符合性 哪些数据是以非规范格式存储的？一致性 哪些数据值提供的信息自相矛盾？准确性 数据准确表示真实来源还是可验证的来源？反复性 哪些数据记录是反复的记录？完好性 哪些数据失去了重要的关系联络？时效性 数据寿命能否满足用户要求吗？.如何才干获取高质量数据-数据质量规划和目的对数据的内容和质量有了一个明晰的了解之后，下一步是进展规划和工程方案，以纠正当前错误和防止未来出现错误。有效

7、的方案可以处理企业现有运用程序库中的数据质量问题，并且可以确保新的运用程序从开场就融入数据质量原那么。 .如何才干获取高质量数据-数据质量战略选择和实施采用企业范围内的、反复的继续性方法处理数据质量问题。与此同时，无法一次性处理一切数据质量问题。要确保为企业提供准确、一致和及时的数据，独一途径是经过可最终涵盖一切公司数据的阶段性数据质量管理程序实现。选择用于处理长期数据质量问题的战略要求根据每个数据质量方案产生的影响平衡方案的本钱。常用的战略类型有两种：在企业中的输入点处理数据质量问题的方法称为“上游战略，而在耗费来自操作系统如数据仓库的数据的运用程序中实施那么称为“下游战略 。 .上游战略上

8、游战略将检验现有运用程序的逻辑、数据和流程，以便获得经过探查来处置未覆盖的异常情况的时机。这能够包括更改运用程序逻辑、增添更好的表单验证、改良与数据输入相关的流程，而且会要求对预备好的数据进展清洗。它还能够强迫在运用程序本身融入数据质量功能，例如，在数据进入企业时根据知例如对数据进展验证。由于此方法可以在源头上处理数据质量问题，因此它对每个从该来源提取数据的运用程序和每个未来会从该来源提取数据的运用程序大有裨益。但是，上游战略耗费高。它们能够要求对运用程序、其逻辑和数据进展更改。企业在更改现有处理方案时能够会遇到妨碍。要胜利实施上游战略，工程需求明确的一切权、共识和来自其它团队的员工的支持。.

9、下游战略下游战略在目的运用程序或数据仓库中处理数据质量问题，而不是在数据源。由于可以迅速修正数据，因此战略可以在流程中得到改良，这通常是经过数据转换、清洗和查找验证来实现的。下游战略只对正在运用目的运用程序或数据仓库的运用者有益，但是相比上游战略，下游战略实施起来要容易得多并且耗费更低。 .Informatica平台如何处理数据质量问题-数据质量管理流程探查和分析多个来源数据集成未来源映射至目的构造业务数据构建企业数据质量规那么部署规那么交互/批量/实时报告数据质量目的构造分析和映射对数据质量进展继续清洗和监控 维持 监控实施一次性维持继续不断 清洗分析提取将问题报告发送回来源维持继续不断来源

10、 DQ 报告和管理来源 DQ 报告和管理源数据检查员企业数据检查员数据检查员纠正的数据和改良的数据质量123345.Step 1: 数据质量探查数据质量探查是一种描画数据的内容、一致性和数据构造的有效途径来自 Philip Russoms TDWI 报告一切的数据质量工程都必需从数据质量探查起步基于工具的数据探查比手工的方法具有更高的消费力数据质量探查不是一次性的任务数据探查, 数据集成, 数据质量是数据管理最正确实际的三个亲密兄弟Source: Taking Data Quality to the Enterprise through Data Governance TDWI Report,

11、 March 2006 by Philip Russom.ApplicationsDatabasesFlat filesMainframe 问题分类完好性Conformity一致性准确性反复的数据数据相关性 数据清理规格阐明书 数据转换规格阐明书 数以千计的 数据属性 数以百万的纪录DiscoverDiscoverStep 1: 数据质量探查一切发现的问题都应该向数据源系统的责任人进展报告.Step 2: 建立数据质量度量和定义提升目的仅仅知道“我的数据质量有问题对数据质量工程来说是不够的需求了解，那些数据有问题？这些问题是如何产生的？定义数据质量度量度量必需和业务目的一致绑定在没有绑定之前，

12、不要启开工程设定改良目的How will you know when you are done?.Step 2: 建立数据质量度量、并定义目的一旦完成初步的数据质量探查，需求马上设定改良的目的针对特定的系统，制定有针对性，“足够好的改良方案定义100%满足，不一定是利用资源的最正确方式.Step 3: 设计 & 建立数据质量规那么Standardize, Correct, and Enrich数据规范化纠正/补全有问题的数据数据加强“Once in the system, poor data quality can cost organizations vast sums in lost re

13、venues. Defective data leads to breakdowns in the supply chain, poor business decisions, and inferior customer relationship management.Informatica Velocity.Step 4: 建立数据质量放火墙 CRMFinanceSupplyChainLegacyExternalSystemsData Quality Fire Wall OperationalData StoreLoadTransformExtractData Quality ETL Rec

14、onciliation Fuzzy Matching Scorecarding Cleansing Enrichment DataWarehouseERPCustomerHubProductHubSupplierHub Single ViewOfProductSingle Viewof CustomerDQReportingDQScorecardingReporting Basel II IAS SOXDataMining.Step 4: 建立数据质量放火墙在数据录入时进展数据质量检测实现实时的数据质量检测，例如：在数据录入时进展数据匹配和清理这个活动可以有效地阻止有问题的数据进入系统.Ste

15、p 5 管理过程包含:常规的基准设定监控质量变化趋势坚持和业务发现一致Step 5: 监控数据质量 Vs. 目的.Customer ObjectMaterials ObjectVendor ObjectAsset ObjectStep 5:监控数据质量 Vs. 目的.Step 5:监控数据质量 Vs. 目的Progress Over Time.数据质量管理过程管理 Analyze1. Profile the Data2. Establish Metrics and Define Targets3. Design & Build Quality Rules5. Monitor Data Qual

16、ity Versus TargetsEnhanceImplement Audit Controls4. Build a DQ FirewallTargetApplicationXML, Messaging, and Web ServicesPackaged ApplicationsRelational and Flat FilesMainframe and MidrangeSources.如何保证数据运用和加工环节的数据质量详细的ETL设计文档测试： 根据实践情况选择测试是贯穿整个开发过程还是在全部开发任务完成以后进展，并确定测试的顺序，此义务需在工程的开场阶段就进展思索 元数据管理：经过Informatica Metadata Manager，用户可以明晰的了解到数据源是什么，中间做了什么转换，即可了解： 此数据来自何处？ 此结果是如何计算的？ 它的可靠程度如何？ 如何运用？ 我们的结果能否一致并具有合规性？ .元数据管理SourcesTargetsBusinessIntelligenceMetadataMetadataMetadataCustomMetadataData Mo