_data_warehouse 数据仓库 商业智能课件

数据仓库 Data Warehouse 赵卫东 博士 复旦大学软件学院 1 事务型处理 n事务型处理：即操作型处理，是指对数据库的联机操 作处理OLTP。事务型处理是用来协助企业对响应事 件或事务的日常商务活动进行处理。它是事件驱动、 面向应用的，通常是对一个或一组记录的增、删、改 以及简单查询等（大量、简单、重复和例行性）。 n在事务型处理环境中，数据库要求能支持日常事务中 的大量事务，用户对数据的存取操作频率高而每次操 作处理的时间短。 2 分析型处理 n分析型处理：用于管 理人员的决策分析， 例如DSS、 EIS和多维 分析等。它帮助决策 者分析数据以察看趋 向、判断问题。 n分析型处理经常要访 问大量的历史数据， 支持复杂的查询。 n分析型处理过程中经 常用到外部数据，这 部分数据不是由事务 型处理系统产生的， 而是来自于其他外部 数据源。 3 事务型处理数据和分析型处理数据的区别 特性OLTPOLAP 特征 面向 用户 功能 DB 设计 数据 汇总 视图 工作单位 存取 关注 操作 访问记录数 用户数 DB规模 优先 度量 操作处理 事务 办事员、DBA、数据库专业人员 日常操作 基于E-R，面向应用 当前的；确保最新 原始的，高度详细 详细，一般关系 短的、简单事务 读/写 数据进入 主关键字上索引/散列 数十个 数千 100MB到GB 高性能，高可用性 事务吞吐量 信息处理 分析 知识工人（如经理、主管、分析员） 长期信息需求，决策支持 星形/雪花，面向主题 历史的；跨时间维护 汇总的，统一的 汇总的，多维的 复杂查询 大多为读 信息输出 大量扫描 数百万 数百 100GB到TB 高灵活性，端点用户自治 查询吞吐量，响应时间 4 数据库系统的局限性 n数据库适于存储高度结构化的 日常事务细节数据，而决策型 数据多为历史性、汇总性或计 算性数据，多表现为静态数据 ，不需直接更新，但可周期性 刷新。 n决策分析型数据是多维性，分 析内容复杂。 n在事务处理环境中，决策者可 能并不关心具体的细节信息， 在决策分析环境中，如果这些 细节数据量太大一方面会严重 影响分析效率，另一方面这些 细节数据会分散决策者的注意 力。 DB2 Oracle SQL Server Excel spreadsheet XML document Internet SSL client applications Browsers Data management layer Application layer Web servers 5 数据库系统的局限性（续） n当事务型处理环境和分析型处理环境在同一个数据库系统 中，事务型处理对数据的存取操作频率高，操作处理的时 间短，而分析型处理可能需要连续运行几个小时，从而消 耗大量的系统资源。 n决策型分析数据的数据量大，这些数据有来自企业内部的 ，也有来自企业外部的。来自企业外部的数据又可能来自 不同的数据库系统，在分析时如果直接对这些数据操作会 造成分析的混乱。对于外部数据中的一些非结构化数据， 数据库系统常常是无能为力。 6 多库系统的限制 n可用性：源站点或通信网络故障将导致系统瘫痪, 源站点不 能通过网络在线联入多库系统。 n响应速度：全局查询多级转换和通信传输, 延迟和低层效率 影响响应速度。 n系统性能：总体性能取决于源站点中性能最低的系统, 影响 系统性能的发挥; n系统开销：每次查询要启动多个局部系统, 通信和运行开销 大。 7 实施数据仓库的条件 n数据积累已达到一定规模 n面临激烈的市场竞争 n在IT方面的资金能得到保障 8 数据仓库的发展 n自从NCR公司为Wal Mart建立了第一个数据仓库。 n1996年，加拿大的IDC公司调查了62家实现了数据仓库的欧 美企业，结果表明：数据仓库为企业提供了巨大的收益。 n早期的数据仓库大都采用当时流行的客户/服务器结构。近年 来分布式对象技术飞速发展，整个数据仓库体系结构从功能上 划分为若干个分布式对象，这些分布式对象不仅可以直接用于 建立数据仓库，还可以在应用程序中向用户提供调用的接口。 nIBM的实验室在数据仓库方面已经进行了10多年的研究，并 将研究成果发展成为商用产品。 n其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案 。 9 数据仓库(Data Warehouse) n数据仓库用来保存从多个数据库或其它信息源选取的数据, 并 为上层应用提供统一 用户接口，完成数据查询和分析。支持 整个企业范围的主要业务来建立的，主要特点是，包含大量面 向整个企业的综合信息及导出信息。 n数据仓库是作为DSS服务基础的分析型DB，用来存放大容量 的只读数据，为制定决策提供所需要的信息。 n数据仓库是与操作型系统相分离的、基于标准企业模型集成的 、带有时间属性的、面向主题及不可更新的数据集合。 n以1992年W H Inmon出版Building the Data Warehouse为标志，数据仓库发展速度很快。 W H Inmon被誉为数据仓库之父。 nW H Inmon对数据仓库所下的定义：数据仓库是面向主题的 、集成的、稳定的、随时间变化的数据集合，用以支持管理决 策的过程。 10 面向主题 n数据仓库中的数据是按照各种主题来组织的。主题在数据 仓库中的物理实现是一系列的相关表，这不同于面向应用 环境。如保险公司按照应用组织可能是汽车保险、生命保 险、伤亡保险，而数据仓库是按照客户、政策、保险金和 索赔来组织数据。 n面向主题的数据组织方式可在较高层次上对分析对象的数 据给出完整、一致的描述，能完整、统一的刻画各个分析 对象所涉及的企业的各项数据以及数据之间的联系，从而 适应企业各个部门的业务活动特点和企业数据的动态特征 ，从根本上实现数据与应用的分离。 11 集成性 n数据仓库中的数据是从 原有分散的源数据库中 提取出来的，其每一个 主题所对应的源数据在 原有的数据库中有许多 冗余和不一致，且与不 同的应用逻辑相关。为 了创建一个有效的主题 域，必须将这些来自不 同数据源的数据集成起 来，使之遵循统一的编 码规则。 12 稳定性 n数据仓库内的数据有很长的时间跨度，通常是5-10年。 n数据仓库中的数据反映的是一段时间内历史数据的内容，是不 同时点的数据库快照的集合，以及基于撰写快照进行统计、综 合和重组的导出数据。主要供企业高层决策分析之用，所涉及 的数据操作主要是查询，一般情况下并不进行修改操作. n数据仓库中的数据是不可实时更新的，仅当超过规定的存储期 限，才将其从数据仓库中删除，提取新的数据经集成后输入数 据仓库。 13 时变性 n时变性：许多商业分析要求对发展趋势做出预测，对发展 趋势的分析需要访问历史数据。因此数据仓库必须不断捕 捉OLTP数据库中变化的数据，生成数据库的快照，经集成 后增加到数据仓库中去；另外数据仓库还需要随时间的变 化删去过期的、对分析没有帮助的数据，并且还需要按规 定的时间段增加综合数据。 14 支持管理决策 n数据仓库支持OLAP（联机分析处理）、数据挖掘和决策分 析。OLAP从数据仓库中的综合数据出发，提供面向分析的 多维模型，并使用多维分析的方法从多个角度、多个层次 对多维数据进行分析，使决策者能够以更加自然的方式来 分析数据。数据挖掘则以数据仓库和多维数据库中的数据 为基础，发现数据中的潜在模式和进行预测。因此，数据 仓库的功能是支持管理层进行科学决策，而不是事务处理 。 15 BI系统VS决策盲点 n某大型国有企业老总当他查看近十年企业的生产和运营数据 时，手边得到了各种各样不同的数据报表。这些数据报表大 致可以分成两种类型：一种是两年前、即ERP上线之前的， 这是一些简单、杂乱而又枯燥的数字；另一种是有了ERP以 后的，数据变得清楚而有条理起来，同时还有来自ERP、 CRM、SCM以及计费业务等不同应用的数据和各种分析报 告。在仔细查看这些报表之后，这位国企老总惊讶地发现， 不同的系统可以得出截然相反的两种结论。例如某一产品， 它的动态成本反映在ERP系统和CRM、SCM系统里面相差 很大，如果引用ERP和CRM里面的数据，它就是一款很成 功、销量很好的产品，但在SCM里面来看，它的采购和物流 成本过高，导致了这款看起来很成功的产品实际上是一笔赔 钱的买卖。 16 BI系统VS决策盲点(续) n其实从这些来自不同系统的数据基础产生不同的判断很正常 ，因为这些系统并不会去周密地“思考”在自己“职责”之外的 事情。这样就给企业的领导提交了相当多顾此失彼的分析报 告，结果就是导致了许多市场决策上的混乱和失误。 n把企业的内部数据和外部数据(企业内部数据就是指上 述通过业务系统SCM、ERP、CRM等收集到的数据 ，这些数据可能在不同的硬件、数据库、网络环境中 ，为不同的业务部门服务。外部数据是市场信息和外 部竞争对手的信息)。进行有效的集成，形成直观的、 易于理解的信息，再进行分析和思考，为企业的各层 决策及分析人员使用。 17 数据仓库的技术要求 n复杂分析的高性能体现：涉及大量数据的聚集、综合等 ，在进行复杂查询时经常会使用多表的联接、累计、分 类、排序等操作。 n对提取出来的数据进行集成：数据仓库中的数据是从多 个应用领域中提取出来的，在不同的应用领域和不同的 数据库系统中都有不同的结构和形式，所以如何对数据 进行集成也是构建数据仓库的一个重要方面。 n对进行高层决策的最终用户的界面支持：提供各种分析 应用工具。 18 数据仓库系统的结构 19 数据仓库系统的结构(2) 20 数据仓库系统的结构(3) 21 数据仓库流程 22 Tivoli Storage Manager File EditView Help Tools BackForwardStop HomeSearchRefresh x HistoryMailPrint Address:http:/my_ Internet WelcomeWelcome Carol JonesCarol JonesCustomize Home PageEditLogoutx ! ! ! My WeatherMy Weather click on city for extended forecastclick on city for extended forecast or search by city or zip codeor search by city or zip code ParisParis New YorkNew York 73F73F 91F91F get forecast Past Due Service Requests Past Due Service Requests Sales cost analysisSales cost analysis 20000 15000 10000 5000 2Q003Q004Q001Q01 Central nextprior? BancoBanco AzulAzul - Todays News - Todays News Corporate News Competitor News ?CEO CEO ChristophChristoph DermondDermond comments on comments on stock splitstock split ?Minimizing risk in B2B relations Minimizing risk in B2B relations ?Special employee credit offersSpecial employee credit offers ?New Privacy Executive Post named New Privacy Executive Post named ?SomeCoSomeCo talks with talks with EvilEmpireEvilEmpire Bank Bank sparks merger rumorssparks merger rumors ?ToughCoToughCo loses fight with loses fight with BancoBanco AzulAzul for for $821M industrial loan$821M industrial loan ?Asian invasion into retail securitiesAsian invasion into retail securities BancoBanco azulazul 07/02/2001 19:29:20 WPS v1.2 - The Cutting WPS v1.2 - The Cutting EdgeEdge WebSphere Portal Server Content Manager Federated Search KPIs IntelligentIntelligent MinerMiner QMF ,BO, QMF ,BO, Brio, etc.Brio, etc. DB2 DB2 OLAPOLAP DB2 DB2 DataData WarehouseWarehouse virtual tables Reports & Content MartsMarts IBM IBM DB2DB2 WarehouseWarehouse ManagerManager ProductionProduction datadata sourcesource PurchasedPurchased DataData ERP, CRM, ERP, CRM, SCM, dataSCM, data sourcessources Red Brick IBM 信息分析框架 23 数据仓库系统的组成（1） n源数据：数据仓库中的数据来源于多个数据源 ，它不仅可以是企业内部的关系型数据库，还 包括非传统数据，如文件、HTML文档等。 n数据仓库管理系统： n元数据库及元数据管理部件：元数据库用来存储由定 义部件生成的关于源数据、目标数据、提取规则、转 换规则以及源数据与数据仓库之间的映射信息等。 n数据转换部件：该部件把数据从源数据中提取出来， 依定义部件的规则将不同数据格式的源数据转换成数 据仓库的数据格式并装载进数据仓库。 n数据集成部件：该部件根据定义部件的规则、统一各 源数据的编码规则，并净化数据，根据元数据中定义 的数据组织形式对数据进行汇总、聚合计算。 n数据仓库管理部件：它主要用于维护数据仓库中的数 据，备份、恢复数据以及管理数据的安全权限问题。 24 数据仓库系统的组成（2） n数据仓库前端工具集 n查询/报表工具：以图形化方式和报表方式显示数据 ，帮助了解数据的结构、关系以及动态性。 nOLAP工具：通过对信息的多种可能的观察形式进行 快速、一致和交互性的存取，便于用户对数据进行深 入的分析和观察。 n数据挖掘工具：从大量数据中挖掘出具有规律性的知 识，以及数据之间的内在联系。 n前端开发工具：提供用户编程接口，便于在现有系统 的基础上进行二次开发，增强系统的伸缩性。 n数据仓库:在数据仓库系统中，数据仓库是一个 数据存储集合，它的存储形式通常有多维数据 库，关系型数据库及其他存储方式。 25 数据转换 n统一数据编码：数据仓库中的数据从各个数据源提取出 来的，尽管经过转换后数据格式已经统一，但数据的编 码、描述在各个源系统中都有很大的区别。为了改进数 据仓库中数据质量，提高数据仓库中数据的可用性，必 须统一数据编码。本系统中编码转换主要包括： n日期格式转换：大多数业务环境中有许多不同的日期和 时间类型，所以，几乎每个数据仓库的实现都必须将日 期和时间变换成标准的数据格式。数据仓库必须用单一 的模式规定日期和时间信息。 n测量单位的转换：数据仓库中对于数值型字段应保持一 致的单位。在元数据库中创建表Units和UnitTypes来表 示各种单位的换算关系。表UnitTypes记录了数据仓库 系统中的单位类型，初始元数据库中共分六种单位类型 ：时间单位、货币单位、重量单位、长度单位、面积单 位、体积单位。在表Units中记录了单位名、单位类型以 及同类型单位之间的相互转换关系。 26 转换器的设计与实现 n转换器的功能：数据结构转换和数据类型转换。 n从数据源中提取数据并转换格式的过程：先将各类数 据库系统中不同格式的数据转换成文本文件，然后再 利用批拷贝命令将数据导入目标系统中。以使数据仓 库获得新的数据提供决策分析使用。 n数据准备区的使用：首先从源数据中提取数据，转换 成数据仓库所要求的格式后存储在数据仓库的一个称 为数据准备区的缓冲区中。在该区域中，可以暂时存 储原始数据，然后由集成器对数据进行清理、集成后 再装载到数据仓库中。 源数据 数据准备区 数据仓库 27 数据净化 n当数据从源数据库中提取到数据准备区后，必须先进行 数据净化才可以装载到数据仓库中去。数据净化主要指 对数据字段的有效值检验。有效值的检验通常包括：范 围检验、枚举字段取值和相关检验。范围检验要求数据 保证落在预期的范围之内，通常对数据范围和日期范围 进行检验，如对任何在指定范围之外的日期的发票都应 删除。枚举字段取值指对一个记录在该字段的取值，若 不在指定的值中，则应该删除。相关检验要求将一个字 段中的值与另外一个字段中的值进行相关检验，即在数 据库中某个字段应与另一个字段形成外键约束。 28 监控器捕捉数据变化的途径 n数据仓库提供的是离线数据, 与源数据存在时间差。 n时标方法：指在数据库中的数据设一个时标，如果新插入或 更新一个数据记录，在记录中插入新的时标或加上更新时的 时标，然后根据时标判断哪些数据是变化的，并把变化的数 据追加到数据仓库中去。 nDELTA文件：该文件是由应用产生的，并记录了应用所改 变的所有内容。利用DELTA文件记录数据的变化，不需要 扫描整个数据库，所以效率较高，但生成的DELTA文件的 应用并不普遍。 n映象文件：在上次提取数据库数据到数据仓库之后及本次提 取数据库数据之前，对数据库分别作一次快照，然后通过比 较两幅快照的不同来确定要追加的数据。这种方法需要占用 大量的系统资源，对系统的性能影响比较大。 n日志文件：由于日志文件是数据库的固有机制，所以它对系 统性能的影响比较小，另外它还有DELTA文件的优点，提 取数据只局限于日志文件而不用扫描整个数据库。所以日志 文件是最可行的一种方法。 29 信息集成服务 Copyright IBM Corporation 30 IBM的解决方案 31 元数据 n数据仓库的所有数据都要通过元数据来管理和控制。 元数据描述关于源数据的说明，包括源数据的来源、 源数据的名称、源数据的定义、源数据的创建时间等 对源数据进行管理所需要的信息。 n源数据的来源说明源数据是从哪个系统、哪个历史数 据、哪个办公数据、哪个Web页、哪个外部系统抽取 而来。源数据说明源数据在数据仓库的作用、用途、 数据类型和长度等。 32 元数据(2) n元数据：是用来描述数据的数据。它描述和定位数据组 件、它们的起源及它们在数据仓库进程中的活动；关于 数据和操作的相关描述(输入、计算和输出)。元数据可 用文件存在元数据库中。元数据反映数据仓库中的数据 项是从哪个特定的数据源填充的，经过哪些转换、集成 过程。 n要有效的管理数据仓库，必须设计一个描述能力强、内 容完善的元数据。 33 元数据管理器 n客户端登录：负责接收客户端登录信息并进行用户权限检 查。 n元数据管理器的用户接口：以接口形式向用户提供对元数 据 增、删、改、查的服务，包括：源数据信息、数据仓库 信息、星型模型信息、维信息、维表字段信息、事实表字 段信息、映射事实表字段信息、映射维表字段信息、链接 事实表与维表字段的信息。 n元数据的存储：元数据管理器中的元数据存储程序负责接 收由接口程序传递来的关于对元数据进行增加、修改和删 除等信息，并根据所提供的参数执行存储过程，将元数据 的有关信息保存于服务器端的元数据库中。 34 元数据管理器的设计与实现 n元数据的作用:定义数据仓库的作用,指明数据仓库中信 息的内容和位置,刻画数据的抽取和转换规则,存储与数 据仓库主题有关的各种商业信息。 n在客户端提供图形化界面工具。例如，用户想在多维模 型中加入一维或者在某一维中加入维元素，不仅可以通 过图形化界面工具完成而且可以在用户自已编写的应用 程序中调用应用程序接口函数，修改后的结果将记入元 数据库中。然后系统将根据元数据库中的新内容进行数 据的追加。 35 操作数据存储 Business data warehouse 业务业务 系统统（Operational systems） 数据集市（Data marts） 操作数据存储储（Operational data store） 元数据（ Meta Data） 36 数据仓库中的数据组织 高度综合级 轻度综合级 当前综合级 早期细节级 多级数据 37 数据仓库的数据模型 星型图模型 物理数据模型 概念模型 逻辑模型 物理模型 面向用户的需求 细 化层 次 更详细的 技术细节 信息包图 38 数据仓库建模和设计 nProcess of building an abstract model for the data, which is stored in the data and represents the data warehouse content. 39 概念模型 n由于大多数商务数据是多维 的，但传统的数据模型表示 三维以上的数据有一定困难 。概念模型简化了这个过程 并且允许用户与开发者和其 他用户建立联系： n确定系统边界：决策类型、 需要的信息、原始信息 n确定主题域及其内容：主题 域的公共键码、联系、属性 组 n确定维度：如时间维、销售 位置维、产品维、组别维等 n确定类别：相应维的详细类 别 n确定指标和事实：用于进行 分析的数值化信息 40 实例 例试画出销售分析的概念模型。 解：首先根据销售分析的实际需求，确定信息包的维度、类别 和指标与事实： （1）维度：包括日期维、销售地点维、销售产品维、年龄组别 维、性别维等。 （2）类别：确定各维的详细类别，如：日期维包括年（10）、 季度（40）、月（120）等类别，括号中的数字分别指出各 类别的数量；销售地点维包括国家（15）、区域（45）、城 市（280）、区（880）、商店（2000）等类别，括号中的 数字同样分别指出各类别的数量；类似地，可以确定销售产 品、年龄组别维、性别维等的详细类别。 （3）度量和事实：确定用于进行分析的数值化信息，包括预测 销售量、实际销售量和预测偏差等。 41 销售分析的概念模型 日期销销售地点销销售产产品年龄组龄组 别别 性别别 年(10)国家(15)产品类(6)年龄组 (8) 性别组 (2) 季度 (40) 区域(45)产品组 (48) 月 (120) 城市 (280) 产品(240) 区(880) 商店 (2000) 度量和事实实: 预测销预测销 售量、实际销实际销 售量、预测预测 偏差 信息包： 销售分析 维度 类别 42 概念模型图实例 43 逻辑模型 n星型图：数据仓库的数据模 型的第二层是向最终的数据 结构添加某些细节的星型图 模型。与传统的关系模型相 比，星型图模型简化了用户 分析所需的关系，从支持决 策的角度去定义数据实体， 更适合大量复杂查询。 n星形图包括了三种逻辑实体 ：指标、维度和详细类别 n维表的本质是多维分析空间 在某个角度上的投影，多个 维表共同建立一个多维分析 空间。 44 sales数据仓库的雪花模式 45 Information Modelling of Sales Information Demand Unique Identifier Attribute Strong Entity Type 1-n Relationship 0-n Relationship Derived Attribute Weak Entity Type 46 DW Layer and the Mapping to Information Model Data Warehouse Layer (logical layer) Information Model (conceptual layer) Map Information Objects To Database fields - Rename Objects to User friendly names - Calculate fields - Define object display attributes - Convert currencies etc. 47 星型模型例子 48 物理数据模型 n物理数据模型：数据模型的第三层，它是星型图模型在数据仓库 中的实现，如物理的存取方式、数据存储结构等。 n在物理设计时，常常要按数据的重要程度、使用频率以及对响应 时间的要求进行分类，并将不同类的数据分别存储在不同的存储 设备中。重要程度高、经常存取并对响应时间高的数据就存放在 高速存储设备上，如硬盘；存取频率低或对存取响应时间要求低 的数据则可以放在低速存储设备上。 49 粒度 n粒度：对数据仓库中的数据综合程度高低的一个 度量，它既影响数据仓库中的数据量的多少，也 影响数据仓库所能回答询问的种类。 n粒度越小，综合程度越低，回答查询的种类越多 ； 粒度越高，综合程度越高，查询的效率也越 高。 n在数据仓库中可将小粒度的数据存储在低速存储 器上；大粒度的数据存储在高速存储器上。 50 维度 n维度：是一个物理特性（如时间、地点、产品等），它是表 达数据仓库中信息的一个基本途径，可作为标识数据的索引 。通常的报表只包含有行和列两维，但在数据仓库中所存储 的数据大多是用多维（三维或三维以上）视图表示的。 n例如： n一个销售系统中的数据可分为时间维、产品维和地理位置维等； n一个财务系统中的数据可分为时间维、支出维和收入维等； n一个企业决策支持系统中的数据可分为成本开支维、销售收入维 、利润维、股票价值维等。 51 聚合 n在数据仓库技术中，每一维可包括多个层次，这些层次反过来 可以向用户提供某一层次的数据。例如，在地理位置维中，由 所有的街区组成了地区，由所有的地区组成了城市等。聚合就 是指在维的不同层次内移动数据，从而构成维内不同层次的数 据集，使用户不仅能够在一个维度内观察数据，而且能够在维 度内的不同层次上观察数据。 n聚合和汇总不同 52 分解与合成 n分解与合成是在一个维度内进一步细分数据或将数 据按照另一标准组合的过程。例如，当以地理位置 维观察数据时，用户可以首先以国家（如中国）为 单位观察数据，然后可以选择观察某一个地区（如 华东地区）的数据，接下来可以选择观察某一个省 或城市（如上海）的数据，这就是数据分解的过程 。而合成则是分解的逆过程，例如用户开始以省市 为观察对象，接着再以地区、国家等为观察对象， 就是一个数据合成的过程。 53 数据仓库的数据组织 n为了提高分析和决策的效率和有效性，分析型处理及其数据必须 与事务型处理及其数据相分离，把分析型处理所需要的数据从事 务型处理环境中提取出来，