数据仓库设计PPT课件

1、10.07.2020,.,1,第3章 数据仓库的设计与开发,10.07.2020,.,2,3.1 数据仓库分析与设计 3.2 数据仓库开发 3.3 数据仓库技术与开发的困难,10.07.2020,.,3,3.1数据仓库分析与设计,3.1.1 需求分析 3.1.2概念模型设计 3.1.3逻辑模型设计 3.1.4物理模型设计 3.1.5 数据仓库的索引技术,10.07.2020,.,4,3.1.1 需求分析,1.确定主题域 2.支持决策的数据来源,10.07.2020,.,5,1.确定主题域 明确对于决策分析最有价值的主题领域有哪些？ 2.支持决策的数据来源 哪些源数据（操作型）与商品主题有关？

2、需求分析就是要说明用哪些数据经过分析来实现用户的决策支持需求。,10.07.2020,.,6,3.1.2概念模型设计,概念模型的特点是： （1）能真实反映现实世界，能满足用户对数据的分析，达到决策支持的要求，它是现实世界的一个真实模型。 （2）易于理解，便利和用户交换意见，在用户的参与下，能有效地完成对数据仓库的成功设计。 （3）易于更改，当用户需求发生变化时，容易对概念模型修改和扩充。 （4）易于向数据仓库的数据模型（星型模型）转换。,10.07.2020,.,7,概念模型最常用的表示方法是实体关系法（E-R法）。 E-R图描述的是实体以及实体之间的联系， 用长方形表示实体，在数据仓库中就表

3、示主题，椭圆形表示主题的属性，并用无向边把主题与其属性连接起来； 用菱形表示主题之间的联系，用无向边把菱形分别与有关的主题连接。 若主题之间的联系也具有属性，则把属性和菱形也用无向边连接上。,10.07.2020,.,8,例子,有两个主题：商品和客户，主题也是实体。 商品有如下属性组： 商品的固有信息（商品号、商品名、类别、价格等）； 商品库存信息（商品号、库房号、库存量、日期等）； 商品销售信息（商品号、客户号、销售量等）； 客户有如下属性组： 客户固有信息（客户号、客户名、住址、电话等）； 客户购物信息（客户号、商品号、售价、购买量等）。 商品的销售信息与用户的购物信息是一致的，它们是两个

4、主题之间的联系。,10.07.2020,.,9,10.07.2020,.,10,3.1.3逻辑模型设计,主要工作为： （1）进行概念模型（ER图）到逻辑模型（星型模型）的转换 （2）粒度层次划分 （3）关系模式定义 （4）定义记录系统,10.07.2020,.,11,1、进行概念模型到逻辑模型的转换。,星型模型的设计步骤如下： （1）确定决策分析需求 决策需求是建立多维数据模型的依据。 （2）从需求中识别出事实 选择或设计反映决策主题业务的表，如在“商品”主题中，以“销售业务”作为事实表。 （3）确定维 确定影响事实的各种因素，对销售业务的维包括商店，地区，城市，时间，商品等，如图3.2所示。

5、,10.07.2020,.,12,图3.2 销售业务的多维数据,10.07.2020,.,13,（4）确定数据汇总水平 数据仓库中对数据不同粒度的集成和综合，形成了多层次的数据结构。例如，对于时间维，可以以“年”、“月”或者“日”等不同水平进行汇总。,（5）设计事实表和维表 设计事实表和维表的具体属性。在事实表中应该记录哪些属性是由维表的数量决定的。一般来说，与事实表相关的维表的数量应该适中，太少的维表会影响查询的质量，用户得不到需要的数据，太多的维表又会增加存储空间。,10.07.2020,.,14,（6）随着需求变化修改设计方案 随着应用需求的变化，整个数据仓库的数据模式也可能会发生变化。

6、因此在设计之初，充分考虑数据模型的可修改性可以节省系统维护的代价。,10.07.2020,.,15,从概念模型的ER图转换成星型模型实例说明,（1）业务数据的E-R图,10.07.2020,.,16,（2）E-R图向多维表的转换 该问题的多维表模型中，商品维包括商品和商品大类，地点维包括地区和商店，忽略存货，而只注意销售事实。在E-R图中不出现的时间，在多维模型中增加时间维。 在多维模型中，实体与维之间建立映射关系，联系多个实体的实体就成为事实，此处销售实体作为事实，其他实体作为维。然后用维关键字将它转换为星型模型，如图3.5所示。,10.07.2020,.,17,图3.4 E-R图向多维模型

7、的转换,10.07.2020,.,18,图3.5 利用维关键字制定的星型模型,时间,时间键,时间说明,日期,星期,月,年,销售事实,时间键,地理位置键,商,品键,销售数量,商店,地区名,商店号,商品,商品键,商品名,商品类号,商店名,地区号,商品类名,10.07.2020,.,19,2、粒度层次划分,所谓粒度是指数据仓库中数据单元的详细程度和级别。 数据越详细，粒度越小，层次级别就越低；数据综合度越高，粒度越大，层次级别就越高。 进行粒度划分，首先要确定所有在数据仓库中建立的表，然后估计每个表的大约行数。,10.07.2020,.,20,3、关系模式定义,在概念模型设计时，就确定了数据仓库的基

8、本主题，并对每个主题的公共码键、基本内容等做了描述。 在这一步里，将要对选定的当前实施的主题进行模式划分，形成多个表，并确定各个表的关系模式。,10.07.2020,.,21,“商品”主题,公共码键：商品号。 商品固有信息： 商品表（商品号、商品名、类型、颜色、 ）细节级 商品销售信息： 销售表1（商品号、客户号、销售量、）细节级 销售表2（商品号、时间段1、销售量、）综合级 销售表n（商品号、时间段n、销售量、）综合级 ,10.07.2020,.,22,4、定义记录系统,定义记录系统是建立数据仓库中的数据以源系统中的数据的对照记录。 记录系统的定义要记入数据仓库的元数据。 商品主题的记录系统

9、在元数据中可描述如表3.2所示。,10.07.2020,.,23,表3.2记录系统的定义,10.07.2020,.,24,3.1.4 物理模型设计,确定一个最适合应用要求的物理结构（包括存储结构和存取方法）。主要工作有： （1）估计存储容量 （2）确定数据的存储计划 （3）确定索引策略 （4）确定数据存放位置 （5）确定存储分配,10.07.2020,.,25,1.估计存储容量,（1）对每一个数据库表确定数据量 行数的初始估计； 行的平均长度； 估计行的每月增长数； 表按照时间6个月和12个月存储的数据大小。,10.07.2020,.,26,（2）估计临时存储 排序、合并需要的存储空间； 准备

10、区内的临时文件等。,10.07.2020,.,27,2.确定数据的存储计划,（1）建立聚集（汇总）计划 （2）确定数据分区方案,10.07.2020,.,28,3.确定索引策略,在数据仓库中由于数据量很大，需要对数据的存取路径进行仔细设计和选择，建立专用的复杂的索引，以获得最高的存取效率。,10.07.2020,.,29,4.确定数据存放位置,在物理设计时，常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。 重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上，如硬盘； 存取频率低或对存取响应时间要求低的数据则可以放在低速存

11、储设备上，如磁盘或磁带。,10.07.2020,.,30,5.确定存储分配,物理存储中以文件、块和记录来实现。一个文件包括很多块，每个块包括若干条记录。 文件中的块是数据库的数据和内存之间I/O传输的基本单位，在那里对数据进行操作。 用一个简例来说明逻辑模型和物理模型的内容，见下图所示。,10.07.2020,.,31,10.07.2020,.,32,3.2 数据仓库开发 3.3 数据仓库技术与开发的困难,10.07.2020,.,33,3.2数据仓库开发,3.2.1数据仓库开发过程 3.2.2 数据质量与数据清洗 3.2.3 数据粒度与维度建模,10.07.2020,.,34,3.2.1 数

12、据仓库开发过程,3.2.1.1 分析与设计阶段 3.2.1.2 数据获取阶段 3.2.1.3 决策支持阶段 3.2.1.4 维护与评估阶段,10.07.2020,.,35,需求 分析,数据 装载,信息 查询,概念 设计,逻辑 设计,物理 设计,数据 抽取,数据 转换,知识 探索,数据仓库增长,数据仓库维护,数据仓库评估,数据仓库开发过程,10.07.2020,.,36,3.2.1.1分析与设计阶段,1.需求分析 2.概念设计 3.逻辑设计 4.物理设计,10.07.2020,.,37,1.需求分析,确定决策主题域 分析主题域的商业维度 分析支持决策的数据来源,10.07.2020,.,38,2

13、.概念设计,建立概念模型：对每个决策主题与属性以及主题之间的关系用E-R图模型表示。 E-R图将现实世界表示成信息世界，便利向计算机的表示形式进行转化。,10.07.2020,.,39,3.逻辑设计,将概念模型（E-R图）转换成逻辑模型，即计算机表示的数据模型。 数据仓库数据模型一般采用星型模型。 星型模型由事实表、维表组成。,10.07.2020,.,40,4.物理设计,对逻辑模型设计的数据模型确定物理存储结构和存取方法。 数据仓库的星型模型在计算机中仍用关系型数据库存储。 物理设计还需要进行存储容量的估计；确定数据存储的计划；确定索引策略；确定数据存放位置以及确定存储分配。,10.07.2

14、020,.,41,3.2.1.2数据获取阶段,1.数据抽取 2.数据转换 3.数据装载,10.07.2020,.,42,1.数据抽取,对数据源的确认，确定数据抽取技术，确认数据抽取频率，按照时间要求抽取数据。 由于源系统的差异性，如计算机平台、操作系统、数据库管理系统、网络协议等的不同造成了抽取数据的困难。,10.07.2020,.,43,2.数据转换,数据格式的修正 字段的解码 单个字段的分离 信息的合并 变量单位的转化 时间的转化 数据汇总,10.07.2020,.,44,3.数据装载,初始装载：第一次装入数据仓库。 增量装载：根据定期应用需求装入数据仓 库。 完全刷新：完全删除现有数据，

15、重新装入 新的数据。,10.07.2020,.,45,3.2.1.3决策支持阶段,1.信息查询 2.知识探索,10.07.2020,.,46,1.信息查询,信息查询者使用数据仓库能发现目前存在的问题。 创建数据阵列 将相关的数据（每月的数据）放在同一个物理位置上。 预连接表格 将多个表格合并在一个物理表格中，提高数据的访问效率。,10.07.2020,.,47,预聚集数据 以每天为基础存储数据。在一周结束时，以每周为基础存储数据（即累加每天的数据）。月末时，则以每月为基础存储数据。 聚类数据 聚类将数据放置在同一地点，这样可以提高对聚类数据的查询。,10.07.2020,.,48,2.知识探索

16、,对发现的问题找出原因。 创建一个单独的探索仓库，不影响数据仓库的常规用户。同时采用“标识技术”进行数据压缩，提高数据分析速度。 使用一些模型帮助决策分析，例如客户分段、欺诈监测、信用分险、客户生存期、渠道响应、推销响应等模型。 通过模型的计算来得出一些有价值的商业知识。,10.07.2020,.,49,采用数据挖掘工具来获取商业知识。 例如，得到如下一些知识： 哪些商品一起销售好？ 哪些商业事务处理可能带有欺诈性？ 高价值客户的共同点是什么？ 获取的知识为企业领导者提供决策支持，达到保留客户，减少欺诈，提高公司利润具有重要作用。,10.07.2020,.,50,3.2.1.4维护与评估阶段,

17、1.数据仓库增长 2.数据仓库维护 3.数据仓库评估,10.07.2020,.,51,1.数据仓库增长,数据仓库建立以后，随着用户的不断增加，时间的增长，用户查询需求更多，数据会迅速增长。 在数据仓库的开发过程中需要适应数据仓库不断增长的现实。,10.07.2020,.,52,2.数据仓库维护,适应数据仓库增长的维护 数据增长的处理工作有：去掉没有用的历史数据；根据用户使用的情况，取消某些细节数据和无用的汇总数据，增加些实用的汇总数据。,10.07.2020,.,53,正常系统维护,数据仓库的备份和恢复。 备份数据为系统恢复提供基础，一旦系统出现灾难时，利用备份数据可以很快将数据仓库恢复到正常

18、状态。,10.07.2020,.,54,3.数据仓库评估,（1）系统性能评定 （2）投资回报分析 （3）数据质量评估,10.07.2020,.,55,（1）系统性能评定,硬件平台是否能够支持大数据量的工作和多类用户、多种工具的大量需求？ 软件平台是否是用一个高效的且优化的方式来组织和管理数据？ 是否适应系统（数据和处理）的扩展？,10.07.2020,.,56,（2）投资回报分析,定量分析:计算投资回报率（ROI），即收益与成本的比率。 定性分析:企业与客户之间关系状态？对机会快速反应能力如何？改善管理能力如何？,10.07.2020,.,57,（3）数据质量评估,数据是准确的。 数据符合它的

19、类型要求和取值要求。 数据具有完整性和一致性。 数据是清晰的且符合商业规则。 数据保持时效性并不能出现异常。,10.07.2020,.,58,3.2.2 数据质量与数据清洗,1. 数据质量问题 2.数据污染产生的原因 3.数据清洗,10.07.2020,.,59,1. 数据质量问题,（1）字段中的虚假值。 （2）数据值缺失。 （3）不一致的值。 （4）违反常规的不正确值。 （5）一个字段有多种用途。 （6）标法不唯一。,10.07.2020,.,60,2.数据污染产生的原因,（1）系统转换 （2）数据老化 （3）复杂的系统集成 （4）数据输入的不完整信息 （5）输入错误 （6）欺诈 （7）缺乏相关政策,10.07.2020,.,61,3.数据清洗,只清洗那些重要的数据，而忽略那些不重要的数据。 数据在被存储进数据仓库之前就应该进行清洗。 找到适合源系统的字段和格式的清洗工具。 建立数据质量领导小组；建立数据质量