UIT2数据仓库的环境

1、1unit twounit two数据仓库环境数据仓库环境 2学完本讲后，你应该能够了解：1.数据仓库的定义；2.数据仓库的特点是：面向主题的、集成的、非易失的和随时间变化的；3.数据仓库的多粒度数据结构可满足不同层次的需求，且粒度与分割技术是提高数据仓库性能的两个关键技术；4.建立数据仓库的典型过程是由核心逐步扩展的过程，随着扩展，数据仓库面临着性能下降的问题；5.数据仓库中的数据不是多数据库数据的简单堆积，而是通过多种主要方式来组织：简单堆积文件、轮转综合文件、简单直接文件和连续文件；6.数据仓库中的数据是有生命周期的，需要定期做数据清理。本 讲 主 要 目 标3一数据仓库的定义一数据仓库

2、的定义二数据仓库的特点二数据仓库的特点三数据仓库的数据结构三数据仓库的数据结构四建立数据仓库的典型过程四建立数据仓库的典型过程五数据仓库的数据组织形式五数据仓库的数据组织形式六六. . 清理数据仓库清理数据仓库4数据仓库数据仓库的定义的定义5世 界 公 认 的 数 据 仓 库 概 念 创 始 人w.h.inmon在数据仓库（building the data warehouse）一书中对数据仓库的定义是：数据仓库就是面向主题的、集成的、非易失的（稳定性）、随时间变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。6数据仓库数据仓库的特点的特点71.数据仓库的特点面向主题的面向主题的集

3、成的集成的随时间变化的随时间变化的非易失的非易失的数据仓库数据仓库82.面向主题的什么是主题？ 主题是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。92.面向主题的客户财务信息客户财务信息资产资产股票股票保险保险贷款贷款储蓄储蓄102.面向主题的传统的操作型系统是围绕公司的应用进行组织的.对一个保险公司来说,应用问题可能是汽车保险、人寿保险与意外伤亡保险。公司的主要主题范围可能是顾客、保险单、保险费与索赔。112.面向主题的122.面向主题的什么是面向主题的数据组织方式？就是在较高层次上对分析对

4、象的数据的一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。 所谓较高层次是相对面向应用的数据组织方式而言的，是指按照主题进行数据组织的方式具有更高的数据抽象级别。132.面向主题的 主题以一组相关的表来具体实现142.面向主题的 主题的表通过一个公共键值联系起来152.面向主题的 一个主题的数据可存储在不同介质上162.面向主题的 相同的数据既有综合级，又有细节级，每个键码都有一个时间元素173.集成的指数据由面向应用的操作型环境向数据仓库传送时所进行的集成183.集成的savingscurrent accountsloanscustomer19

5、3.集成的应用问题的设计人员历经多年制定出来的不同的设计决策有很多种不同的表示方法，没有什么应用在编码、命名习惯、属性度量等方面是一致的，各个应用问题设计员自由地做出他或她自己的设计决策。203.集成的214.非易失的操作型数据u一次访问和处理一个记录u可以对操作型环境中的数据进行更新数据仓库u一起载入与访问大量数据u不进行一般意义上的数据更新224.非易失的234.非易失的245.随时间变化的u数据仓库中的数据时间期限要远远长于操作型系统中的时间期限u操作型数据库含有“当前值”的数据，这些数据的准确性在访问时是有效的，并且是可更新的；数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照u操作

6、型数据的键结构可能包含也可能不包含时间元素，而数据仓库的键结构总是包含某时间元素255.随时间变化的01/9702/9703/97januaryfebruarymarchtimedata199719971997265.随时间变化的27数据仓库数据仓库的数据结构的数据结构281.数据仓库的数据结构在数据仓库中，数据存在着不同的细节级：u早期细节级（通常是备用的、批量的存储）u当前细节级u轻度综合数据级（数据集市）u高度数据综合级291.数据仓库的数据结构高度综合级轻度综合级当前细节级早期细节级集成转换dss映射元数据db分析工具数据仓库的多粒度数据组织301.数据仓库的数据结构312.粒度问题u

7、粒度 是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级别越小u粒度问题是设计数据仓库的一个最重要的方面322.粒度问题u粒度的设计问题：粒度的大小影响存放在数据仓库中的数据量的大小，同时，影响数据仓库所能回答的查询类型332.粒度问题 粒度大小影响数据量342.粒度问题 粒度大小影响回答查询的能力352.粒度问题 粒度的权衡很重要，但很难363.样本数据库样本数据库是真实档案数据或轻度综合数据的子集373.样本数据库u样本数据库是另一种在数据仓库中改变粒度的方法u样本数据库不是通用的数据库，只适用于作统计分析和观察发展趋势u样本数据库的最大好处是存取效率非常高384

8、.数据分割 u数据分割是把结构相同的数据划分成小的、不重叠的物理单元，它们能够独立地被处理u在数据仓库中，围绕分割问题的焦点不是该不该分割，而是如何分割u数据分割是数据仓库中数据的第二个主要的设计问题394.数据分割 - 把结构相同的数据划分成小的、不重叠的物理单元404.数据分割 分割标准u时间u商业u地理位置u组织单位u所有上述标准414.数据分割 在应用层对数据分割u系统层上分割 - 是某些dbms和操作系统的一种功能；u应用层上分割 - 是由设计的应用程序代码完成，只由开发者和程序员严格地控制u分割的数据可以有不同的定义u能从一个处理集无损地转移到另一个处理集42建立数据仓库建立数据仓

9、库的典型过程的典型过程43u建立数据仓库只能采用有序地反复和一次一步的方式，进行设计和载入数据，即它是进化性的，而非革命性的。u突然建立一个数据仓库的费用、需要的资源和对环境的破坏，都表明数据仓库的建立要采用有序地反复和一次一步的方式44建立数据仓库要采用有序地反复和一次一步的方式45数据仓库的数据仓库的数据组织形式数据组织形式461.数据仓库的数据组织形式u简单堆积文件u轮转综合文件u简单直接文件u连续文件472.简单堆积文件u最简单、最常用的数据组织形式u从操作型环境中取出每天的事务处理（更新操作），然后综合成数据仓库记录，这个综合可根据任何组织到数据仓库的主题领域来进行，这里的事务处理是

10、以天来进行综合u例：对一个顾客的一个帐号的每天的所有活动进行合计，并在一天一天的基础上输入数据仓库482.简单堆积文件493.轮转综合文件a.是简单逐日堆积数据的一个变种b.数据用与前面相同的处理方法从操作型环境输入到数据仓库环境中，只是输入到不同的结构形式中。c.第一周的七天中的活动被逐一综合到七个每日相应的位置，到第八天，将七个每日位置的数据加到一起，并放入第一周的数据位置中。d.月底将每周位置的数据加到一起，并放入当月相应的数据位置处503.轮转综合文件514.轮转综合文件与简单堆积文件的比较525.简单直接文件u是间隔一定时间的操作型数据的一个快照u不是在每天的基础上组织数据，而是以较

11、长时间为单位的，比如，一个星期或者一个月535.简单直接文件546.连续文件a.依据两个或更多的简单直接文件能生成一种连续文件a.将两个快照合并，创建一个连续文件b.把一个快照追加到一个以前生成的连续文件556.连续文件566.连续文件57清理数据仓库清理数据仓库581.数据是有生命周期的2.休眠数据u休眠数据休眠数据是那些存在于数据仓库中的、当前并不使用、将来也很少使用或者根本就不会使用的数据u造成休眠数据的原因u由于概括表格的创建u由于错误估计实际上所需要的历史数据的年限u由于时间的推移，需求的现实性逐渐明显u由于坚持让详细数据驻留在数据仓库中592.休眠数据u休眠数据的处理1)查找休眠数据2)选择删除的数据数据仓库管理员查看已访问或不访问的数据，确定哪些数据应该从数据仓库中删除。可以使用一个活动监视器跟踪数据仓库用户过去的活动。3)确定访问的可能性根据数据的访问可能性来安全地从数据仓库中删除数据4)删除休眠数据603.清理数据的方法u将数据加入到一个轮转综合文件中u将数据从高性能介质转移到大容量介质上u将数据从系统中实际清除u将数据从一个体系结构层次转到另一个层次61学完本讲后，你应该能够了解：1.数据仓库的定义；2.数据仓库的特点是：面向主题的、集成的、非易失的和随时间变化的；3.数据仓库的多粒度数