数据仓库DataWarehou.ppt

数据仓库(Data Warehouse),北京科技大学 武 森,内容安排,1 数据仓库概述 2 多维数据模型 3 数据仓库的体系结构 4 数据仓库的数据组织 5 数据仓库的数据预处理 6 数据仓库应用举例,内容安排,1 数据仓库概述 2 多维数据模型 3 数据仓库的体系结构 4 数据仓库的数据组织 5 数据仓库的数据预处理 6 数据仓库应用举例,1 数据仓库概述,1.1 数据仓库的产生与发展 1.2 数据仓库的含义与特征 1.3 操作型数据库系统与数据仓库 1.4 数据仓库的基本结构 1.5 数据仓库的相关概念,1.1 数据仓库的产生与发展,最早发轫于80年代初W.H.Inmon的研究，存在于其“记录系统”、“本原数据” 、“决策支持数据库”等研究专题中1。 数据仓库的具体概念是W.H.Inmon在1992年出版的建立数据仓库一书中提出的，目前它被认为是解决信息技术在发展中一方面拥有大量数据，另一方面有用信息却很贫乏这种不正常现象的综合解决方案。,1.2 数据仓库的含义与特征,数据仓库的含义(W.H.Inmon) “数据仓库是面向主题的、综合的、不同时间的、稳定的数据的集合，用以支持经营管理中的决策制定过程（A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data in support of managements decision making process）”。,1.2 数据仓库的含义与特征,对数据仓库含义的理解 通俗地讲，数据仓库就是企业内部一种专门的数据存储，专门用于支持分析型数据查询。 （1）专门的数据存储 以多维数据模型进行存储，该模型能够反映实际的商业分析需求，并支持预先未知的具体数据查询操作。 （2）分析型数据查询工具 数据仓库是Lotus1-2-3和Microsoft Excel等工具的延伸与发展，目的在于使得分析能够更准确、更快速、更灵活、更有效，支持的数据量更大。,1.2 数据仓库的含义与特征,数据仓库的特征 （1）数据仓库是面向主题的：传统数据库应用按照业务处理流程来组织数据，目的在于提高处理的速度。主题是一个在较高层次将数据进行归类的标准，满足该领域分析决策的需要。 （2）数据仓库是集成性的：数据仓库中的数据来自于多个应用系统，不仅要统一原始数据中的所有矛盾，如同名异义，异名同义等，而且要将这些数据统一到数据仓库的数据模式上来。 （3）数据仓库是随时间而变化的：数据仓库随着时间变化要不断增加新的内容。由于数据仓库常常用作趋势预测分析，所以需要保留足够长时间的历史数据，一般为510年。 （4）数据仓库是稳定的：数据仓库的这种稳定性指的是数据仓库中的数据主要供企业决策分析之用，决策人员所涉及的数据操作主要是数据查询，一般情况下并不进行数据修改。,1.2 数据仓库的含义与特征,数据仓库还具有以下特点： （1）数据仓库中的数据量非常大。通常的数据仓库的数据量为10GB级，相当于一般数据库100MB的100倍，大型数据仓库的数据量可以达到一个TB（1000GB）。数据中索引和综合数据占2/3，原始数据占1/33。 （2）数据仓库是数据库技术的一种新的应用，而且到目前为止，数据仓库一般还是应用数据库管理系统来管理其中的数据。 （3）数据仓库的使用人员较少。,1.3 操作型数据库系统与数据仓库,1.4 数据仓库的基本结构,可视化,应用工具,数据存储,数据源,1.5 数据仓库的相关概念,粒度 粒度（Granularity）是指数据仓库中数据单元的详细程度和级别。数据越详细，粒度越小级别就越低；数据综合度越高，粒度越大级别就越高。 在传统的操作型数据库系统中，对数据处理和操作都是在最低级的粒度上进行的。但是在数据仓库环境中应用的主要是分析型处理，一般需要将数据划分为：详细数据，轻度总结、高度总结三级或更多级粒度。,1.5 数据仓库的相关概念,维度 维（Dimension）是指人们观察事物的特定的角度，概念上类似于关系表的属性。 例如：企业常常关心产品销售数据随着时间推移而变化的情况，这是他从时间的角度来观察产品的销售，即时间维；企业也常常关心本企业的产品在不同地区的销售分布情况，这时他是从地理分布的角度来观察产品的销售，即地区维。,1.5 数据仓库的相关概念,数据立方体 数据立方体是指由两个或更多个属性、即两个或更多个维来描述或分类的数据。在三维的情况下以图形来表示，该类数据具有立方体结构，一般称为数据立方体。 虽然我们通常从几何意义的角度将立方体理解为三维的，但是在数据仓库中数据立方体是一个n-维的概念。,1.5 数据仓库的相关概念,UX-11,TR-78,EC-1,XVG,Jun.,May.,Apr.,Mar.,VCR,全部地区,南部,北部,1季度,2季度,上半年,产品,时,间,地 区,TR-75,CAMC,VIDEO,图1-2 销售数据多维数据立方体示意图,531,539,652,683,867,Feb.,531,605,Jan.,1.5 数据仓库的相关概念,联机分析处理（OLAP） 联机分析处理（OLAPOn_Line Analytical Processing）是快速、灵活的多维数据分析工具。OLAP的概念最早是由关系数据库之父E.F.Codd于1993年提出的。 OLAP的目的是支持分析决策，满足多维环境的查询和报表需求，其技术核心在于“维”的概念，OLAP是多维数据分析的工具。,1.5 数据仓库的相关概念,1.5 数据仓库的相关概念,数据集市 数据集市（Data Mart）是完整的数据仓库的一个逻辑子集，而数据仓库正是由其所有的数据集市有