第1章-数据仓库的概念与体系结构

1、2022/10/11数据仓库与数据挖掘1第1章 数据仓库的概念与体系结构 数理学院唐志刚2022/10/11数据仓库与数据挖掘21.1 数据仓库的概念、特点与组成数据仓库的概念数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持（DDS） 2022/10/11数据仓库与数据挖掘31.1 数据仓库的概念、特点与组成数据仓库的特点：面向主题；集成的；相对稳定的；反映历史变化。面向主题操作型数据库中的数据针对事务处理任务，各个业务系统之间各自分离。

2、数据仓库中的数据是按照一定的主题域进行组织的2022/10/11数据仓库与数据挖掘4集成操作型数据库通常与某些特定应用相关，数据库之间相互独立，并且往往是异构的；数据仓库中的数据是在对原有分散的数据库数据进行抽取、清理的基础上进行系统加工、汇总和整理得到的；2022/10/11数据仓库与数据挖掘5相对稳定操作型数据库中的数据通常实时更新，数据根据需要及时发生变化；数据仓库的数据主要用于决策分析，对所涉及的数据操作主要是数据查询和定期更新，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作2022/10/11数据仓库与数据挖掘6反映历史变化操作型数据库主要

3、关心当前某一个时间段内的数据；数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化；2022/10/11数据仓库与数据挖掘72022/10/11数据仓库与数据挖掘81.1 数据仓库的概念、特点与组成数据仓库的组成：数据仓库数据库；数据抽取工具；元数据：技术元数据与业务元数据；访问工具；数据集市（Data Marts）；数据仓库管理；信息发布系统。数据仓库数据库是整个数据仓库的核心，是数据信息存放的地方，对数据提供存取和检索支持；主要特点：对海量数据的支持和快速检索技术2022/10/11数据仓库与数据挖掘9数据抽取工具是把数据从各种各样的存储环境中提取出来，

4、进行必要的转化、整理、再存放到数据仓库内；数据转换主要包括：删除对决策分析没有意义的数据；转换到统一的数据名称和定义；计算统计和衍生数据；填补缺失数据；统一不同的数据定义方式；2022/10/11数据仓库与数据挖掘10元数据描述数据仓库中的数据及其环境的数据；在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:（1）描述哪些数据在数据仓库中；（2）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（3）记录根据业务事件发生而随之进行的数据抽取工作时间安排；2022/10/11数据仓库与数据挖掘11元数据（4）记录并检测系统数据一致性的要求和执行情况；（5）衡量数据质量；分为技术元数据和

5、业务元数据，其特点见教材P3页；2022/10/11数据仓库与数据挖掘12访问工具是为用户访问数据仓库提供的手段2022/10/11数据仓库与数据挖掘13数据集市是为了特定的应用目的，从数据仓库中独立出来的一部分数据，也称为部门数据或主题数据；在数据仓库实施过程中往往可以从一个部门的数据集市入手，再用几个数据集市组成一个完整的数据仓库；注意：在实施不同数据集市时，相同含义字段的定义一定要相容；2022/10/11数据仓库与数据挖掘14数据仓库管理包括安全与权限的管理；数据更新的跟踪；数据质量的检查；元数据的管理与更新；数据仓库使用状态的检测与审计；2022/10/11数据仓库与数据挖掘15信息

6、发布系统是把数据仓库中的数据或其它相关的数据发送给不同的地点或用户；目前最常用的是基于web的信息发布系统2022/10/11数据仓库与数据挖掘162022/10/11数据仓库与数据挖掘171.2 数据挖掘的概念与方法数据挖掘的概念数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(Knowledge Discovery in Database, KDD) 2022/10/11数据仓库与数据挖掘181.2 数据挖掘的概念与方法数据挖掘的方法：直接数据挖

7、掘间接数据挖掘。2022/10/11数据仓库与数据挖掘191.2 数据挖掘的概念与方法数据仓库与数据挖掘的关系若将数据仓库（Data Warehouse）比作矿井，那么数据挖掘（Data Mining）就是深入矿井采矿的工作 数据挖掘是从数据仓库中找出有用信息的一种过程与技术 2022/10/11数据仓库与数据挖掘201.3 数据仓库的技术、方法与产品联机事务处理（OLTP）与联机分析处理（OLAP）的比较；OLAP技术的有关概念 ：多维数据集、维度、度量值和多维分析；OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP OLAP工具 2022/10/11数据仓库与数据挖

8、掘211.3 数据仓库的技术、方法与产品数据仓库实施中的三个关键环节数据抽取；数据存储与管理数据表现 2022/10/11数据仓库与数据挖掘221.3 数据仓库的技术、方法与产品数据仓库实施方法论数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败 2022/10/11数据仓库与数据挖掘231.3 数据仓库的技术、方法与产品常用数据仓库产品比较常用OLAP工具介绍 ；各数据仓库厂商提供的解决方案 IBM、Oracle、NCR、Microsoft、SAS等2022/10/11数据仓库与数据挖掘24

9、1.4 数据仓库系统的体系结构数据仓库系统的体系结构的分类（1）两层架构（Generic Two-Level Architecture）。（2）独立型数据集市（Independent Data Mart）。（3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。（4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。2022/10/11数据仓库与数据挖掘251.4 数据仓库系统的体系结构两层数据仓库体系结构 2022/10/11数据仓库与数据

10、挖掘261.4 数据仓库系统的体系结构基于独立数据集市的数据仓库体系结构 2022/10/11数据仓库与数据挖掘271.4 数据仓库系统的体系结构基于依赖型数据集市和操作型数据存储(ODS)的数据仓库体系结构 2022/10/11数据仓库与数据挖掘281.4 数据仓库系统的体系结构逻辑型数据集市和实时数据仓库的体系结构 2022/10/11数据仓库与数据挖掘291.5 数据仓库的产生、发展与未来数据仓库的产生联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联

11、机事务处理系统中来、从异构的外部数据源来、或从脱机的历史业务数据中来，这个数据中心也是一个联机系统，它专门为分析统计和决策支持应用服务，通过它可获取决策支持和联机分析应用所需要的一切数据。这个数据中心就叫做数据仓库。简单地说，数据仓库就是一个作为决策支持和联机分析应用系统数据源的结构化数据环境，数据仓库要研究和解决的问题就是从数据库中获取信息的问题。 2022/10/11数据仓库与数据挖掘301.5 数据仓库的产生、发展与未来数据仓库的发展以报表为主以分析为主 以预测模型为主 以营运导向为主 以实时数据仓库、自动决策应用为主 2022/10/11数据仓库与数据挖掘311.5 数据仓库的产生、发展与未来数据仓库的未来在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与