第二章 数据仓库的概念与体系结构课件

第2章数据仓库的概念与体系结构历史数据的几种处理方式:1)简单删除2）备份后删除3）建立数据仓库12/10/2022数据仓库与数据挖掘第2章数据仓库的概念与体系结构历史数据的几种处理方式:2.1数据仓库的概念、特点与组成数据仓库的概念数据仓库就是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，通常用于辅助决策支持（DDS）12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的概念12/8/22.1数据仓库的概念、特点与组成数据仓库的特点：面向主题；集成的；相对稳定的；反映历史变化。12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的特点：12/8/2.1数据仓库的概念、特点与组成数据仓库的组成：数据仓库数据库（核心部分）（特点：支持海量数据和快速检索）；数据抽取工具（提取、转换、整理），数据转换的内容通常有：1)删除没意义的数据；2）转换到统一的数据名称和定义；3）计算统计和衍生数据；4）填补缺失数据等；元数据：技术元数据与业务元数据；技术元数据：数据仓库的涉及和管理人员用于开发和管理数据仓库时使用的元数据，包括：数据转换的描述、数据清洗和数据更新时用的规则等等。

业务元数据:从单位业务的角度描述数据仓库，如业务主题的描述，即业务主体包含的数据、查询及报表等。12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的组成：12/8/2.1数据仓库的概念、特点与组成数据仓库的组成：-访问工具：如分析、报表、数据挖掘工具数据集市（DataMarts）：为特定的应用目的，从数据仓库中独立出来的一部分数据，也称部门数据或主题数据。数据仓库管理：包括安全与权限的管理、数据更新的跟踪、元数据的管理与更新、数据的复制于删除等等。信息发布系统：将数据发送给不同的地点或用户。12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的组成：12/8/2.2数据挖掘的概念与方法数据挖掘的概念数据挖掘(DataMining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(KnowledgeDiscoveryinDatabase,KDD)12/10/2022数据仓库与数据挖掘2.2数据挖掘的概念与方法数据挖掘的概念12/8/20222.2数据挖掘的概念与方法数据挖掘的方法：直接数据挖掘间接数据挖掘。12/10/2022数据仓库与数据挖掘2.2数据挖掘的概念与方法数据挖掘的方法：12/8/2022.2数据挖掘的概念与方法数据仓库与数据挖掘的关系若将数据仓库（DataWarehouse）比作矿井，那么数据挖掘（DataMining）就是深入矿井采矿的工作数据挖掘是从数据仓库中找出有用信息的一种过程与技术

12/10/2022数据仓库与数据挖掘2.2数据挖掘的概念与方法数据仓库与数据挖掘的关系12/82.3数据仓库的技术、方法与产品联机事务处理（OLTP）与联机分析处理（OLAP）的比较；见表1.1OLAP技术的有关概念：多维数据集、维度、度量值和多维分析（切片、切块、钻取、旋转等）；OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP（混合，低层关系型，高层多维型）OLAP工具：对特定问题的联机数据访问与分析，一般是前端工具。

12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品联机事务处理（OLTP）与2.3数据仓库的技术、方法与产品数据仓库实施中的三个关键环节数据抽取；数据存储与管理：大量数据管理，并行处理，支持查询的优化，支持多维分析的查询模式数据表现:工具主要集中在多维分析、数据挖掘、统计分析。12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品数据仓库实施中的三个关键环2.3数据仓库的技术、方法与产品数据仓库实施方法论数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品数据仓库实施方法论12/82.3数据仓库的技术、方法与产品常用数据仓库产品比较常用OLAP工具介绍；各数据仓库厂商提供的解决方案IBM、Oracle、NCR、Microsoft、SAS等12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品常用数据仓库产品比较12/2.4数据仓库系统的体系结构数据仓库系统的体系结构的分类（1）两层架构（GenericTwo-LevelArchitecture）。（2）独立型数据集市（IndependentDataMart）。（3）依赖型数据集市和操作型数据存储（DependentDataMartandOperationalDataStore）。（4）逻辑型数据集市和实时数据仓库（LogicalDataMartandReal-TimeDataWarehouse）。12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构数据仓库系统的体系结构的分类12.4数据仓库系统的体系结构两层数据仓库体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构两层数据仓库体系结构12/82.4数据仓库系统的体系结构基于独立数据集市的数据仓库体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构基于独立数据集市的数据仓库体系2.4数据仓库系统的体系结构基于依赖型数据集市和操作型数据存储(ODS)的数据仓库体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构基于依赖型数据集市和操作型数据2.4数据仓库系统的体系结构逻辑型数据集市和实时数据仓库的体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构逻辑型数据集市和实时数据仓库的2.5数据仓库的产生、发展与未来数据仓库的产生联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联机事务处理系统中来、从异构的外部数据源来、或从脱机的历史业务数据中来，这个数据中心也是一个联机系统，它专门为分析统计和决策支持应用服务，通过它可获取决策支持和联机分析应用所需要的一切数据。这个数据中心就叫做数据仓库。简单地说，数据仓库就是一个作为决策支持和联机分析应用系统数据源的结构化数据环境，数据仓库要研究和解决的问题就是从数据库中获取信息的问题。

12/10/2022数据仓库与数据挖掘2.5数据仓库的产生、发展与未来数据仓库的产生12/8/22.5数据仓库的产生、发展与未来数据仓库的发展以报表为主以分析为主以预测模型为主以营运导向为主以实时数据仓库、自动决策应用为主

12/10/2022数据仓库与数据挖掘2.5数据仓库的产生、发展与未来数据仓库的发展12/8/22.5数据仓库的产生、发展与未来数据仓库的未来在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，带有决策支持扩展的并行关系数据库将最具发展潜力。在数据表现方面，数理统计的算法和功能将普遍集成到联机分析产品中，并与Internet/Web技术紧密结合。按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部分。数据仓库实现过程的方法论将更加普及，将成为数据库设计的一个明确分支，成为管理信息系统设计的必备

12/10/2022数据仓库与数据挖掘2.5数据仓库的产生、发展与未来数据仓库的未来12/8/2第2章数据仓库的概念与体系结构历史数据的几种处理方式:1)简单删除2）备份后删除3）建立数据仓库12/10/2022数据仓库与数据挖掘第2章数据仓库的概念与体系结构历史数据的几种处理方式:2.1数据仓库的概念、特点与组成数据仓库的概念数据仓库就是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，通常用于辅助决策支持（DDS）12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的概念12/8/22.1数据仓库的概念、特点与组成数据仓库的特点：面向主题；集成的；相对稳定的；反映历史变化。12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的特点：12/8/2.1数据仓库的概念、特点与组成数据仓库的组成：数据仓库数据库（核心部分）（特点：支持海量数据和快速检索）；数据抽取工具（提取、转换、整理），数据转换的内容通常有：1)删除没意义的数据；2）转换到统一的数据名称和定义；3）计算统计和衍生数据；4）填补缺失数据等；元数据：技术元数据与业务元数据；技术元数据：数据仓库的涉及和管理人员用于开发和管理数据仓库时使用的元数据，包括：数据转换的描述、数据清洗和数据更新时用的规则等等。

业务元数据:从单位业务的角度描述数据仓库，如业务主题的描述，即业务主体包含的数据、查询及报表等。12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的组成：12/8/2.1数据仓库的概念、特点与组成数据仓库的组成：-访问工具：如分析、报表、数据挖掘工具数据集市（DataMarts）：为特定的应用目的，从数据仓库中独立出来的一部分数据，也称部门数据或主题数据。数据仓库管理：包括安全与权限的管理、数据更新的跟踪、元数据的管理与更新、数据的复制于删除等等。信息发布系统：将数据发送给不同的地点或用户。12/10/2022数据仓库与数据挖掘2.1数据仓库的概念、特点与组成数据仓库的组成：12/8/2.2数据挖掘的概念与方法数据挖掘的概念数据挖掘(DataMining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(KnowledgeDiscoveryinDatabase,KDD)12/10/2022数据仓库与数据挖掘2.2数据挖掘的概念与方法数据挖掘的概念12/8/20222.2数据挖掘的概念与方法数据挖掘的方法：直接数据挖掘间接数据挖掘。12/10/2022数据仓库与数据挖掘2.2数据挖掘的概念与方法数据挖掘的方法：12/8/2022.2数据挖掘的概念与方法数据仓库与数据挖掘的关系若将数据仓库（DataWarehouse）比作矿井，那么数据挖掘（DataMining）就是深入矿井采矿的工作数据挖掘是从数据仓库中找出有用信息的一种过程与技术

12/10/2022数据仓库与数据挖掘2.2数据挖掘的概念与方法数据仓库与数据挖掘的关系12/82.3数据仓库的技术、方法与产品联机事务处理（OLTP）与联机分析处理（OLAP）的比较；见表1.1OLAP技术的有关概念：多维数据集、维度、度量值和多维分析（切片、切块、钻取、旋转等）；OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP（混合，低层关系型，高层多维型）OLAP工具：对特定问题的联机数据访问与分析，一般是前端工具。

12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品联机事务处理（OLTP）与2.3数据仓库的技术、方法与产品数据仓库实施中的三个关键环节数据抽取；数据存储与管理：大量数据管理，并行处理，支持查询的优化，支持多维分析的查询模式数据表现:工具主要集中在多维分析、数据挖掘、统计分析。12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品数据仓库实施中的三个关键环2.3数据仓库的技术、方法与产品数据仓库实施方法论数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品数据仓库实施方法论12/82.3数据仓库的技术、方法与产品常用数据仓库产品比较常用OLAP工具介绍；各数据仓库厂商提供的解决方案IBM、Oracle、NCR、Microsoft、SAS等12/10/2022数据仓库与数据挖掘2.3数据仓库的技术、方法与产品常用数据仓库产品比较12/2.4数据仓库系统的体系结构数据仓库系统的体系结构的分类（1）两层架构（GenericTwo-LevelArchitecture）。（2）独立型数据集市（IndependentDataMart）。（3）依赖型数据集市和操作型数据存储（DependentDataMartandOperationalDataStore）。（4）逻辑型数据集市和实时数据仓库（LogicalDataMartandReal-TimeDataWarehouse）。12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构数据仓库系统的体系结构的分类12.4数据仓库系统的体系结构两层数据仓库体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构两层数据仓库体系结构12/82.4数据仓库系统的体系结构基于独立数据集市的数据仓库体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构基于独立数据集市的数据仓库体系2.4数据仓库系统的体系结构基于依赖型数据集市和操作型数据存储(ODS)的数据仓库体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构基于依赖型数据集市和操作型数据2.4数据仓库系统的体系结构逻辑型数据集市和实时数据仓库的体系结构

12/10/2022数据仓库与数据挖掘2.4数据仓库系统的体系结构逻辑型数据集市和实时数据仓库的2.5数据仓库的产生、发展与未来数据仓库的产生联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联机事务处理系统中来、从异构的外部