《数据仓库与数据挖掘》课件 第1、2章 数据仓库概述、分布式数据仓库

第1章

数据仓库概述目录1.1什么是数据仓库

1.2数据仓库与传统数据库

1.3数据仓库的体系结构

1.4数据仓库服务器1.5多维数据模型1.6OLAP、OLTP及与数据仓库的关系1.7OLAP服务器1.8课后习题1.1

什么是数据仓库1.1什么是数据仓库数据仓库（DataWarehouse,DW）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策（DecisionMakingSupport）。特点：（1）数据仓库是一个面向主题的数据集合（2）数据仓库是集成的（3）数据仓库是相对稳定的（4）数据仓库反映历史变化1.2

数据仓库与传统数据库1.2数据仓库与传统数据库数据仓库的形成离不开数据库，因此，数据仓库与数据库之间存在千丝万缕的联系，也存在着很多区别。存在的联系：（1）技术基础共享（2）数据基础及规范化要求（3）发展趋势及融合1.2数据仓库与传统数据库区别：1.3

数据仓库的体系结构1.3数据仓库的体系结构（1）数据源层（2）数据准备（3）数据仓库服务器（4）OLAP服务器（5）前端客户层1.4

数据仓库服务器1.4数据仓库服务器数据仓库服务器中装载着数据仓库、数据集市以及描述数据仓库的元数据库等数据系统，这些数据系统共同支撑上层应用系统进行挖掘、分析。（1）数据仓库模型从结构的角度看，有三种数据仓库模型，分别为企业仓库、数据集市和虚拟仓库。（2）企业仓库企业仓库（EnterpriseWarehouse），有时也被称为企业级数据仓库或企业数据仓库（EnterpriseDataWarehouse,EDW），是一个集中式的、面向企业全局的数据存储和检索系统。1.4数据仓库服务器数据仓库服务器中装载着数据仓库、数据集市以及描述数据仓库的元数据库等数据系统，这些数据系统共同支撑上层应用系统进行挖掘、分析。（3）数据集市按照数据来源和功能不同，数据集市可以分为从属数据集市和中央数据集市。1.4数据仓库服务器数据仓库服务器中装载着数据仓库、数据集市以及描述数据仓库的元数据库等数据系统，这些数据系统共同支撑上层应用系统进行挖掘、分析。（4）虚拟仓库

虚拟仓库是一种数据集合和处理方式的概念，它并不对应于某个具体的物理存储位置，而是将分布在不同系统和地域的数据源在逻辑上连接到一起，实现数据的集中管理和统一查询。虚拟仓库易于建立，但需要操作数据库服务器有足够资源。1.5

多维数据模型1.5多维数据模型多维数据模型是数据仓库中用于数据分析和决策支持的一种重要数据组织方式。在数据仓库中，多维数据模型通过构建数据立方体（DataCube）等结构，将数据按照多个维度进行组织，以便进行复杂的数据分析。数据立方体允许以多维数据建模和观察，下图给出展示了常见的数据立方体数据结构图：1.5多维数据模型多维数据模型可以以星型模式、雪花模式、或事实星座模式的形式存在。（1）星型模式（StarSchema）:1.5多维数据模型多维数据模型可以以星型模式、雪花模式、或事实星座模式的形式存在。（2）雪花模式（SnowflakeSchema）:1.5多维数据模型多维数据模型可以以星型模式、雪花模式、或事实星座模式的形式存在。（3）事实星座（FactConstellations）::1.6

OLAP、OLTP及与数据仓库的关系1.6OLAP、OLTP及与数据仓库的关系联机事务处理（OnlineTransactionProcessing,OLTP）主要任务是执行联机事务和查询处理。涵盖了单位的大部分日常操作，如购物、库存、银行、工资、注册、记账等。联机分析处理（OnlineAnalyticalProcessing,OLAP）主要任务是在数据分析和决策方面为用户或“知识工人”提供服务。这种系统可以用不同的格式组织提供数据，以便满足不同用户的不同需求。1.7

OLAP服务器1.7OLAP服务器数据仓库中的OLAP（OnlineAnalyticalProcessing，在线分析处理）服务器是一个专门用于支持复杂数据分析和查询的软件或硬件平台。主要功能：（1）数据存储与管理（2）数据聚合与统计（3）数据查询与分析（4）报表生成与可视化1.8

课后习题1.8课后习题1.请简述数据仓库的基本概念及其与操作型数据库的区别

。2.数据仓库的四个基本特征是什么？请分别解释它们的含义。3.请描述数据仓库的三层体系结构，并说明每一层的作用和意义。4.数据准备过程中包括哪些关键步骤？这些步骤对于数据仓库的建设有何重要性？5.简述企业仓库、数据集市和虚拟仓库的定义及其各自的特点。6.请解释ROLAP、MOLAP和HOLAP的区别，并讨论它们在不同场景下的适用性。7.如何理解数据仓库与OLAP之间的关系？它们在决策支持系统中是如何协作的？8.结合实际案例，谈谈数据仓库在企业管理决策中的作用和价值。第2章

分布式数据仓库目录2.1什么是Hive

2.2Hive用在哪里

2.3Hive与传统数据仓库的比较

2.4Hive的优缺点2.5Hive的功能与架构2.6Hive运行流程2.7Hive数据存储模型2.8课后习题1.1

什么是Hive2.1什么是HiveHive是一个建立在Hadoop文件系统上的数据仓库基础架构，它提供了一系列工具，能够对存储在HDFS（Hadoop分布式文件系统）中的数据进行数据提取、转换和加载（ETL），允许熟悉SQL的用户查询数据，同时也允许熟悉MapReduce的开发者开发mapper和reducer来处理复杂的分析工作。特性：（1）灵活方便的ETL（2）支持Tez、Spark等多种计算引擎（3）可直接访问HDFS文件以及HBase（4）易用易编程2.2Hive用在哪里2.2Hive用在哪里Hive的最佳使用场合是大数据集的批处理作业，例如，网络日志分析或者不同行业中的用户行为分析、风险管理等多个方面。2.3Hive与传统数据仓库的比较1.2数据仓库与传统数据库区别：1.2数据仓库与传统数据库区别：2.4Hive的优缺点2.4Hive的优缺点Hive使用集群模式和超时重传机制实现了高可靠和高容错。2.4Hive的优缺点

但是，Hive本身也有一些缺点：(1)延迟高，因为MR本身延迟就高(2)不支持物化视图（就是不能在试图上进行增删改，仅支持普通的查询视图）(3)不适用OLTP(4)只支持函数，不支持存储过程2.5Hive的功能与架构2.5Hive的功能与架构Hive的功能结构：2.6Hive运行流程2.6Hive运行流程Hive的运行流程是一个复杂但高度优化的过程，它主要依赖于Hadoop的MapReduce框架或其他执行引擎（如Tez、Spark）来处理大规模数据，下图给出了一个基本的工作流程：2.7Hive数据存储模型2.7Hive数据存储模型Hive的数据存储模型是建立在Hadoop文件系统之上的，它提供了灵活的数据存储方式，以支持大规模数据的存储和分析。数据库表表倾斜数据分区分区桶桶桶桶正常数据2.8

课后习题2.8课后习题1.请简述Hive的基本概念及