数据仓库与数据挖掘数据的组织管理

1、2022/7/251作业(zuy)3学习课本的相关内容熟悉数据仓库结构体系(tx)的构成理解数据仓库的数据组织要求和方法查阅并学习数据仓库应用的材料，学习在数据仓库和数据挖掘的应用中需要解决的关键难题。共二十二页数据仓库与数据挖掘共二十二页2022/7/253数据仓库原理：数据的组织(zzh)管理提要内容回顾:几个重要的概念数据仓库的结构与技术要求(yoqi)数据仓库中数据的组织数据模型数据仓库的概念模型数据仓库的逻辑模型与物理模型元数据共二十二页2022/7/254数据仓库的总体(zngt)结构从数据仓库的概念结构看，应该包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种(

2、 zhn)管理工具和应用工具。数据仓库的创建、应用可以利用各种数据仓库管理工具辅助完成。共二十二页2022/7/255数据仓库的总体(zngt)结构 业务(yw)系统外部数据源数据准备区数据集市/知识挖掘库数据仓库数据库数据集市/知识挖掘库应用工具应用工具用户用户管理工具数据源共二十二页2022/7/256数据仓库的体系结构 共二十二页2022/7/257数据仓库涉及(shj)的几个重要概念外部数据源: 决策的需要数据抽取一部分业务数据用于支持决策活动(hu dng)现代数据仓库产品几乎都提供数据接口和抽取引擎支持数据抽取数据清洗将不一致、错误的数据应予更正或删除，确保数据仓库中数据的正确数据

3、转换格式的一致性转换共二十二页2022/7/258数据仓库涉及的几个(j )重要概念数据加载将清洗、转换后的数据装入数据仓库的过程采取不同的加载策略元数据数据集市数据仓库中的数据子集，只存放某个主题的数据，服务于某个业务部门物理上或逻辑上划分提高处理效率数据粒度(l d)数据仓库的数据单位中保存数据的细化程度或综合程度的级别，细化程度越高，粒度级别越低。共二十二页2022/7/259数据仓库的层次结构为实现数据仓库的功能，数据仓库的总体层次结构应该由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。 (1)数据仓库的基本功能层应该包含从数据源抽取数据，对所抽取的数据进行筛选、清理，将

4、清理后的数据加载到数据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等功能。(2)数据仓库的管理层包含数据管理与元数据管理两部分(b fen)。数据管理与元数据管理主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。(3)数据仓库环境支持层主要包含数据传输和数据仓库基础两大部分。这两大部分对于数据仓库的创建和使用来说是必不可少的，没有这两个数据仓库的支持环境，数据仓库的创建与使用是无法实现的。共二十二页2022/7/2510数据仓库的结构(jigu)模式数据仓库的自顶向下结构(jigu)这是最早提出的数据仓库结构。数据仓库的自底向上结构核心是

5、通过独立开发的数据集市逐渐构建数据仓库。 共二十二页2022/7/2511数据(shj)集市1.数据集市的产生数据仓库工作范围和成本常常是巨大的。开发数据仓库是代价很高、时间较长的大项目。提供更紧密集成的数据集市就应运产生。目前，全世界对数据仓库总投资的一半(ybn)以上均集中在数据集市上。数据集市（Data Marts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径共二十二页2022/7/2512数据集市(jsh)的特点具有数据仓库的基本特征其他特点：1、规模较小，灵活，可以按照多种方式来组织，如按特定(tdng)的应用、部门、地域、主题等。2、发工作一般由业务部门主持定

6、义、设计、实施、管理和维护。3、能够快速实现，代价较低，投资回收期 短，风险小。4、紧密集成。5、有利于进一步升级到完整的数据仓库或形成分布式数据仓库。共二十二页2022/7/2513数据(shj)集市的类型数据集市可以(ky)分为两种，一种是从属数据集市（Dependent Data Mart) 另一种是独立数据集市（Independent Data Mart),共二十二页2022/7/2514数据仓库的技术(jsh)要求：1.数据管理技术（1）大批量数据管理在数据仓库的所有技术中最重要的是管理大批量数据技术。如果不能管理大批量数据，那么数据仓库的创建与使用是不可能的。管理大批量数据包括管理

7、大批量数据能力和管理好大批量数据的能力，即管理大批量数据技术要求管理能力的满足(mnz)和管理的高效率两方面要求。共二十二页2022/7/2515数据仓库的技术(jsh)要求：1.数据管理技术（2）数据仓库的高效率索引与数据监视技术数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能力。显然，如果数据不能被方便地检索和访问，数据仓库很难适应大数据量存储和处理的要求。因此，支持辅助索引、稀疏索引、动态索引和临时索引等的索引技术就变得十分重要，还必须考虑创建(chungjin)索引和使用索引的代价等。共二十二页2022/7/2516数据仓库的技术(jsh)要求：1.数据管理技术（3）元数

8、据管理技术典型的元数据包括(boku)：数据仓库表结构。数据仓库表属性。数据仓库数据源。从记录系统到数据仓库的映射。共二十二页2022/7/2517数据仓库的技术要求(yoqi)： 2. 数据存储技术数据的存储技术包含多介质(jizh)存储设备的管理技术，数据存储的控制技术，数据的并行存储与管理技术，可变长技术和锁切换技术等。共二十二页2022/7/2518数据仓库的技术(jsh)要求： 3. 多种类型的接口技术（1）多技术的接口对于数据仓库的创建和运行来说，能够使用各种不同的技术获取或传送数据是很重要的。（2）语言的接口数据仓库的实际应用必须依赖某种语言来完成，典型的数据仓库语言接口须满足(

9、mnz)数据访问的一系列要求。（3）数据的高效率加载在数据仓库的实际应用中，经常需要从数据源加载数据共二十二页2022/7/2519数据仓库的组成(z chn)数据仓库管理部分：定义(dngy)部件、数据获取部件、管理部件、元数据管理等包括检索查询工具、OLAP分析工具、统计分析以及数据挖掘工具等共二十二页2022/7/2520数据仓库的数据组织数据仓库中数据的组织方式与数据库不同，通常采用(ciyng)分级的方式进行组织。一般包括早期细节数据、当前细节数据、轻度综合数据、高度综合数据以及元数据五部分。高度综合级轻度综合级当前细节级早期细节级集成转换DSS映射元数据DB分析工具共二十二页202

10、2/7/25212. 数据仓库的数据组织早期细节数据(shj)：指存储过去的详细数据(shj)，它反映了真实的历史情况。当前细节数据：指最近时期的业务数据，它反映了当前业务的情况，数据量大，是数据仓库用户最感兴趣的部分。轻度综合数据：指从当前基本数据中提取出来，以较小的时间段（粒度）统计而形成的数据。这类数据较细节数据的数据量小得多。高度综合数据：这一层的数据是十分精练的数据。整个数据的组织结构由元数据统一来组织共二十二页内容摘要2022/1/24。2022/1/24。数据仓库的创建(chungjin)、应用可以利用各种数据仓库管理工具辅助完成。外部数据源: 决策的需要。现代数据仓库产品几乎都提供数据接口和抽取引擎支持数据抽取。将清洗、转换后的数据装入数据仓库的过程。物理上或逻辑上划分。(2)数据仓库的管理层包含数据管理与元数据管理两部分。(3)数