《电子数据交换》PPT课件.ppt

第二章数据仓库原理,第2章数据仓库原理,2.1数据仓库的结构与技术要求2.1.1数据仓库的总体结构2.1.2数据集市2.1.3数据仓库的技术要求2.2数据仓库中的数据2.2.1数据仓库的数据组织2.2.2数据模型2.2.3数据仓库的概念模型2.2.4数据仓库的逻辑模型与物理模型,2.3元数据2.3.1元数据的作用2.3.2元数据的分类2.3.3元数据的标准化2.3.4数据粒度,2.1数据仓库的结构与技术要求,2.1.1数据仓库的总体结构,1.数据仓库的概念结构,从数据仓库的概念结构看，应该包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。数据仓库的创建、应用可以利用各种数据仓库管理工具辅助完成。,图2-1数据仓库的概念结构,业务系统,外部数据源,数据准备区,数据集市/知识挖掘库,数据仓库数据库,数据集市/知识挖掘库,应用工具,应用工具,用户,用户,管理工具,数据源,2.数据仓库的总体层次结构,为实现数据仓库的功能，数据仓库的总体层次结构应该由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。(1)数据仓库的基本功能层应该包含从数据源抽取数据，对所抽取的数据进行筛选、清理，将清理后的数据加载到数据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等功能。,（2）数据仓库的管理层包含数据管理与元数据管理两部分。数据管理与元数据管理主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。,（3）数据仓库环境支持层主要包含数据传输和数据仓库基础两大部分。这两大部分对于数据仓库的创建和使用来说是必不可少的，没有这两个数据仓库的支持环境，数据仓库的创建与使用是无法实现的。,3.数据仓库的结构模式,（1）数据仓库的自顶向下结构，这是最早提出的数据仓库结构。（2）数据仓库的自底向上结构，核心是通过独立开发的数据集市逐渐构建数据仓库。,2.1.2数据集市,1.数据集市的特点数据集市除具有数据仓库的基本特征以外，还具有以下特点：（1）规模较小，灵活，可以按照多种方式来组织，如按特定的应用、部门、地域、主题等。（2）发工作一般由业务部门主持定义、设计、实施、管理和维护。,（3）能够快速实现，代价较低，投资回收期短，风险小。（4）具集的紧密集成。（5）有利于进一步升级到完整的数据仓库或形成分布式数据仓库。,2.数据集市的类型,数据集市可以分为两种，一种是独立数据集市（IndependentDataMart),另一种是从属数据集市（DependentDataMart),3.企业级数据集市结构,尽管自底向上结构也存在许多缺点，但它基于数据集市构建数据仓库的由小到大，由部分到整体的思想给后来者很大的启发。,2.1.3数据仓库的技术要求,1.数据管理技术（1）大批量数据管理在数据仓库的所有技术中最重要的是管理大批量数据技术。如果不能管理大批量数据，那么数据仓库的创建与使用是不可能的。管理大批量数据包括管理大批量数据能力和管理好大批量数据的能力，即管理大批量数据技术要求管理能力的满足和管理的高效率两方面要求。,一般数据仓库对大批量数据的管理可以通过对文件的寻址、索引，数据的外延，有效的溢出管理等技术来实现。,（2）数据仓库的高效率索引与数据监视技术数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能力。显然，如果数据不能被方便地检索和访问，数据仓库很难适应大数据量存储和处理的要求。因此，支持辅助索引、稀疏索引、动态索引和临时索引等的索引技术就变得十分重要，还必须考虑创建索引和使用索引的代价等。,另一方面，能够随时监控数据仓库有许多方面的原因，包括：A.决定是否对数据进行重组。B.决定索引结构的有效性。C.决定数据仓库中的数据是否溢出。D.决定数据的统计组成。E.决定剩余可用空间。,如果某项技术不能高效和方便地监视数据，则这种技术不适用于元数据管理。（3）元数据管理技术典型的元数据包括：A.数据仓库表结构。B.数据仓库表属性。C.数据仓库数据源。D.从记录系统到数据仓库的映射。,E.数据模式说明。F.数据抽取和转换。G.通用数据访问例程。（4）数据压缩技术（5）复合键码技术（6）有效地装载数据,2.数据存储技术,数据的存储技术包含多介质存储设备的管理技术，数据存储的控制技术，数据的并行存储与管理技术，可变长技术和锁切换技术等。,3.数据仓库接口技术,（1）多技术的接口：对于数据仓库的创建和运行来说，能够使用各种不同的技术获取或传送数据是很重要的。（2）语言的接口：数据仓库的实际应用必须依赖某种语言来完成，典型的数据仓库语言接口必须满足如下要求：,A.能够一次访问一组数据。B.能够一次访问一条记录。C.能够确保使用一个或多个索引以满足用户访问需要D.有SQL接口。E.能够插入、删除和更新数据。（3）数据的高效率加载：在数据仓库的实际应用中，经常需要从数据源加载数据。,2.2.1数据仓库的数据组织,1.数据仓库组成（1）数据仓库管理部分数据仓库的数据来自多个数据源，包括企业内部数据和市场调查与分析的外部数据。数据仓库管理部分的组成包括：,A.定义部件B.数据获取部件C.管理部件D.元数据管理,也可称为信息目录管理,(2)数据仓库工具集数据仓库工具集主要由一些分析工具组成,主要包括检索查询工具、多维数据的OLAP分析工具、统计分析以及数据挖掘工具等。,数据仓库应用是一个典型的客户机/服务器结构形式，其客户端的工作主要包括客户交互、格式化查询、可视化以及报表生成等内容，服务器端完成各种辅助的查询、复杂的计算和各类综合功能等。这种方式在提高性能和可靠性、降低数据传输量以及保证数据的安全性等方面会带来很大的好处。服务器端一般有OLAP服务器和数据挖掘服务器两种,2.数据仓库的数据组织,数据仓库中数据的组织方式与数据库不同，通常采用分级的方式进行组织。一般包括早期细节数据、当前细节数据、轻度综合数据、高度综合数据以及元数据五部分。（1）早期细节数据：指存储过去的详细数据，它反映了真实的历史情况。（2）当前细节数据：指最近时期的业务数据，它反映了当前业务的情况，数据量大，是数据仓库用户最感兴趣的部分。,（3）轻度综合数据：指从当前基本数据中提取出来，以较小的时间段（粒度）统计而形成的数据。这类数据较细节数据的数据量小得多。（4）高度综合数据：这一层的数据十分精练，是一种难决策数据。整个数据的组织结构由元数据统一来组织，它不包含任何业务数据库中的实际数据信息。,2.2.2数据模型,1.传统数据库数据模型数据结构：包括数据对象及其相互联系。数据操作：主要是对数据的检索和更新。,数据的约束条件：完整性规则的集合。完整性规则是指在给定的数据模型中数据及其联系所具有的制约和依存规则。在传统的数据库系统中，主要的数据模型有：层次模型、网状模型和关系模型。,（1）层次模型描述了数据之间的层次关系。在层次模型中，数据之间的关系满足：A.有且仅有一个结点无双亲，这个结点称为根结点。B.其他结点有且仅有一个双亲结点。因此，层次模型只能描述数据之间一对一或一对多的关系。,（2）网状模型描述了数据之间的网状关系。在网状模型中，数据之间的关系允许：A.有一个以上的结点无双亲。B.结点可以有多个双亲结点。网状模型的最大特点是可以描述多对多的关系。,（3）关系模型关系模型在三种模型中是最重要的。虽然它的数据关系是几种模型中最简单的但其定义却比较复杂。可以把关系模型理解为一张二维表，表格中的每一行代表一个实体，称为记录：每一列代表实体的一个属性，称为数据项。记录的集合称为关系。,关系具有如下性质：A.数据项不可再分（即不可表中套表）。B.关系中的列是同性质的，称为属性。属性之间不能重名。C.关系中不能出现相同的记录，记录的顺序无所谓。D.每个关系都有一个主键，它能惟一地标识关系中的一个记录。E.关系中列的顺序不重要。,2.数据仓库模型,数据模型是对现实世界进行抽象的工具，需要将现实世界的事物及其有关特征转换为信息世界的数据，才能对信息进行处理与管理，这就需要依靠数据模型作为这种转换的桥梁。这种转换经历了从现实到概念模型，从概念模型到逻辑模型，最后从逻辑模型到物理模型的转换。,2.2.3数据仓库的概念模型,1.数据仓库模型的概念数据仓库概念模型的设计需要给出一个数据仓库的粗略蓝本，以此为工具来确认数据仓库的设计者是否已经正确的了解数据仓库最终用户的信息需求。,2.数据仓库概念模型,（1）概念数据模型在构建数据仓库的概念模型时，可以采用在业务数据处理系统中经常应用的企业数据模型ER图（ERD）。这是一种描述组织业务概况的蓝图，包括整个组织系统中各个部门的业务处理及其业务处理数据。数据仓库与操作型数据库一样，也存在高层模型（ERD，实体关系层）、中层模型（DIS，逻辑层）和低层模型（物理层）3个层次数据模型。,图2-11企业数据模型,财务部门,销售收入帐,应收帐应付帐成本帐,销售部门,销售计划销售合同,销售统计,人事部门,员工业绩记录员工技能情况,员工薪酬表,财务,人事,销售,.,.,.,企业数据模型,（2）星型数据模型ER数据模型作为一种数据仓库的设计基础，在实际应用中存在很多缺点。实际应用中，数据仓库的实体绝不会是对等的。星型数据模型是最常用的数据仓库结构模式。（3）雪花数据模型雪花数据模型是对星型数据模型的扩展。,图2-12星型数据模型结构图,维度表,维度表,维度表,维度表,维度表,事实表,图2-13雪花型数据模型结构图,维度表,维度表,维度表,维度表,维度表,事实表,详细类别表,详细类别表,2.2.4数据仓库的逻辑模型与物理模型,1.数据仓库（中间层）逻辑模型中间层数据模型亦可称为逻辑模型，它是对高层数据概念模型的细分，在高层数据模型中所标识的每个主题域或指标实体都需要与一个逻辑模型相对应。,2.物理数据模型,物理数据模型是依据中间层的逻辑数据模型而创建的，它通过确定模型的键码属性和模型的物理特性，扩展中间层数据模型而建立。此时，物理数据模型就由一系列表所构成，其中最主要的是事实表模型和维表模型。（1）事实表模型物理模型中的事实表来源于逻辑模型，它依据数据仓库具体的应用而建立。事实表是星型模型结构的核心。,（2）维模型维度表模型也需要根据逻辑模型设计，在设计过程中考虑维度表模型是用户分析数据的窗口。维度表应该含有商业项目的文字描述，维度的设计提供了维度属性的定义。这些属性应具有这样一些特征：,A.可用文字描述。B.离散值。C.有规定的限制。D.在分析过程中可以提供行标题。,3.数据仓库物理数据模型的性能问题,依据数据仓库数据量大但是操作单一的特点，可以采取以下一些技术来进行数据仓库的物理数据模型设计。（1）合并表（2）建立数据序列（3）引入冗余（4）表的物理分割,（5）生成导出数据（6）建立广义索引,2.3.1元数据的作用,1.元数据的定义元数据在数据仓库的设计、运行中有着重要的作用，它表述了数据仓库中的各对象，遍及数据仓库的所有方面，是数据仓库中所有管理、操作、数据的数据，是整个数据仓库的核心。,元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。其范围可以是某个特别的数据库管理系统中从现实世界的概念上的一般概括，到详细的物理说明。,在数据库中，元数据是对数据库中各个对象的描述。关系数据库中，这种描述就是对表、列、数据库、观点和其他对象的定义。从广义上讲，元数据代表定义数据仓库的任何对象，无论它是一个表、一个列、一个查询、一个业务规则，或者是数据仓库内部的数据转移等等。,元数据的在数据仓库中的用途有：A.起到辅助决策分析过程中定位数据仓库的目录作用。B.数据从业务环境向数据仓库环境传送时数据仓库的目录内容。C.指导从近期基本数据到轻度综合数据和到高度综合数据的综合算法选择。,2.元数据的作用,生成和管理元数据是为了实现以下主要作用：（1）改善与系统的交互（2）提高数据质量（3）支持系统集成（4）支持系统的分析、设计和维护（5）增加灵活性,在数据仓库中，生成和管理元数据主要有两个目的：（1）减轻管理数据仓库的工作量（2）改善信息抽取，即从数据中有效地抽取信息，其主要任务是：A.提高数据质量B.提高查询、检索以及结果的质量C.改善数据分析。上述目标一般可以通过如下两种方式来支持：（1）被动的方式（2）主动的方式,2.3.2元数据的分类,1.按元数据的类型分类：（1）关于基本数据的元数据：包括数据源、数据仓库、数据集市和应用程序管理的所有数据。（2）用于数据处理的元数据（3）关于企业的组织结构的元数据,2.按对象级别分类,（1）概念级（2）逻辑级（3）物理级,3.从用户的角度分类,（1）业务元数据，具体包括以下内容：A.企业概念模型B.多维数据模型C.业务概念模型和物理数据之间的依赖关系D.支持面向业务概念的浏览、导航E.支持动态立即查询F.数据挖掘（2）技术元数据,4.从来源的角度分类,（1）工具产生的元数据（2）源提供的元数据（3）企业模型（4）系统导入的元数据（5）特定的用户产生的元数据,5.从元数据的目的角度分类,一般可以通过一种更粗的方法来区分元数据：（1）用于信息的元数据（2）用于控制的元数据,6.按照产生/使用的时间分类,根据获取或生成的时间，可以分为：A.设计时收集的元数据B.构建时生成的元数据C.运行时生成的元数据,根据使用的时间，可以分为：A.设计时使用的元数据B.构建使使用的元数据C.运行时使用的元数据,2.3.3元数据的标准化,数据共享领域的某些趋