数据仓库开发模型.ppt

数据仓库开发模型,参考课件：,2.1数据仓库的开发模型,现实世界,张三,客户,客户与产品,概念世界,特性,个体,整体,整体间联系,逻辑世界,属性,实体,同质实体,异质实体,计算机世界,列（字段、数据项）,记录,表文件,数据库,信用,现实世界是存在于现实之中的各种客观事物。概念世界是现实情况在人们头脑中的反应。逻辑世界是人们为为将存在于自己头脑中的概念模型转换到计算机中的实际的物理存储过程中的一个计算机逻辑表示模式。计算机世界则是指现实世界中的事物在计算机系统中的实际存储模式。,图2.1现实与不同模型的变化联系,现实世界,概念模型,逻辑模型,物理模型,数据仓库,元数据模型,数据粒度模型和聚集模型,图2.2数据模型关系图,数据仓库的设计是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。元数据模型作为数据仓库的灵魂自始自终伴随着数据仓库的开发、实施与使用。数据粒度模型和聚集模型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。,2.2数据仓库的概念模型,数据仓库模型的概念：数据仓库概念模型的设计需要给出一个数据仓库的粗略蓝本，以此为工具来确认数据仓库的设计者是否已经正确的了解数据仓库最终用户的信息需求。,2.2.1数据仓库概念模型,在构建数据仓库的概念模型时，可以采用在业务数据处理系统中经常应用的企业数据模型ER图（ERD）。这是一种描述组织业务概况的蓝图，包括整个组织系统中各个部门的业务处理及其业务处理数据。数据仓库与操作型数据库一样，也存在高层模型（ERD，实体关系层）、中层模型（DIS，逻辑层）和低层模型（物理层）3个层次数据模型。,图2.3企业数据模型,财务部门,销售收入帐,应收帐应付帐成本帐,销售部门,销售计划销售合同,销售统计,人事部门,员工业绩记录员工技能情况,员工薪酬表,财务,人事,销售,.,.,.,企业数据模型,在实际设计中用于数据仓库设计的概念模型与业务数据处理系统的三级数据模型仍然具有一定的差距。1.数据类型的差距：数据仓库的概念模型只包含用户所感兴趣的分析数据、描述数据和细节数据。2.数据的历史变迁性：数据仓库的概念模型扩充了关键字结构，增加了事件属性并作为关键字的一部分。3.数据的概括性：数据仓库的概念模型中还增加了一些基本数据所导出的衍生数据用于管理决策分析，这些在业务处理系统中是不存在的。,由于传统的实体关系图无法表述数据仓库中所需要的用户所感兴趣的分析数据、描述数据和细节数据的关系，因此将ERD中的实体分成指标实体（事实实体）、维实体和详细类别实体（引用实体）。,指标实体处于概念模型的中心，是数据仓库活动的中心。往往最后形成数据仓库中的实体-事实表。在现实世界中则是业务处理或者某一事件（例如，销售、服务等）。,指标实体,维度表,维实体在数据仓库中主要用于对实体指标的过滤和重新组织提供指导。,详细类别表,详细类别实体在数据仓库中也用物理数据库表示，通常与现实世界中的某一个实体相对应。,实例：P95、P96,2.2.2规范的数据模型,表2-1数据仓库的数据与普通的数据库系统的数据之间的对比,ER数据模型作为一种数据仓库的设计基础，在实际应用中存在很多缺点。实际应用中，数据仓库的实体绝不会是对等的。星型数据模型是最常用的数据仓库结构模式。,2.2.3星型模型,产品,供应商,订单,客户,发货,图2.5一个简单的ERD,维度表,维度表,维度表,维度表,维度表,事实表,图2.6星型模型的结构示意图,2.2.4雪花模型,维度表,维度表,维度表,维度表,维度表,事实表,详细类别表,详细类别表,图2.7雪花模型的结构示意图,14,SalesFactTable,time_key,item_key,branch_key,location_key,units_sold,dollars_sold,avg_sales,Measures,15,SalesFactTable,time_key,item_key,branch_key,location_key,units_sold,dollars_sold,avg_sales,Measures,16,SalesFactTable,time_key,item_key,branch_key,location_key,units_sold,dollars_sold,avg_sales,Measures,ShippingFactTable,time_key,item_key,shipper_key,from_location,to_location,dollars_cost,units_shipped,举例：SQLSERVERANALYSIS2000,2.3数据仓库的逻辑模型,中间层数据模型亦可称为逻辑模型，它是对高层数据概念模型的细分，在高层数据模型中所标识的每个主题域或指标实体都需要与一个逻辑模型相对应。,图2.8高层概念模型与中层逻辑模型对应关系,超类型,子类型,基本数据组,连接数据组,二级数据组,图2.9逻辑模型的基本结构,基本数据组中存着唯一的主要主题域。二级数据组有对每个主要主题域可以存在多次的属性。连接数据组用于本组主体域与其它主体域之间的联系，体现了高层概念模型中实体间的关系。（公共码主键）。类型数据组主要指数据的类型。,2.3.1事实表模型设计,物理数据模型是依据中间层的逻辑数据模型而创建的，它通过确定模型的键码属性和模型的物理特性，扩展中间层数据模型而建立。此时，物理数据模型就由一系列表所构成，而逻辑模型中最主要的是事实表设计和维表设计。（1）事实表模型物理模型中的事实表来源于逻辑模型，它依据数据仓库具体的应用而建立。事实表是星型模型结构的核心。举例：P571）客户事实表2）客户交易事实表3）客户反馈记录表4）客户信用情况表,2.3.2维模型设计,（2）维模型设计维模型也需要依据逻辑模型来设计，维的设计提供了维属性的定义：时间维表（年Date,月Date，日Date）地点维表（省Char20,市Char20,县Char20）交易维表（现金交易Char20，信用交易Char20）,2.4数据仓库的物理模型,依据数据仓库数据量大但是操作单一的特点，可以采取以下一些技术来进行数据仓库的物理数据模型设计。（1）合并表（2）建立数据序列（3）引入冗余（4）表的物理分割（5）生成派出数据（6）建立广义索引,元数据在数据仓库的设计、运行中有着重要的作用，它表述了数据仓库中的各对象，遍及数据仓库的所有方面，是数据仓库中所有管理、操作、数据的数据，是整个数据仓库的核心。,2.5数据仓库的元数据模型,元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。其范围可以是某个特别的数据库管理系统中从现实世界的概念上的一般概括，到详细的物理说明。,在数据库中，元数据是对数据库中各个对象的描述。关系数据库中，这种描述就是对表、列、数据库、观点和其他对象的定义。从广义上讲，元数据代表定义数据仓库的任何对象，无论它是一个表、一个列、一个查询、一个业务规则，或者是数据仓库内部的数据转移等等。,2.5.1元数据的类型与组成,表2-2元数据分类,元数据的在数据仓库中的用途有：A.起到辅助决策分析过程中定位数据仓库的目录作用。B.数据从业务环境向数据仓库环境传送时数据仓库的目录内容。C.指导从近期基本数据到轻度综合数据和到高度综合数据的综合算法选择。,2.5.2元数据在数据仓库中的作用,生成和管理元数据是为了实现以下主要作用：（1）改善与系统的交互（2）提高数据质量（3）支持系统集成（4）支持系统的分析、设计和维护（5）增加灵活性,在数据仓库中，生成和管理元数据主要有两个目的：（1）减轻管理数据仓库的工作量（2）改善信息抽取，即从数据中有效地抽取信息，其主要任务是：A.提高数据质量B.提高查询、检索以及结果的质量C.改善数据分析。上述目标一般可以通过如下两种方式来支持：（1）被动的方式（2）主动的方式,1.按元数据的类型分类：（1）关于基本数据的元数据：包括数据源、数据仓库、数据集市和应用程序管理的所有数据。（2）用于数据处理的元数据（3）关于企业的组织结构的元数据,适当划分粒度的第一步是估算数据仓库中将来使用的数据行数和所需的直接存取存储设备数（DASD）。在计算出数据仓库所需要占用的存储空间以后，需要根据所需要的存储空间大小确定是否划分粒度，如果需要划分，又应该怎样划分。,2.6数据仓库的粒度和聚集模型,在数据仓库中确定粒度时，需要考虑这样一些因素：要接受的分析类型、可接受的数据最低粒度、能够存储的数据量。计划在数据仓库中进行的分析类型将直接影响数据仓