数据仓库第二章数据仓库组成部分ppt课件.ppt

ChapterTwo数据仓库组成部分 1 本章学习目标数据仓库的定义区分数据仓库和数据集市学习数据仓库的每一个组成部分介绍元数据的概念和它的重要性提纲2 1定义的特点2 2数据仓库和数据集市2 3数据仓库的组成部分2 4元数据MetaData 2 数据仓库的创始者BillInmon ADataWarehouseisasubjectoriented integrated nonvolatile andtimevariantcollectionofdatainsupportofmanagement sdecisions 数据仓库是为支持管理决策建立的 面向主题的 综合的 稳定的 随时间变化的数据集合 数据仓库的开拓者SeanKelly 认为数据仓库中的数据是 彼此分离可利用的综合的 包含时间标记的面向主题的非易失性的能访问的 3 2 1定义的特点 面向主题 的数据在操作型系统中 各行业的数据集合都是围绕单独的应用程序进行组织的在数据仓库中数据是按主题而不是按照应用程序存储的 数据是跨应用程序的 订单处理 客户贷款 顾客帐单 可接收帐款 索赔处理 储蓄帐目 销售 产品 客户 帐户 索赔 政策 操作型应用程序 数据仓库主题 4 储蓄帐户 支票帐户 贷款帐户 主题 帐户 来自应用程序的数据 数据仓库主题 综合 的数据数据仓库中的数据来自不同的数据库 文件 数据段 内部或者外部 不同的平台 数据进入数据仓库前 需要进行的标准化工作 命名规则编码数据特性度量单位 5 数据的 时间特性 数据仓库中的每一个数据结构都包含了时间要素 数据仓库中的数据是和时间变化相关的数据可以对过去进行分析与当前的信息相关可以对未来进行预测 6 数据的非易变性操作型系统的数据实时地进行更新 每次交易发生都要更新 数据仓库中的数据非实时性更新数据仓库中的数据用来进行查询和分析的不能在数据仓库中实时地删除数据不能在数据仓库中修改数据 决策支持系统 操作型系统 OLTP数据库 数据仓库 读取增加修改删除 读取 7 DataGranularity 数据粒度 数据的细节程度在操作型系统中 数据粒度一般都很细 一般不保存加和的数据 在数据仓库中 保存加和这一个数据项 一般来说 按不同层次组织数据 用户是从高层次向低层次的细节过渡 根据需求的不同 需要不同层次的数据细节 银行数据仓库的三个层次数据粒度 8 2 2数据仓库和数据集市 数据仓库和数据集市是一个混淆不清的概念 是学术界争论的话题BillInmon 1998 今年IT经理面对的最重要的问题就是到底先建数据仓库还是先建立数据集市 今天依然如此 在建立数据仓库前 我们需要考虑下列这些问题 采取自上而下还是自下而上的方法企业范围还是部门范围先建立数据仓库还是数据集市数据集市是否相互独立 9 数据仓库vs 数据集市 DataMart 10 自上而下的方法优点可以从整个企业的角度看待数据有机的结合 不是彼此分离的数据集市组成数据内容唯一 集中存储集中控制和集中的规则对反复的查询能够做出快速的反映缺点需要花费较多的时间建造失败风险很大需要高水平的总和技能费用很高 11 自下而上的方法优点实施快速而方便良好的投资回报失败的风险较小可以先建立重要的数据集市项目团队可以从中学习和成长缺点每个数据集市对数据的视角都较窄每个数据集市都有多余的数据总有矛盾和不一致的数据增加无法管理的接口 12 折中的思想 主要推崇者为著名的数据库专家RalphKimball 主要步骤如下 从整个企业的角度来计划和定义需求为完整的仓库创造一个体系结构使数据内容一致而且标准化将数据仓库作为一组超级数据集市来实施 每次一个 13 2 3数据仓库的组成部分 数据仓库 各个功能块或组件 14 2 3 1源数据部分 主要类别生产数据 多个系统多种数据的标准化 转换 整合内部数据 表格 文档存档数据 旧的历史的数据外部数据 社会的企业 社会的人 15 2 3 2数据准备部分 ETL ETCL 数据抽取 Extract 多源 异构数据的抽取数据转换 Transform 清洗 标准化等过程数据装载 Load 这个过程需要很多的时间最初的装载工作需要载入大量的数据更新周期的决定 年 季 月 日 16 2 3 3数据存储部分 数据仓库的数据存储器是一个独立的部分与操作型的数据库分开存储大多数数据仓库都采用关系数据库管理系统 17 2 3 4信息传递部分 多种信息传递方式特别的报表复杂的查询多维分析统计分析主管信息系统的需求数据挖掘 18 2 4元数据MetaData 描述数据的数据数据仓库内容的一本字典元数据是数据仓库数据本身信息的数据元数据的类型操作型元数据包含了所有操作型数据源的信息抽取和转换元数据包含了源数据系统的数据抽取信息 抽取方法 抽取商业规则 最终用户元数据允许最终用户使用自己的商业术语和自己一般认可的方式来找寻信息元数据对于数据仓库极其重要 19 小结 数据仓库定义的特点是 面向主题的 完整的 包含时间变量的 非