15-1杨梅-计算机等级考试-三级数据库技术-精讲班-第14章 数据仓库与数据挖掘

计算机等级考试三级数据库技术精讲班主讲老师：杨梅,第十四章数据仓库与数据挖掘,1了解数据仓库相关技术2了解数据仓库的设计、建造、运行及维护3了解OLAP及多维数据模型4了解数据挖掘技术,内容提要,第一节决策支持系统的发展,如何利用日益增长的数据为企业的管理和决策服务？经过研究和实践产生了数据仓库和数据挖掘技术。,1决策支持系统及其演化一般将数据分为：分析型数据操作型数据：由企业的基本业务系统产生的数据，用于联机处理环境（OLTP）。决策支持系统（DSS）：综合利用大量数据，有机组合众多模型（数学模型和数据处理模型），通过人机交互，辅助各级决策者实现科学决策的系统。,第一节决策支持系统的发展,Keen和ScottMorton于70年代中期首次提出了“决策支持系统”（DecisionSupportSystem，简称DSS）一词，标志着利用计算机与信息支持决策的研究与应用进人了一个新的阶段，并形成了决策支持系统新学科。20世纪80年代，个人计算机和第四代编程语言的出现，使得最终用户可以对数据和系统直接控制，很多管理信息系统（MIS）开始出现，用以支持企业管理决策。MIS被用户和开发人员改称为决策支持系统，即DSS。传统的DSS一般建立在OLTP环境下。,第一节决策支持系统的发展,演化过程进行到抽取程序阶段大型OLTP出现后，使用抽取程序解决性能和历史数据问题。用抽取程序能将数据从高性能联机事务处理方式中转移出来，所以，在需要总体分析数据时就与OLTP处理性能不发生冲突。自然演化体系结构贯穿于公司或组织的抽取处理模式很常见，这种由失控的抽取过程产生的结构被称为“自然演化体系结构”。,第一节决策支持系统的发展,自然演化体系结构的问题忙碌的IT人员蜘蛛网问题数据缺乏可信性生产率问题从数据到信息的转换的不可行性,数据仓库的产生：为决策者建立一个集成的数据源数据仓库,第一节决策支持系统的发展,2基于数据仓库的决策支持系统,数据仓库是核心，操作型系统是数据源，决策支持系统是数据的需求者。,第一节决策支持系统的发展,1数据仓库的概念与特性建立数据仓库的目的：根据决策需求对企业的数据采取适当的手段进行集成，形成一个综合的、面向分析的数据环境，用于支持企业的信息型、决策型的分析应用。数据仓库的特性：面向主题性、集成性、不可更新性和时间特性等。,第二节数据仓库技术概述,主题与面向主题数据仓库中的数据是以面向主题的方式进行组织的。主题也称为分析主题或分析领域，用于表示某一宏观的分析领域所涉及的对象，以及与对象有关的数据集合。目前，数据仓库主题数据的实现采用关系型数据库技术。,第二节数据仓库技术概述,数据仓库的其他特征集成：数据仓库最重要的特性。分为数据抽取、转换、清理（过滤）和装载4项任务。不可更新：数据仓库中的数据以批量方式处理，不进行一般意义上的数据更新。随时间变化：不断捕捉数据。,第二节数据仓库技术概述,2数据仓库的体系结构与环境从数据层次角度来看，典型的数据仓库的数据体系结构包括：操作型数据、操作型数据存储（OperationDataStore）、数据仓库（DataWarehouse）和数据集市（DataMart）。也可以包括个体层数据。从功能结构看，可分为数据处理、数据管理和数据应用三个层次。,第二节数据仓库技术概述,3数据仓库的数据组织粒度数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度越小。粒度影响到数据仓库的数据量及系统能回答的查询的类型。进行数据仓库的数据组织时，应根据当前应用的需求进行多粒度级设计。满足多角度、多层次数据查询要求。,第二节数据仓库技术概述,数据分区（分割）数据分散到各自的物理单元中去，它们能独立地处理。最常见的是按照时间标准分区。数据分区的方式可以分成系统层分区（数据库系统提供的机制）和应用层分区（由应用代码实现）两种。如何分区由开发者和程序员控制。,第二节数据仓库技术概述,元数据关于数据的数据，或叫描述数据的数据。用于构造、维持、管理、和使用数据仓库，在数据仓库中尤为重要。元数据描述了数据的结构、内容、链和索引等内容。在数据仓库中，元数据分成技术型元数据和业务型元数据。元数据解决了人在何时何地为了什么原因及如如何使用数据仓库的问题。,第二节数据仓库技术概述,DataMart数据集市-小型的，面向部门或工作组级数据仓库。OperationDataStore操作型数据存储ODS是能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境,是DW扩展后得到的一个混合形式。四个基本特点：面向主题的(SubjectOriented)、集成的、可变的、当前或接近当前的。,第二节数据仓库技术概述,ODS分成4类：ODS：数据更新频率秒级。ODS：数据更新频率小时级。ODS：数据更新频率天级。ODS：根据数据来源方向和类型区分。,第二节数据仓库技术概述,1数据仓库设计的需求与方法,传统的系统开发生命周期是SDLC,第三节设计与建造数据仓库,数据仓库环境的系统开发生命周期（CLDS）,第三节设计与建造数据仓库,SDLC是典型的需求驱动开发生命周期，CLDS是典型的数据驱动开发生命周期。传统的系统开发生命周期支持操作型环境，为建立系统，必须首先理解需求，然后进入到设计和开发阶段。CLDS由数据开始，一旦数据到手，就集成数据，然后，如果数据有偏差，就检验看看数据存在什么偏差，再针对数据写程序，分析程序执行结果，最后，系统需求才得到理解。,第三节设计与建造数据仓库,2数据仓库的数据模型数据仓库的数据模型分为概念（E-R图）、逻辑（关系型模型或多维数据模型）、物理三级数据模型。与普通数据库系统的数据模型不同：一般不包含纯操作型数据。一般需要扩充关键字结构，在