数据仓库与数据挖掘培训

数据仓库与数据挖掘课程简介：1.为什么出现数据仓库与数据挖掘？啤酒与尿布7-112.研究内容从海量数据中找到规律与联系，为决策提供支持3.数据仓库与数据库的不同数据库与数据仓库主要学习内容：第一篇数据仓库与OLAP数据仓库联机分析处理技术（OLAP）数据预处理技术数据清洗数据集成和变换数据约简第二篇数据挖掘数据挖掘技术关联规则挖掘、分类、聚类分析数据挖掘在各领域的应用等。主要参考书：

1．《数据仓库》

InmonW.H著

机械工业出版社

2．《数据挖掘–概念与技术》

JiaweiHan&MichelineKamber

著机械工业出版社

3．《数据挖掘》

朱明

著

中国科学技术大学出版社

4．《数据仓库与联机分析处理》

王珊等

著

科学出版社考核方法：

考核采取笔试结合实验的方法：实验成绩30%笔试成绩70%第一章数据仓库概述本章介绍了数据仓库技术产生的背景、数据仓库的含义与特征、数据仓库与操作型数据库系统的区别和数据仓库的基本体系结构。

1.1数据仓库的产生

1.2数据仓库的含义

1.3数据仓库的特征

1.4数据库系统与数据仓库

1.5数据仓库的基本结构1.6数据仓库的基本概念1.7数据仓库的数据组织1．1数据仓库的产生1.数据处理分为两类： 事物处理 分析处理 2.传统数据库较难满足分析处理的要求： 历史数据需求量大 不同系统的数据难以集成（蜘蛛网问题） 对大量数据的访问性能不足 事务处理和分析处理数据环境的分离

1.2数据仓库的含义对于什么是数据仓库，还有许多不同的定义，如：“数据仓库是融合方法、技术和工具以在完整的平台上将数据提交给终端用户的一种手段”。“数据仓库是对分布在企业内部各处的业务数据的整合、加工和分析的过程”。“数据仓库是一种具有集成性、稳定性和提供决策支持的处理”。“为查询和分析（不是事务处理）而设计的关系数据库”

20世纪80年代中期，“数据仓库”这个名词首次出现在号称“数据仓库之父”W.H.Inmon的《BuildingDataWarehouse》一书中，在该书中，W.H.Inmon把数据仓库定义为“一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。”（“Adatawarehouseisasubject-oriented,integrated,non-volatile,time-variantcollectionofdatainsupportofmanagementdecisions.”）WilliamH.Inmon:数数据据仓仓库库是是一一个个面向向主主题题的的、集成成的的、非易易失失的的且随时时间间变变化化的的数据据集集合合，，用用于于支支持持管管理理人人员员的的决决策。数据仓库库之父--BillInmon1.3数数据仓库的的特征数据仓库的的数据是面面向主题的的数据仓库的的数据是集集成的数据仓库的的数据是非非易失的数据仓库的的数据是随随时间不断断变化的面向主题主题（Subject）：特特定的数据据分析领域域与目标。。面向主题：：为特定的的数据分析析领域提供供数据支持持。数据仓库是是面向分析析、决策人人员的主观观要求的，，不同的用用户有不同同的要求，，同一个用用户的要求求也会随时时间而经常常变化，因因此，数据据仓库中的的主题有时时会因用户户主观要求求的变化而而变化的。。面向主题为特定数据据分析领域域提供的数数据与传统统数据库中中的数据是是有不同的的。传统数数据库中的的数据是原原始的、基基础的数据据，而特定定分析领域域数据则是是需要对它它们作必要要的抽取、、加工与总总结而形成成。面向主题示示例例：一个面面向事务处处理的“商场”数据库系统统，其数据据模式如下下采购子系统统：订单（订单单号，供应应商号，总总金额，日日期）订单细则（（订单号，，商品号，，类别，单单价，数量量）供应商（供供应商号，，供应商名名，地址，，电话）销售子系统统：顾客（顾客客号，姓名名，性别，，年龄，文文化程度，，地址，电电话）销售（员工工号，顾客客号，商品品号，数量量，单价，，日期）面向主题示示例库存管理子子系统：领料单（领领料单号，，领料人，，商品号，，数量，日日期）进料单（进进料单号，，订单号，，进料人，，收料人，，日期）库存（商品品号，库房房号，库存存量，日期期）库房（库房房号，仓库库管理员，，地点，库库存商品描描述）人事管理子子系统：员工（员工工号，姓名名，性别，，年龄，文文化程度，，部门号））部门（部门门号，部门门名称，部部门主管，，电话）面向主题示示例如果按照面面向主题的的方式进行行数据组织织，首先应应该抽取主主题，即按按照管理人人员的分析析要求来确确定主题，，而与每个个主题相关关的数据又又与有关的的事务处理理所需的数数据不尽相相同。在每个主题题中，都包包含了有关关该主题的的所有信息息，同时又又抛弃了与与分析处理理无关或不不需要的数数据，从而而将原本分分散在各个个子系统中中的有关信信息集中在在一个主题题中，形成成有关该主主题的一个个完整一致致的描述。。面向主题题的数据组组织方式所所强调的就就是要形成成一个这样样一致的信信息集合主题一：商品商品固有信信息：商品品号，商品品名，类别别，颜色等等商品采购信信息：商品品号，供应应商号，供供应价，供供应日期，，供应量等等商品销售信信息：商品品号，顾客客号，售价价，销售日日期，销售售量等商品库存信信息：商品品号，库房房号，库存存量，日期期等主题二：供应商供应商固有有信息：供供应商号，，供应商名名，地址，，电话等供应商品信信息：供应应商号，商商品号，供供应价，供供应日期，，供应量等等主题三：：顾客顾客固有有信息：：顾客号号，顾客客名，性性别，年年龄，文文化程度度，住址址，电话话等顾客购物物信息：：顾客号号，商品品号，售售价，购购买日期期，购买买量等）示例了一一个电信信企业的的情况。。计费数据据库:计计费数据据库记录录了客户户的消费费情况财务数据据库:财财务数据据库记录录了客户户的缴费费情况客户服务务数据库库:客户户的咨询询和投诉诉情况如果直接接基于传传统数据据库系统统进行““客户””和“收收益”信信息的分分析，则则需要访访问多个个数据库库才能获获得客户户或收益益各个侧侧面的信信息（收收益主题题需从计计费数据据库和财财务数据据库中了了解公司司各项业业务的收收入情况况；客户户主题则则要从计计费数据据库、财财务数据据库、客客户服务务数据库库中获得得客户消消费、交交费、咨咨询等全全方位的的信息。。），这这样将极极大的影影响系统统处理的的时间和和效率，，并且数数据之间间的不一一致性和和不同步步等问题题将影响响决策的的可靠性性。而以以“客户户”和““收益””主题组组织的数数据仓库库，将某某个主题题的全部部相关数数据集中中于一个个地方，，这样决决策者可可以非常常方便地地在数据据仓库中中的一个个位置检检索包含含某个主主题的所所有数据据。面向主题题每个主题题所需数数据的物物理存储储：多维数据据库（MDDB—Multi-DimensionalDataBase）用用多维数数组形式式存储数数据。关系数据据库。用一组关关系来组组织数据据的存储储，同一一主题的的一组关关系都有有一个公共的关关键字，存放的的也不是是细节性性的业务务数据，，而是经经过一定定程度的的综合形形成的综综合性数数据。集成的数据是分分散的；；由于事事务处理理应用分分散、蜘蜘蛛网问问题、数数据不一一致问题题、外部部数据和和非结构构化数据据。数据仓库库中的数数据是为为分析服服务的，，而分析析需要多多种广泛泛的不同同数据源源以便进进行比较较、鉴别别，因此此数据仓仓库中的的数据必必须从多多个数据据源中获获取，这这些数据据源包括括多种类类型数据据库、文文件系统统以及Internet网上上数据等等，它们们通过数数据集成成而形成成数据仓仓库中的的数据。。数据仓库库中存储储的数据据一般从从企业原原来已建建立的数数据库系系统中提提取出来来，但并并不是原原有数据据的简单单拷贝，，而是经经过了抽抽取、筛筛选、清清理、综综合等工工作。这这是因为为：1）原原有数据据库系统统记录的的是每一一项业务务处理的的流水帐帐，这些些数据不不适合于于分析处处理。在在进入数数据仓库库之前必必须经过过综合、、计算，，同时抛抛弃一些些分析处处理不需需要的数数据项，，必要时时还要增增加一些些可能涉涉及的外外部数据据。2）数据仓仓库每一个主主题所对应的的源数据在源源分散数据库库中有许多重重复或不一致致之处，必须须将这些数据据转换成全局局统一的定义义，消除不一一致和错误之之处，以保证证数据的质量量；显然，对对不准确，甚甚至不正确的的数据分析得得出的结果将将不能用于指指导企业做出出科学的决策策。3）源数据据加载到数据据仓库后，还还要根据决策策分析的需要要对这些数据据进行概括、、聚集处理。。事实上，决策策支持系统需需要集成的数数据。全面而而正确的数据据是有效地分分析和决策的的首要前提，，相关数据收收集得越完整整，得到的结结果就越可靠靠。因此，对对源数据的集集成是数据仓仓库建设中最最关键，也是是最复杂的一一步。集成的集成的集成的方法：：统一：消除不不一致的现象象综合：对原有有数据进行综综合和计算需要考虑的问问题：数据格式计量单位数据代码含含义混乱数据名称混混乱非易失的数据仓库中中的数据是是经过抽取取而形成的的分析型数数据，不具具有原始性性，主要供供企业决策策分析之用用，执行的的主要是‘查询’操作，一般般情况下不不执行‘更新’操作。同时时，一个稳稳定的数据据环境也有有利于数据据分析操作作和决策的的制订。但这也不等等于数据仓仓库中的数数据不需要要‘更新’操作。在需要进行行新的分析析决策时，，可能需要要进行新的的数据抽取取和‘更新’操作数据仓库中中的一些过过时的数据据，也可以以通过‘删除’操作丢弃掉掉。因此数据仓仓库的存储储管理相对对于DBMS来说要要简单得多多。随时间不断断变化数据仓库中中的数据必必须以一定定时间段为为单位进行行统一更新新。不断增加新新的数据内内容不断删去旧旧的数据内内容更新与时间间有关的综综合数据1.4数数据仓库库与传统数数据库的比比较1.两两个系统的的主要区别别2.两两个系统的的查询支持持不同3.两两个系统数数据组织模模式不同1两个个系统的主主要区别传统数据库库系统的主主要任务是是执行联机机事务和查查询处理。。这种系统统称为联机机事务处理理（OLTP）系统统。它们涵涵盖了一个个组织的大大部分日常常操作，如如购买、库库存、制造造、银行、、工资、注注册、记帐帐等。另一一方面，数数据仓库系系统在数据据分析和决决策支持方方面提供服服务。这种种系统称为为联机分析析处理（OLAP））系统。两个系统的的主要区别别概括如下下：数据内容：数据库系系统管理当当前数据。。通常，这这种数据太太琐碎，难难以用于决决策。数据据仓库系统统管理大量量历史的、、存档的、、归纳的、、计算的数数据，提供供汇总和聚聚集机制，，并在不同同的粒度级级别上存储储和管理信信息。这种种特点使得得系统容易易用于“见见多识广””的决策。。数据目标：数据库系系统是面向向业务操作作，用于办办事员、客客户和信息息技术专业业人员的事事务和查询询处理。数数据仓库是是面向主题题的，用于于知识工人人（包括经经理、主管管和分析人人员）的决决策分析。。数据特性：数据库系系统存储的的是当前数数据，数据据是动态变变化的，按按字段进行行更新操作作。数据仓仓库中数据据是批量载载入的、静静态的，系系统定期执执行提取过过程为数据据仓库增加加数据，这这些数据一一旦加入，，一般不再再从系统中中删除。数据结构：数据库系系统采用面面向应用的的数据库设设计，以高高度结构化化和复杂的的形式组织织数据，以以适应复杂杂的事务操操作计算的的需求。数数据仓库通通常采用面面向主题的的星型或雪雪花数据组组织模式，，以适应分分析决策，，数据结构构简单。。2两个个系统的查查询支持不不同OLTP系系统是为了了快速回答答简单查询询，而不是是为了存储储分析趋势势的历史数数据而创建建的。一般般的，OLTP提供供了大量的的原始数据据，这些数数据不易被被分析。数据仓库需需要回答更更复杂的查查询，而不不仅仅是一一些像“英英国主要城城市的商品品平均销售售价格是多多少”之类类的简单聚聚集数据查查询。数据据仓库需要要回答的查查询类型可可以是简单单的查询，，也可以是是高度复杂杂的，且还还与终端用用户使用的的查询工具具相关。以下是某数数据仓库支支持的一些些查询示例例:2008年年第三季度度，整个英英格兰的总总收入是多多少？2007年年英国每一一类房产销销售的总收收入是多少少？2008年年租借房产产业务中每每个城市哪哪个地域最最受欢迎？？与过去的的两年相比比有何不同同？每个分支机机构本月的的房产销售售月收入是是多少，并并与刚过去去的12个个月相比较较。如果对于10万英镑镑以上的房房产，法定定价格上升升3.5%而政府税税收下降1.5%，，对英国不不同区域的的销售会产产生什么影影响？在英国主要要城市中，，哪种类型型的房产销销售价格高高于平均房房产销售价价格？这与与人口统计计数据有何何联系？3两个个系统数据据组织模式式示例比较较从上述实例例，不难看看出：1）在从面面向应用到到面向主题题的转变过过程中，丢丢弃了原来来有的但不不必要的、、不适于分分析的信息息；2）在原有有的数据库库模式中，，有关商品品的信息分分散在各个个子系统之之中；面向向主题的数数据组织方方式所强调调的就是要要形成关于于主题一致致的信息集集合；3）不同主主题之间有有重叠内容容。1.5数数据仓库库的系统结结构1.三三层数据仓仓库结构数据仓库服服务器OLAP服服务器前端工具2.数数据仓库的的运行结构构两层数据仓仓库结构多层数据仓仓库结构1.三层数据据仓库结结构原则上，，数据仓仓库的系系统结构构被划分分为三层层：数据据仓库服服务器、、OLAP服务务器和前前端工具具。1）底底层是数数据仓库库服务器器，它几几乎总是是一个关关系数据据库系统统。数据据仓库系系统使用用后端工工具和实实用程序序从操作作数据库库和外部部信息源源加载和和刷新它它的数据据，这些些机制统统称ETL（（Extract/Transformation/Load）工具具，它们们具有数数据抽取取、数据据清洗、、数据转转换、数数据加载载和数据据刷新等等功能。。此外，，这一层层还包含含一个元元数据存存储，它它是关于于数据仓仓库和数数据仓库库中数据据的信息息。2）中中间层是是OLAP服务务器，其其典型的的实现有有：（ⅰⅰ）关系系OLAP（ROLAP）模模型，即即扩展的的关系DBMS，它将将多维数数据上的的操作映映射为标标准的关关系操作作；（ⅱⅱ）多维维OLAP（MOALP）模模型，一一种特殊殊的服务务器，它它直接实实现多维维数据操操作。3）顶顶层层是客客户，，它包包括查查询和和报告告工具具、分分析工工具和和/或或数据据挖掘掘工具具（例例如关关联分分析、、分类类分析析、预预测等等）。。过程模模型数据仓仓库管管理系系统元数据据多维关关系数据库库多维数据库库外部操操作型型数据数据抽抽取数据清清洁数据装装载管理平平台报表查查询工工具数据挖挖掘工工具OLAP工工具仓库管管理－－数据据建模模数据建建模是是建立立数据据仓库库的数数据模模型。。数据仓仓库的的数据据模型型不同同于数数据库库的数数据模模型在在于：：数据仓仓库只只为决决策分分析用用，不不包含含事务务处理理的数数据。。数据仓仓库的的增加加了时时间属属性数数据。。数据仓仓库增增加了了一些些综合合数据据。数据仓仓库的的数据据建模模是适适应决决策用用户使使用的的逻辑辑数据据模型型。仓库管管理－－元数数据管管理最基本本的元元数据据相当当于数数据库库系统统中的的数据据字典典。元数据据定义义了数数据仓仓库有有什么么，指指明了了数据据仓库库中数数据的的内容容和位位置，，刻画画了数数据的的抽取取和转转换规规则，，存储储了与与数据据仓库库主题题有关关的各各种商商业信信息，，而且且整个个数据据仓库库的运运行都都是基基于元元数据据的。。数据源的元元数据数据模型的的元数据数据仓库映映射的元数数据数据仓库使使用的元数数据仓库管理－－数据处理理异构数据源源：企业内部数数据存档的历史史数据企业的外部部数据。软硬件平台台不一致ETL过程程抽取（Extraction）转换（Transform））装载（Load）分析工具－－查询工具数据仓库的的查询不是是指对记录录级数据的的查询，而而是指对分分析要求的的查询。分析工具－－多维分析工工具通过对信息息的多种可可能的观察察形式进行行快速、一一致和交互互性的存取取，这样便便利用户对对数据进行行深入的分分析和观察察。多维数据的的每一维代代表对数据据的一个特特定的观察察视角，如如时间、地地域、业务务等。分析工具－－数据挖掘工工具从大量数据据中挖掘具具有规律性性知识，需需要利用数数据挖掘（（DataMining））工具。482.数据仓仓库的运行行结构数据仓库应应用是一个个典型的客客户/服务务器（C/S）结构构形式：客户端所做做的工作：：客户交互互、格式化化查询、结结果显示、、报表生成成等。服务器端完完成各种辅辅助决策的的SQL查查询、复杂杂的计算和和各类综合合功能等。。数据仓库的的运行结构构两层数据仓仓库结构数据仓库数数据元数据数据仓库服服务器数据逻辑数据服务元数据文件服务客户端图形用户接接口/表示示逻辑查询规范数据分析报表格式总结数据访问50解释客户/服务务器（C/S）是网网络上一种种重要的组组织形式。。数据仓库在在网络上都都是以服务务器（Server）形式提提供服务，，能对网络络上多个客客户（Client）同时提提供服务。。数据仓库的的运行结构构多层数据仓仓库结构多维数据服服务器数据仓库数数据元数据数据逻辑数据服务元数据文件服务数据仓库服服务器应用服务器器图形用户接接口查询规范数据分析报表格式数据访问客户端过滤总结元数据多维视图数据访问52OLAP服服务器将加加强和规范范化决策支支持的服务务工作，集集中和简化化了原客户户端和数据据仓库服务务器的部分分工作，降降低了系统统数据传输输量。这种结构形形式工作效效率更高。。OLAP的的三层C/S结构1.6数数据仓库的的基本概念念1.ETL2.元数数据（MetaData）3.数据据集市（DataMarket）4.OLAP）1.ETL（Extract/Transformation/Load）—数数据抽取、、转换、加加载工具ETL工具具就是进行行数据的抽抽取、转换换和加载。。具体来讲讲，ETL工具包括括：数据提提取（dataextract）、、数据转换换（datatransform））、数据清清洗（datacleaning））和数据加加载（dataloading）。。（1）数据提取（（DataExtract）从数据仓库库的角度来来看，并不不是业务数数据库中的的所有数据据都是决策策支持所必必需的。通通常，数据据仓库按照照分析的主主题来组织织数据，我我们只需提提取出系统统分析必需需的那一部部分数据。。例如，某某超市确定定以分析客客户的购买买行为为主主题建立数数据仓库，，则我们只只需将与客客户购买行行为相关的的数据提取取出来，而而超市服务务员工的数数据就没有有必要放进进数据仓库库。现有的数据据仓库产品品几乎都提提供各种关关系型数据据接口，提提供提取引引擎，从关关系型数据据中提取数数据。（2）数数据转换（（DataTransform）由于业务系系统可能使使用不同的的数据库厂厂商的产品品，比如IBMDB2、Oracle、Informix、Sybase、NCRTeradata、、SQLServer等等，各种数数据库产品品提供的数数据类型可可能不同，，因此，需需要将不同同格式的数数据转换成成统一的数数据格式。。如时间格格式“年/月/日””，“月/日/年””、“日-月-年””的不一致致问题等。。（3））数数据据清清洗洗（（DataClean））对于于决决策策支支持持系系统统来来说说，，最最重重要要的的是是决决策策的的准准确确性性，，因因此此确确保保数数据据仓仓库库中中数数据据的的准准确确性性是是极极其其重重要要的的。。从从多多个个业业务务系系统统中中获获取取数数据据时时，，必必须须对对数数据据进进行行必必要要的的清清洗洗，，从从而而得得到到准准确确的的数数据据。。所谓谓““清清洗洗””就就是是将将错错误误的的、、不不一一致致的的数数据据在在进进入入数数据据仓仓库库之之前前予予以以更更正正或或删删除除，，以以免免影影响响决决策策支支持持系系统统决决策策的的正正确确性性。。（4））数数据据加加载载（（DataLoad））数据据加加载载部部件件负负责责将将数数据据按按照照物物理理数数据据模模型型定定义义的的表表结结构构装装入入数数据据仓仓库库，，包包括括清清空空数数据据域域、、填填充充空空格格、、有有效效性性检检查查等等步步骤骤。。2.元元数数据据（（MetaData））元数数据据是描描述述数数据据的的数数据据。。元数数据据通通常常包包括括：：数据据仓仓库库结结构构的的描描述述信信息息，包包括括仓仓库库模模式式、、视视图图、、维维、、层层次次结结构构和和导导出出数数据据的的定定义义，，以以及及数数据据集集市市的的位位置置和和内内容容。。操作元数据，包括数据血血统信息（来来自何处以及及如何转换的的），数据流流通信息（主主动的、档案案的或净化的的）以及监视视信息（仓库库使用统计、、错误报告、、审计跟踪））。汇总用的算法法，包括度量与与维定义算法法，数据粒度度、分割、主主题域、聚集集、汇总、预预定义查询与与报告的算法法。由操作环境到到数据仓库的的映射信息，包括源数据据库和它们的的内容，ETL程序描述述，数据分割割、提取、清清理和转换的的规则和缺省省，数据刷新新和裁减的规规则以及数据据安全信息（（用户授权和和存取控制））。关于系统性能能的数据信息息，除刷新、更更新和复制周周期的定时和和调度的规则则外，还包括括改善数据存存取和检索性性能的索引和和配置。商务元数据，包括商务术术语和定义，，数据拥有者者信息和收费费策略。数据仓库包括括不同级别的的综合，元数数据是其中一一种类型。其其它类型包括括当前的细节节数据（几乎乎总是在磁盘盘上），老的的细节数据（（通常在三级级存储器上）），稍加综合合的数据，以以及高度综合合的数据（可可以存入仓库库也可以不存存入）。3.数据集集市（DataMarket）建立数据集市市的原因数据仓库是一一种反映主题题的全局性数数据组织。但但是,全局性性数据仓库往往往太大，在在实际应用中中将它们按部部门或个人分分别建立反映映各个子主题题的局部性数数据组织,它它们即是数据集市。因此，有时时我们也称它它为部门数据仓库库。例：在有关商商品销售的数数据仓库中可可以建立多个个不同主题的的数据集市：：商品采购数据据集市库房使用数据据集市商品销售数据据集市60数据集市（DataMarts））是一种更小小、更集中的的数据仓库，，为公司提供供分析商业数数据的一条廉廉价途径。DataMarts是是指具有特定定应用的数据据仓库，主要要针对某个应应用或者具体体部门级的应应用，支持用用户获得竞争争优势或者找找到进入新市市场的具体解解决方案。数据集市概念念数据集市类型型按照数据获取取来源：独立型：直接接从操作型环环境获取数据据。从属型：从企企业级数据仓仓库获取数据据。独立数据集市市(IndependentDataMart)从属数据集市市(DependentDataMart)4.OLAPOLAP（On-lineAnalyticalProcessing，，在线分析处处理或联机分分析处理）就是一个应用用广泛的数据据仓库使用技技术。它可以以根据分析人人员的要求，，迅速灵活地地对大量的数数据进行复杂杂的查询处理理，并以直观观的容易理解解的形式将查查询结果提供供给各种决策策人员，使他他们能够迅速速准确地掌握握企业的运营营情况，了解解市场的需求求。这就是说说，OLAP是使分析人人员、管理人人员或执行人人员能够从多多角度对信息息进行快速、、一致、交互互地查询，从从而获得对数数据的更深