基于数据仓库的数据挖掘技术

第一章

数据库、数据库管理系统与数据仓库

第1章数据库、数据库管理系统与数据仓库

1.1数据库与数据库技术1.1.1数据、数据库与数据库系统1.1.2数据库系统的特点1.1.3数据库技术新发展1.2数据仓库1.2.1从传统数据库到数据仓库1.2.2数据仓库的基本特性1.3数据仓库及其数据分析工具1.3.1联机分析与数据挖掘1.3.2数据仓库与数据挖掘1.3.3数据仓库未来发展方向

1.1数据库与数据库技术

数据库是按一定组织方式存储在计算机存储器中的相互关联的数据集合,数据库的建立独立于程序。数据库管理系统是一个管理数据库的软件系统,它为用户提供了描述数据库、操纵数据库和维护数据库的方法和命令，并且能自动控制数据库的安全以及数据完整。数据库系统是在文件系统的基础上发展起来的。数据库系统是一个具有管理数据库功能的计算机系统，它包括应用软件、数据库、数据库管理系统和数据库管理人员几部分。数据、数据库与数据库系统

1．数据(Data)数据是信息系统的基本概念和计算机系统要处理的基本对象之一。严格地说，数据可定义为：数据是对客观事物记录下来的、可以鉴别的符号。数据是客观事物的属性、数量、位置及相互关系等等的抽象表示。2．数据库(DataBase，DB)数据库是自描述的，这个描述称作数据字典(或数据目录，或元数据)。3．数据库系统(DataBaseSystem，DBS)数据库系统是指在计算机系统中引入数据库后的系统。4．数据库管理系统随着计算机软、硬件和相应技术的发展，数据管理经历了人工管理、文件系统和数据库系统3个阶段。

1.1.2数据库系统的特点1.数据的结构化2.数据的共享性3.数据的独立性4.数据统一由DBMS管理和控制(1)数据的安全性(2)数据的完整性(3)并发控制(4)数据库恢复数数据库技技术新发展1.数据模型型：关系数据据库与面向对对象数据库(1)关系数数据库用数字来表明明自然界的各各种事物是按按照实体、属属性、值进行行的。关系数据库是是支持关系模模型的数据库库系统，而关关系模型由关关系数据结构构、关系操作作集合和完整整性约束三部部分组成。(2)结构化化查询语言SQLSQL是结构构化查询语言言(StructedQueryLanguage),也被称为为StandardQueryLanguage(标标准化查询语语言)。SQL有两大大突出的特点点：一是所有有SQL数据据库中的数据据都存储在表表中，一个表表有行和列组组成。二是这这种语言被设设计为不允许许按照某种特特定的顺序来来取出，使用用SQL只能能按查询条件件来读取记录录。(3)面向对对象数据库面向对象数据据库系统是数数据库技术与与面向对象程程序设计方法法相结合的产产物。图1-4数数据库系统统ODBCAPI应用程序序ODBC驱驱动程序管理理器ODBC驱动程序ODBC驱动程序ODBC驱动程序数据源数据源数据源将传统数据库库技术与其他他学科的内容容相结合以开开发新型数据据库是数据库库技术的一个个新发展,目目前已经发展展出一些新型型的数据库系系统。如：分分布式数据库库、并行数据据库、知识数数据库、主动动数据库系统统、多媒体数数据库、模糊糊数据库。2.传统数据据数据库技术术与其他技术术结合3.面向应用用的数据库数据库技术被被应用于特定定领域中时，，就出现了数数据仓库、工工程数据库、、统计数据库库、空间数据据库、科学数数据库等多种种数据库，使使数据库领域域的应用范围围不断扩大。。从从传统数据据库到数据仓仓库传统数据库在在联机事物处处理中取得了了较大的成功功,但在基于于事物处理的的数据库帮助助决策分析时时却产生了很很大的困难。。主要原因是是传统数据库库的处理方式式和决策分析析中的数据需需求不相称，，导致传统数数据库无法支支持决策分析析活动。这些些不相称主要要体现在如下下几个方面：：(1).决策策处理的系统统响应问题(2).决策策数据需求的的问题(3).决策策数据操作的的问题(4).数据据仓库与传统统数据库的比比较数数据仓仓库的基本特特性1.数据仓库库的定义数据仓库就是是一个面向主主题的、集成成的、不可更更新的、随时时间不断变化化的数据集合合，它用以支支持企业或组组织的决策分分析处理。表1-1数数据仓库与与数据库的对对比对比内容

数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序，重复处理面向主题域，分析应用数据特性动态变化，按字段更新静态、不能直接更新，只能定时添加、刷新数据结构高度结构化、复杂，适合操作计算简单、适合分析使用频率高中到低数据访问量每个事物只访问少量记录有的事物可能需要访问大量记录对响应时间的要求以秒为单位时间长2.数据仓库库的基本特征征(1)数据仓仓库的数据是是面向主题的的(2)数据仓仓库的数据是是集成的(3)数据仓仓库是随时间间变化的(4)数据仓仓库是不可更更新的联联机分析与与数据挖掘1.联机分析析处理技术及及工具联机分析处理理OLAP(On-LineAnalyticalProcessing)应用是不同同于与联机事事务处理(OLTP)的的一类应用。。它专门设计计用于支持复复杂的分析操操作，侧重对对分析人员和和高层管理人人员的决策支支持，可以应应分析人员的的要求快速、、灵活地进行行大数据量的的复杂查询处处理，并且以以一种直观易易懂的形式将将查询结果提提供给决策制制定人，以便便他们准确掌掌握企业（公公司）的经营营状况，了解解市场需求，，制定正确方方案，增加效效益。2.数据挖掘掘技术和工具具数据挖掘(DataMining,DM)是是从超大型数数据库(VLDB)或数数据仓库中发发现并提取隐隐藏在内部的的信息的一种种新技术。目目的是帮助决决策者寻找数数据间潜在的的关系，发现现经营者被忽忽略的要素，，而这些要素素对预测趋势势、决策行为为也许是十分分有用的信息息。数据挖掘技术术是可以满足足和解决当前前“数据太多多，信息不足足”的技术。。对于数据挖掘掘和知识发现现（KnowledgeDiscoveryinDataBase,KDD)的确确切定义一直直有混淆。（1）数据挖挖掘严格来说，数数据挖掘可定定义为：应用用一系列技术术从大型数据据库或数据仓仓库的数据中中提取人们感感兴趣的信息息和知识，这这些知识或信信息是隐含的的、事先未知知而潜在有用用的，提取的的知识表示为为概念、规则则、规律、模模式等形式。。（2）知识发发现过程1.数据准备备2.数据挖掘掘3.结果表述述和解释数数据仓库库与数据挖掘掘1.数据仓库库与数据挖掘掘数据挖掘和数数据仓库作为为决策支持新新技术,在近近10年来得得到了迅速发发展.数据仓仓库和数据挖挖掘是相互结结合起来一起起发展的,二二者是相互影影响、相互促促进的。二者者的联系可以以概括为以下下几点：（1）数据仓仓库为数据挖挖掘提供了更更好的、更广广泛的数据源源（2）数据仓仓库为数据挖挖掘提供了新新的支持平台台（3）数据仓仓库为更好地地使用数据挖挖掘工具提供供了方便（4）数据挖挖掘为数据仓仓库提供了更更好的决策支支持（5）数据挖挖掘对数据仓仓库的数据组组织提供了更更高的要求（6）数据挖挖掘还为数据据仓库提供了了广泛的技术术支持2.数据仓库库与数据挖掘掘的区别数据仓库是一一种存储技术术,它的数据据存储量是一一般数据库的的百倍,它包包含大量的历历史数据、当当前的详细数数据以及综合合数据，能为为不同用户的的不同决策需需求提供所需需的数据和信信息。3.基于数据据库技术的DSS解决方方案数数据仓库库未来发展方方向1.数据仓库库技术和应用用数据仓库技术术的发展包括括数据抽取、、数据管理、、数据表现和和方法论等方方面。数据仓库的发发展趋势主要要表现在三个个方面：（1）对非结结构化数据的的处理（2）实现共共享数据（3）对信息息进行打包2.国内数据据仓库的需求求与应用特点点国内数据仓库库的需求主要要表现在如下下方面：（1）由于银银行商业化的的步伐正在加加大，各大、、中型银行开开始重新考虑虑自身的业务务，特别是加加强对自身的的信贷风险的的管理，因而而对有关信贷贷风险管理和和风险规避的的决策支持系系统的需求逐逐渐多了起来来。（2）由于电电子商务的迅迅速发展，不不少网站开始始考虑如何提提高对顾客的的忠诚度，为为客户提供更更进一步的““贴身”服务务。（3）各大型型企业如移动动通信局等开开始考虑着手手进行决策支支持以及数据据仓库规则。。虽然国内的数数据仓库市场场经过了多年年的发展，但但是比起国外外大企业所建建的巨型企业业级数据仓库库来讲，还只只能算是刚刚刚起步，还存存在很多的不不足之处，主主要表现为以以下几点：（1）计算算机应用水水平较低，，无法提出出决策支持持需求，所所以很多企企业无法马马上实施数数据仓库。。（2）缺乏乏数据仓库库方面的人人才。（3）缺乏乏以国内环环境为背景景的范例和和成功应用用。（4）数据据仓库概念念过大，很很多用户感