数据挖掘技术与综述

1、0 基于数据挖掘技术的企业竞争情报系统的研究D第二章内容数据挖掘 (Data Mining，简称DM)，也可以称为数据库中的知识发现(Knowledge Discover Database，简称KDD)，就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。实际上这是一个模式提取的过程，主要基于人工智能、机器学习、统计学等技术，高度自动化的分析企业原有的数据，做出归纳行的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策。2.1数据挖掘的定义数据挖掘至今有多种定义，其

2、中得到公认的是02：数据挖掘是从数据中识别出有效的、新颖的、潜在有用的、以及最终可理解的模式的高级过程。其中，数据是指一个有关事实F的集合，它是用来描述事务有关方面的信息，是我们进一步发现知识的原材料。 02 苏新宁等.数据挖掘理论与技术.北京:科学文献出版社，2003.2.2数据挖掘的分类本文从数据挖掘的功能模型和数据挖掘对象两个方面进行分类。(1) 按照功能模型分类数据挖掘模式按功能可分为两大类：预测型 (Predictive)和描述型(Descriptive)模式。在预测型模式中，用来预测的称为独立变量，要预测的称为相关变量或目标变量。预测模型包括分类模式、回归模式和时间序列模式;描述模

3、式包括聚类模式、关联模式和序列模式。前者又称为有监督学习，后者称为无监督学习。(2)按照挖掘对象分类数据挖掘对象可分为时间序列数据、空间数据、文本数据、多媒体数据等。2. 3数据挖掘的过程数据挖掘处理过程一般有几个阶段，这几个处理阶段分别是数据准备、数据选择、数据预处理、数据缩减、数据挖掘目标确定、挖掘算法确定、数据挖掘、模式解释及知识评价。(1) 数据准备：根据用户的要求从数据库中提取与数据挖掘相关的数据，数据挖掘将要从这些数据中进行知识提取。(2) 确定数据挖掘的目标：根据用户的要求，确定所要完成的数据挖掘是发现何种类型的知识，确定知识模式及挖掘结果最终应达到的精度、范围等。(3) 知识发

4、现算法：根据确定数据挖掘的目标及各种学习算法的特点设计挖掘算法的详细步骤。详细设计算法的过程中，可以根据确定的数据挖掘目标和挖掘结果调整算法，返回数据准备阶段，在前次的挖掘结果基础上重新筛选数据集。(4) 数据挖掘：使用选择的算法对指定的数据集进行知识的提取。但由于数据量很小，本模型在这一阶段的时间消耗将大大减少。(5) 模式解释和知识评价：对挖掘结果进行一致性、有效性、新颖性、合理性检查，与确定数据挖掘的目标进行比较。如果结果与预期目标偏差较大，返回算法设计阶段，调整或重新设计挖掘算法;如果偏差较小，返回算法设计阶段，对挖掘算法进行调整；如果结果理想，返回数据准备阶段，扩大数据集，重新开始一

5、次挖掘过程。2.4数据挖掘的方法(1) 归纳学习法归纳学习法是目前重点研究的方向。从采用的技术上看，分为两大类：信息论方法和集合论方法。l) 信息论方法(决策树方法)信息论方法是利用信息论的原理建立决策树。在知识工程领域，决策树是一种简单的知识表示方法，它将事例逐步分类成代表不同的类别。由于分类规则是比较直观的，因而比较易于理解。2) 集合论方法集合论方法是开展较早的方法。近年来，由于粗糙集理论的发展使集合论方法得到了迅速的发展。这类方法中包括：覆盖正例排斥反例方法(典型的方法有AQ系列方法)、概念树方法和粗糙集方法。(2) 仿生物技术仿生物技术典型的方法是神经网络方法和遗传算法。这两类方法己

6、经形成了独立的研究体系，它们在数据挖掘中也发挥了巨大的作用。l) 神经网络方法它是模拟了人脑神经元结构，以MP模型和Hebb学习规则为基础的，建立了三大类多种神经网络模型(前馈式网络、反馈式网络、自组织网络)。神经网络的知识体现在网络连结的权值上，是一个分布式矩阵结构。神经网络的学习体现在神经网络权值的逐步计算上(包括反复迭代或者是累加计算)。当需要从复杂或不精确数据中获得概念比较困难的时候，利用神经网络技术特别有效。2) 遗传算法这是模拟生物进化过程的算法。它由繁殖(选择)、交叉(重组)、变异(突变)三个基本算子组成。这种遗传算法起到产生优良后代的作用。这些后代需要满足适应值，经过若干代的遗

7、传，将得到满足要求的后代(问题的解)。遗传算法己在优化计算和分类机器学习方面发挥了显著的效果。(3) 公式发现在工程和科学数据库(由实验数据组成)中对若干数据项(变量)进行一定的数学运算，求得相应的数学公式。(4) 统计分析方法这是利用统计学原理对数据库中的数据进行分析的方法，统计分析既是一门独立的学科，也作为数据挖掘的一大类方法。(5) 模糊数学方法由于模糊性是客观的存在，而且系统的复杂性愈高，其精确化能力便愈低，这就意味着模糊性愈强。这是Zadeh总结出的互克性原理。利用模糊集合理论可对实际问题进行模糊评判、模糊决策、模糊模式识别、模糊关联规则和模糊聚类分析。(6) 可视化技术可视化数据分

8、析技术拓宽了传统的图表功能，使用户对数据的剖析更清楚。例如把数据库中多维的数据变成多种图形，这对于揭示数据中的状况，内在本质以及规律性起到很强的作用。(7) 其它的方法还有许多其它的方法如逻辑回归方法、关联规则方法、最近邻方法、文本采掘、WEB采掘、序列分析、SVM，HYB租D等，也常被一些特定领域广泛采用。1 基于数据挖掘的企业竞争情报系统应用研究数据挖掘技术及其在ECIS中的应用研究介绍了DM的概念及其过程DM的对象、方法和常用技术及其应用数据挖掘方法对于不同的业务问题，人们期望挖掘出不同的模式。根据挖掘的数据模式的不同，可以将数据挖掘的分析方法划分为以下几种28，29：（1）关联分析 (

9、Association Analysis)关联分析，即利用关联规则进行数据挖掘，是一种事物发生时其他事物会发生的联系。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联和因果关联。关联分析的目的是挖掘隐藏在数据间的相互关系，其生成的规则带有可信度，例如：90%的顾客在一次购买活动中购买牛奶的同时购买了面包。（2）时间序列模式分析(Time-series Pattern)序列模式分析和关联分析相似，其目的也是为了挖掘数据之间的联系，但序列模式分析的侧重点在于分析数据间的前后序列关系，因此，序列模式分析可以预测未来发展趋势或者发现周期性发展规律。例如：在某一段时间内

10、，顾客购买商品A，接着购买商品B，而后购买商品C，即序列ABC出现的频度较高。（3）分类(Classification)按照分析对象的属性和特征建立不同的类别来描述事物。在使用上，既可以用此模型分析已有的数据，也可以用它来预测未来的数据。例如，用分类来预测哪些客户最倾向于直接邮件推销做出回应，哪些客户可能会更换他的CPU芯片提供商等。（4）聚类(Clustering)聚类是把整个数据库中的记录分成不同的群组。它的目的是要组与组之间差别很明显，而同一个组之间的数据尽量相似。与分类不同，在开始聚类之前并不知道要把数据分成几组，也不知道依照什么变量分，因此，在聚类之后要由一个熟悉业务的人来解释这样分

11、组的意义。很多情况下一次聚集所得到的分组对于特定的业务来说可能并不理想，这时需要删除或增加变量以影响分组的方式，经过几次反复之后才能最终得到一个理想的结果。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。例如：零售商将顾客分为高收入人群、中等收入人群和低收入人群，以便针对不同层次的人群采取不同的营销策略。（5）预测(Prediction)数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。例如：市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其他可预测的问题包括预报破产以及认定对指定事最可能做出反应的群体等。（6）偏差的检测(Deviation)数据库中