面向领域的数据驱动的数据挖掘一个新的理解数据挖掘

面对领域的数据驱动的数据挖掘一个新的理解数据挖掘

抽象:最近，在计算机、通讯、数据存储技术、高通量数据采集技术上的进步使得收集和

存储令人难以置信的海量数据成为可能。为从数据库中发觉大量学问制造了前所未有的

机遇。数据挖掘是一种为处理大量的数据供应了新的理论，技术和工具的新兴领域的计

算智能，例如：数据分析、决策等等。有很多争论人员从事于设计有效的数据挖掘技术

方法和算法。不幸的是，大多数的数据挖掘争论人员把重心放在了进展数据挖掘的模式

和方法上，只有一小部分致力于数据挖掘的基本问题。本文中我们会提出一个新的数据

挖掘的理解，那就是面对领域的数据驱动的数据挖掘（3DM）模型。数据驱动的数据挖

掘算法在我们的试验室开发出来同时提出来以显示她的有效性。

1.介绍

数据挖掘是被我们从巨大的数据集总猎取学问的渴望刺激的产物。它使用机器学习，统

计和可视化技术去发觉数据中的学问，并且以一种很简洁为用户理解和使用的形式表现

出来。很多数据挖掘方法是基于机器学习算法、统计方法的扩展、组合和调整和学问的

提取和抽象。在过去的二一年里，很多技术被应用在数据挖掘中，例如人工神经网络，

模糊集，粗糙集，决策树，遗传算法，最近邻方法，基于疣计规章归纳法，线性回归，

线性猜测编码等等。对于数据挖掘的争论有很多观点。现有的大量争论可以被粗略的分

为三种观点，不管在数据挖掘的争论中实行的哪种观点，大多数的数据挖掘人员对进展

数据挖掘模式和方法的技大问题投入的大量的精力，只有少数的人关注数据挖掘的基本

问题。什么是数据挖掘？数据挖掘的产物是什么？我们这数据挖掘中在做什么？我们在

数据挖掘中应当遵守的规苣是什么？数据领域专家的先验学问和学问丰富的头脑直接的

关系式什么？

为了问答以上问题，我们需要争论数据挖掘的过程。首先，大量相关的争论已经被

证明，一个三层的概念框臾被Yao提出，它包括哲学层，技术层和应用层。这个框架的

层代表了学问采用的理解,发觉和区分。Peng为数据挖掘和学问的发觉领域提出了一个

系统框架，它的目的就是区分数据挖掘领域和学问发觉。此外，国际上还举办了有关数

据挖掘基础的研讨会。圆满的是，仍旧没有被完全认可和没有争议的答案对于之前提到

的问题。在本文中，我们将会对基于概念上的数据挖掘模式提出一种新的理解。我们的

答案将会是“数据挖掘是学问转型的一个过程"。我们工作中关于数据挖掘技术的最经

的成果也会给以介绍以展现3DM模式的合理性。

2、面对领域的数据驱动的数据挖掘模式

2.1数据驱动的数据挖掘

数据挖掘是对数据中隐含的之前未知的潜在的有用学问的非一般的提取。学问可以以很

多不同的方式表现出来，对于编码学问有很多种形式，最简洁的格式或许是象征性的格

式像公式、法则、定理等。对于人们来说以这种格式来理解和应用是很简洁的，这些格

式常常被用在书籍、论文甚至专业系统中，书籍也是针对于编码学问的人造格式。近期

在计算机、通信，数字存储技术，以及高吞吐量的数据采集技术上的进步使得收集和存

储令人难以置信的大量的数据成为可能。在很多领域都有大量的数据产生，每天很多自

然现象、法则甚至人类的阅历都被纪录在数据库中。不幸的是人们无法读到、理解或者

用到这些数据中包含的学问。因此我们认为，在数据挖掘过程中，学问以一种人类无法

理解的数据形式被转化成此外一种难以理解的抽象格式如规章、公式、定理等等。在数

据挖掘中不会有新的学问产生，也就是说，我们只是在不产生新学问的过程中把学问从

一种形式转化为此外一种形式。并且，在不同的系统中对于学问的转化有很多种渠道和

方式。Fig.l是学问转化过程中的一个插曲。

从Fig.l,人们可以看到数据挖掘只是一种学问转化过程对于从数据形式到抽象形式的

学问转化。因此，在数据挖掘过程没有新的学问产生。

Fig.1Knowledgetransformationamong

differentformats

基于数据挖掘的这种理解，我们可以得到Fig.2的基于数据挖掘的数据转化框架。

Fig.2Knowledgetransformationframework

fordatamining

从Fig.2我们可以发觉，学问可以被编辑成自然形式、数据形式、抽象形式和神经连

接形式。那就是说，数据可以存储在自然世界系统、数据系统、或者生物神经网络系统.

学问以任何一种形式表示都有有一些内涵，那就是P/So在不同形式中的学问应当有一些

联系，为了保证在数据挖掘过程中学问不会被转变，学问的内涵应当在学问的转化过程

中保持不变。否则，在学问的转化过程中就会产生一些错误。

在数据挖掘过程中，数据形式的学问的内涵不能转变,这个信息应当为数据挖掘的

算法供应一些指导，他同样有助于我们在数据挖掘过程中球持数据形式的学问不会发生

转变。因此，为了保持学问在数据挖掘过程中不发生转变，我们需要了解一些数据形式

的学问的内涵，并且在保持不变的同时用他去掌握数据挖况过程，这是数据驱动数据挖

掘的关键点。设计数据驱动数据挖掘算法的过程如下：

步骤1:选择一种对于被学习的领域问题来说合适的典型的学问代表形式。

步骤2：选择一些学问的内涵可以以数据形式和典型形式衡量的。

步骤3：以数据形式和典型形式衡量学问的内涵。

步骤4：采用内容区掌握数据挖掘过程并保持不变。

学问的内容可以以两种不同的系统来衡量，数据系统和抽象系统，这或许是一个问

题。以数据形式和抽象形式衡量的结果是可以匕戢的吗？假如不是，我们怎么知道在数

据挖掘过程中他有没有转变呢？因此，需要提出一种可比对于选择的内容进行较衡量的

方法。也就是说，我们需要建立一些数据形式和抽象时间学问内容的联系。

22用户驱动（域驱动）数据挖掘

很多真实世界的数据挖掘任务，例如资本市场的数据挖掘，高度的约束前提和面

对领域。因此，它旨在可操作的学问发觉，可以以负担的起的重要基础执行适当的行动。

在最近几年，一些针对于这类工作的域驱动或者说用户驱动数据挖掘方法已经得到进展,

张、曹、林为资本市场的佥融数据挖掘提出了域驱动的深度模式发掘框架。姚、赵也采

用颗粒网络提出了交互式用户为导向的分类方法。Kuntz、Guillet.Lehn和Briand为了

发觉关联规章开发出了以人为本的过程，用户被认为是一种引导通过适应良好的接口驱

动拾掘算法。Han和Lakshmanan把基于制约和多维拾掘融合到一个框架里，为有效和

高效的数据分析与挖掘供应了一个互动的探究环境。为了制造词汇学问的基础，

Patrick,Palko,Munro和Zappavigna提出了一个半自动的方法，采纳训练从一

个有丰富阅历的用户去识别词典文本流中的结构元素。Dorado,Pedrycz和

Izquierdo采用一些问题分类领域的学问作为训练程序的一部分在语义的图像分类

中。

用户驱动或者说蝴区动，数据挖掘方法有一些共同的基础概念：

1、一个用户驱动数据挖掘程序是基于约束的。

2、在一个用户驱动程序中用户的爰好被考虑到。

3、在一个用户驱动程序中域专家之前的阅历是必要的。

4、在一个用户驱动程序中用户和机器的交互是必要的。

2.3有向域数据驱动数据挖掘

数据驱动数据挖掘和用户驱动（或者蝴区动）之间会冲突吗?它们可以融入到一

个系统里吗？我们在这章争论这些问题！

在一个数据库管理系统中，不同的用户可以依据自己的视图操作整个数据库系统

中不同的数据。假如数据是以一种学问收集格式猎取的，数据库也可以被当做一种学问

基础收集。因此，不同的用户可以找到并使用整个学问基础对不同任务的不同子集。那

就是说，通过他们的视图.

一个用户可以以数据的形式采用学问的子集并且把他从数据形式变成此外一种需

要的形式。每一个用户都可以进行学问转变仍旧以一种数据驱动方法。

在一域驱动数据挖掘过程中，用户的爱好、约束和早期的领域学问都很重要。用

户和机器间的合作是必要的。数据挖掘过程可能被用户掌握。由于这个缘由，这种挖掘

过程的学问资源包括数据和用户，不仅仅数据。因此，早期的领域学问同样是数据挖掘

过程的资源。一个用户对数据挖掘过程的掌握同样被当做一种数据挖掘过程的动态输入

被采纳。这样，一个数据挖掘过程不仅仅从数据中也从人中采集学问。数据不是学问的

唯一资源，插图Fig.3就是这种想法。

Fig.3Use/sinterests«constraint,andpriordomainknowledge

arealltakenasinputofadataminingprocess

(Domain-orienteddata-drivendatamining,3DM)

从以上争论，我们知道确区动数据挖掘和数据驱劫数据挖掘不冲突。它们可以融

入一个系统中，为了提高例如面对领域数据驱动数据挖掘过程仍旧有很多工作要做，

1.设计一种格式编译早期域学问。

2.设计一种格式为特别的任务编译用户的爱好和限制。

3.设计一种格式编译用户的掌握。

4.设计一种数据驱动数据挖掘方法可以把数据早期域学问，用户的爱好，用户的限制，

用户的掌握收集在一起当做它的输入。这里，最初的数据，针对特别任务的早期域学问,

用户爱好和限制可以被当做一个3DM系统的静态输入进行收集，增长数据和用户掌握当

做它的动态输入。

3数据驱动数据挖掘方法基于学问的不确定行

依据以上对3DM模式的争论，数据挖掘是学问转化的过程和在这个过程中学问

的属性应当保持不变。因此，学问的属性可以为设计数据遗掘算法库供应一些指导。学

问的不确定性是学问的一种重要属性，wang测量并比较学问的不确定性分别以数据形式

在决策表和象征性的方式在决策规章。这证明白从决策表中的局部少量确定性可以表现

出决策表的不确定性并且可以掌握规章的产生进程。为了证明3DM模式在此文提议的有

效行，我们提出了一些数据驱动数据挖掘方法，例如，数据驱动的默认规章生成算法中，

数据驱动决策树预剪枝运算法则和从概念格子框架数据驱动学问的猎取。在这些数据挖

掘方法中，学问不确定性被当做一种学问特性使用来掌握数据挖掘过程。

在数据驱动的默认规章生成算法中，依据一个决策表的条件属性集，决策表的条

件等级并且要首先计算对决策表局部最小值的确定a（a是对决策表局部最小值的确定）.

因此，a作为阈值使用Skcwron的命题默认规章生成算法来生成一个规章系统。使用22

型UCI数据传输转换器，我们测试了数据驱动的默认规章生成算法。试验结果表明，当

从I到a的降低时随着门槛的降低,正确识别率快速增加，然而，在门槛从a到0的进

一步增长之后，正确识别型发生一些变化。在本规章生成过程,从一个生成较少规章的

数据集中，得到了较高的正确识别率。依据一个决策树定义的不确定性，可以在数据驱

动的决策树中学习算法基于学问的不确定性，全局确定性决策表与一个给定的条件属性

作为分裂属性选择的度量,并掌握其预剪枝过程决策树的生长。假如一个条件类用于生

成决策树节点的确定性不低于本树节点的决策表的全局确定性，我们应当停止进一步分

裂这个节点并且为它生成一个叶子节点。换句话说，假如一个用来生成决策树节点的条

件类的确定性大于参考其分裂属性的决策表的父节点的完全确定性，这个节点可以被当

做叶子节点采纳。用这种方法创建的决策树有很高的精确性但是树会很小。使用14型

UCI数据传输转换器，我们测试了基于学问的不确定性的数据驱动的决策树学习算法，

它与预剪枝算法j-pruning和后剪枝方法削减错误修剪的比较。试验结果证明这种算法有

更高的测试精确性并且相对于算法j-pruning和REP产生了更小的树。Tapio

Elomaa证明白考虑到验证集的问题REP算法可以产生有最少错误的最小树。因此，假

如训练集和验证集可以很好的代对象，对于生成一个决策浏来说REP算法是一个完善的

方法。从试验结果我们可以发觉，基于学问的不确定性的数据驱动决策树学习算法意至

比REP更好。从这个观点动身,基于学问的不确定性的数据驱动决策树学习算法有比

REP更好的适应性。进一步讲,该算法不需要