已阅读5页,还剩66页未读, 继续免费阅读
(计算机应用技术专业论文)基于粗糙集的粒度排序算法.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
上海海事大学硕士学位论文 摘要 面对日益庞大的数据资源,数据挖掘技术应运而生。它是一种致力于数据分析 和理解、揭示数据内部蕴藏知识的技术,是当前人工智能领域和数据库领域相结合 的热点研究课题。并且,已被广泛运用于定向市场营销领域。通过各类数据挖掘技 术,如回归、决策树、神经网络、关联规则等,可以为定向市场营销的各种业务需 求建立响应模型,计算客户或者商品的潜在价值( 即响应分值) 。从而,有针对性 地做出决策,提高定向市场营销活动的效率,降低营销成本。 粒度计算的思想产生于2 0 世纪7 0 年代,并得到了迅速发展和广泛应用。它的 基本思想是模仿人类思考问题的方式:即人们能从极不相同的粒度上观察和分析同 一问题,而且能够很快地从一个粒度世界跳到另一个粒度世界,往返自如,毫无困 难。 近年来,人们开始将粒度计算应用到数据挖掘领域中,并初步取得了一些成果, 成为当前数据挖掘领域一个新的研究方向。本文的主要工作是将粒度计算引入响应 建模,并做了一些相关的研究,主要内容包括: 1 ) 为姚一豫教授提出的一种线性响应模型市场价值函数设计了通用算法 框架,用于对多种效用函数及权重函数进行组合,计算市场价值。并基于该框架, 选取u :和以作为效用函数和权重函数,给出市场价值函数1 - 1 算法( m a r k e tv a l u e f u n c t i o n1 - la l g o r i t h m , m v f l l a ) 。 2 ) 将粒度计算中的租糙集思想引入响应建模,提出一种时间复杂度为o ( n m ) 的 粒度排序算法( g r a n u l a rr a n k i n ga l g o r i t h m , o r a ) 。该算法以构造一种基于粗糙集 的响应模型粒度排序函数( g r a n u l a rr a n k i n gf u n c t i o n ,g r f ) 为核心进而由 该函数指导测试样本集完成排序。采用k d dc u p 所提供的标准数据集对新算法和 市场价值函数进行对比测试之后,新算法的正确性和有效性得以验证。与传统数据 挖掘技术相比,新算法保留了响应建模的众多优势,排序结果可读性强,阚值易于 确定。与线性市场价值函数模型相比,新算法的计算结果精度与之逼近,而时间开 销远低于后者。因此,粒度排序算法可以用于定向市场营销等问题的研究,识别客 上海海事大学硕士学位论文 户和产品的潜在价值。 3 ) 通过对粒度排序算法进行扩展,提出一种时问复杂度为o ( n m ) 的粒度集合 并算法( g r a n u l a rs e tc o m b i n a t i o na l g o r i t h m , g s c a ) ,形成增量式粒度排序算法 ( i n c i g m e n t a l g r a n u l a r r a n k i n g a l g o r i t h m , i g r a ) 。通过增量测试,该算法的正确性 得到验证。因此,该增量式算法可以解决实际生产环境中,因业务数据规模递增而 需部分更新响应模型的问题。对于数据集规模过大而无法一次性完成粒度排序的问 题亦是很好的解决方案。 关键词:粒度计算,粗糙集,定向市场营销,响应建模,排序,增量计算 上海海事大学硕士学位论文 g r a n u l a rr a n k i n ga l g o r i t h mb a s e do nr o u g hs e t s a b s t r a c t t h ei n c r e a s i n g l yd a m 托s 加瞄sh a v el e dt ot h ee n l e t g e n c eo fd a t am i l l i i i g t e c h n i q u e i t sat e c h n i q u et h a ta i m sa tl a r g e - s c a l es o u r o ed a t aa n a l y s i sa n dr e v e a l i n gt h e i n t r i n s i ck n o w l e d g eo f t h ed a t a a tp r e s e n tt i m e ,i ti so n eo f t h eh o t t e s tr e s e a r c ht o p i c s ,i n t h ef i e l do fa r t i f i c i a li n t e l l i g e n c ea n dd a t a b a s e ,a n dh a sb e e nw i d e l ya p p f i e di nt a r g e t e d m a r k e t i n g f o rm e e t i n gv a r i o u sb u s i n e s sr e q u i r e m e n t s i nt h et a r g e t e d m a r k e t i n g r e s p o n s em o d e l sc a nb eb u n tb yd i f f e r e n td a t am h n n gt e c h n i q u e s s u c ha sr e g r e s s i o n , d e c i s i o nt r e e ,n e u r a ln e t w o r k , a s s o c i a t i o nr u l e ,e t c t h ep o t e n t i a lv a l u e s ( i e r e s p o n s e v a l u e s ) o fc u s t o m e r so rp r o d u c t s ,c a l c u l a t e db yt h er e s p o n s em o d e l s ,瓣i n s t r u c t i v e i n f o r m a t i o nf o rd e c i s i o nm a k i n gi nt h et a r g e t e dm a r k e t i n g c o n s e q u e n t l y , t h ee f f i c i e n c y o fm a r k e t i n ga c t i v i t i e sc a nb ei m p r o v e d , w h i l et h em a r k e t i n gc o s tc a l lb ec u td o w n t t h ei d e ao fg r a n u l a rc o m p u t i n gw a se m e r g e di n1 9 7 0 s ,s o o n p u ti n t o d e v e l o p m e n ta n dw i d ea p p l i c a t i o n i t sm a i ni d e ai st oi m i t a t et h et h i n k i n gm o d e lo f h u m a nb e i n g s t h a tm e a n sp e o p l ec a l lo b s e r v ea n da n a l y z eas a m ep r o b l e mo n c o m p l e t e l yd i f f e r e n tg r a n u l a r i t i e s a n dc a ne a s i l yt r a n s f e rf r o mo n eg r a n u l a r i t yw o r l dt o a n o t h e r i nr e c e n ty e a r s ,g r a n u l a rc o m p u t i n gh a sb e e na p p l i e di nd a t am i n i n gf i e l d w i t h i n i t i a l - s t a g ea c c o m p l i s h m e n th a v eb e e na c h i e v e d , i th a sb e c a ) n l ean e wa n dp r o s p e c t i v e r e s e a r c ht o p i ci n t h ea c a d e m i cs t u d yo fd a t am i n i n g i nt h i sd i s s e r t a t i o n ,g r a n u l a r c u m p u t h l g i si n t r o d u c e di n t or e s p o n s em o d e l i n g a n dr e l a t e dr e s e a r c hi sd o n ei n c l u d i n g : 1 ) d e s i g n e dag e n e r a la l g o r i t h mf r a m e w o r kf o rm a r k e tv a l u ef u n c t i o n ( m v f ) , w h i c hi sal i n e a rr e s p o n s em o d e lp r o p o s e db yp r o f y yy a o t h u s d i f f e r e n tk i n d so f u t i l i t yf u n c t i o n sa n dw e i g h tf i l n c 6 咄c a nb ec o m b i n e dd i s c r e t i o n a r i l y , c a l c u l a t i n gt h e m a 成c tv a l u e s t h e n ,p r o p o s e dt h em a r k e tv a l u ef u n c t i o n1 - 1a i g 嘶t l l m ( m v f i i a ) b y u s i n gt h ef r a m e w o r ka n ds e l e c t i n g :a n dw 二嬲u t i l i t yf u n c t i o na n dw c i g h tf u n c t i o n 上海海事大学硕士学位论文 r e s p e c t i v e l y 2 ) i n t r o d u c e dt h ei d e ao fr o u g hs e t s i ng r a n u l a rc o m p u t i n gi n t o r e s p o n s e m o d e l i n g , a n dp u tf o r t ht h eg r a n u l a rr a n k i n ga l g o r i t h m ( g r a ) w j l l lt h e t i m e c o m p l e x i t yo fo f n m ) t h ec o o ft h ea l g o r i t h mi st h ec o n s t r u c t i o no fg r a n u l a rr a n k i n g f u n c t i o n ( g r f ) ,ar e s p o n s em o d e lb a s e do i lr o u g hs e t s ,w h i c hg u i d e st e s t i n gs a m p l es e t s f i n i s ht a n k i n g t h en e wa l g o r i t h mi sv a l i d a t e db yac o n t r a s t i v et e s t 喇n lm v fo na s t a n d a r dd a t a s e tp r o v i d e db yk d dc a p c o m p a r e dw i 也t r a d i t i o n a ld a t a m i n i n g t e c h n i q u e s ,t h en e wa l g o r i t h mp r e s e r v e sm a n ya d v a n t a g e so fr e s p o n s em o d e l i n g , a n dt h e r a n k e dr e s u l th a sag o o dr e a d a b i l i t y c o m p a r e dw i t ht h el i n e a rm a r k e tv a l u ef u n c t i o n m o d e l ,t h ec o m p u t a t i o nr e s u l to fn e wa l g o r i t h ma p p r o a c h e st ot h a to fm v f b u tw i t hl e s s t i m ec o n s u m p t i o n t h u s t h en 哪a l g o r i t h mc a nb ea p p l i e df o rt h ei n v e s t i g a t i o no f t a r g e t e dm a r k e t i n g ,i d e n t i f y i n gp o t e n t i a lv a l u e so f c u s t o m e r so rp r o d u c t s 3 ,p u tf o r t ht h eg r a n u l a r i t ys e tc o m b i n a t i o na l g o r i t h m ( g s c a ) w i t ht h et i m e c o m p l e x i t yo fo ( n m ) b ye x t e n d i n gt h eg r a n u l a rr a n k i n ga l g o r i t h m , o b t a i n i n gt h e i n c r e m e n t a lg r a n u l a rr a n k i n ga l g o r i t h m ( i g r a ) t h ea l g o r i t h mi sv a l i d a t e db ya l l i n c r e m e n t a lt e s t i nt h ep r o d u c t i o ne n v i r o n m e n t , t h ei n c r e m e n t a la l g o r i t h mc a nu p d a t e t h er e s p o n s em o d e lp a r t i a l l yt os o l v et h ep r o b l e mc a u s e db yb u s i n e s sd a t ai n c r e a s e t h e i n c r e m e n t a la l g o r i t h mi sa l s oag o o ds o l u t i o nt ot h ep r o b l e mo fo n e - t i m eg r a n u l a r r a n k i n gi nl a r g e s c a l ed a t a b a s e s z h e nc a o ( a p p l i e dc o m p u t e rt e c h n o l o g y ) d i r e c t e db yp r o f d r x i a o f e n gw a n g k e y w o r d s :g r a n u l a rc o m p u t i n g , r o u g hs e t s ,t a r g e t e dm a r k e t i n g ,r e s p o n s em o d e l i n g , r a n k i n g ,i n c r e m e n t a lc o m p u t i n g i v 论文独创性声明 本论文是我个人在导师指导一f 进行的研究工作及取得的研究成果。 论文中除了特别加以标注和致谢的地方外,不包含其他入或者其他机构 已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献 均已在论文中作了明确的声明并表示了感谢。 作者签名: 瓣日期: 论文使用授权声明 本人同意上海海事大学有关保留、使用学位论文的规定,即:学校 有权保留送交论文复印件,允许论文被查阅和借阅;学校可以上网公布 论文的全部和部分内容,可以采用影印、缩印或者其它复制手段保存论 文。保密的论文在解密后遵守此规定。 作者签名:捧导师签名: 峄 上海海事丈学硕士学位论文 引言 粒度计算的研究正逐渐兴起热潮【l ,2 】,有关粒度计算的国际会议包括: r s f t ) c n c ( r o u g hs e t s ,f u z z ys e t s ,d a t am i n i n g ,a n dg r a n u l a rc o m p u t i n g ) ,r s g r c ( r o u g hs e t sa n dg r a n u l a rc o m p u t i n g ) ,r s c t c ( r o u g hs e t sa n dc u r r e n tt r e n d si n c o m p u t i n g ) ,均是由国际粗糙集协会主办,一般两年召开一次。其中,第9 届国际 粗糙集、模糊集、数据挖掘及粒度计算会议( 尹r s f d g r c ) 于2 0 0 3 年在中国重庆 举办,这些都说明了国内外对粒度计算研究的日益重视。而国内外的专家学者也对 粒度计算进行了细致研究,例如美国的z a d e h 教授,波兰的p a w l a k 教授,加拿大 的姚一豫教授( y yy a o ) ,中国的张铃、张钹教授等。 目前,数据挖掘在定向市场营销领域的应用研究主要集中于关联规则、决策树、 神经网络等方面【3 】。然而,类似的技术存在缺陷:挖掘产生的规则可能过多或者过 少;阈值不易确定;以规则的形式表达知识可读性较差。 响应建模( r e s p o n s em o d e l i n g ) 是一种较好的替代解决方案。通过模型计算潜 在客户响应定向市场营销活动可能性的分值,并按分值进行排序,能够避免传统技 术的多处不足。姚一豫教授为此也提出了一种线性的市场价值函数模型( m a r k e t v a l u ef u n c t i o n ,m v f ) 【4 ,5 ,6 ,7 】。 本文将粒度计算的思想引入响应建模,在基于粗糙集的响应建模上做了一些相关 工作。笔者希望能从一个全新的角度来分析和研究响应建模问题,给出一些新的算法 和思路。本文组织结构如下: 第一章概要介绍数据挖掘的发展现状以及其在市场营销领域的应用。第二章讨 论了粒度计算的三个主流研究方向,模糊集理论、粗糙集理论、商空间理论,以及 三者之间的关系。因本文主要以粗糙集为理论基础,因此重点介绍了该理论的相关 概念。第三章首先提出问题,并介绍市场价值函数模型以及6 种效用函数4 种权重 函数。随后,给出该模型一般算法框架,并选取h :和以构造市场价值函数1 - 1 算法 ( m a r k e t v a l u e f u n c t i o n1 - 1 a l g o r i t h m , m v f l l a ) 。第四章分析市场价值函数模型缺 陷,提出一种基于粗糙集的响应模型粒度排序函数( g r a n u l a rr a n k i n gf u n c t i o n , 基于粗糙集的粒度捧序算法 g r f ) ,并给出了相应的粒度排序算法( g r a n u l a r r a n k i n g a l g o r i t h m , g r a ) 。最后, 在同一标准数据集上对m v f l l a 及g r a 进行对比测试,验证新算法的效率。第五 章首先分析实际生产环境中大规模数据集常见问题及解决方案。随后讨论了增量式 粒度排序算法( i n c r e m e n t a lg r a n u l a rr a n k i n ga l g o r i t h m , i g r a ) 的算法框架,给出 粒度集合并算法( g r a n u l a rs e tc o m b i n a t i o n a l g o r i t h m , g s c a ) ,并进行了增量测试。 第六章总结全文,指出本文研究成果及后续工作。 2 上海海事大学硕士学位论文 1 1 数据挖掘概述 第一章绪论 数据库技术的日益完善以及计算机硬件的快速发展导致各应用领域在日常运 营中积累了大量后台数据。用户们对于数据分析方法的迫切需求随之产生。数据挖 掘的目标就是从大量数据中发现有用的、潜在的知识,它汇集了统计学、机器学习、 数据库、模式识别、人工智能等学科的内容,是当前非常活跃的研究领域。 1 1 1 数据库中的知识发现与数据挖掘 数据库中的知识发现( k n o w l e d g e d i s c o v e r y i n d a t a b a s e ,k d d ) 于1 9 8 9 在第一 届k d d 会议中提出,它强调的是通过数据驱动的发现方法,获得“知识”。k d d 是指从数据库的数据中抽取出其中隐含的、新颖的、有用的信息的非平凡过程【8 】, 即从大型数据库的数据中提取人们感兴趣的知识。这些知识是隐含的、事先未知的、 潜在的、有用的信息,提取的知识表示为概念( c o n c e p t s ) 、规则( r u l e s ) 、规律 ( r e g u l a r i t i e s ) 、模式( p a t t e r n s ) 等形式。这种定义把知识发现的对象定义为数据 库。而更广义的说法是,k d d 意味着在一些事实或观察数据的集合中寻找模式的 决策支持。它工作的目标对象不仅是数据库,还可以是文件系统,或其它任何在一 起的数据集合,如w e b 信息等。 数据挖掘其实是数据库中的知识发现k d d 的一个核心步骤,见1 1 2 节。然而, 在产业界、媒体和数据库研究界,“数据挖掘”比术语“数据库中的知识发现”更 流行。因此在本文中我们采用数据挖掘的一个广义观点:数据挖掘是指从存放在数 据库、数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。这样我们将数 据挖掘视为数据库中的知识发现的同义词。 1 1 2 数据挖掘步骤 k d d 过程是交互的、重复的,包括大量由用户决策的步骤【9 】,如图1 1 所示。 3 基于粗糙集的粒度捧序算法 具体步骤如下: 1 ) 数据清理:检查数据完整性,消除噪声和不一致数据,填补丢失的数据; 2 ) 数据集成:多种数据源可以组合在一起; 3 ) 数据选择:根据用户要求,从数据库中检索与分析任务相关的数据,这些 数据可以是一个数据集或数据抽样的子集; 4 ) 数据变换:数据变换或统一成适合挖掘的形式; 5 ) 数据挖掘:选取合适的数据挖掘算法,从数据库中搜索用户所需要的感兴 趣的模式,如分类规则、关联规则、回归模型、聚类等; 6 ) 模式评估:根据某种度量,识别表示知识的真正有趣模式; 7 ) 知识表示:使用可视化和知识表示技术,向用户展示挖掘所得的知识。 为了获得符合评估标准的模式,k d d 过程可能需要重复,这种重复可能需要 在任意几个步骤间进行,甚至需要整个过程的循环。k d d 的关键步骤是数据挖掘。 然而,其他各步骤对k d d 的成功应用具有同样的重要性。 图1 1 k d d 一般过程 4 上海海事大学硕士学位论文 1 1 3 数据挖掘任务 根据数据分析目标的不同,数据挖掘任务可以分为如下几个类型【1 0 】: 1 探索性数据分析( e x p l o r a t o r y d a t a a n a l y s i s 。e d a ) :正如名字所暗示的,这 种方法的宗旨就是对数据进行探索,在探索时我们对要寻找什么没有明确的想法。 通常,e d a 技术是交互式的( i n t e r a c t i v e ) 和可视化的( v i s u a l ) ,对于维数比较低 的数据集来说,有很多种有效的图形化显示方式。但随着维数( 变量的个数p ) 的 增多,可视化变得越来越困难。当p 大于3 或4 时,可以产生数据低维投影的投影 技术( 例如主要分量分析) 是非常有价值的。数量很大的数据集可能不容易被有效 的可视化,然后,可以使用缩放和明细数据的思想来显示或总结“较低分辨率”的 数据样本( 以可能丢失重要细节为代价) 【1 1 ,1 2 1 。 2 描述建模( d e s c r i p t i v em o d e l i n g ) :描述模型的目标是描述数据( 或产生数 据的过程) 的所有特征。这样的例子包括为数据的总体概率分布建模( 密度估计 d c n s i t ye s t i m a t i o n ) :把p 维空间划分成组( 聚类分析和区隔o u s t e ra n a l y s i sa n d s e g m e n t a t i o n ) ;以及描述变量间的关系( 依赖建模d e p e n d e n c ym o d e l i n g ) 。例如在 区隔分析中,目标是把相似的记录分成一组,比如商业数据库的市场区隔。这样做 的目的是把记录分成均匀同质的( h o m o g e n e o u s ) 小组,以便使相似的人( 如果记 录是指人的) 被分到同一组。这可以使广告商或销售者可以把他们的促销策略指向 最可能相应的人群,以提高效率。这里分成的组数是由研究者决定的,没有对错之 分。这与聚类分析不同,在聚类分析中目标是发现数据( 例如科研数据库) 中的“自 然”群体。描述建模己经被应用到很多领域。 1 ) 区隔已经被广泛而且成功地应用于市场营销领域,根据购买模式和年龄、 收入等人口统计数据把客户分成均匀同质地小组【1 3 】。 2 ) 聚类分析己经被广泛应用于精神病研究领域以建立精神病的疾病分类。例 如,【1 4 应用这种方法对住院的精神病患者进行采样,他们的报告指出:所有四种 分析都产生了一个主要由精神压抑患者组成的聚类。 3 ) 聚类技术己经被应用于分析地球北极大气层的长期气候变化。根据从1 9 4 8 年开始每天记录的数据来看,这种变化主要受三个循环的空间压力( r e c u r r i n g s p a t i a lp r e s s u r e ) 模式( 聚类) 支配 1 5 ,1 6 。 5 基于粗糙集的粒度排序算法 3 预测建模( p r e d i c t i v em o d e l i n g ) :分类和回归:预测建模的目标是建立一个 模型,这个模型允许我们根据己知的变量值来预测其他某个变量值。在分类中,被 预测的变量是范畴型的,而在回归中被预测的变量是数值型( q u a n t i t a t i v e ) 的。这 里,预测这个词是取它的一般含义,根本不带有任何时间延续性的暗示。所以,我 们可以预测将来某一天股票的市值,或预测哪一匹马会赢得比赛;我们也可以预测 患者的病情,或焊接的牢固程度。在统计和机器学习中人们己经开发出了大量的方 法来解决预测建模问题,而且这一领域的工作已经取得了重大理论进展,并加深了 对深层推理问题的理解。预测和描述之问的关键区别是预测的目标是唯一的变量 ( 例如市值、疾病分类、牢固程度) ,而描述问题的模型中并不以任何单一的变量 为中心。预测建模的实例包括【1 7 】。 4 寻找模式和规则:上面列出的三类任务都致力于建立模型。还有一些数据 挖掘应用是致力于模式探测的。一个例子是欺诈探测,做法是寻找明显不同于其他 点的数据点,并查出这些数据点所描述的不同交易类型,然后通过探测这些包含特 殊交易的空间区域来查出欺诈行为。另一个应用是在天文方面探测异常的星体或星 系,目的是发现以前未知的对象。还有一个应用就是在交易数据库中发现频繁出现 的商品组合( 比如日常用品经常被一起购买) 。这个问题已经吸引了很多数据挖掘 者的注意力,而且己经采用基于关联规则( a s s o c i a t i o nr u l e ) 的算法技术来解决这 样的问题。【1 8 ,1 9 给出了这类问题的应用实例。 5 根据内容检索:这种情况下,用户有一种感兴趣的模式并且希望在数据集 中找到相似的模式。这种任务对于文本和图像数据集合应用最普遍。对于文本,模 式可能是一系列的关键字,用户希望在庞大的可能相关的文档集合中( 例如网页) 寻找相关的文档。对于图像,用户可能有一幅样本图像、一幅图像的草图、或一幅 图像的描述,然后希望从庞大的图像集合中发现类似的图像。无论对于两种情况的 哪一种,相似性的定义都非常关键,但搜索策略的细节也很重要。检索系统的应用 例子包括: 1 ) 在网络中,检索方法被用来定位文档,就像【2 0 的c , o o g l e 系统 ( w w w g o o g l e c o m ) 那样。g o o g l e 系统使用了被称为p a g er a n k 的数学方法来基于 链接模式估计各个网页的相对重要性。 2 ) i b m 的开发人员开发了一个称为q b i c ( 根据图像内容查询q u e r yb yi m a g e 6 上海海事大学硕上学位论文 c o n t e n t ) 的系统,这个系统允许用户使用交互式的方法搜索庞大的图像数据库。支 持以像颜色、纹理和相对位置信息这样的内容描述提出查询【2 l 】。 1 1 4 数据挖掘分类 数据挖掘技术用于指定数据挖掘任务中要找的模式类型。数据挖掘任务一般可 以分为两类:描述和预测。描述性挖掘任务刻画数据的一般特性。预测性挖掘任务 在当前数据上进行推断,以进行预测【9 】。 根据任务的不同,数据挖掘可以发现的模式大致分为如下几种: 1 1 4 1 概念类描述:特征化和区分 用汇总的、简洁的、精确的方式描述数据中的每个类和概念。这种类或概念的 描述称为类,概念描述( c l a s s c o n c e p td e s c r i p t i o n ) 。这种描述可以通过下述方法得 到: 1 ) 数据特征化( c h a r a c t e r i z a t i o n ) :一般地汇总所研究类( 即目标类t a r g e t c l a s s ) 的数据; 2 ) 数据区分( d i s c r i m i n a t i o n ) :将且标类与一个或多个对比类( c o n t r a s t i n g c l a s s ) 进行比较: 3 ) 数据特征化和比较。 数据特征的输出可以用多种形式提供,包括饼图、条图、曲线图、多维数据立 方体、多维表、概化关系、特征规则等。 概化与汇总方法在计算机出现很久之前便已在统计学中得到研究。基于概化的 归纳技术,如示例学习,在数据挖掘研究开始之前,己在机器学习文献中提出和研 究。统计描述数据挖掘方法的总结包括 2 2 ,2 3 。机器学习的一般介绍可以在 z 4 ,2 5 ,2 6 中找到。基于数据立方体的概化技术在【2 刀中提出。【2 8 是对数据立方体计算的全面 综述。 1 1 4 2 关联分析 关联分析( a s s o c i a t i o na n a l y s i s ) 发现关联规则( a s s o c i a t i o nr u l e ) ,这些规则 7 基于粗糙集的粒度捧序算法 展示属性值在给定数据集中一起频繁出现的条件。关联规则是形如x = y ,即 “ 屯= e 以”的规则,其中,4 0 1 1 ,m ) 是属性值对,解释为 “满足x 中条件的数据库元组也满足y 中条件”。关联规则挖掘能够发现大量数据 中项集之间有趣的关联或相互联系。 a g r a w a l 等人于1 9 9 3 年首先提出关联规则【2 9 】。针对关联规则挖掘的研究是数 据挖掘研究最活跃的领域之一。这些研究包括a p f i 耐算法【3 0 】、使用h a s h 表提高 关联规则挖掘效率 3 q 、事务压缩技术1 3 2 ,3 3 、挖掘空间关联规则【3 4 】、挖掘关联规 则的有效的增量更新1 3 5 、挖掘事务间关联规贝a j 3 6 、最大模式的挖掘【3 7 】、挖掘频 繁模式而不产生候选模式【3 8 】、关联挖掘的裁剪研究【3 9 】、多段支持度的挖掘研究1 4 0 】 等。 1 1 4 3 分类和预测 分类( c l a s s i f i c a t i o n ) 找出描述并区分数据类或概念的模型( 或函数) 以便能 够使用模型预测类标记未知的对象类。导出模型是基于对训练数据集的分析,可以 以各种形式表现出来,如分类规则( b 1 删) 、决策树、数学公式、神经网络。 我们可以使用这些模型来预测未知类别的数据对象的类别。 预测( p r e d i c t i o n ) 是构造和使用模型评估无标号样本类,或评估给定样本可能 具有的属性值或值区间。在这种观点下,分类和预测是两类主要预测问题,其中分 类是预测离散或标称值,而预测用于预测连续或有序值。这种观点在数据挖掘界被 广泛接受。 机器学习观点的分类在 4 1 , 4 2 , 4 3 , 2 6 1 中有介绍。现有的分类和预测方法主要有 决策树分类法( 基于c 4 5 算法【4 4 】、i d 3 算法 4 5 1 、,4 算法 4 6 1 ) 、贝叶斯分类法 4 7 ,4 1 ,2 6 1 、后向传播算法f 4 8 1 、统计分类方法【4 9 】和线性回归、多元回归、非线性 回归【5 0 】等方法。没有一种分类算法对所有的数据类型和定义域都优于其它分类算 法。分类方法的实验比较包括 4 2 ,5 1 , 5 2 , 5 3 , 5 4 ,5 5 , 5 6 1 。 1 1 4 4 聚类分析 与分类和预测不同,聚类分析的训练数据集一般不提供类标记,聚类分析的任 8 上海海事大学硕士学位论文 务就是要产生标记。数据对象根据“最大类内相似性”,“最小类间相似性”的原理, 把数据分成不同组别。同组数据有较大相似性,不同组数据对象之间有较大相异性。 聚类分析是一个无监督指导的学习过程。 聚类的分析方法主要包括:1 ) 划分方法,其主要算法为l 【- 平均算法【5 7 】、k _ 中心算法【5 8 】,针对大规模交易数据库的二次聚类算法【5 9 】;2 ) 层次的方法 5 8 ,6 0 】; 3 ) 基于密度的方法 6 1 ,6 2 1 ;4 ) 基于网格的方法【6 3 】;5 ) 基于模型的方法【6 4 】。 1 1 4 5 孤立点分析 数据库中可能包含一些数据对象,它们与数据的一般行为或模型不一致。这些 数据对象称为孤立点( o u t l i e r ) 。大部分数据挖掘方法将离群数据视为噪声或异常而 丢弃。然而,在一些应用中,如入侵检测、欺骗检测,罕见的事件可能比正常出现 的那些更有趣。孤立点数据分析称为孤立点挖掘( o u t l i e rm i n i n g ) 。 孤立点数据的发现主要有三种方法:基于统计的方法【6 5 1 ,它是根据己知的数 据分布模型,使用不一致性检验来确定孤立点,这种检验需要知道数据集参数、分 布参数、预期孤立点数目;基于距离的方法 6 6 , 6 7 1 ,通过数据间距离的计算,求得 孤立点;基于偏离的方法【6 8 】,它通过检查一组对象的主要特征来确定孤立点。 1 1 4 6 演变分析 数据演变分析( e v o l u t i o n a n a l y s i s ) 描述行为随时间变化的对象的规律或趋势, 并对其建模。演变分析过程可能包括时间相关数据的特征化、区分、关联、分类或 聚类,演变分析可以分为时问序列数据分析、序列或周期模式匹配和基于类似性的 数据分析。 文献 6 9 ,7 0 等中对时序分析的统计方法有较充分的研究。针对序列模式挖掘, a g r a w a l 和s l r i k a n t 7 1 , 7 2 提出了一种类a p r i o c i 技术和一种一般的序列模式挖掘算 法g s p 。h a n 等人在文【7 3 】中提出了一种高效的序列模式挖掘方法f r e es p a n 。 1 1 5 数据挖掘的发展现状 从数据库中发现知识( k d d ) 一词首先出现在1 9 8 9 年举行的第十一届国际联 9 基于粗糙集的粒度排序算法 合人工智能学术会议上。最初由美国人工智能协会主办k d d 国际研讨会。数据挖 掘界于1 9 9 5 年召开了第一届知识发现与数据挖掘国际学术会议1 7 4 。该会议由1 9 8 9 至1 9 9 4 年举行的四次数据库中知识发现国际研讨会 7 5 ,7 6 ,7 8 , 7 9 发展起来。数据挖 掘研究界于1 9 9 8 年建立起一个新的学术组织a c m s i g k d d ( h t t p :w w w a c m o r g s i g k d d ) ,即a c m 下的数据库中的知识发现专业组( s p e d a l i n t e r e s t e dg r o u po nk n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 。1 9 9 9 年a c m - s i g k d d 组织 了第五届知识发现与数据挖掘国际学术会议( k d d 9 9 ) 。研究重点也逐渐从发现方 法转向系统应用,注重多种发现策略和技术的集成,以及多种学科之间的相互渗透。 专题杂志d a t a m i n i n g a n d k n o w l e d g e d i s c o v e r y 自1 9 9 7 年起由k l u w e r s 出版社出版。 i e e e 的k n o w l e d g ea n dd a t ae n g i n e e r i n g 会刊率先在1 9 9 3 年出版了k d d 技术专刊。 并行计算、计算机网络和信息工程等其他领域的国际学会会刊也把数据挖掘和知识 发现作为专题和专刊讨论。所有这些大会和研讨会都对该领域的兴起和蓬勃发展起 了巨大的推动作用,大大促进了多领域多学科的交叉和渗透,在国际上逐渐形成了 k d d 的研究热点和热潮。 比较权威的国际会议除了s i g k d d 还有:v l d b ( v e r yl a r g ed a t a b a s e c o n f e r e n c e ) , i c d e ( i n t e r n a t i o n a lc o n f e r e n c eo nd a t ae n g i n e e r i n g ) ,f o d o ( i n t e r n a t i o n a lc o n f e r e n c eo ff o u n d a t i o n so fd a t ao r g a n i z a t i o na n da l g o r i t h m s ) , p a k d d ( p a c i f i c a s i ac o n f e r e n c eo nk n o w l e d g ed i s c o v e r ya n dd a t am i n i n g ) 等。此 外,在i n t e r n e t 上还有不少k d d 电子出版物,其中以半月刊k dn u g g e t s 最为权威。 与国外相比,国内对k d d 的研究稍晚,1 9 9 3 年国家自然科学基金首次支持对 该领域的研究项目。一方面有很多国际会议在国内召开,如p a k d d ,另一方面, 国内也自发组织了很多相关的会议,如两年一次的机器学习学术会议( 已召开了9 届) 等,这些都大大促进了知识发现的基础理论和应用研究。d mg r o u p ( h t t p :w w w d m g r o u p o r g c n z s h t m ) 是比较有影响力的数据挖掘讨论组。 1 2 数据挖掘技术在市场营销领域的应用 数据挖掘技术因其技术前景而令人颇感兴趣,并且已经被作为一种手段应用于 整个商业活动过程中。以下对较为流行的几个应用领域做简单介绍: 上海海事大学硕士学位论文 1 ) 定向市场营销( t a r g e t e dm a r k e t i n g ) 如何争取客户始终是企业市场营销人员面临的头号问题。信函、电子邮件和电 话等广告手段已被广泛应用于定向市场营销。若能预测哪些客户最有可能或最想要 购买公司的哪些产品,将会节省大量的市场拓展费用。数据挖掘作为一种工具使得 从事定向营销的销售人员能够更好地驾驭市场营销活动。运用各种数据挖掘技术, 只给那些为数不多但更有条件的潜在客户邮寄信函将比给邮件列表中的所有人都 邮寄信函的效果更加明显。而营销费用也可以大幅度缩减。目前,采用这种技术的 用户包括人民银行、s u n d a n c e 、e q u i f a x 、读者文摘、m a r r i o t t 和华盛顿邮报等。 2 ) 保留客户 客户可以用极小的代价自由改变供应商。如何保留客户,提升客户的持久性是 所有企业面临的一个主要问题。哈佛大学的一项研究表明:“客户消费减少5 即可 动摇人们对企业赢利能力的信心”。在成熟市场,引入一个新客户的成本往往高于 保持一个现有客户。因此,保持住现有客户对许多企业都是十分关键性的问题。客
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年上学期单元测试高三地理检测卷打印版
- 2026-2027学年上学期单元测试二年级语文易错题卷
- 2025超声技师心血管超声素养检测题及答案
- 格宾石笼封边绑扎施工工艺及填充密实度
- Chuanbeinone-22-Epidelavinone-生命科学试剂-MCE
- 旅游计划协调员绩效考核表
- 运动器材销售策略与市场分析能力绩效表
- 无人机航空物流安全操作手册
- 食品加工企业追溯体系构建指南
- 国际物流专员绩效评价表
- 2026福建福州旗山供水有限公司招聘2人考试模拟试题及答案解析
- 北京市朝阳区2026-2027学年度第一学期期中质量检测高三英语试卷(含答案)
- 2026山东省防疫安全协管员招聘考试(畜牧兽医)历年参考题库含答案详解
- 正大集团人才评估行测题目
- UL 9540A 2026 储能电池热失控传播测试标准中文版 模组防火试验规范
- 物业服务履约评价报告
- 光伏组件拆除方案
- 2026年出版社招聘考试面试题及参考答案
- 2025-2026学年江西省赣州市大余县部分高中高三上学期11月期中考试英语试题
- 小区物业消防安全培训课件
- 空乘课件教学课件
评论
0/150
提交评论