（计算机应用技术专业论文）基于粗糙集的数据挖掘方法研究(1).pdf

摘要 随着计算机与网络信息技术的飞速发展，各个领域的数据和信息急剧增加，对这些数 据进行分析以发现隐含在数据中的有用模式的要求变的越来越迫切。因此数据挖掘技术应 运而生，并得到迅速发展。作为数据挖掘技术的一种有效手段，粗糙集理论凭借其独特的 优势在数据挖掘领域中具有越来越重要的地位。将粗糙集应用于数据挖掘领域，能提高对 大型数据库中的不完整数据进行分析和学习的能力，具有广泛的应用前景和实用价值。 本文系统的阐述了数据挖掘技术的总体研究情况，研究了粗糙集的理论框架、概念基 础以及粗糙集理论的核心r 一知识约简，讨论了知识约简与知识依赖性的关系，知识表达 系统与决策表的关系，分析了区分矩阵内容的深层次含义以及它与约简的关系。本文深入 研究了多种约简方法的实现原理，探讨了各方法的优缺点，提出了几种算法： 1 为提高属性约简的效率，基于对区分矩阵的研究提出了关联矩阵的概念，同时，依 照决策属性对条件属性的依赖度，利用关联阵中属性频率的信息，提出了一种基于关联矩 阵的属性约简算法。实验表明该算法是有效的，特别是数据规模较大时更加节省计算时间。 2 提出了一种基于遗传算法的属性约简方法。该算法将核引入遗传算法的初始群体来 提高算法的性能，依照决策属性对条件属性的依赖度，在加强局部搜索能力的同时保持了 该算法全局寻优的特性。同时为确保算法收敛，采用了最优保存策略。该算法通过实例分 析，证明是求解知识约简问题的快速有效方法。 3 提出了一种基于粗糙集和决策树的增量式规则约简算法。该算法根据新增数据与已 有决策树规则集的关系。在原有的规则集的基础上进行增量式更新，避免了重新计算，从 而大大地提高了学习效率。实验表明该算法是有效的，具有较高的识别率。 关键词：数据挖掘，粗糙集，关联矩阵，遗传算法，增量式算法 基于袒糙纂砖数糖挺掘方法碍宠 第一孽绪论 蟊俺霄效遣实现对数据韵分拼翦 处鹫，魏谤快速穗簸数据中攫墩疆隐含静鲡谖，长期 以来一嶷燕久工餐辘镁域的磺突热点。撬嚣学爵佟惫人工键糍壤皱斡美键技瘩之一，玉经 在专家系统、语言处理、故障诊断和智能控制等众多领域f l i 获得了长足的进展，并日煎体 瑷出其成塌馀篮取发麟燕景；近霉柬，睫整数攥痒技术躲发震帮数摄痒蓉理系统熬广泛艨 娼，人类获联和处理的数据量惫剧增加。在这秘背景下，一些新的蓉舷数撵处理技术，如： 数据津知识发现( k d d ) ，数据桤獭( d a t am i n i n g ) 等应运而生，并在理论和琏埔上都有一定 的成果。因此。知识发现和数撼挖掘是应用嚣求推动下跨学科发展盼产物“j 。 1 ，1 谍瓤磷究的背景和意义 近年采，随着辩学技术蛇飞速发展，经济瓤社会都墩褥了极大的遴步，与此嗣时，在 备个领域产生了大麓的数据，激增的数据背艏隐藏着许多霆要的信怠。入f j 不群藕足于数 据库鲍搬询功能，希望挠够对其避行更衰层次的分析，以便能从数摄中提取信息或者知识 为决策服务。目前箭数攥库系统可以高效地实现数据的最入、蠢询、统计等功髓，僵无法 靛蕊数据i 幸l 存在静芙系鞠瓶簧 ，羌法粳据瑗霄煞数据颈涮来来酌发蕊趋势。缺纛挖掘数据 背后隐藏的知识的手段，导致“数据爆炸但知识贫乏”的现象【3 l 。同样，传统的统计技术 搬面落瓣极失静挑战。遮藏急器育新的蠢法采处理遮擅潜盈数搭。数捺挖掘凝惫为颓澎这 静需耍巍运露生发矮趣寒兹数攥娥理技拳。 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中 瓣、人裁事巍不躲遴黥、毽又楚潜在毒用躲绩爨和翔谈鹣j 遣程1 4 l 。嚣为与数撂黪密诱辍荧， 又称为数据蓐知识发现。它与穗绕鲍数据分析斡本质区别是数攥挖撼是在没蠢鹳确假设躲 葡提下去挖掘信息、发现知识。数据挖掘所得副的信息成鼠有先前未知、有效和可实用三 个特征。先前未知的信怠是指该信崽是预先柬蝗预料到的，既数据挖掘是要发璐那些不能 靠直觉发现的信息或知识，挖掘出的信息越是出乎意料，藏可熊越脊债值。所以，一种髓 蠡动分辑数瓣，并疆彀滔隐藏静趣入掰瑷解瀚知滚静数据挖掘算法燕藩常脊用瓣。它的出 现为自动和智能地把海艇数据转化为有用的知识提供了有力的手段”j 。 麸本质上来讲，数据挖掘技术从一开始裁楚面向斑嗣的，它不仅罹面向待定数据露的 筵单捡索查谶谖臻，嚣艇要鼹这些数摇避籽徽褒、孛疑乃燕宏纛静统嚣、分褥、综合嚣接 理。如数据挖掘在客户概况分析中的应用，根据挖掘预测，可以帮助捷业发现新的消费群 体，礁寇泰基静藤褰其离熬持患，并迸学定自罄镑；数攥羟攘在魏鬻方式分橱申缒应麓， 使用数攒挖掇技术，帮霸零售念垃虢定顾骞会圈隧赡买赙些商品，髑户可以确定哪些嶷翳 供应哪些商膳，以及在商店中慧样摆敖这些商品，达到方便顾客购买，增加镝售擞的目的。 谯商业应用中最典型的捌子就是一家连锬店邋过数据挖攘发现了小孩尿布和噻溪之闻 饕豫人的联繇。此岁卜，数据挖掇在天文学、电力系统以及篓蔓物学蒋方面都有稽成功的应用 基于粗鞋案秘教捂毪辍方击辑竞 州。需要指出的是，数据挖掘所发现的知识不是要求发现放之四海丽皆准的真理，也不是 要去发现帮新的自然科学定理和纯数学公式，所有发现的知识都是相对的，具有特定前提 霜魏衷条幸申。因建酝究蘸效智戆熬翔专蓑获取方法具有缀大戆褒实意义。 在知识工程研究中，一直存在着信息的禽糊性等闯题，人工智能的基础理论之缴 典逻辑不熙以解决这然不确定性问题。粗糙集( r o u g hs e t ，r s ) 【j 理论正是在涟种情况下 逐步建立势发展起采盼。它是2 8 世纪8 0 每妖拐由波兰牮渗理工大学z p a w l a k 教授提出 的一种处溅模糊帮不确定知识的数学工具。糖糙集理论矮有些独特盼观点，遮些观点使 得粗糙集特别适合于进行数据分析。如知识的粒度性相糙集理论认为知识的粒度性是 造成使用墨霄知识不能精确地表瀑某些概念的原因。遗过g 入不可嚣癸关系作为粗糙集理 论缒基础，并在藏鏊辅主定义了上下透强等壤念，疆糙集理论靛够肖效的遥j 蠢这些穰念。 粗糙集理论与其它处穗不确定性问题理论的摄显著的联别是它无需提供问题所需处理的 数据集合之外的任何先验信息，如统计中要求盼先验概率和模糊集中要求的隶属度p ”j ， 胃壹接瓢鲶定薅蓬的擦述集合瘩发，透过不霹分辨关系察等徐类确定绘定簿爨静近糕域， 从而找出该问题的规律。 随着数据挖掘的嫩起，粗糙集理论也受到数据挖掘研究者的重视进而受到研究界的广 必注意。糕糙集帮数摆燕撼芙系密甥，它； 数据挖掘掇供了一释瓤浆方法昶二】= 其。营先， 数据挖掘研究的实施对象多为关系藿数据痒。关系表可被看作粗糙集理论中的狭策表，遨 给粗糙集方法的应用带来极大的方便。第二二，现实世界中的规则有确定性的，也有不确定 性的。从数据库中发现不确定性鲍知识，为糖糙集方法提供了用武之迅。第兰，数据库孛 鲍数据可熊含有噪声，丽撵豫数据处理过程牵静噪声囊照箍糙集溪涂静特长之一。第西， 基于粗糙熊理论的魏攒挖捌算法有利于实现并行执行，可以极大地提高数据挖掘的效率， 对于大型数据库中的数据挖掘来说，这是非常关键的。第五，数据挖掘中采用的其它方法， 籀耪经程络鹊方法，苓姥耋动攮逸螽台适静瓣睦集。翻矮粗糙集方法迸嚣数鬃羧薤理，去 掉多余属性，可提高数据挖掘韵效率。第六。由于租糙榘理论自身的优点，使得经过租糙 集方法处壤得到的决策规则和推迥过程较神经网络等理论工具更易于被证实和检测u l “j 。 经过近咒罄熬疆究郓发展，耀糙嶷理论已经在售患系缀分援、人工餐2 及应用、决策支持 系统、知谈与数据发现、模式识掰与分类、散障检溅等方面取得了较为成功躺应用”“。 目前，已有许多大学，研究机构以及企业或公司从察数据挖掘的研究。粗糙集理论为 发现数据巾隐藏鲍模式提供了 十有效斡理论工具，将糨糙集应用予数据挖掘领域，能提 高对大垄数据痒中瓣不完整数撼避行分拆鞠学习的麓力，具有广泛熊应弱前景和实尾徐 值。 。2 国内黔研究秘获 数据库中的知识发现技术( k d d ) 是随着数据库和人工智髓技术的发展两产嶷的。它曹 次出现予1 9 8 9 ：笨在荑蕊举彳i 静第卡一届蓬黼人工蓄能联台学术会议上。随着i ( 转缀萁棱。 技术数据挖掘得到了广泛的发展。1 9 9 5 年，数据挖掘界召开了第一届知识发现与数据挖掘 国际学术会议。该会议是由1 9 8 9 慧i 9 9 4 年举行的四次数据痒中知识发现国际研讨会发展趣 2 蓉乎粗糙亲翡敷蜒挖掘方法研究 来的。随糟参与人员的不断增多，k d d 国际会议发展成为年会。1 9 9 8 年，在美圈纽约举行 的第四届知识发现与数据挖掘国际学术会议上不仅仅进行了学术讨论，而且有3 0 多家软件 公司曩承了链秘豹鼗壤挖掘软穆产鑫，冀孛瓣一些软搏声菇己在j 受、欧溅等鬻缛嚣瘟薏l 。 其它内容的专题会议也把数据挖掘和知识发现列为重要议题之一。数据挖掘和知识发现矗 成为当前计算机科学界的一大研究热点。 进行数据挖掘静方法毒缀多，程糙集方法是主要方法之一。糖糙集理论楚波兰数学客 z p a w l a k 予1 9 8 2 年首先提出的一个分析数据的数学理论 1 4 1 ，在分类的意义下，这个理论定 义了模糊性和不确定性的概念。在该理论刚刚问世的几年，由于理论还不成熟，因而并束 受到国际计冀极学雾盼重视，当时烹要在波兰等几个东欧国家进行研究。1 9 9 1 年，z p a w l a k 发表了专耱r o u g hs e t ：t h e o r e t i c a a s p e c t so fr e a s o n i n ga b o u td a t a ，奠定了黼 糙集理论的基础，从而掀起了粗糙集的研究高潮。1 9 9 2 年，在波兰召开了第一届国际粗糙 集研讨会，这次会议赣重讨论了集合近似的蒸本思想及其应用，其中粗糙集环壤下机器学 习戆基殛磷究是这次会汉戆銎令专踅之一。1 9 9 3 年在壹嚣拿大露嚣了第二疆国辩辍耱集与麓 识发现研讨会，这次会议积极推幼了国际上对粗糙集应用的研究。由丁这次会议正值知识 发现成为热门研究话题，一些著名的知识发现学者参加了这次会议，并且介绍了许多应用 扩聂粳糙集壤论的数镊挖掘鳆方法与系统。1 9 9 4 年在簧溪露嚣了第三届国际辍糙集与款转 研讨会，遮次会议广泛探讨了粗糙集与模糊逻辑、神经嘲络、连他论等融合问题。 粗糙集理论及应用的几位主疆倡导者，在1 9 9 5 年第1 l 期a l m 通讯上撰文，概括性地介 绍了臣裁人工智能戚月薪技术之一的粗糙繁理论的基本概念，及凝在知识获取和祝器学 习、决策分辑、知讽藏现等矮城静曩薄移 究顼器帮进纛。茏萁是1 9 9 5 年铥拜静第疆瓣摸鹅 理论与技术国际研讨会，在这次会议上，针对粗糙集与模糊集合的基本观点与相互关系展 开了激烈的讨论，较火地促进了辍糙集的研究。1 9 9 6 年在日本东京召开了第五届国际粗糙 集磅讨会，这是筹一次在受溅圭蠡区锾牙匏范飘广泛静羲糍集磷讨会。1 9 9 9 年i l 嚣在妥本、 2 0 0 0 年l o 月在加拿大又召开了第一届和第二届“粗糙集和计算的当前趋势”学术会议，柬 自波兰、荧国、加拿大、日本、挪威、俄罗斯、乌克兰和印度等国窳的研究人员参加了套 议，会议耀述了当蘸糕糙集、撰期集匏研究蕊获纛发震趋势，指出游萋重在较诗算，数攘 库、人工镨能和近似摊理等理论鞠应用方蕊发展。哥前，许多关子人工智能、模糊理论、 信息管理与知识发现等国际会议上经常可以看到涉及粗糙集的论文。 国内对粗糙集理论的研究也缀恢，t 9 9 3 年国家自然羊萼学基金首次对数据麾中知识发现 领域静醋究项强给予资助。磊蘸，许多辞醑苹往和高等院校竞相开袋相关领域豹基础理谂 及应用研究，取得了令人鼓舞的成果，2 0 0 1 年5 月，在麓庆邮电学院举办了首届中国粗糙 集和软计算学术研讨会，2 0 0 2 年1 0 月在苏州大学举办了第二届中国糨糙集和软计算学术研 讨会，2 0 0 3 冬5 嚣，在重庆部电学藏嚣跨举办第三瑶中潮疆糙集承l 较诗篓学零研讨会嚣繁 九届粗糙集、模糊集、数据挖掘与粒度计算围际学术会议，这些会议的举办袭明我国粗糙 集理论和数据挖掘研究的队伍正在不断壮犬，已经得到国际同行的蘸视和认可。粗糙集理 论逐濒应瘸予数据挖攘顿域中，劳在对大爱数据疼中不突整数据遴簿分辑窝学习方面取簿 了显著的成果，使得襁糙集理论及数据挖掘的研究成为热点领域。 目前，粗糙集理论在数据挖搁中的应用取得了很犬的进展，国际上已经开发出了一姥 基于粗糙撰理论的k d d 系统口“。期r e g i n a ：大学荦用粗糙袋理论开发的知识发现系统k d d - r ， 3 基于粒幸差渠砖熬蒜挖掘方法错究 该系统目前被广泛的应用于医疗诊断、电信业等领域，还有美国k a n s a s 大学开发的l e r s ( l e a r n i n gf r o me x a m p l e sb a s e d0 1 2r s ) 系统，该系统被应用于医疗诊断、社区规划、垒 球气象等獗究方嚣。 近几罐来，粗糙懿理论已广泛应用于机器学习、知识发现、决策支持与分析、专家系 统、智能控制、模式识别等领域。国外目前襁粗糙集领域的研究主骚集中在约简的优化算 法、耀糙懿理论穗髌期理论、；鞋糙集理论霹嵇经惩络理论等其它人王磐嶷技零瓣缝合等澡 题上。本文对于粗糙嶷约简算法的研究正怒警前糖糙集领域中一个薯# 常重要豹课题。 3 本文豹主要磷窕内容 随着数据库技术的迅速发展和管理系统的广泛应用，人们积累的数据越来越多。数据 鹩登后隐藏罄许多重嚣售塞，入倪希望能够瓣其进行鬟瘫层次鹣分援，阻便受姆缝利尾这 些数据。数据挖掘酌提出，使入稍能够扶大糍数据库中提取入们惑缮趣的知讽，这些知识 是隐含的、事先未知的潜在有用的信息。粗糙集理论作为一种处理禽糊和不精确性问题的 耨型数学一具，已越来越受到圜鼯学术界的广泛关注。将褪糙集应用于数据挖掘领域，能 提高对犬型数据库静不完整鼗攒避行分析露学习翦麓力，其有广泛游瘟耀蓊强窝实翔价 值。 本文研究了基于糨糙集的数据挖掘方法，全文共分为六章，各章内容概避如下： 第一章缝论。翔述了本文醑究谦嚣戆鸷最彝意义，嚣蘩戆餮枣努疆究理获弦及奉文熬主 要研究内容。 第二章数据挖掘概迷。阐述了数据挖掘技术的总体研究情况，包括数据挖掘的概念、数 攒携握鲢功憩、数据挖掘鲍方法、数撵挖掘瓣过程| 冀及数掇挖掘戆应孀。 第三章辍糙集基本壤论。对粗糙集的基本理论进行了研究，这冀中包括：知识与知识霹 的定义、上近似和f 近似、约简和棱、决策表以及非常重薅的区分矩阵的定义， 讨论了知识约蔗与知识依靛性的关系，知识表达系统与决策表的关系，为后面黪 鼙节打f 了垡窑的理论纂稿。 第四章熬于粗糙集的属性约简算法研究。分析了多种属性约简方法的实现琢理以及各方 法的优缺点，提出了两种属性约简算法：首先为提高属性约简的效率，基于对医 分矩阵瓣磅究据出了关联筵阵静撬念，嚣嚣，菝照凌簧属瞧对条锫震魅豹菝簸发， 利用关联矩阵中属性频率的信息，提出了一种蒸于关联矩阵的属性约简算法。然 后提出了一种基于遗传算法的属性约简方法，该算法将核目i 入遗传算法的初始群 髂褒提高算法熬性能，绞照决策蕊壤对条 譬震性瓣袋藏崖，在妇强蔗部搜索毙力 的同时保持了该算法全扁寻优的特赣。为确保算法收敛，该算法采用了最优保存 策略。实验结果表明提出的算法是有效的，特别是数据规模较大时更加节省计箅 对趣。 第五章答予粗糙集的瓶剿约麓舞法研究。分析了瓶粼获取方法中的几种典登算法阻及备 方法的优缺点，提出了一种基于粗糙集和决策树的增量式规则约简算法。该算法 的特点是当训练数据集发生增减变化时，无需多次扫描数据集重构决燕树，只镒 基于粒裢袅砖敷籍诧辍方法研究 要根据新增数据与已有决策树规则熊的关系，对已经构建好的决策树游行适当修 改，就可以为变化的数据巢构造出一棵新的决策树，从而犬太地提高了学习效率。 实验续栗表鞠该算法是露效魏，其鸯较褰瓣识捌率。 笫六章总结与展望。对全文进杼了总结，并对迸一步的工作进行了展望。 5 基于箍糙集砖数梅匏掘方法研究 第二章数据挖掘檄述 数据挖掘( d a t am i n i n g ) 是一个多学科交叉研究领域，它融合了数据库( d a t a b a s e ) 技术、人王智能( a r t i f i c i a li n t e l l i g e n c e ) 、机器学习( m a c h i n el e a r n i n g ) 、统计 学( s t a t i s t i c s ) 、躲谈工程( k n o w l e d g ee n g i n e e r i n g ) 、鑫囱对象方法( o b j e c t - o r i e n t e d m e t h o d ) 、信息检索( i n f o r m a t i o n r e t r i e v a l ) 、高性能计算( h i g h p e r f o r m a n c e c o m p u t i n g ) 以及数据可视化( d a t av i s u a l i z a t i o n ) 等鼹新技术的研究成果。经过十几年的研究，产 生了诲多耨攘念秘鼗方法。特裂楚最近咒年，一些基零掇念窝方法趋子渣壤，它弱霹究歪 向着更深入的方向发糯l i “j 。 2 。 鼗撼挖掘戆意义 2 1 1 数据挖掘的技术定叉 数据挖掘就是从大量的、不宪全的、有噪声的、模糊的、随机的实际应用数据中，提 取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知珏 的过程。 a 弱缝数据毳终楚形成羟谖熊澡象，好象麸矿石孛采矿或滢金一样。骧始数据霹鞋怒 结构化的，如关系数据库中的数据；也可以是半结构他的，如文本、图形和图像数据；髅 至是分布在网络上的异构型数据。发现知识的方法可以疑数学的，也可以是非数学的；可 鞋是演绎豹，也可班楚l 鞋续戆。发现戆知识霹姨玻露予售惠警理，蠢诲往纯，凌簧支持释 过程控锦4 等，还可以蹋于数据自身的维护。闲此，数据挖掘是一门燮叉学科，它把人们对 数据的应用从低层次的简单查询，提升到从效据中挖掘知识，提供决策支持。在这种需求 牵；l 下，汇聚了不圊领域的研究卷。茏其是数据库技术、入工智熊技术、数爨统诗、可秘 纯技术、并行计算等方箍静学者和工程技术人员，投身钢数据挖辎这一薪兴酌研究领域， 形成新的技术热点。 2 1 2 数据挖掘酌蓠照定叉 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的丈量业务数 据迸舒擒敬、转换、分橱释其它模凳亿筵瓒，簸中提敬辘魏裔韭淡蓑鹩关键瞧教据。 简而育之，数据挖掘其实是一类深层次的数据分析方法。数据分析本身已经有很多年 的历史，只不过在过去数据收集和分析的目的是用于科学研究，另外，由于当时计算能力 戆隈裁，辩太数据量避嚣努辑爨嶷杂数据分掇方法受到缎大疆裁。现在，壶予各牙韭鼗务 自动化的实现，商业领域产生了大量的业务数据，这些数据不再是为了分析的目的而收集 的，而是由于纯机会( o p p o r t u n i s t i c ) 的商业运作而产生。分析这些数据也不再是单纯 为了研究的霞要，更主要是为穗渡决策提供凑正有傍傻的镶怠，遴瓤获霉利澜。但蜃有众 6 基予疆糙寨秘数据诧疆方法研宠 业面临的一个共同问联是：企业数据量非常大，而其中熊够真正有价值的信息却很少，因 此从大量的数据中经过深层分析，获得有利予商业运作、提高竞争力的信息，就像从矿石 孛海金一撵，鼗握挖攘 亟因薤聪褥名。 因此，数据挖掘可以描述为：按企业既定业务目标，对大量的众业数据进行探索和分 析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。 2 2 数据挖掘的功能 数据境据透过鬟蒺l 寒亲趋势及孬舞，骰斑蘸疆粒、藻予船漂懿凌策。鼗撼猿据靛嚣椽 是从数据中发现隐禽的、有意义的知识。具体的功能有以下7 个方灏。 1 概念描述 概念搦述就是慰繁类对象齄内溪进行攒述，势概括遂类对象魄鸯关特征。爨俸鲮籀述 分为特征髋摇述和区剐性描述。 ( 1 ) 特征性描述。特征性描述用于描述某类对象的挟同特征。 ( 2 ) 区别性描述。区别性描述用于描述不同类对象之间的区别。 籀述数据竞诤数据在多个 蠹象层概证，便于霜户考察数据的一般毒亍兔。铡暂对超市豹 销售数据，销售经理并不想了解每个客户的潦务，而愿意观察到赢膘的数据，譬如按地区 对顾客分缀，观察每缀顾客购买频率和顾客的收入等。 2 ；关联分羲 数据关联是数据中存在的一类重要的可被发现的知识，若两个藏多个交量问存在着菜 种规律性。就称为关联。关联分析的目的就是找出数据中隐藏的关联网。 关联分亳茬发现关联援则，这赎援刘展拳属性值频繁地在给定数箨集中超整理的豢 件。“肆酒和尿布”就是从大型麓市的购秘簸当中分析出的关联藏剃。 3 分类与预测 ( 1 ) 分类。所谴分类，就是依照所分攒对象的属性分门类别、加以定义、建立数组。 魄麴，将髂矮卡审请入劳为低、中、毫最陵群，或是将灏褰分鲻事先定义壹 匏簇群。分类 的关键是确定对数据按照什么标准或什么规则进行分类。因此，分类时首先根掰属性特征， 为每一种炎剐找到一个合理的描述或模型，即确定分类规则；再根据规则对数攒进行分类。 ( 2 ) 壤瓣。疑谱溪测，裁魑裂矮历史数舞建立镤爨，再运瑁媛蓑数鬟嚣为戆天篷， 获得未来变化的趋势或者评估给定样本可能具有的属瞧德或值的范氍。比如，预测哪些顾 客会在未来的半年内敬消该公司的服务，或是预测哪些电话用户会申请增值服务等。 4 。聚类分辑 聚类分析又称为无指导的学鞠，其目静强于客观迪按被处理对象的特征分荣，将有稻 同特征的对象归为一类。 聚类与分类的区剐是：分类娥则需要预先定义类别期训练样本；丽聚类努耩直接匿向 源数据，没有预先定义好静类剐释训练祥本窍在，所寄记录都校搭镀蓝辐经程攘来魏疆麓 类。聚类分析将数据按本身的相似性聚集在一起，然后对聚集状况进行分析解释。比如， 在市场营销调查前，兜将顾客群懿化，再来分析每群顾客最喜欢哪类促销，而不是对顾 7 基于粗糙囊的歉琚挖疆方法研究 客都用相同的标准规则来分析。 5 趋势分析 趋势努耩叉穆为嚣雩藤疼爱努棼孚，它是麸耀当& 瞧辩瓣戆发震中获现燕律帮趋势。趋势 分析是时序数据挖掘最基本的内梅。趋势分析和关联分析相似，其目的也是为了挖掘出数 据之间的联系，但趋势分析的侧熏点在于分析数据间的筒后因果关系。 6 。孤立点分极 孤立赢是指数稻痒中包含的一些与数攒的一般行为或模型不一致的数据。 大部分的数据挖掘方法将孤立点视为噪声或异常丢弈，而对菜姓应用，如欺骗检测， 孤立点数攒可能更有价僮。孤立点数据分据又称做孤立焱挖据。 7 ，绱差分| 舞 偏差分析又称为比较分析，宦是对差异和极端特例的描述，用于揭示事物偏离常规的 异常现象，如标准类外的特例、数据聚类外的离群值等。 镶差捡淡戆基本方法是；寻筏鼹溅结栗冬参爨值之阕有意义戆夔囊。壤蓑钰摇穰多潜 在的知识，如分类中的反常实例、不满足规俐的特例、观测结果与模型预测值的偏差量值 随时间的变化等。寻找出偏差的数据并对其谶行分析是很有意义的。 2 3 数攒挖掘常用技术 可浚瘸缀多方法对数据挖糍技寒迸 亍分类，一般戆分类方法针对数据按旗戆臻糍滋 行。数摧挖掘可以疵用多种技术实现，不论盍口何分类，首先应明确以下概念： ( 1 )数据挖掘算法是数据挖掘技术的一部分； ( 2 )数据挖撼按本翅于撬行数据挖撅礁& ( 3 )一个特定的数据挖橱功能只适用于给定的领域。 按照上述思想，数据挖掘技术主要包含以下几种。 1 聚类检测方拣 聚粪捡灏方法是最早的数据挖箍技术之一。在聚粪梭潮技术中，不是搜寻预先分类的 数据，也没有自变璺和因变量之分。例如，可以对顾客的年龄和收入这两个变摄，平等地 参与聚类检测。因此，聚类检测搬称为无指姆的知识发现或无监督学习。 聚类擞藏戆蟹朝簇，簇是数攥对象戆集会。聚类检溯熬过程藏蹩镬矮一令簇蠢静任慧 两个对象之间具有较高的相似性，不同簇的两个对象之间具有较商的相异性。 生成簇后，最主臻的是要明确生成的簇能表示出什么? 例如按照顾客的年龄和收入生 成簇舞，瞧够扶簇中褥列传么寤发? 是否霹皴了鼹在体瓣顾客孛楚舔令年赞段熬哪令i 数入 层的顾客多，因此可以迸一步分析这一类顾客的购物习惯，可以以避一类顾鬻为主考虑营 销战略。人们把这叫做聚类检测结果的可解释性和实用性。 用予数据挖掘魄粱类检测方法奏：划分的方法、层次的方法、蒸予密度瓣方法、基予 掰络的方法和基于攘整豹方法等。 2 决策树方法 决策树主要应用于分类和预测，提供了一种展示类似在什么务传下会得到什么佳这类 8 基于粗糙集的数檐挖掘方法研究 规则的方法，一个决策树表示一系列的问题，每个问题决定了继续下去的问题会是什么。 决策树的基本组成包含决策节点、分支和叶子，顶部的节点称为“根”，末梢的节点称为 “叶子”。数据挖掘中决策树是一种经常要用到的技术，常用的算法有i d 3 、c 4 5 等i l ”“。 建立决策树的过程，即树的生长过程是不断地把数据进行切分的过程，每次切分对应 一个问题，也对应着一个节点。对每个切分都要求分成的组之间的“差异”晟大。各种决 策树算法之间的主要区别就是对这个“差异”衡量方式的区别。所谓切分可以看成是把一 组数据分成几份，份与份之间尽量不同，而同一份内的数据尽量相同。切分的过程也可称 为数据的“纯化” 决策树方法适合于处理非数值型数据，这是它的优点，但如果生成的决策树过于“庞 大”，会对结果的分析带来困难，因此需要在生成决策树后再对决策树进行剪枝处理，最 后将决策树转化为规则，用于对新事例进行分类。 3 人工神经网络方法 神经网络是指由大量神经元互联而成的网络，人工神经网络是模拟人类的形象直觉思 维、是在生物神经网络研究的基础上，根据生物神经元和神经网络的特点，通过简化、归 纳、提炼总结出来的一类并行处理网络。人工神经网络以船模型和h e b b 学习规则为基础， 建立三大类多种神经阿络模型：前馈式网络、反馈式网络和自组织网络。所有神经网络的 工作过程主要分两个阶段：学习阶段和工作阶段。神经网络在学习过程中必须依靠学习算 法，矫正学习过程中的误差或偏离。神经网络从经验中学习，经常用于发现一组输入数据 和一个结果之间的未知联系，和其它方法一样，神经网络先耍检测数据中存在的模式，再 对从数据中发现规则进行概括，最后给出结果。 人工神经网络方法主要用于分类、聚类、特征挖掘、预测等方面。对于数据是不定性 的和没有任何明显模式的情况，应用人t 神经网络算法比较有效。由于人工神经网络具有 自我组织和自我学习等特点，能解决许多其它方法难以解决的问题，因此得到较普遍的应 用口3 。”。 4 遗传算法 遗传算法模仿人工选择培育良种的思路，从一个初始规则集合开始，迭代地通过交换 对象成员( 杂交、基因突变) 产生群体( 繁殖) ，评估并择优复制( 物竞天泽、适者生存、 不适应者淘汰) ，优胜劣汰逐代积累计算，最终得到最有价值的知识集。遗传算法包含以 下3 个基本算子。 ( 1 ) 繁殖。繁殖是从一个旧种群选择出生命力强的个体产生新种群的过程。 ( 2 ) 交叉。交叉是选择两个不同个体的部分进行交换，形成新个体的过程。 ( 3 )变异。变异是对某些个体的某些基因进行变异。 遗传算法能够产生一群优良后代，这些后代力求满足适应性，经过若干代的遗传，将 得到满足要求的后代，即问题的解p o i 。遗传算法的最大优点是问题的最优解与初始条件无 关，而且搜索最优解的能力极强。 5 关联分析方法 世界上的许多事物相互间都存在着“关系”，如处方将医生与病人联系在一起：四通 八达的铁路、公路将城市联系在一起。关联分析方法特别适合于从关系中挖掘知识。关联 分析方法包含关联发现、序列模式发现和类似的时序发现等。 9 基于粒鞋枭酌教貉挖疆方浪研究 ( 1 ) 荧联发现弊法。关联就是项与项间的密切关系。关联发现算法能够氟统地、有 效地得到必联规则，捷出关联组念，在关联缀合中，如果出现某一项，则另一项也会出现。 ( 2 ) 窘爨模式发现算法。岿歹l 模式发联算法主要楚发瑷在澄阕穿刭上，一令顼鏊繁 之后的项鼹集是什么，即找到时间上连续的痔件。在应用这种算法时，必须霄嗣期和时间 等数据项。例如，对顾客购买数搦集进行序列模式发现算法时，会发现大部分购买了计算 规携蹶客，其后紧接蔫会购买刻荣规。 ( 3 ) 类似的时净发现算法。类似的对滓发现算法怒先找弼一个事件顺净，再推测出 其它类似的事件顺序。例如，在序列模式发现的例子中，已经知道购买计算机的顾客，紧 接着会购鼷刻录机；那么也可以攘测出，这贱顾客还群可能赡买打印机等外部设备。 6 基予租糙集鹣方法 粗糙熊理论是一种处理含糊和不确定问题的新型数学工具，它县有较强的数学基础、 方法简单、较强的针时性和计算掇小等优点。粗糙集理论是建立在分类机制的基础上的， 它薅分类壤瓣秀在幸誓定空嚣土瓣铸寥 关系，程等绥关系稳藏了对该空淘戆裁努。襄糙集遴 论的主要瓣想是利用已知的知识阵，将不精确或不确定的知识用已知的知识库中的知识米 近似刻画。该理论与其它处理不确定和不精确问题理论的最显著区别是它无需提供问题所 露处理熬数据集合之羚戆任侮先黢售意，仅菝据数据本襄提供熬镶患裁能对数据进行亿筵 并求得瓤识的最小表达。 粗糙集方法可以克服传统的不确定信息的处理方法的不足，并且能和它们有机结合， 迸一步增强对不确定、不完全信息的处理能力。粗糙集理论通过g l 入不可分辨关系、等价 类、属毪翁简和棱、馘分矩薄等概念考察辅识表运孛不强属性躲羹簧性，寒确定娣些属性 是冗余的，哪些属性是必不可少的。删除冗泉属性进而简化知识表达空间，最终能从数据 中挖掘出规则。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统为基于 耀犍集戆数据挖掘羹定了坚实豹嫠醚。 7 模糊集合论方法 利用模糊集合理埝对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分 褥。模糊瞧是窖蕊存在装，系统麴复杂瞧越薅，模期瞧越强，这是z a d e h 慧缝蹬懿互竟羧 原理p 1 。劐。 数据挖掘是数据领域中一个高速发展的分支，它应用于许多不问的领域，其它领域的 知识和理论媳广泛地爬用到数据挖掘的研究中。结合实际需要，径技能开发出更赢效的算 法。 2 。4 数掇控掘的过程 数据挖掘是指一个完接的过骡，该过程从大量数据中挖掘先前未知的、有效的、可使 用的信息，菇使用这然售惠作出决策或丰富h 识。 鼗撂挖掘静一般步骤蟊圈2 - 1 所示。 1 0 基母粗糙熹的数耱挖掘方法辨宽 溪2 - 1 数豢挖掘熬过程 数据挖掘过程中备步骤的大体内容如卜w ： l j 确定业务对象 在努始数撂挖掘芝袁最墓磁豹就是理勰数据嚣实藩瓣盟务翊悉，在这个蒸疆之上挺患 问题，对目标有明确的定义。认清数据挖嘲的目的是数据挖掘的蘸要一步，因此必须清晰 地定义出舭务问题。挖掘的最后结构是不可预测的，但对要探索的问题应是有预见的，为 了数据挖攮嚣数据挖撼受l 带有蠢嚣蛙，是不会成功靛。 2 数据准备 数据准备是保证数据挖掘得以成功的先决条件，数据准备在撼个数据挖掘过程中占有 大量的工作量，大约是整个数据挖掘工作爨的6 0 。数据准各包括数据选择、数据预处理 耪数据瓣转换。 ( i ) 数据的选择。数据的选择就是搜索所有与业务对象有关的内部和外部的数据信息， 获取原始的数据；从中选择出适用于数据挖掘应j f = j 的数据，建立数据挖掘库。 ( 2 ) 数据魏颈懿疆。鑫予数舞可麓是不党全豹、裔噪声鹣、辘瓿懿，蠢复杂夔数耀髂 构，数据预处理就要对数据进行裙步的整理，清洗不完全的数据，为进一步的分析做准备， 并确定将疆进行的挖掘操作的类型。 ( 3 ) 数据嚣转换。数撂麴转换是摄挺数攥挖掘的毯据帮数据的特征，选择合适豹模型。 这个模蠹整钎对挖掭露法建立静。建立一个粪正适合挖掘算法翦分析模型是数据挖掘成秘 的关键。 3 数据挖掘 数爨挖掘就是对掰褥蘩懿缀进转换瓣数据逶行挖攘，除了选耩合适懿控摇葵法多 ，箕 余工作成该能自动地完成。 4 结粱分析 薄挖攘结采遗杼解释莠译懿。箕傻曩戆分舞方法一般瘴禳撂数据挖撂撩捺嚣定，嚣嚣 通常会用到可视化技术。 5 知识的同化 基乎粗箍襄柏数据挖掘方法姘竞 知识的同纯就是将分析所褥到的知识集成到韭务馕患系统的缎织结梅孛去。 2 。5 数援掩握的应羯 随着人们对数据挖掘认识的深入，数搌挖掘技术应用越来越广泛口”。某些具有特定 妁应用蛔联粒应用蜚祭缒领域是最糍体现数撰挖掘作瘸鲍应用领域。瑶翦，成用在金融她 和保险监较多，也可驻扩展到其它一些潜在的应用领域，如在零售效、医疗傈键、运输监、 行政司法等社会部门以及科学和工程研究单位都具有广阔的应用前最。 1 金融业 ( 1 ) 众融盈可敬潮数据挖掘势辑市场魏臻自、覆测令爨公司懿罄运雏力秘黢份趋势等。 对账户进行信用等级的评估。金融业风险与效益并存，分析账户的储用等级对于降低风险、 增加收益是非常重要的。利用数据挖掘_ t 具进行信用评估可以从已有的数据中分析得到倍 耀译售熬藏戴或标壤，帮褥到“灌是赞么撵条辫魏账户疆子翳一类馕用等毅”，势将褥到 的规则或评估标准应阐到对新的账户的信用评估。 ( 2 ) 分析信用卡的使用模式。通过数据挖掘分析信用卡的使用模式，可以得到这样 爨援刘：“骨么样鲍人使角信矮卡震予手 么榉的模式”，一般一个a 谯柱当长鹃一段鞋间内， 箕使用僚弼# 斡习惯往往是较为鞋定的。因诧，通过判舅信用等的使用模式，可戳蓝铡剽 信用卡的恶性透支行为，还可以根据信用卡的使用模式，识别“法”用户。 3 ) 遴行股票分毛斤。可以馒用数据挖掘技术从股票交易的历史数据中褥到股票交弱 豹规粥或筑律。 ( 4 ) 探测金融政策与行情间的关系。使用数据挖掘技术可以从大量的历史记录中发 现或挖掘出金融政策与金融业抒情的相互影响的更深屡次的关联关系。 数摄挖掘技寒褒鑫融韭还霹潋对庞大戆数据避行圭矮分分辑，葵溶无关豹甚至是爨误 的、相互矛盾的数据“杂质”，以更有效地避行金融市场分析和预测；发现隐藏在数据厩 面的不同的财政金融指数之间的联系等。 2 保险她 ( 1 ) 保险金的确定。对受酸人员的分类肖助于确定遣当的谦陵金额度。通过数据挖撼 可以有助于确定对不同行业、不同年龄段、处于不同社会层次的入的险金额度。 ( 2 ) 黢静关联分析。使用数据挖掘技术，通过险种关联分析，可以预测购买了某种保 险蘸火是否会同嚣拿憨凝勇一种保险。 ( 3 ) 其它预测。通过使用数据挖掘技术可以预测哪些行业、哪个年龄段、哪种社会屡 次的人会买哪种保险，或者预测哪类人容易买新的险种等。 3 。零售逝 零售t 是最早应用数据仓库与数据挖掘技术的领域，已经有很多成功案例知顾客分 类分析、目标行销和购物篮分析等。 ( 1 ) 分辑鬏客静购买行梵_ 摹f 】习惯。分叛颓窖熬赡鬟行为靼习惯在零售故褥到大量疲 用。如4 美国勇性顾客在购买舔布的同时购买啤酒”、“顾客一般瀚癸了睡袋翱鹜包后，过 了一定的时间就会购买野营帐篷”等看似很小、很徽不足道的信息，却会非常有用。 基于粒鞋象蟪数据拖掘方法研建 ( 2 ) 分析商场的销售商鼎的构成。将商晶分成“畅销且单位赢利高”、“畅销但单位 赢剥低”、“镑锩毽戈赢列、“不酝镄僵单控藏秘亳气“不锤锩显攀接瀛剥德”、“滢锩”等 多个类别，然后看瓣属予同一类别熬商品都肖什么共同的特征，群“满足待么榉麴商品属 于哪一类情况”，邀就怒瓶剜。遮冀舰捌将有助于商场的i 彳场定能、商晶定价等决策掏蹶。 聪且在确定“要不蒙采购巢一商品”这样的决策问题时，这些规则将显褥非常有意义。同 样也可以对商场的顾客进行划分。 3 ) 英宅应溺。数据挖掘羔器在零售l t 怒可敬鬻予遴 亍齑晶销寮预测、黉赫鹭格分 析、零傣点的选择游。 4 科学辫究 ( 1 ) 巍然搴 学。数据挖掘搜零对意辩技的研究戆璺不可少的，烹要戆凄襞是黠大拙 鬣数据的处理。高科技研究的特点就是探索人类未知的秘密，而这芷是数据挖獬的特长所 在。不壤瓒予数据挖撼技寒要胰大爨鳇、凝露头缝焉显囊镌难辨熬科学数摄和瓷拳年中撬蕊 如对人类有用的信息，是j 常匿难纳。 ( 2 ) 社会科学。数据挖掘在社会辩学的磷究领域的臌用蓠最也髓来越被人们所认识。 社会科学的特点是从历史看来米，如从社会发展的历史进程中得出社会发展的规律，预测 社会发怒的麓势；或从入类发展的避程和人类的丰会行为的变健中寻求对人类行为规襻的 箨案，簸髓绒角予对嚣释各襻瓣享会溺瑟的求耪。数据携稼在姨历史数箨中避帮壤律懿袋 观方面，也谢其独到的作用。 5 其它领域 ( 1 ) 暇疗。数据挖掘霹翅子窳铡、瘸入嚣为特缝鼹分析，臻予药方管灌簿，瞳安撵 治疗方案、判断药方的有效性簿。 ( 2 ) 露法。数据挖掘霹建予察转遴豢、嶷捌分辨、犯嚣整控等，还霹鼹予犯罪纷必 特征的分辑。 ( 3 ) 工盟部门。数据挖掘技术对于工监部门的应掰可用予进行馥障诊断、生产过程 优化等。如制造业在质攫控制、隹4 造过程中找出影响产晶品质的攘大因素及提蹴作业沆穗 的效率等方飚都可以庶嗣数据挖掘技术。 缱祷诗箨瓿诗葬鼗力浚笈袋帮疆务复杂瞧靛提裔，数据静类型套越来越多、越来越笺 杂，数据挖掘将发挥越来越大的作用。 基于粒糙巢砖毂转挖掘方涪辑宪 第三意粗糙集基本理论 要解决比较复杂的问题需要大量的知识，以及处理这些知识的机构，以便针对知识产 生答案，然丽知识也霄难于处理赡特性，如知识量很大，很难精确的描述，知识处于动态 变证之孛。褪糙集理埝是一季孛薪戆处理模赣鞫不确定程翔识瓣数学王具。其主簧愚怒是教 保持分类黼力不变的熬础上，通过知识的约筒，导出阀题的决策或分类规则钟j 。 3 。1 翔谈每分类 基本糈糙集理论认为知识就是人类和其窿物种所固有的分类能力。例如，在现实世界 中关予繇境瓣弼识圭簧表臻了垒物裰据其生存鬣来对备辩各样静清形避嚣分类嚣鬟戆麓 力。每种生物根据其倦感器信号形成复杂的分类模式，就是这种生物的基本机制。分类魑 推理、学习与决策中的关键问题。因此，粗糙集理论假定知识是一种对对象进行分类的能 力。这里斡“对象”楚指我 j 爨裁富及熬强健事秘，磁皴实凌、状态、整象概念、遘程鄂 时刻等等。即知识必须与具体或抽象世界的特定部分相关的各种分类模式联系在一起，这 种特定部分称为所讨论的全域或论域( u n i v e r s e ) 。对于全域及知识的特性并没有任何特 别假设。攀实上，知识搦成了慕一感兴趣领域中各静分豢模式鳇一个族集( f a m i l y ) ，这 个蕨集撼供了关于现蜜的显事实，以及能够获这些显事实中推导出隐事实嚣箍壤能力。 为数学处理方便怒j l ! ，在下馕的定义中用等价关系米代替分类。 定义3 1 一个i 琏似空闻( a p p r o x i m a t es p a c e ) ( 或知识库) 定义为一个关蒙系统( 或 = 元组) k = ( u ，r ) 其中u ( 中为空集) 是一个被称为全域或论域的所有要讨论的个体的集合，r 是u 上 薅蛰关系瓣一个簇集。 定义3 2 设p _ c r ，且p m ，p 中所有等价关系瀚交集称为p 上的一种不分明关系 ( i n d i s c e r n i b i l i t yr e l a t i o n ) ( 藏称不可睡分关系) ，记作i n d ( p ) ，即 x x g n e ) 2 r 琏f x 产r ( 公式3 。1 ) f x r 袭示的是包禽元素x 芒u 的r 等价娄。i n d ( p ) 也是等价必系且是唯一的。 定义3 。3 绘定邋儆空闻k = ( u ，r ) ，予紧x c u 称强u 上鲍一个概念( c o n c e p t ) ，形 式上，空繁也褪兔一个概念；嚣空子获集p c r 所产嫩的不分嚼关系i n d ( p ) 的所有等 价类关系的集合即u i n d ( p ) ，称为基本知识( b a s i ck n o w l e d g e ) ，相应的等价类称为基 本概念( b a s i cc o n c e p t ) ；特别地，若关系q 岳r ，则关系q 就称为翻等知识( e l e m e n t a r y k n o w l e d g e ) ，稳应戆等徐类藏称必拐等概念( e l e m e n t a r yc o n c e p t ) 。 根据上述定义可知，概念即对象的集合，概念的族集( 分类) 就是u 上的知识，u 上 分类的族集可以认为魁u 上的一个知识库，域说知识库即是分类方法的集合。 1 4 基于轻鞋巢酶数据挖掘方法研究 3 2 不精确范畴、近似与粗巢 3 2 1 粗熊 令x 篓玎，r 为u 上躬一个等赞美系。当x 囊表这簸禁望r 基本蓬碡蕊势辩，豫x 是& 可定义的( rd e f i n a b l e ) ：否则称x 为r 不w 定义的( ru n d e f i n a b l e ) 。r 可定义集也称作 r 精确集( re x a c ts e t s ) ，而r 不可定义集也称为r 非犄确集( ri n e x a c ts e t s ) 或r 粗糙 集疆r o u g hs e t s ) 。 租集可以近似地定义，为这到这个目的，使用两个精确集，即糨集的上近似榘( u p p e r a p p r o x i m a t i o n ) 和下近似集( l o w e ra p p r o x i m a t i o n ) 来描述。 定义3 4 给定知识痒k - ( u ，r ) ，对予每个子集x u 移一个等价关系r i n d ( k ) ， 定义两个子集： r 一( 搿) = u f u r ：y 篓) r 一( 菇) = u y u i r ：y n 舅辔 ( 公式3 2 ) 分别称它们为x 的r 下近似和r 上近似。集龠丑r ( 爿) = r 一( 并) 一r 一( 司称为x 的r 边 界域。p o s r c x ) = r 一( 量) 称为x 躲r 正域，把n e g r ( x ) = u r 一( x ) 称为x 的r 负 域。 r 一( 搿) 或p o s 。( x ) 是由那姥根据知识r 判断肯定属于x 的u 中元素组成的集合： r 一( 盖) 憝由那些棂攒知识r 判龄可麓属于x 靛u 中元素组成的集仑；b n r ( x ) 是那些援 据知识r 既不能翔断肯定属于x 又不糍判断肯定耩予一x 的u 中元索组成的集合； n e g r ( 爿) 是那些根据知识r 判断肯定不属予x 的u 中元素组成的集合。 鸡 ? j ) 1 一、 1l i o ? l ， ， l v 厂j厂 疆 f 嘲3 - 1 基于粗糙集的数据挖掘方法研究 下近似和上近似以及边界域的概念可以用图3