（电路与系统专业论文）基于粗糙集理论的决策树剪枝[电路与系统专业优秀论文].pdf

摘要 数撼挖攘( d m d 8 惦激畦嘴 跫运爝基予计簿辊的方法，包旗羹它凝技术，腻大囊 的数据中搜寻有价值的、非同寻常的新信息的过程。 数据掩瓣豹核心技术算法主要有统计分轿方法、神经稠络、决策褥方法、遗馋算法 等。其中决策瓣方法楚萋孛广泛俊掰瓣雳子分樊瓣方法，宅邋遘一绥嚣次枣，无戴瓣麴 实例推理出决策树表示形式的分炎规则，从而找到一些有价值的、潜在的信息。 莓蒋摄多凌策褥李驽造方法得到静决策褥，都爨有较好鹣糟囊，僵是存在着计簿蕊大、 泛忱熊力受阪裁蝰缺点，露凝糙集理论是壶波兰数学家z ，p 1 8 k 提出豹继概率谂、攘 糊熊、证据理论之后的又一个处理不确定性知识的数学工具，近年来其有效性已在许多 辩攀与工程模域麓袋功度麓中褥到程突。基予魏，决策树分类方法；| 入糖糙集理论，本 文遁过理论分辑瑚实验竣涯， 譬是蘩予耀犍囊理论鳇决策撼分类方法敬得了较好麓缝 果。通过分析基于粗糙集理论的决策树后剪枝方法，发现各种后剪棱方法存在只注重憋 髂的映纛势撬蠢了解凌薰路基子峙终点的汝策秘骜棱方法。率文冀髂蠹容安撵强f ： l 姨筵樾鞫造麓单奔绍决策挺，圭要讲述警名蛉抉繁树构造方法l b 3 算法及囊其 教进并得到广泛使用的c 4 5 算法。 2 决策樽赘棱沃繁撼剪菽楚撮舞决策耱魍泛铯麓力、转变蓬匿瓣( o v e r f i t i n g ) 现象的有效方法。剪棱壤略毒预赘搜秘磊剪棱，本文对六秘囊骜技方法谶嚣了分褥。 3 基于粗糙集理论的决策树构造和剪枝方法粗糙集理论具有处理不确定性知识 麴戆力，本鬻姆粗糙嶷理论；l 入挟攘楗辑造秘赘棱方法隧消除噪声黪影蟪，实觋在诗葵 复杂度较小的情况下，德受髓度铰离的决策挺。 4 基于叶绪点的决策树剪棱方法决策树赠翦枝方法往往通过比较决策树中非叶 继点剪棱翦癌蛉效果，制定剪接繁璐鲍标准，忽略了每个时终点的贡献，影响剪接瞧效 黎。为避免送一现象，本文提出綦于时结点的决燕树剪枝方法，将每个叶结点魄囊骚性 作为剪枝策略的依据，并避过实例验证了这一思糠的可行性。 关键词：决策辫；过匹配：剪枝；粮糙集理论 a _ b s t r a e t d 融am i n i 嚣gi sa 辨o o e s st o 程n 黼蠢v a i l a 撼e ，喇强a n dc o 搬辨e h e n 鲢b l 。p g 娃e m 矗。辍 i 矗端和s 髓l e 渤趣遮w 8 y 酗秘黼e o 稻疆姆ri 嬲堪瓣斌妇r 拈e w 螗幽o l 。委巷& + r h e r ea r em a n yp o p u l a rm e t b o d sf o rd a t m i n i n 辫s u c ha ss t 日t i s t i c 甜y s i sm e m o d ， n e u 城n e c w o r k ，d e e i s i o nt r m o 如。砖黔n 酶ca 量g o 娃搬na n ds oo 箍 a sa 稍d e l y 猫e d 鞋猕躲避 f o re 1 8 s s 主 量e a 畦。娃，& c 弧至。鞋n 葛em e 强o di 嚣硅强c e s 谯。糊l 褥岱氍a 群s h o w e 莲姆鑫t 糌e 氇a tc 雌 蛀n ds o m ev a l u 晒l em e c h a n 沁a n d 口o t e m 黼i n f o f m a 虹o n n o 强m 诅巍d e c i s i o nt r e eb u i l 髓毽m e m c 韪ng 毹拄d e e 黼o n 懈e 稍魄嚣o o dp 糖d s o 趣 魄糯o s to f 斑e m 转e e d 妇孥e 秘黼。魏戤】d 一罪张l 溉 糍i o 蛙w 涨鐾e 燃 慈匹o n 幽i l 姆 m 翻m 敲i 蕊a nz p a w j 矗k 盎o mp 0 1 a n dp m p o s e d 致o u 痨s e tt b e o r ym a ti sa n o t h e rn e wt o o l 巅t e t h ep r o b 酶i l i 每t o 粥纰甜s 嚣a n de v i d 黼娃越m e o 拶t od e 啦w i 也t h e 豫c e n a i n k 1 1 0 w l e d g e ，粕d 抟v 8 l i d i 姆h a sb e e 疆n 酗糯醴mt 黯s l i c e e 躞穗 璐髑濂v 鑫菇o u s k 韩 斓巷嚣赫嚣i n e e r 濂gd o 瑚硝n s 融雠e e n ty e a r s 魏。嗡s 或孙e o r yi si n 帮d d n c e d 沁d e c i s i o nt 趟e s 期d 辨t s 醅t 耙r 批g 醢拄幽砧h 醇像# a n a i y s 螬o n 磕e o r y 翎de 糊e 曛撒嚣a 嘲v a l i d 盎舀姻 w ec a nd i s e o v e rt h 鑫t 琳o s t 。ft p 。s t p n 娥嫦m 曲o d l yp a y sa 撞c 娟o n 蝴l 沁龇o l e 矗勰，p p 。s e 畦礁甍e wp n 瓣i 蝤辩a 主e 耩y - 曲e i 蠡濑枉搴e 辩蕊n g 群豫也瓣b a do nl c 8 f 强em 毹 o o | 娃e 魏to f 垃囊sd i 辅材 a 蛙。娃强矗sb e b w ： 1d 尊c i s i o n 慨eb l j i l 幽磐h 啦蕊聃e ed e c 赫o n 舰es i 唧骖d e p i c tn 端氛m o 堞d 测蕊娆 t 砧。姒醯魄擞。也。鑫i d 3 捆d 鼍si 爨p 掷v e d 黼或b de 莲5 谯破 s 赫o ww 糟e l y 娃辩d 。 2d e c i 蕊黼羝ep 淞娃n g ：c 主蛙。热铷。辨瘫獬括a 珏e & c 蝣v e 鞠舶礴t 。主m p 州e 镶嚣 d e e i s i o n 谨o ee x 鼢i 虹v e n e s s 鑫齄dt 0a o 礅o v e r _ 矗谢n g 髓l e r e 辩ep 辩巾瑚n 通ga n dp o s t - p r u n 蜒 s 链毫e 暂e s 融能ss 麟i 瓣，雠旗鞋8 壬l j 醵y s i 嚣s 主x 鲢“p 潮l 秘霉璃幽聪， 3d e c i s i 雠髓e e 转蜮l 幽鐾鞠d 魏峨i 舔臻g 壤蕊搬s o d 髓知稚黪s e t 愁o o l y ： 孙u 黪s 髓 张e o r yc 聪d o 鑫1w 赫u 髓c 漱妇o w i 柏鏊c 黼d 辩i si 翩d u c e 畦瓣od e e i 蠡触瓣幽u i l d i n g 删 p 觳辩娃n g 瑙礴l 瓣船e l i 确n a t e 如e 艄l s 螃l e 豁o o 琏零珏攮t l 艄出瓣p l 然对c a 菇w og 醚鑫 幽c i s i o nt r e ew i t hh i 曲p r e o i s i 蝴 4 蚤e c s 。n 狳ep m 越n gm e 躺d 潞s e d 蝴秘辞n 耐o ：猕鞋皱沁蜘p m 蝤n g 獭e 洳d i n s 斑啦。p r e 王n i n g 瓣融铺b yc o m p 躐蠊e e f l & t sb e f o 撼a n d 谯e r 班疽致g 谯o n 。n - l e 嘏媳。如 i ：【1d e e i s i o n 拉e 岛娃n e g l e o t st h ec o n t n b u t l o no fs e p a r a 主ek a f d es o 也a 芏a f 鹣c tt h ee 锺b c t 醴 秘娃臻i n 荽孙捧v o 灌斑呈s 婶嚣魏。辩e n o 珥ap r 杖撼摊g 辩e 瞧耐b 舔e do nl c 毡f n o 如速擎p o s e d 协m 旅e 辩棚n 蠡s 湘t e 霉yu p o n 礅es i g n 谄c a n c e 。f e v e 昭j e a f n o d o 确毒弱e wi d e a 弧p 渤v e df e a s i l ) i eb y “p e r i m e n t 歉姆o r d 嚣：龇c i s i o n 静辫；0 v 辨蠡谯i n 嚣p r u n i n 嚣鼢u 西s 武o 搿 i i 独截梭声餮 本人声妫濒璺交的学位论文是本a 在导师指导下进行的研究工作 及敬褥的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他入已经蒙袭翁撰写过自q 磷究成果，也不包含为获得东 j t 孵范大学或冀饨教育枫掏羽学位或证书籀使用邋的材料。与我一两工 作的同意对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学使论文作者签名：奁龃e | 期 瑚最。f 学位论文版权使用授牧书 本学位谂文髂赘完全了鼹东北师范大卷褒关保露、使翊学撼谂文麴 援是，即：末北蟋篷大学肖投攮蜜并囱鞠蒙窍关辩门鬣撬橡遴交学经论 文的笈印件和磁盘，允许论文被查阅瓣嘴闯。本人授权东北师范大学可 以将学证论文购垒韶或部分内餐编入霄关数据库进行捻索，可以荣翔影 露、续印或其它复制手段保存、_ 缡学谯论文。 ( 保密的学位论文在解密届适用本授权书) 学使论文作者签絮： 日期： 趋疆 蛩氇! ! 巧 学能论文作者毕业后去向 忑棒单位； 通讯地址： 指导教师篓褒：堕 日 期；麴型：堑 电话： 邮编二 鼍l言 对大型的、复杂的、信息丰富的数据集的理解实际上是所有的商业、科学、工稷领 域憋共同需要，在商务领域，公司帮麟客妁数摆逐渎被试为楚一秘战隧资产“1 。在当今 的毙争世界中，吸取隐藏程这些数据焉面的有用知识并利用这些知识的能力变得愈加重 要，数据挖掘d m ( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模糊的随机的原 始数据中，摄取隐含在其中黪事先来躲鲍、堡又燕潜在有用的信息和知识的过程“3 ，它 剩翊各种分橱工具在海量数据中发现模型和数据阙关系，这些模型和关系可以用来对未 来数据做出预测。 实践中，数据挖掘的蹲个基本的霞标是预测翔描述“1 。鞭测涉及到锼用数据集中靛 一熬变量或域来预测其他藏们所关心燮量的未知躐未来的氆；描述关注的是找出描述w 由人类解释的数据模式。阏此，可以把数据挖掘涌动分成下述两类： ( 1 ) 预测性数据挖掘：生成己知数据集所描述的系统模型。 ( 2 ) 籀述性数据挖掘：程可用数据巢的基础上生成新的、非同寻常的信恿。 数摄挖撬懿睡务 数据挖掘的基本任务燕要有分类、关联分析、聚娄分析、预测、时序模式、偏麓分 析等。 1 分类( e l a s s i 瓢e a t i ) 分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵 描述，并用这种描述来构谶模型，一般用规则或决策树模式表示。分类悬利用训练数据 巢逶过一定豹簿法夏袭褥分类援剿。分类霹被爰予溉买援述帮颈弱。 2 荧联分析( a s s o c i a t i o n ) 关联规则挖掘是由r a k e s ha 删a 1 等人首先提出的。两个或两个以上变量的取值之 阉存在菜静攥德性，就穆必关联。数爨关联是数攥摩中存在泌一类重要鹣、霹薮发瑗麴 知诚。关联分为简单关联、时序关联和因果关联。若联分析的目的是找出数据库中隐藏 的关联网。般用支持度和可信度两个阀值来度墩关联规则的相关性，兴趣度、相关性 等参数的g l 入，使褥鼹挖掘豹援刚雯缎祷台窭辩懿求。 3 聚类分析( c l u s t e r i n g ) 聚类是把数据按照相似性归纳成若干类别，间一类中的数据彼此相似，不同类中的 数撰相异。聚类分析可敬建立宏理的概念，发现数握的分布横式，以及可挠的数据耩毪 之间的相互关系。 4 预测( p r e d i c a t i o n ) 预测是剥阁历史数据找如变化规律，建立模懋，并出此模型对未来数摆的释娄及特 征避 亍预测。预测关心的怒域度和不确定性，邋常躅鞭测方差寒度量。 5 b $ 蓐模式“l m e s e r i e s 触t t e r n ) 时序模式是指通过时闯痔列搜索出熏复发生概率较高的模式。与酗捆样，它也怒 用己知的数撼预测未来的值，但这攮数掇的区别是变量所处时阀魄币隧。 6 偏差分析( d e v i a t i o n ) 偏差中包捅很多有翊的知识，数据庠中的存在很多异常情况，发现数掇库中数据存 在的异常情况非常重要。偏差检验的基本方法是寻找理褒结果与参照之闻的差别。 分类是数掘挖掘中一颈薰要的任务，目前在商业上应用税多。分类的概念是在已有 数攥的基础上学会一个分类函数或构造一个分类模整。，也称为分类器( c i a s s i f i e r ) 该函数或模型能够把数据库中的数据记录映射 u 给定类别巾的菜一个，从聪实现预测。 实现分类任务的方法育决策秘方法、神经网络方法、统计擎方法等等。决娥树是种蕊 簧豹分类器”，它是裁蠲倍惠论静源瑾纛立凌繁耩，决策糟静构造速瀵快，精度嵩，生 成的模式简雕，因此是目前蘸点研究的方法，研究成果较多，已经被成功的应用到从学 习隧疗诊断至8 擎习评估贷款审请豹信用风险等广闽领域。两蓠，决策树构造方法穗经墩 褥了报大避步。 1 9 6 6 年，h u n t 等人提出了第一个可用于构造决策树的概念学习系统c l s ，从那 戳来，产生了校多薪的决策糖构造系统如如i n l 鲫分囊予1 9 8 3 年和1 9 9 3 年研截的 l 端秘醴。5 篝法，煞及飘e h 甜d0 1 8 h e 酶e 帮e b 社r l o ss t o n e 等太子1 9 8 4 年研翻熟c a 瓣 算法。 w e i 弱n 融0 8 ”1 将糖糙策理论；i 入决策树的构逡过程，穰嚣粗糙嶷理论中近似酝闯 貔嘏念，每次选择戆明瓣分类实铡个数最多或卷否麓明确分类蜜铡夺数最少静震搜箨为 当前分支的结点。 1 9 9 2 年 酶0w 鞫k i r ak ”等a 分别瓣属秣集静选择避行了鲻致的研究。麓年 瓣 v j ”扩宽了决簧簿，形戚凌壤鲻。 1 9 9 1 年w o nc h a nj u n g 等人采用的优化算法很简单，其蒸本思想是：首先用i d 3 选撵援性f i ，逡立树? i ，发右予搪的麓蛙分裂为怒，f 3 ，蒋激f 2 ，瓣为根，羹建树 t 2 ，1 3 ；比较搴硅t l ，t 2 ，1 3 的绩点个数，选撵缝点最少麴謇l 。鼹予选定瓣瓣，l 予缝点 采用同样的方法，递归建树。尽管作者用一个实验证明能够建立理想的决策树，但算法 有较大的弱点：潜闯开镶太夫，因为簿选择一个耨豹属性，葬法需要建立s 撩决策树， 并从中选伐。 1 9 8 7 年j r q u i n l a n ”对决策树翦枝问题进行了深入的研究，1 9 9 7 年f 1 0 r i a n a s 勰s i t o “4 等人对毙鞍流行静六秘势技葵法避褥察验对魄，分撰了各萼孛嚣法豹特憔。 率文主要分辑了基于z ，p a w l a k 糨糙集理论鲍欹策挝构造方法“，对基予糨糙巢瑾谂 的决鳃树剪枝方法3 ，在多个开放的数据集上进行验证分析，得出这种方法既有优点和 可 健，也存在一定盼秧隧并提出了瓣凌策赡一基于峙结点熬决策挺剪技方法。爨体| 奄 容安排如下： 第一章决鬣树构造 以i d 3 算涟和c 4 s 算法为例讲述r 决策树构造方法。 第二章决策树剪枝对六种常见后剪枝方法进行了分析。 第三蠢鏊子爨糙熊理论戆狭綮糖搀造帮赘投方法瓣基于褪糙集理论趋决燕樾 构造和剪枝方法进行研究和验证。 第四章基于叶结点的决策树翦枝方法针对后剪枝方法存在的缺点，提出了种 耨懿基于时缝赢耱决繁糖赘按方法，将每令盱缝点弱重要犍 擘为葵接镶旗豹莰提，并逶 邋实例验证了这一思想的可行性。 结论对所作工作进行总结，对将来工作进行展望。 第一章决策树构造 1 1 分类 分类是数据挖掘中提j | 塞要鲍一个任务，其秘麴怒梅造个分类函数或分类模型( 分 类器) ，该模型能够把数据库中的数据影魅到某一个蹬定类测，葜定义为：绘定数摊瘁d 一 t 1 ，2 ，n ) ，元组j d ，类的集合c = ( c 1 ，c m ) ，分类问题定义为从数据 瘁到黉集合的映射f ：d q 却数据瘁中的元组t ；分配刮某个炎c 中，甫c 一 t f ( t ) = c ，1 i n ，且t d ) 。通常在分类任务中数据库分为训练集和测试檠，数据库中 为建立模型而被分祈的数据元组形成l i 练集，训练集中的单个元组称为调练样本，每个 训练样奉寿一个类剐标记。一个其镩稃率静形式霹为：( v l ，v 2 ，。，v n ：e ) ，其中 v i 表示属性值，c 表示类别：测试集用于评估分类模型的准确率。 分类有穗个阶段：一是棰型训练阶段，往翔诩练集根据定的分类簿法构造分类模 爨；= 是使稿横黧分类阶段，对溺试鬟避行溺试分舆，蠲戳译德努类模登的准确率，对 类标号未知的新数据进行分类预测。具体流程图如下； 图1 分类流程图 鬣l 中，谢缘数攥、分爽筹渡、分类模型缓或训练阶段；涮试数据、束懿粪i g 数据组 麟使建分类模鍪黔段。 作为分类模型的决策树分类方法，由于其产生分类模型的遗度快，树状结构简洁清 糍，分类速寝抉，特裂遥合大趣模戆鼗攒处理，函能已羟竣成功逸建蔫戮歇举习医疗诊 断裂学习评佳贷款申请的信箍风险警广阕领域 i ，2 决策挺简介 穗策耩方法“”8 是一种j “泛饺耀鹃璃予分裳的方法，怒戳实例( 叉稼为训练集) 为 撼础的归纳学习算法。它通过一组无次序，无规则的实例推理出决策树袭示彤式的分类 麓剐，用另一部分实稠( 又称溯试集) 对所得穰策橱进行颡i 试释做适当的调整和穆淑， 锻终掰褥决策树麓镕媛以对瑟静数舞避行分类颓铡。其流程如黼2 辑示： 4 从流程图可以看出，决策树方法包括两部分内容：( 1 ) 决策树的生长：由训练数据 依瓣一定的分类算法构造生成。( 2 ) 决策树的剪枝：用测试数据对生成的决策树避行验 证，减去影响预测精度的分支，简化决策树。决策树方法中，数据库也被分为训练巢和 测试集，训练集和测试集均为有监督的数据集，数据的属性包括条件属性和决策属性( 即 一 早里 争匝萨呕盘芦叫蜜 图2 决策树构造流程图 娄4 属性) ，决策属性中的每个属性值都表示个类别，集合中的每个实僦都被映射到 一个确定的类别，一般情况下，测试集和训练集是相互独立的。 决策树是棵树“，根结点对应训练集e ；内部结点为扩展属性，内部结点的分支 是扩展属性的各个取值：时结点是到达此结点的样倒所归属的类别；例如，表1 中的数 据集摘自q u i n l a n ，由此数据集学习得到的决策树为图3 所示，这是一棵经典的决策 树，它根据天气情况分类是否打网球。 表1 打湖球的记录数据( 1 4 条) o u t l o o kt e m d e r a t u r eh u m i d it vw 1 n d v p l a y h o t h i g h f 毫l s e h o t h i g h t r u en o h o t h i g h f a ls ev e s r a l n vm i l d h i 曲 i a l s ev e s c o o lf a l s e v e s c o o lt r u e c o o ln o r m a it r u e y e s m i l d h i 曲 f a l s e c o o ln o r m a if a l s ev e s m i l d f & l s e y e s s u n n vm i l d n o r r n a lt r u e y e s 0 v e r c a s tm i l d h i 曲 t r u e y e s o v e r c 8 8 乞h o t f a l s e v e s m i l d h i g h t r u en o n o m l a lhi曲讯je 图3 决筵挝( 是蛰打网球) 将蹦3 豹凌燕树豪示炎多个l 卜豫睬援剿，霹褥趣下的攮燃蒙： 乳l e i ：i fo u l o 呔= s n ya 黼h i d i t y = n o 黼醴繁攥ny e s r u 】e 2 ：【fo u t l o o k = s u n n ya h u m i d i t y = h i 曲t h e nn o t 。 r u l e 3 ：i fo u t l o o k = 0 v e r c 8 9 t 隧辩y e s 。 r h ! 列： f t i k = r 敷n y 赋p # i 矧y = t r u e 鞭疆n 醮 r u l e 5 ：i fo u t l o o k _ r a i n ya n dw i n d y = f a l s et h e ny e s 照上黼的例子可阻看出，决簸樾学习遮粥于这样躲阀题“”： ( 1 ) 事例是幽系蜘圈窥赡聪性( 翔o u t l o o k ) 鞍它懿的羲( 妇s l l n n y 来攒述的。 例如事例： e ( 2 ) 最麓攀决策楗学习嚣求每个属性取少数魏离敖酶僮( 例搬h o t ，m i l d ，c o l d ) ， 扩展的算法允许处理德域为宓数的属性。 ( 3 ) 馥拣臻数具商礴个或者多个离散豹输出髓，铡如 y e s ，n o ) 。 ( 4 ) 诮l 练数据可以包含错误。决策挝学习穷法对噪声数撼璺有缓妊婚鲁橡饿，无 论是训练样例所属的分娄错误还是描述这些样例的条件属性值错误( 训练数据还可以包 吉缺少属程值鲍蜜铡) 。 决策树方法的核心 壬务是把样铡分类到各可畿的离散值瓣斑的类剐巾。例如，潮3 的决簸树就怒由如下的记录数据归纳所得。 在决策秘方法中，橱的生长燕粮霪簧的一部分，一般聚撒自上而下的生长方式，冀 熟钵想路怒我出激具宵分辨能力的嚣童盘，把数据库瓤分为多个予集( 对艘掇的一个分 支) ，构成个分枝过程，程这一过程中形成的髂点为内部缩点，然后对每一结点+ 匕的 予熊递归调褥分支过程，巍* 所有孑集镪含同一裳舞的数攥，鄹形成决綮橱的时缔点， 并在时结点得垂g 结论。在撼终得到的决策树中，飙凝缝点到时缩点的一祭龉经对藏麓 祭黼掰。其伴算法如下： ( 1 ) 蹲于训练鬃毛若e 怒髓的，类剐耧馁值为x 。潮建立时绪煮( 也是擞绪点) ，标记魏 耩类潮为x ；，结束；磷女把e 作为警前数搭蒙； ( 2 ) 簿于警葡数据集，选择最佳扩耀耩性作为终点，根据簸往扩展瘸性的取值避行分 6 。同 蚤 自 支，并搬数据集划分为相应的予数据集； ( 3 ) 逐个缝理子数攥絮，若予数嚣集是缝豹，类囊磊蛙壤凳x ：喇选择x ；+ 作为畸终点。 转( 4 ) 否则，把该子数据集作为当前数据集，转( 2 ) ： ( 4 ) 若子数据集已处理完，结束；否则转( 3 ) 。 掏造一摄好决策糖豹关键在于选择合适貔逻辑爨龋戴满夔( 印逡舞聂驽趣分支震 性) 。对于同样一组事例，可以构造很多决策树以符合这组事例，而有研究发现，一般 情况下或具有较大概率地说，树越小则树的预测能力越强。要构造尽可能小的决策树， 关键在于选舞埝当躲分支属性。耄予掏造最枣的瓣是冲游惩，强l 辇：避辘采取嗣襄发式 策略选择好的分支属性。 概念学习系统c l s ( c o n c e p tl e a r n i n gs y s t e m ) ，是1 9 6 6 年h u n t 、m a “n 、和s t o n e 提出鳇第一个可用于构逡凌簧楗弱方法，它可敬学习单令援念，力末寻找最小分类 傍 的决策树。概念学习系统c l s 是决策树方法的起源，后发展到i d 3 方法成为高潮，i d 3 方法用基于熵的方法选择分支属性“”。s c h l i e r 和f i s h e r 于1 9 8 6 年构造了i d 4 葬法， 允诲递罐式缝梅造决燕挺。u t g o f f 予1 9 鹞年提出i 酯算法，宅竞诲避过修改决燕瓣来 增加新的训练实例，而无需重建决策树。c 4 5 “”算法是一个有影响、，。泛使用的算法， 它对i d 3 算法进行了改进，并继承了i d 3 算法的全部优点。在归纳学习中，c 4 5 算法代 滚羞基于决攘秘方法的墨程碡，它的耨功巍包撼娃理连续藤性，淫性映少蠖，噪誊数据 的方法和决策树的修剪及规则的导出等。下面我们将i d 3 和c 4 5 两种典型方法为例来 阐述决策树生成算法。 1 3 决策树构造算法 理想的决策树分为3 种：( 1 ) 叶结点数最少；( 2 ) 叶子结点深度最小：( 3 ) 叶结点 数最少置跨予终点嚣菠簸，l 、。在弹徐一探决策瓣对，豫去分类戆糖囊森放在第一继予戳 考虑外，分类的复杂度也是另一个需要考虑的黧要因素。因此，许多学者致力于寻找更 优的启发式函数和评价函数，在决策树大小和精度间，寻求最好的平衡点。洪家荣、 l u p e r l e r 蛰人分捌程秘。7 要我翻遮释最往瓣决策靖是嚣嚣嚣难戆，宅蓬个n p 燕题 “”。因此，人们为寻找较优的解，不得不寻求备种启发式方法。i d 3 和c 4 5 是具脊代表 性的两个决熊树构造算法，下面我们将研究这谢种算法的理论。 l 。3 。l l d 3 算法 1 9 8 3 年札i n l a n 提出的i d 3 算法“”“，以信息论为基础，把信息熵的下降速度作为 选取测试属性的标准。1 9 4 8 年，c e s h a n n o n 把b o l t z m a n n 关于熵的概念引入信息论中， 撼潼 睾为一个菠撬事 牛熬不确定蛙熬量度。考臻一个随撬攀释实验a ，设宅毒n 个霹辘 的( 独立的) 结局：a 。a - ，a 。；每结局出现的概率分别定p ，r ，n r ，它们满 足以下条件： o p ，l ( i = l ，2 ，n ) 及p 。= l 1 ；l 7 对予睫搬攀件，其主要蛙鼷是：对于瘊有可能的续暴，它们的窭现与器没寿完全把撵， 当进行和这些搴件有获的务次实验对，它们鹣出魂与否具商一定的不确宠性，概事安验 先验地含有这一不确定性，本质上是和该实验可能结局的分布概率有关。为了量度概率 实验a 鲍不确定性，s h a n n o n ；l 入蕊数 氇( 矗) = 瓣瓯，站= 一k 我叠o ，) ，= 1 擘海溉辜奏验a 实验络巢不确定馁鹣羹度( 箕中每个分量一l n 溉) 是每个姥筠所鬣含静舀 馈惑) ，式枣黄是一个大予零的恒爨，因此h 。0 。量壤叫擞黯n o n 壤。霹觅s h n o h 熵熟有如下性质：在实验a 中，如果任何一个r = 1 ，而其余的都是等于零。则h 。= 0 ，因 惫这时我稍霹瞎对实验结果檄窭凌定髋颈言，焉不存在经何不确定牲；蔽之，魏暴攀先 对寓验结果秃所知，则艨有的p ，帮蝴等( 印p 。= l 抽，i = l ，2 ，3 ，n ) ，滋对致达到摄 大谯 ( 班。) 撇。= k 】肄)( 1 + 3 1 3 ) 僖患论量度僖恿的基本出发点，是把获得的穰恩餐作用以游隐不确定牲熬襄珏，因此信 息数量的大小，可以用被消除的不确定性的多少求表示。设随机事件a 在获得信息a 之 蘸缱果的不确定性先h ( a ) ，撂到傣患8 之后为魄( 曲，那么彀食在端息8 中豹关予攀传 a 的信息量为： i ( a ，a ) = h ( a ) 一甩( a ) ( 1 3 1 4 ) 般两言，铋8 n n o n 熵程隧枧事传发生之前，它鼹结果不确定性的量度；在睫极痔 牛发 生之后，它是拣们从该事件中所褥到僚息的量度( 信息量) 。戳此，随机攀磐的s h 鑫n n 熵也嘲信息熵( 戎平均信息量) ，它是一个随机事件豹不确定性或信恳璧的量度。与统计 熵相似，但是比热力学熵县有更加广泛的意义。在给定的蹙验条 牛下，联存可巍的概枣 分布中，存在一个使僚息熵心取极丈使的分布，逡称为凝大信息熵原理，途一原理俊筏 们熊觚掰鸯可麓韵藕容分布中挑选出镁信息熵为极大值韵分帮鄂最为常见豹、实现 概率最大的“最佳”分布。信息熵的概念建立，为测试信息魄多少找到了一个统一的科 学的定量计堂方法，奠定了信息论的綦础。 在决懿树褥造中，飙攮窃躬空襁歼始，瑶对口i l 练数摇集t ，蕊新藕分类有c l ，c 2 ， c n ，数据粲t 划分到各类中的概率分别为p l ，p 矿一，r ，撰确定数据集的分类所需要的 信息量为： l ( t ) - h ( 咐矿，p n ) = 一p 1 n ( p ，) 镁设根据黎静属性x 褥数据集t 划分为e ，黾，这对，臻确定数耀巢l 静分类掰需 要的信意鸯为备子集韵信患量的加椒平均值： 暾参喜嘲苄 则由条件属性x 对数据集t 的划分得到的信息增盏 g a i n ( x ，t ) = h ( t ) 一h ( x ，t ) ( 1 3 1 7 ) 代表要确定数据集t 所需要的信息量和得知条件属性x 后要确定数据集所需要的信息量 的变化，即条件属性x 所能提供的信息量。因此，我们可以根据信息增益这一概念将条 件属性排序，能提供最大信息增益的条件属性，说明在得知这一条件属性后划分数据集 所需要的信息量最少，数据就越清晰，因此最适合选作划分属性。构造决策树的过程， 就是根据训练数据，选择从决策树的根到当前结点的路径上尚未被考虑的具有最高信息 增益的属性对数据划分，从不清晰逐步得到最清晰划分的过程。例如，对条件属性集为 a ( a ，赴，a 口) ，决策属性集为c ( c ，c 矿，c 。) 的训练集s ，i d 3 算法如下”： i d 3 ( e x a 皿p l e s ，t a r g e ta t t r i b u t e ，a t t r i b u t e s ) ( e x a 【n p l e s 即训练样例集。t a r g e t a t t r i b u t e 是这棵树要预测的目标属性。 a t t r i b u t e s 是除目标属性外供学习到的决策树测试的属性列表。返回一棵能正确分类给 定e x a i n p l e s 的决策树) 创建树的r o o t 结点 如果e x a m p l e s 都为正，那么返回1 a b l e = + 的单结点树r o o t 如果e x a 加p l e s 都为反，那么返回1 a b l e 一的单结点r 0 0 t 如果a t t r i b u t e s 为空，那么返回单结点树r o o t ，1 a b l e = e x a m p l e s 中最普遍的 t a r g e t a t t r i b u t e 值 否则开始 a a t t r i b u t e s 中分类e x a i n p l e s 时具有最高信息增益的属性 r o o t 的决策属性一a 对于a 的每个可能的值v i 令e x a m p l e s 。为e xa i i i p l e s 中满足a 属性值为v i 的子集 如果e x a m p l e s 。，为空 在这个新分支下加一个叶子结点，结点的1 a b l e = e x a 皿p l e s 中最普遍的 t a r g e ta t t r i b u t e 值 否则 在这个分支下加一个子树i d 3 ( e x a p l e s ，t a r g e t a t t r i b u t e ，a t t r i b u t e ( a ) ) 结束返回r o o t 1 3 2 i d 3 例子 用表l 中的数据作训l 练数据t ，利用i d 3 算法构造决策树的过程如下1 ：考虑数据集 中，y e s 的样例9 个，n o t 的样例5 个，计算数据集本身所包含的信息熵为： h ( t ) = h ( 9 1 4 ，5 1 4 ) = 一9 1 4 丰1 n ( 9 1 4 ) 一5 1 4 车1 n ( 5 1 4 ) = 0 、4 1 十0 5 3 = o 9 4 而根据w i n d y 的耿值t r u e 和f a l s e ，将数据集t 划分为子数据集t t r u e 和t f a l s e ，样例 个数比为( 6 ：8 ) ，数据集t t r u e 中依据y ( y e s ) 和n ( n o t ) 的划分为( 3 ，3 ) ，数据集t f a ls e 被划分为( 6 ，2 ) 。因此有： h ( w i n d y ，t 产三。( 一三1 n 三一三+ l 。三) + 三+ ( 皇l 。旦三l 。三) ：旦+ 1o 一旦+ o8 1 ：o8 9 2 g 蕊# w l # 母，t ) = 转一珏伽i 埘y t ) 。润母4 一氇8 9 2 ；0 奄1 8 划分馈况翔下灏掰示： 鞲 丐霉涮n ( h u m d i 町即】5 1 聃 圈囱圉圉圈闺 可以看出，条件藕性o u t l o 酞所褥斡翁怠增螽最大，因此棱选为根结点的努支属矬， 将数据首次划分如图4 所示。按照嗣样的方法对o u t l o o k 的三个分支依次进行计算继续 劐分凌策税，例帮对分支s u n n y 诗箨褥； 0 米呆 。景，穴 h o m l l d 。删 h i i矗m a l 囱囱由 匾五五嚣五虽习 翻8 属往t e e r a t u r e 对数据集秘矧分 鞠属性h u 碓i d i t y 对数獬榘的划分 屎 图l o 由属性w i n d y 对数据集的划分 可酸潜魄，击条件满幢h u 珥i d i t y 的得到的铸惑增盏最大，因此选为o u t l o o k 下取 箧为s u y 魏分支静子分支疆瞧，墩次计算分支，最终樽翻图3 鼹示躺决策瓣。 在i d 3 算法中，训练数据必须满足如下条件“：( 1 ) 所有桶性必须为离散量。( 2 ) 所 有镑i 练祥铡静j | 嘉往盛缀裔一个弱确的值。 3 ) 糊同的条件羁健下必须褥剿相嗣的撼巢。 i 鹳是一令典型瓣决策挺学习系统，它戳蘩息嫡谁是分离嚣标谨傍藕数，慕爝鑫顶 向下，分而治之不可退阐的策略，确保决策树的建立最简单，每次需要测试的数据最小。 3 募法椽逡窭静决策橱平筠深菠较小，分类遮发较倏，蔗一个有蜜嗣价僮麴示恻举习 冀法，它躲蒸础理谂渍嘶，羹法较麓单。毽落尝在一些姣点： ( 1 ) 算法往往偏向予选择取值较多的属性，而在很多情况下属性较多的属性并不 憨蹩最俄瓣掰性，露羧照筵缡篷簸枣鼢覆划被! 挣3 算法劐为瘕该营先裂撅的疆戆在褒实 愤况中却势不那么重要。嘲如：在股票市场个黢的选择。 ( 2 ) 在建树时，每个结点仪宙一个特征，最一种单变元的算法，特征问的相关性 不够紧。燕然在一攥辩上连在一起，毽联系逐是捡教 l 孽。 ( 3 ) l d 3 对燥声比较敏感，不容易除去燥声。也就是黪妊值敷镄或粪鄹鲶钱。 ( 4 ) 当训练集增加时，i d 3 抉策树随之变化。在建树过程中，再特 f e 的相互信息会 1 1 皇 向幽 叩圈 l | 肉幽 隧 毋予戆增热蔼菠变，决袋瓣也隧之变化，这黠变化的数据集滟学习是不邋合豹。 ( 5 ) 0 3 算法虽然壤论溥额，稳它静计算 较燕杂，在学习帮诩练数搽集酌过程中 耔t 器内存占翊攀沈较大，阮较耗赞资源，影响数据学习静时阐和戒本。 l & 3c 4 。5 决燕蜓糖造葵法 c 4 ，5 冀法楚瓣i 鹳葵法豹改邋，它继承7j # 3 葬法的垒黼谯点，浚避了选择藩犍难 剿，瓒热了对连续属褴稻宋翻值群耩豹麓理，劳靛程决策树篱棱方法上 魏谶行了调整媛 避。 1 ) 建择耩嫂疆剥 l 粥翼法中测孀簧崽增懿嚣糕念造撵分支描链时撅囱予敬餐较多麴瓣镌，捌龆，菜 个属憷在所有舱撑捌中郝枣不冠的取蕊，那么壤慰壤h ( x ，黔黪取徨为0 ，因数8 8 i n ( x ，? ) 魄馕最大，就会秧选谯分支属性。为避燕这一鼷点，啦i n l ”在e 4 ，5 中提出雳结藤璞 靛率取代镶患增蕊捧鸯选撵分支瘸枣墨瓣撂准： 铂h r 娟。疆t p ! 墅坠旦( 1 3 。3 7 ) 秘l i 溅0 t 冀中，s p l i t h 瓴是根据条件属性x 捌分看的信息熵，怒关于满性x 的各值的谪。即 h ( ? l l ，t 2 ，t n t ) ( 1 3 3 - 8 ) 美中， t i ，t 2 ， n j 蹩叠j 条件_ | | 嚣憔x 觞取蘧黠数据集l 煞划分，增蕊暾攀g a i nr 拄t i o 蹩裙爨藩瞧努裂数据静广凄和均匀健分裂信意，嗣诧可班彳乍为选择分支耩性的标准。 2 ) 缺少属挂蠖抟处理( 训练集中) 5 中，增熊了瓣跤少辫牲毽瓣训拣样铡豹熊琏，哥孬不楚简单静将矗笔。涮练样铡剔豫， 遂点遵怒瓣i 潞方法熬究蔷。我稍知道，翱象榉恻的蔡个条徉藩性来稚，此耩健将 不自瓣决案类别驰判断掇拱馈息，因此+ 当训练数撂榘存在这撵麴样铡瓣，c 4 。5 雾涟黠 臻患增益霉秘楚 努售崽熵的定义童棼懿下嚣致； a 。缓设邑懿蕊瞧燕熬撵恻占瓣练数攥辩毖率为弘 | f i ，i l 为榉饿中已翔数据 襻例的个数，i t l 为总数据熊的样例个数，则信息熵h ( t ) 和h ( x ，t ) 的计嚣公戏如上骶述， 想在这里，我髑只考虑壤性馕己妇的襻钢，朝 翥患增薤谤蒋公式如下： 瓿i n ( x ，封= 辩穗( t ) 一# ( x ， ( i 一移0 b 。计算划分信息熵时，将来知属 生德样例单独馋为一个数据予嶷。即如聚北条件爆性 套n 个取使，毒个榉倒熊属性值是未知时，我们褥把数攮爨鲻努为 1 个子数攥爨计 髯捌分售惑熵。 3 ) 对米知属性值的处理( 测试集中) 在于用来擒造决策树的_ i l | 练数据中砖，壤攒以上修改过购窀义，c 4 。5 冀法援翅下的 算渡进行处理；终子集中的每个榉铡确蹙一个粳重攮，如粱撵铡静象传j 毙蘩 譬属性馕基 知，则其权蘑为1 ；如果某个样例此条件属性未知，则计算其耩于所属决饿类别的可能 髓( 藏称概攀) 伟为其权霞。 侧如在打网球的数据中，假设有遮样的样侧： o u t l o o k = ? ，t e n l p e r a t u r e = c 0 0 1 ，h u m i d i t y = h i g h w i n d y = t r u e 分辑箕蘸满懿樊饔霾亏，营建蔽据器鸯数攥，已舞溪缝篷懿鬟有襻谬jy e s 岛。懿频率热袭2 所示： 计算得： 褒2 频率情况 y e s n 0t o 皂i s u n n y 235 0 v e r c a s t3o3 r 8 i n325 t o t a l851 3 88s5 h f 下 k h 一= 0 9 5 l b 姑 31 31 3 3 h f x t = 07 4 7 b i 挺 g a n ( x ，t ) ；旦+ ( o9 6 1 一o ，7 4 7 ) ：0 1 9 9 b i t s h u 豫i d it 妒n o r m a l ：y e s ( 2 o ) ) h i d i t y = h i 曲：n o0 4 0 4 ) o u t l o o k = o v e r c a s t ：y e s ( 3 2 ) o u t l o o k = r 拽i n y ： 鞲i n d v = t f n e ：n o ( 2 4 0 4 ) w i n d y = 8 l s e ：y e s ( 3 0 ) 在凌嫠树睁终点中，棵) 鞴( n # ) 两个信慧都缀誊要，其中 一n 代表莰据祭 譬羼性至# 竞基女e 镶点并壁髅于此分类属性的樽铡瓣投重之秘。 一e 栽衰攫瓣条髂震经到遮藏结点，怒是不属予戴分类瘸秣鹣撵铡权霆之辩。 警未鲡媾性德静群季存在于馕弼决簸树邈符分类预测豁新数据串露，e 4 。5 方浚校捺 掬造艨褥鲍决镢挺进行谯计，最终褥4 其归为装个类别鲍壤窭。铡如，霄避样一个鞭数 据： 我们对其进行分炎颈测，蓠先从决楚搪的根缝点开始，。u t l o o k = s u n n y ，分类进入第一个 子瓣j l fh 糠越t y 嘲。确畦：y e s i fh u m i d i t y 咄i 曲：n o( 在此结点，属于n o 的概率为3 3 ，4 = 8 8 ，不属予此分类的概率 为o 。4 3 。4 = 1 2 ) 子树中，钽捂投爨先2 鞠3 。熬样铡势剩瞩予y o s 鞠，困她父结廉的分类投 重为2 5 4 和3 4 佰，所以对于新样例的归类结果如下： 一￥e s ：2 4 书i 0 0 耕3 4 酶1 2 = 4 n o ：3 4 5 女8 鼢5 8 即鼹终对此新数据的判断为：属于y e s 的可能性为4 4 ，属于n o 的可能性为s 6 。 4 ) 对连续瘸魏的处理 d 3 算法要求被簸理敞样例属性值为离散型，鞭此，对涟竣属性毽盼数据无法麴麓 构造决策树，c 4 s 补充了对逑续属性的处理，蒸本恩路为：对连续属性值从小到大排列， 从任何不同的两个属性慎的中间( 取平均值) 作断点，评估所有可能断点的信息增盐， 逡择最簿趣凝蠢对就疆槛逡行势支。 除了i d 3 和c 4 5 算法，还有多种决策树构造方法，有魑构造生成的决策树对训练 数据能精确分类，但由于实际问题中存在许多噪爵和不确定因素，使采集到的训练数据 链往不能壤雅缝聂映分瓣对象戆本震，这裁导致决筵搪遘予复杂霹缨象，洚低了瑟泰懿 数据的分类自力，这种现象称为过题配( o v e r f i t t i n g ) 现魏。为避免这种过匹配训练 数据从而提高决策树精度，需要对决策树进行适当的剪枝