数据挖掘课设报告

XI'ANTECHNOLOGICALUNIVERSITY课程设计报告课程名称 数据挖掘专业：信息管理与信息系统班 级： 130513姓 名： 贾丹丹学 号： 130513117指导教师：李刚成 绩：2016年1月3日前言数据挖掘就是从大量的数据中挖掘出有用的信息。它是根据人们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。据国外专家预测，随着数据量的日益积累和计算机的广泛应用，在今后的5—10年内，数据挖掘将在中国形成一个新型的产业。数据挖掘，在人工智能领域，习惯上又称为数据库中的知识发现（KnowledgeDiscoveryinDatabase,KDD），也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程由以下三个阶段组成：（1）数据准备（2）数据挖掘（3）结果表达和解释。数据挖掘可以与用户或知识库交互。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。数据挖掘中的分类反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识。最为典型的分类方法是基于决策树的分类方法。它是从实例集中构造决策树，是一种有指导的学习方法。该方法先根据训练子集（又称为窗口）形成决策树。如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到窗口中，重复该过程一直到形成正确的决策集。最终结果是一棵树，其叶结点是类名，中间结点是带有分枝的属性，该分枝对应该属性的某一可能值。目录TOC\o"1-5"\h\z\o"CurrentDocument"1业务理解 1\o"CurrentDocument"2数据理解 1\o"CurrentDocument"2.1英文版数据说明 1\o"CurrentDocument"2.2数据的读入 2\o"CurrentDocument"2.3浏览数据内容 2\o"CurrentDocument"2.4指定各个变量的作用 3\o"CurrentDocument"2.5观察各变量的数据分布特征 4\o"CurrentDocument"3数据准备 .4\o"CurrentDocument"3.1对数据进行重新分类 .4\o"CurrentDocument"3.2对数据进行平衡处理 6\o"CurrentDocument"4建立决策树模型 .6\o"CurrentDocument"4.1C5.0，CART,CHAID算法介绍 7\o"CurrentDocument"4.2模型建立 8\o"CurrentDocument"4.3模型计算结果 14\o"CurrentDocument"4.4模型结果分析 17\o"CurrentDocument"5模型评估 18\o"CurrentDocument"6总结 20\o"CurrentDocument"附录1:zoo.date 21\o"CurrentDocument"附录2:s 241业务理解动物园动物数量大，种类多，对动物园的动物根据它们的特征进行分类，以便于观察和分析动物的特征，进而更加合理的管理动物以及为未来查找动物信息提供参考。2数据理解该数据集是从uci网站上获得的一份关于动物园的动物的数据。该数据是收集的动物园中99种动物的特征，包括hair，feathers，eggs，milk，airborne，aquatic，Predator，toothed，backbone，breathes，venomous，fins，legs，tail，domestic，catsize。现需利用数据挖掘将这些动物进行分类，分成7种类型。2.1英文版数据说明Source:Creator:RichardForsythDonor:RichardS.Forsyth8GrosvenorAvenueMapperleyParkNottinghamNG35DX0602-621676DataSetInformation:Asimpledatabasecontaining17Boolean-valuedattributes.The"type"attributeappearstobetheclassattribute.Hereisabreakdownofwhichanimalsareinwhichtype:(Ifinditunusualthatthereare2instancesof"frog"andoneof"girl"!)Class#--Setofanimals:--(41)aardvark,antelope,bear,boar,buffalo,calf,cavy,cheetah,deer,dolphin,elephant,fruitbat,giraffe,girl,goat,gorilla,hamster,hare,leopard,lion,lynx,mink,mole,mongoose,opossum,oryx,platypus,polecat,pony,porpoise,puma,pussycat,raccoon,reindeer,seal,sealion,squirrel,vampire,vole,wallaby,wolf--(20)chicken,crow,dove,duck,flamingo,gull,hawk,kiwi,lark,ostrich,parakeet,penguin,pheasant,rhea,skimmer,skua,sparrow,swan,vulture,wren--(5)pitviper,seasnake,slowworm,tortoise,tuatara--(13)bass,carp,catfish,chub,dogfish,haddock,herring,pike,piranha,seahorse,sole,stingray,tuna--(4)frog,frog,newt,toad--(8)flea,gnat,honeybee,housefly,ladybird,moth,termite,wasp--(10)clam,crab,crayfish,lobster,octopus,scorpion,seawasp,slug,starfish,wormAttributeInformation:animalname:Uniqueforeachinstancehair:Boolean

feathers:Booleaneggs:Booleanmilk:Booleanairborne:Booleanaquatic:Booleanpredator:Booleantoothed:Booleanbackbone:Booleanbreathes:Booleanvenomous:Booleanfins:Booleanlegs:Numeric(setofvalues:{0,2,4,5,6,8})tail:Booleandomestic:Booleancatsize:Booleantype:Numeric(integervaluesinrange[1,7])RelevantPapers:Forsyth'sPC/BEAGLEUser'sGuide.2.2数据的读入匿预览H皂刷新］ ®EOE:嗷据挖掘匿预览H皂刷新］ ®EOE:嗷据挖掘Wo.txtanimalname.hairjeathers.eggs.milk.airborne,aquatic,predatorjoothed,backbone,breathe?aardvark,1,0,0,1,Q0,LLLL0,。,4,0,0,1,1antelope,1,0,0,1,0,0,0,L1,1,0,0,4,1,0,L1bas5,0,0,1,0,0,LLLL0,0,L0,L0,0,4 ffl读取文件中的字段名 B才眺宇段数跳过标题字符： 调ffl读取文件中的字段名 B才眺宇段数跳过标题字符： 调EOL注解字符：去阵开头和结尾的空格：©无。左O右O两者2.3浏览数据内容在输出选项卡中选择表节点，添加到数据流中。执行该节点生成数据表。在浏览数据时发现两个错误项，数据中有两个frog和一个gril，则删除一个frog和gril。

【表】节点的输出结果2.4指定各个变量的作用其中animalname,hair,feathers,eggs,milk,airborne,aquatic,Predator,toothed,backbone,breathes,venomous,fins,legs,tail,domestic,catsize为模型的输入变量，type为模型的目标变量。在字段选项选项卡中选择【类型】节点，添加到数据流中，设置参数指定变量角色。【类型】节点的参数

2.5观察各变量的数据分布特征在输出选项卡中选择数据审核节点，添加到数据流中。执行节点生成数据表。【数据审核】节点的输出结果可以看出，该份数据有99个样本，除animalname以外均为数值型变量，除animalname、legs、type以外均是布尔值。Modeler对此计算，输出最小值、最大值、均值、标准差、偏态系数等基本描述统计量。数据显示，legs最大值与最小值差距较大。从数值型变量的柱形图可以看出属于type1的数量最多。数据质量理想。3数据准备3.1对数据进行重新分类针对该数据，hair，feathers，eggs，milk，airborne，aquatic，Predator，toothed，backbone，breathes，venomous，fins，tail，domestic，catsize属性为是否有hair，feathers，eggs，milk，airborne，aquatic，Predator，toothed，backbone，breathes，venomous，fins，tail，domestic，catsize，所以取值0和1不规范，应将取值0和1调整为No和Yes。

模式：。单个⑥杏个O至新分类EI重新会斐为：模式：。单个⑥杏个O至新分类EI重新分类字段：字段名扩展：重新丹类1 添加为：㈱后援milkairborneaquatic字段名扩展：重新丹类1 添加为：㈱后援重新分类值： ■ ■- ••荻取 »复制 ,浩除新值原始莅新值0No11YesNoNoYesYes 用于未指定的莅：I®原始值◎默认莅【重新分类】的【设置】选项卡画（HEJ在输出选项卡中选择【表】节点，连接到【重新分类】节点，执行【表】节点生成重新分类后的数据表，如下：【表】节点的输出结果3.2对数据进行平衡处理观察数据发现，属于type1的数据较多，属于其他type的数据相对较少，所以进行样本平衡处理。【平衡】的【设置】选项卡在输出选项卡中选择【表】节点，连接到【平衡】节点，执行【表】节点生成平衡处理后的数据表，如下图：【表】节点的输出结果4建立决策树模型使用C5.0,CART,CHAID三种算法建立模型：4.1C5.0,CART,CHAID算法介绍C5.0：C5.0是决策树模型中的算法，79年由JRQuinlan发展，并提出了ID3算法，主要针对离散型属性数据，其后又不断的改进，形成C4.5，它在ID3基础上增加了队连续属性的离散化。C5.0是C4.5应用于大数据集上的分类算法，主要在执行效率和内存使用方面进行了改进。C5.0是经典的决策树模型算法之一，可生成多分支的决策树，目标变量为分类变量，使用C5.0算法可以生成决策树或者规则集。C5.0模型根据能偶带来的最大信息增益的字段拆分样本。第一次拆分确定的样本子集随后再次拆分，通常是根据另一个字段进行拆分，这一过程重复进行指导样本子集不能在被拆分为止。最后，重新缉拿眼最低层次的拆分，哪些对模型值没有显著贡献的样本子集被提出或者修剪。优点：C5.0模型在面对数据遗漏和输入字段很多的问题时非常稳健；C5.0模型比一些其他类型的模型易于理解，模型退出的规则有非常直观的解释；C5.0也提供强大技术以提高分类的精度。C5.0算法选择分支变量的依据：以信息熵的下降速度作为确定最佳分支变量和分割阀值的依据。CART：CART(ClassificationAndRegressionTree)算法采用一种二分递归分割的技术，将当前的样本集分为两个子样本集，使得生成的的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。CART算法检查每个变量和该变量所有可能的划分值来发现最好的划分，对离散值如{x,y,x}，则在该属性上的划分有三种情({{x,y},{z}},{{x,z},y},{{y,z},x})，空集和全集的划分除外；对于连续值处理引进“分裂点”的思想，假设样本集中某个属性共n个连续值，则有n-1个分裂点，每个“分裂点”为相邻两个连续值的均值(a[i]+a[i+1])/2。将每个属性的所有划分按照他们能减少的杂质(合成物中的异质，不同成分)量来进行排序。CART算法经常采用事后剪枝方法：该方法是通过在完全生长的树上剪去分枝实现的，通过删除节点的分支来剪去树节点。最下面未被剪枝的节点成为树叶。CHAID：CHAID(Chi-SquareAutomaticInteractionDetection)提供了一种在多个自变量中自动搜索能产生最大差异的变量方案。CHAID分析可以生成非二进制树，即有些分割有两个以上的分支。CHAID模型需要一个单一的目标和一个或多个输入字段。还可以指定重量和频率领域。CHAID分析，卡方自动交互检测，是一种用卡方统计，以确定最佳的分割，建立决策树的分类方法。CHAID算法以因变量为根结点，对每个自变量(只能是分类或有序变量，也就是离散性的，如果是连续变量，如年龄，收入要定义成分类或有序变量)进行分类，计算分类的卡方值(Chi-Square-Test)。如果几个变量的分类均显著，则比较这些分类的显著程度(P值的大小)，然后选择最显著

的分类法作为子节点。CHIAD可以自动归并自变量中类别，使之显著性达到最大。最后的每个叶结点就是一个细分市场。4.2模型建立在【建模】选项卡中选择【C5.0】、【C&R树R】、【CHAID(C)】节点，添加到数据流中。设置各算法的主要参数。【C5.0】的【模型】选项卡【C5.0】的【分析】选项卡

【C&R树】的【构建选项】选项卡（一）【C&R树】的【构建选项】选项卡（二）【C&R树】的【构建选项】选项卡（三）【C&R树】的【构建选项】选项卡（六）

【CHAID】的【构建选项】选项卡（二）【CHAID】的【构建选项】选项卡（三）

【CHAID】的【构建选项】选项卡（四）建立的数据流如图所示:预测变量重要性

目标：typer I r预测变量重要性

目标：typer I r最重要扳不重要fins-feathers动物分类的数据流4.3模型计算结果C5.0算法分析结果的文字形式如下图：白文件。生成/视图览|甸 lojCTr模型查看器汇总设置注解n~r^i—[2[3fTyro看』[代）fe]r®i，曲1&昌匚；-•feathers=Yes[模式:2]<=>2白feathers=No[模式1]Sbackbone=Yes[模式:1]卜milk=Yes[模式:1]<=>1白milk=No[模式:4]I™fins=Yes[模式：4]«=>4Hfins=No[模式3][••••tail=Yes[模式3]e3Ltail=No[模式5]亨5gbackbone=No[植式:7]airborne=Yes[模式:6]<=>6白airborne=No[模式：7]I™predator=Yes[模式7]«=>7&predator=No[模式6]|--legsin[0][模式7]身7"legsin[24568][模式:6] 6视图毯)：预测变量重要性二|C5.0算法分析结果的图形形式如下图:

模型查看器汇总设置注解CART算法分析结果的文字形式如下图:CART算法分析结果的图形形式如下图:必文件今生成妒视图画aft•做•做何sma蔬盎^图类5节点。111 %n124.52813■224.52813■37.5474■416.931951.007169.4345■715.0943总计100.00053t/pefeathers-改进制客6节点1类别%n132.50013■20.0000■310.0004■422.500952.5001612.5005■720.0008总计75.47240No——es——CHAID算法分析结果的文字形式如下图:节点w类别%123450.000100.0000.0000.0000.000013000CHAID算法分析结果的图形形式如下图:4.4模型结果分析（1） C5.0算法模型结果分析该模型找出了10个影响因素：feathers,tail,backbone,milk,fins,legs,predator,airborne其中feathers是最重要的属性，其中legs,predator,fins是不重要的属性。因此，对一个动物进行归类时，首先看它是否有feathers。当feathers为有时，则直接属于type2，不用考虑其他因素，如果没有feathers，再看它是否有backbone,如果有backbone，再看它是否有milk,如果有milk,则属于type1,如果没有milk，再看它是否有fins,如果有fins,则直接属于type4,如果没有fins,再看它是否有tail，如果有tail,则属于type3,如果没有tail，则直接属于type5，如果没有backbone，再看它是否有airborne,如果有airborne,则直接属于type6,如果没有airborne,再看它是否有predator，如果有predator，则属于type7，如果没有predator，再看它的legs是否为0，如果它的legs为0，则属于type7,如果它的legs为2,4,5,6,8,则属于type,6。（2） CART算法模型结果分析该模型找出了3个影响因素：feathers,legs,airborne,其中feathers是最重要的属性，与feathers比较，其他属性远远不如feathers重要。当feathers为有时，则直接属于type2,不用考虑其他因素，如果无feathers,则直接属于type1。（3） CHAID算法模型结果分析该模型找出了10个影响因素：legs,hair，aquatic,fins,toothed,其中legs最重要，其中fins和toothed是最不重要的属性。当当腿的数量等于0时，再看它是否有hair，如果有，则直接属于type1，不用考虑其他因素，如果没有hair，则看它收否有toothed,如果没有则直接属于type7，如果有toothed,再看它是否有fins，如果没有，则属于type3,如果有，则属于type4。当腿的数量等于2时，再看它是否有hair,如果没有，则直接属于type2,不用考虑其他因素，如果有hair,则直接属于typel。当腿的数量等于4时，再看它是否有hair，如果有，则直接属于typel，不用考虑其他因素，如果没有hair,则看它收否有aquatic，如果没有则直接属于type3,如果有aquatic,再看它是否有toothed,如果没有，则属于type7,如果有，则属于type5。当腿的数量等于5或者8时，则直接属于type7，不再考虑其他因素。当腿的数量等于6时，再看它是否有aquatic,如果没有，则直接属于type6,如果有aquatic,则直接属于type7。5模型评估在节点工具箱的【输出】选项卡中选择【分析】节点，与模型结果节点相连。执行分析节点，得到分析结果。C5.0的分析结果如下图：CART的分析结果如下图:CHAID的分析结果如下图:可以看出，C5.0和CHAID算法建立的模型正确预测精度分别达到了98.75%和100%，模型比较理想。CART算法建立的模型正确预测精度为51.25%，模型不理想。6总结用数据挖掘技术对审计数据加以分析，总结出一些正常模式，用来进行异常检测，将有助于提高入侵检测系统的检测准确性和完备性。在本课设中用到了决策树分类分析方法，使用了决策树算法中的C5.0、CART、CHAID三种算法，结果各不相同，预测的准确性也不同，由此可见每种数据挖掘的方法都有其侧重点，对于现实的数据挖掘处理，不大可能使用单一的数据挖掘方法就能得到满意的结果，而要综合应用多种方法取各种方法之长补其之短，对数据进行挖掘才能得到满意的结果。通过这次的课程设计，使我对数据挖掘技术有了一个整体的认识。同样在建立模型的时候也遇到了这样或那样的问题。但在自己认真的思考和查找资料，艰难的完成了这次课设。这让我对数据挖掘技术以后的深入学习打下了良好的基础。,0,0,4,0,0,1,1,0,0,4,0,0,1,1,0,0,4,1,0,1,1,0,1,0,0,4,4,0,0,1,1,4,1,0,1,10,0,4,1,0,1,1,4,1,1,1,1,0,1,1,0,40,1,0,1,0,0,4,4,0,1,0,10,0,4,1,0,1,10,0,2,1,1,0,2,0,1,0,0,4,0,0,0,0,7,4,0,0,0,7,0,0,6,0,0,0,7,2,1,0,0,2,4,1,0,1,10,1,0,1,0,1,40,1,0,1,0,1,1,2,1,1,0,2,2,1,0,0,2,0,0,4,1,0,1,1,0,0,2,1,0,1,2,6,0,0,0,6,4,0,0,0,5,4,0,0,0,5,0,0,2,1,0,0,10,0,4,1,0,1,1,2,0,1,1,1,6,0,0,0,6,4,1,1,1,10,0,2,0,0,1,1,2,1,0,0,20,1,0,1,0,0,40,0,4,1,1,0,1,4,1,0,0,1,2,1,0,0,20,1,0,1,0,0,4,1,0,6,0,1,0,6,0,0,6,0,0,0,6,2,1,0,0,211100,01,0,,100000,,00110001,000,0,,00,110附录1:zoo.dateaardvark,1,0,0,1,0,0,1,1,1,antelope,1,0,0,1,0,0,0,1,1,bass,0,0,1,0,0,1,1,1,1,0,0,bear,1,0,0,1,0,0,1,1,1,1,0,boar,1,0,0,1,0,0,1,1,1,1,0,buffalo,1,0,0,1,0,0,0,1,1,1calf,1,0,0,1,0,0,0,1,1,1,0,carp,0,0,1,0,0,1,0,1,1,0,0,catfish,0,0,1,0,0,1,1,1,1,0cavy,1,0,0,1,0,0,0,1,1,1,0,cheetah,1,0,0,1,0,0,1,1,1,1chicken,0,1,1,0,1,0,0,0,1,1chub,0,0,1,0,0,1,1,1,1,0,0,clam,0,0,1,0,0,0,1,0,0,0,0,crab,0,0,1,0,0,1,1,0,0,0,0,crayfish,0,0,1,0,0,1,1,0,0,crow,0,1,1,0,1,0,1,0,1,1,0,deer,1,0,0,1,0,0,0,1,1,1,0,dogfish,0,0,1,0,0,1,1,1,1,0dolphin,0,0,0,1,0,1,1,1,1,1dove,0,1,1,0,1,0,0,0,1,1,0,duck,0,1,1,0,1,1,0,0,1,1,0,elephant,1,0,0,1,0,0,0,1,1,flamingo,0,1,1,0,1,0,0,0,1,flea,0,0,1,0,0,0,0,0,0,1,0,frog,0,0,1,0,0,1,1,1,1,1,0,frog,0,0,1,0,0,1,1,1,1,1,1,fruitbat,1,0,0,1,1,0,0,1,1,giraffe,1,0,0,1,0,0,0,1,1,1girl,1,0,0,1,0,0,1,1,1,1,0,gnat,0,0,1,0,1,0,0,0,0,1,0,goat,1,0,0,1,0,0,0,1,1,1,0,gorilla,1,0,0,1,0,0,0,1,1,1gull,0,1,1,0,1,1,1,0,1,1,0,haddock,0,0,1,0,0,1,0,1,1,0hamster,1,0,0,1,0,0,0,1,1,1hare,1,0,0,1,0,0,0,1,1,1,0,hawk,0,1,1,0,1,0,1,0,1,1,0,herring,0,0,1,0,0,1,1,1,1,0honeybee,1,0,1,0,1,0,0,0,0,housefly,1,0,1,0,1,0,0,0,0,kiwi,0,1,1,0,0,0,1,0,1,1,0,

10,0,000100,,0,1,11,11,0101,10101,0,,0101,10,0,0,6,0,0,0,6,2,1,0,0,20,0,4,1,0,1,1,0,0,6,0,0,0,6,2,1,0,0,20,0,4,1,0,1,1,4,1,0,1,10,0,6,0,0,0,7,4,1,0,1,1,4,1,0,1,1,4,1,0,0,1,0,0,4,1,0,1,1,6,0,0,0,6,4,1,0,0,50,0,8,0,0,1,70,0,4,1,0,0,1,4,1,0,1,10,0,2,1,0,1,2,0,0,2,1,1,0,20,0,2,1,0,1,2,0,0,2,1,0,0,2,0,1,0,1,40,1,0,1,0,0,4,1,0,0,1,0,0,3,0,0,4,1,0,1,10,0,4,1,0,1,1,4,1,1,1,1,0,1,0,1,0,1,1,4,1,0,1,1,0,0,4,1,1,1,10,0,4,1,0,1,1,0,0,4,1,1,1,1,2,1,0,1,2,1,0,8,1,0,0,7,0,1,0,1,0,0,4,0,0,0,1,10,1,2,1,0,1,1,1,0,0,1,0,0,31,0,0,0,0,0,70,0,2,1,0,0,2,2,1,0,0,2,0,0,0,1,0,0,3,0,0,0,0,7,0,1,0,0,40,0,2,1,0,0,2,0,0,2,1,0,0,1,0,0,5,0,0,0,7swan,0,1,1,0,1,1,0,0,1,1,0,0,2,1,0,1,2termite,0,0,1,0,0,0,0,0,0,1,0,0,6,0,0,0,6toad,0,0,1,0,0,1,0,1,1,1,0,0,4,0,0,0,5tortoise,0,0,1,0,0,0,0,0,1,1,0,0,4,1,0,1,3tuatara,0,0,1,0,0,0,1,1,1,1,0,0,4,1,0,0,3tuna,0,0,1,0,0,1,1,1,1,0,0,1,0,1,0,1,4vampire,1,0,0,1,1,0,0,1,1,1,0,0,2,1,0,0,1vole,1,0,0,1,0,0,0,1,1,1,0,0,4,1,0,0,1vulture,0,1,1,0,1,0,1,0,1,1,0,0,2,1,0,1,2wallaby,1,0,0,1,0,0,0,1,1,1,0,0,2,1,0,1,1wasp,1,0,1,0,1,0,0,0,0,1,1,0,6,0,0,0,6wolf,1,0,0,1,0,0,1,1,1,1,0,0,4,1,0,1,1worm,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,7wren,0,1,1,0,1,0,0,0,1,1,0,0,2,1,0,0,2附录2:sTitle:ZoodatabaseSourceInformation--Creator:RichardForsyth--Donor:RichardS.Forsyth8GrosvenorAvenueMapperleyParkNottinghamNG35DX0602-621676--Date:5/15/1990PastUsage:--NoneknownotherthanwhatisshowninForsyth'sPC/BEAGLEUser'sGuide.RelevantInformation:--Asimpledatabasecontaining17Boolean-valuedattributes.The"type"attributeappearstobetheclassattribute.Hereisabreakdownofwhichanimalsareinwhichtype:(Ifi