实验三-决策树算法实验实验报告

1、实验3决策树算法实验一、实验目的：掌握熟悉和掌握决策树的分类原理、本质和过程的典型学习算法和实现技术。二、实验原理：决策树的学习和分类三、实验条件：四、实验内容：1根据现实生活的原型自己做一个简单的决策树。2要求用这个决策树解决实际的分类决定问题。五、实验程序：1 .验证性实验：(1)算法伪代码输入以算法Decision_Tree(data，AttributeName )离散值属性描述的训练样本集data的候选属性集AttributeName。输出决策树。 (1)创建节点n(2) If samples全部在同一类c中，then (3)作为叶节点返回n，用类c标记(4) If attribute

2、_list为空then(5)返回n作为叶节点，并在samples中选择用最普遍的类标记的/多数表决(attribute_list中具有最高信息增益的属性test_attribute )，以test_attribute标记节点n(8) For each test_attribute的已知值v /区分samples(从节点n分支与test_attribute=v对应的分支(将Sv作为samples的test_attribute=v的样本集合/一个分割块(11)If Sv为空then(12 )加入叶节点，用samples中最普遍的类进行标记(13)Else增加由诊断_ tree (SV，attrib

3、ute_list-test_attribute )返回的节点值。(2)实验数据的预处理Age:30岁以下标记为“1”的30岁以上50岁以下标记为“2”的50岁以上的情况下显示为“3”。 Sex:FEMAL-“1 MALE-“2”region:inner city-“1”town-“2”rural-“3”suburban-“4”income:50002万-“1 2万-“2 4万以上-3mortgaggePep :上述五个条件在“是”时为“1”，在“否”时为“2”。agesexregionincomemarriedchildrencarmortgegpep1 2 1 1 2 1 1 2 21 2

4、1 1 2 2 2 2 12 1 4 1 2 1 2 2 12 1 1 1 1 2 2 2 21 2 1 1 1 2 2 2 21 2 1 1 2 1 2 1 12 1 2 1 1 2 1 1 22 1 1 1 2 1 1 2 12 1 3 1 2 2 1 2 12 1 2 2 2 1 2 2 22 2 1 2 2 2 2 1 12 1 2 2 1 1 2 1 12 2 1 2 1 2 2 1 21 1 1 2 1 2 2 2 13 2 1 2 1 1 1 2 21 1 1 2 1 1 1 2 11 1 3 2 2 2 1 2 13 1 2 2 1 2 2 2 13 2 3 3 1 1 1 2

5、 13 2 2 3 1 2 1 1 23 1 3 3 1 1 2 2 13 2 1 3 1 2 1 2 23 2 1 3 1 1 1 1 13 1 1 3 1 2 1 1 23 1 3 3 1 2 2 2 23 2 4 3 1 2 2 1 13 1 3 3 2 2 1 1 2(3)Matlab语句： treerulesmatrix =诊断树(数据，属性名称)六、实验结果：实验步骤：function treerulesmatrix =诊断树(dataset，AttributName )%输入是一个训练集，是一个离散的数字，如记录1:1 1 3 2 1%的开头是属性列，最后一列是类标签PPK 1e

6、rror (请输入数据集)elseif isstr(DataSet ) datasetbutattributevalue =读数据2 (dataset )elseAttributValue=；结束结束PK PS 2AttributName=；结束Attributs=1:size(DataSet，2)-1；树=创建树(dataset，Attributs )disp ( char (13 ) thedecisiontree : )；显示树(树，0，0，1，属性值，属性名称)rules=get rule (树)规则矩阵=zeros (大小(规则，1 )，大小(数据，2 ) )；for I=1:大小(

7、规则，1 )规则=小区2结构(规则(I，1 )，str )；rule=str2num (规则. str ( 1: (find (rule.str=c )-1 ) ) rule.str (find (rule.str=c )1) : length (rule.str ) )forj=1: (长度)-1 )/2规则矩阵(I，规则(j-1 ) * 21 ) )=规则(j *2)结束规则矩阵(I，size (数据，2 ) )=规则(长度(rule ) )；结束结束function Tree=CreatTree(DataSet，Attributs) %决策树程序输入数据集和属性名称列表%disp(Att

8、ributs ) svlvrecords =计算机输入(数据，0 )如果if(S=0) %示例全部为类，则终止，并返回叶节点的类标签for I=1:长度(val records )if (长度(val records (I ).matrix )=size (数据，1 ) )break；结束结束树.属性=I；Tree.Child=；返回；结束如果if(length(Attributs)=0) %条件属性的数量为0，则返回占多数的类mostlabelnum=0；最后标签=0；for I=1:长度(val records )if (长度(val records (I ) .矩阵) mostlabel

9、num )mostlabelnum=length (val records (I ).matrix )最后标签=I；结束结束tree.attribut=最大标签；Tree.Child=；返回；结束for I=1:长度(attributs ) sa (I ) val record =计算输入(数据，I )Gains(i)=S-Sa(i )。属性矩阵(I ).val=val记录；结束maxval maxindex=max(Gains )tree.attributes=attributes (maxindex )attributes2= attributes (1: maxindex-1 ) att

10、ributes (maxindex 13360 length (attributes ) ) ；forj=1:长度(属性(maxindex ).val )dataset2=数据(atributmatic (maxindex ).val (j ).matrix，1: maxindex-1 )数据(atributmatic (maxindex ).val (j ).matriif (size (dataset 2，1 )=0)mostlabelnum=0；最后标签=0；for I=1:长度(val records )if (长度(val records (I ) .矩阵) mostlabelnum

11、 )mostlabelnum=length (val records (I ).matrix )最后标签=I；结束结束树状(j ).root.attribute but=最大标签；树状结构(j ).root.child= ；elsetree.child (j ).root=creat tree (dataset 2，Attributs2)结束结束结束function entropycorecordval =计算输入(dataset，attributebutt)%信息熵PS (PS=0)clnum=0；for i=1:size(DataSet，1 )避免if(DataSet(i，size(DataSet，2)clnum) %下标超出边界等级编号(数据(I，size (数据，2)=0；clnum=DataSet(i，size(DataSet，2 ) )；RecordVal(DataSet(i，size(DataSet，2).matrix=；结束class num (数据(I，size (数据，2 ) ) )=class num (数据(I，size (数据，2) 1；record val (数据，大小(数据，2 ) ).matrix= record val (数据，大小(数据，2).matrix i；结束企业=0