第4讲决策树模型

1、.分类分类(Classification)(Classification)分类分类的意义的意义数据库数据库分类模型分类模型了解类别属性了解类别属性与与特征特征预测预测.分类的技术分类的技术监督式监督式(supervised learning)(supervised learning)的机器学习法的机器学习法-决策树决策树(Decision Tree)(Decision Tree)数据库数据库分类标记分类标记性别性别年龄年龄婚姻婚姻否否是是否否是是FemaleFemaleMaleMale35353535未婚未婚已婚已婚.分类的过程分类的过程1.1.模型建立模型建立(Model Building)

2、(Model Building)2.2.模型评估模型评估(Model Evaluation)(Model Evaluation)3.3.使用模型使用模型(Use Model)(Use Model)性别性别年龄年龄婚姻婚姻否否是是否否是是FemaleFemaleMaleMale35353535未婚未婚已婚已婚分类规则分类规则IF IF 性别性别=Female AND =Female AND 年龄年龄35 THEN 35 THEN 购买购买RVRV房车房车= =否否IF IF 性别性别=Female AND =Female AND 年龄年龄35 THEN 35 THEN 购买购买RVRV房车房车=

3、 =是是IF IF 性别性别=Male AND =Male AND 婚姻婚姻= =未婚未婚 THEN THEN 购买购买RVRV房车房车= =否否IF IF 性别性别=Male AND =Male AND 婚姻婚姻= =已婚已婚 THEN THEN 购买购买RVRV房车房车= =是是数据库数据库训练样本训练样本(training samples)(training samples)建立模型建立模型测试样本测试样本(testing samples)(testing samples)评估模型评估模型.资料Example训练样本训练样本婚姻年龄家庭 所得否是否是未婚已婚3535低高否小康1.建立模型

4、测试样本2. 模型评估X错误率为 66.67%修改模型3.使用模型.决策树决策树(Decision Tree)(Decision Tree)介绍介绍根部节点(root node)中间节点(non-leaf node)(代表测试的条件)分支(branches)(代表测试的结果)叶节点(leaf node)(代表分类后所获得的分类标记).决策树的形成决策树的形成n根部节点n中间节点n停止分支？信道u1,u2.ur信源Uv1,v2.vrP(V|U)信宿VPUii()121P VUjijm(|)11PVjjm()11PUViji(|)121U PUUUP UP UP Uqq,()()()1212I U

5、P UP Uiii()log()log() 1iiiiiiUPUPUPUPUH)(log)()(1log)()(XP Xaa().12099001YP Ybb( ).120505ijijijVUPVUPVUH)|(1log)|()|(jijijijVUPVUPVPVUH)|(1log)|()()|(H UP UP Uiii()() log()112H U VP VP U VP U Vjmjijiji(|)()(|) log(|) 1121I U VH UH U V(,)()( |)天 气湿 度风晴雨多云高正常有风无风PNNPPID3决策树训练集PE、NE取子集建窗口窗口PE、NE生成决策树测试PE、NE扩展窗口PE=PE+PENE=NE+NE此决策树为最后结果存在错判的PE，NE吗是否ID3主算法流程)(log)()(iiiuPuPUH|)(SuuPiijjiijijvuPvuPvPVUH)/(log)