决策树分类和朴素贝叶斯分类练习题及答案

1、数据挖掘的第二次作业1下表由雇员数据库的训练数据组成，数据己泛化。例如，年龄“3135表示31到35的Z间。对于给定的行，count表示department,status,age和salary在该行上具有给定值的元组数。status是类标号属性。departmentstatusagesalarycountsalessenior31.3546K.50K30salesjunior26.3026K.30K40salesjunior313531K.35K40systemsjunior21.2546K.50K20systemssenior31.3566K.70K5systemsjunior26.3046

2、K.50K3systemssenior41.4566K.70K3marketingsenior36.4046K.50K10marketingjunior31.3541K.45K4secretarysenior46.5036K.40K4secretaryjunior26.3026K.30K61）如何修改基本决策树算法，以便考虑每个广义数据元组（即每个行）的count。Status分为2个部分：Department分为4个部分：Senior共计52Sales共计110Junior共计113Systems共计31Marketing共计14Secretary共计10Age分为6个部分：Salary分为

3、6各部分:21.25共计2026K.30K共计4626.30共计4931K.35K共计403135共计7936K.40K共计43640共计1041K.45K共计441.45共计346K.50K共计6346.50共计466K70K共计8Info(D)=-磊log2善-詈Sg2罟二0.889位Info(departme沁占)+忌V-厭o幻初-存。灯韵=0.8504位GainAdepartment)=Info(D)InfoAdepartment)=00386位、20/0,020,20.49/0,049.49.79=-辰(-亦10g2石-亦10g2韵+石水(-码10g2石-石10g2码)+f35,35

4、34.3410/10,100t03(3.30.0I7910827579108279丿卞“5I10WR21010IOg2loj165K3心也3323)岛*(扌log2扌一扌og2#)=04998位Gain(age)=Info(D)Info(age)=0.3892位InfWsakny)一_h；1_：EJ(4.40.063/30.3033.33,8(8-80.0(-ilog2-log2-)+*(-log2-log2-)+(-log2-log2-)=0.3812位GainAsalary)=InfoAD)InfoAsalary)=05078位由以上的计算知按信息增益从人到小对屈性排列依次为：salary

5、、age.department,所以定salary作为第一层，之后剩下的数据如下：departmentstatusagesalarycountsalessenior31.3546K.50K30systemsjunior21.2546K.50K20systemsjunior26.3046K.50K3marketingsenior364046K.50K10由这个表可知department和age的信息增益将都为0。所以第二层可以为age也可以为departmento2)构造给定数据的决策树.由上一小问的计算所构造的决策树如卜：36K:40K41K:45K46K:50K263036:4026K30K

6、66K:70K31K35K21:253)给定一个数据兀组.它在属性department,age和salary上的值分别为systems.26.30和46.50K。该元组status的朴素贝叶斯分类结果是什么？P(status=senior)=52/165=0.3152P(status=junior)=113/65=0.6848P(department=systems|status=senior)=8/52=0.1538P(department二systems|status=junior)=23/113=0.2035P(age=26.3O|status=senior)=l/52=0.0192P(

7、age=26.3O|status=junior)=49/113=0.4336P(salary=46K.50K|status=senior)=40/52=0.7692P(salary=46K.50K|status=junior)=23/113=0.2035使用上面的概率，得到：P(X|status=senior)=P(department=systems|status=senior)*P(age=26.30|status=senior)fPfsalary=46K50K|status=senior)=0.0023P(X|status=junior)=P(department=systems|sta

8、tus=junior)*P(age=26.30|status=junior)*P(salarY=46K.50K|status=junior)=0.0180P(X|status=senior)*P(status=senior)=7.2496e-004P(X|status=junior)*P(status=junior)=0.0123因此，对于元组X,朴素贝叶斯分类预测元组X的类为status=junior2.运用决策树或者贝叶斯算法，对莺尾花数据集进行分类，显示分类结果.(可以采用Weka工具或者其他方法)在weka匕运用决策树算法对哺尾花数据集进行分类，分类结果如卜图所示1.51pelalwi

9、dthIris-virginica(3.Iris-versicolor(3.0/1.0)i在weka匕运用贝叶斯算法对閒尾花数据进行分类.结果的具体情况如卜NaiveBoyeatierClaasSuznnary二二二CorrectlyClassifiedInstancesIncorrectlyClassifiedInstancesKappastatisricMeanabsoluteerrorROOTmeansquarederrorRelativeabsoluteerrorRoorrelativesquarederrorTotalNumberofInstances14496-640.94-0.03420.1557.6997%32.87941150二匸工Cbu匸。Trl刃金匸ozATxAlA-vArAilcolor(O33(0.33)TxAls-vlr-glnlca72.03433uaauv.0.109-6O.19L