人工智能第6 5节决策树学习

J.R.Quinlan，J.R.Quinlan，68大学获计算机科学博士，AI专家，发明了“ tiveDichotomiser3，缩写ID3）算法，该算法可 2008-2009学年第1学 机器学 regressiontrees（缩写CART）；2008-2009学年第1学 机器学

脖短可能是可能是子集，每个子集对应根结点的一松 老鼠鼻

鼻长

可能 可能犀 河

2008-2009学年第1学 机器学 2008-2009学年第1学 机器学 2008-2009学年第1学 机器学 p(ai1时，I(ai0rH(X)=p(a1)I(a1)+p(a2)I(a2)+...+p(ar)I(ar)=-p(ai)logp(airi2008-2009学年第1学 机器学 HH(X|Y)=-p(ai|bj)logp(ai|bji jrs2008-2009学年第1学 机器学 2008-2009学年第1学 机器学 6.5.2ID3设实例集为S，Ss1s2s3sT}，Ts=(a1,a2,a3,…,am;(x1=a1)∧(x2=a2)∧(x3=a3)∧…∧(xm=am)=>2008-2009学年第1学 机器学 序序属性 决μ11112121212221222332223例子要相容例子集应当完备 幻灯片15H=-p(uH=-p(ui)log2p(uii3=-4log24-525-152 2008-2009学年第1学 机器学 ttH(S|x)ij|Sj|SH(j)2008-2009学年第1学 机器学 S1={s1,s2,s3,s4,s5,s6,s7,S2={s9,s10,s11,s12,s13,s14,s15,s16}S3={s17,s18,s19,s20,s21,s22,s23,s24}|{si|si∈S1,u(si)=1}|=2,|{si|si∈S1,u(si)=2}|=2,H(S1)=-(2/8)*log(2/8)-(2/8)*log(2/8)-(4/8)*log(4/8)=H(S2)=-(1/8)*log(1/8)-(2/8)*log(2/8)-(5/8)*log(5/8)=H(S3)=-(1/8)*log(1/8)-(1/8)*log(1/8)-(6/8)*log(6/8)=1.0613H(S|x1)=(8/24)*1.5+(8/24)*1.2988+(8/24)*1.0613=1.28672008-2009学年第1学 机器学 H(S|x2)=H(S|x3)=H(S|x4)= 出2个子结点值为0.7773值为0.77731.3261 0.00.01.55462008-2009学年第1学 机器学 属性 决属性 决μ211122411222121122212212232213212232223 2008-2009学年第1学 机器学

属性 决属性 决μ211122411222121122212212232213212232223(2/4)×log(2/4)=H(S’2)=－(1/4)×log(1/4)－(2/4)×log(2/4)－(1/4)×log(1/4)=1.5H(S’3)=－(1/4)×log(1/4)－(1/4)×log(1/4)－(2/4)×log(2/4)=1.5H(S’|x1)=(4/12)×1.0+×1.5+(4/12)×1.5=2008-2009学年第1学 机器学 H(S’|x2)=(6/12)×1.4591H(S’|x2)=(6/12)×1.4591(6/12)×1.4591=H(S’2)=－(1/6)×log(1/6)(3/6)×log(3/6)－(2/6)log(2/6)=H(S’1)=－(3/6)×log(3/6)(2/6)×log(2/6)－(1/6)log(1/6)=属性 决μ2111224112221211222122122322132122322232008-2009学年第1学 机器学 H(S’|x3)=(6/12)×0.6500H(S’|x3)=(6/12)×0.6500(6/12)×0.9183=H(S’2)=－(4/6)×log(4/6)(2/6)×log(2/6)=H(S’1)=－(5/6)×log(5/6)(1/6)×log(1/6)=属性 决μ2111224112221211222122122322132122322232008-2009学年第1当前的决策树0.00.00.65000.91830.65000.91832008-2009学年第1学 机器学 H(S’’3)=－(1/2)×log(1/2)(1/2)×log(1/2)H(S’’3)=－(1/2)×log(1/2)(1/2)×log(1/2)=H(S’’2)=－(2/2)×log(2/2)=H(S’’1)=－(2/2)×log(2/2)= μ2111226121222112212332122H(S’’|xH(S’’|x1)=(2/6)×0.0+(2/6)0.0+(2/6)×1.0= 2008-2009学年第1学 机器学 H(S’’2)=－(3/3)×log(3/3)=H(S’’1)=H(S’’2)=－(3/3)×log(3/3)=H(S’’1)=－(2/3)×log(2/3)(1/3)×log(1/3)= μ2111226121222112212332122H(S’’|x2H(S’’|x2)=(3/6)×0.9183+×0.0=H(S’’|x1)=

2008-2009学年第1学 机器学 当前的决策树(1,0.01.00.91830.00.02008-2009学年第1学 机器学 x4=2x3=1x1=3对应的实例集S’’ μ1222008-2009学年第1学 机器学 当前的决策树(1,0.00.91830.00.00.00.00.00.02008-2009学年第1学 机器学 H(S’’|x1)=(2/6)×0.0+×H(S’’|x1)=(2/6)×0.0+×1.0+(2/6)×1.0=H(S’’3)=－(1/2)×log(1/2)(1/2)×log(1/2)=H(S’’2)=－(1/2)×log(1/2)(1/2)×log(1/2)=H(S’’1)=－(2/2)×log(2/2) μ41122221221322232008-2009学年第1学 机器学 μ4112222122132223H(S’’1)=3)×log(3/3)=H(S’’2)=(2/3)×/3)=H(S’’|x2)=6)×0.0+(3/6)0.9183=H(S’’|x1H(S’’|x1)=2008-2009学年第1学 机器学 当前的决策树0.00.0 0.0 0.0(1,

0.91830.9183

0.00.00.00.00.00.00.00.02008-2009学年第1学 机器学 x4=2x3=2x2=2对应的实例集S’’’ μ8122212232008-2009学年第1学 机器学 最后的决策树 (1,

(2,2:2)

①①x4=1=>②x4=2∧x3=1∧x1=1=>③2008-2009学年第1学 机器学 2008-2009学年第1学 机器学 习题Weekend：今天是否是周末4）Consumers：这里现在有多少顾客5） 过8）WaitEstimate：估计需要多长时间2008-2009学年第1学 机器学 2008-2009学年第1学 机器学 S(Cons,NONE;(Cons,SOME;

(Cons,(Price,