第三章6贝叶斯决策理论

1、3.9贝叶斯决策理论贝叶斯分类器关于分类的错误率分析最小风险Bayes分类器 Bayes分类器算法和例题最大最小判别准则决策树条件概率密度分存Bayes分类器一最优分类器、最佳分类器_、两类问题例如：细胞识别问题 ®正常细胞，®异常细胞某地区，经大量统计获先验概率P(3jf(32)。若取该地区 某人细胞兀属何种细胞，只能由先验概率决定。勢叮 叫严W 这种分类器决策无意义P(°) < P(co2).x G 6t>2 J对兀再观察：有细胞光密度管征,有类条件概率密度：P(x/ CD ) l=l?2,. O 如图所示利用贝叶斯公式： 2pg/x) = p(x

2、/cd,.)p(d(./£pag)pg),(也称为后验概率: 通过对细胞的再观察，"就可以把先验概率转化为后验概 率，利用后验概率可对未知细胞兀进行识别。过对细胞的再观察，就可以把先验概率转化为后验概 ,利用后验概率可对未知细胞兀进行识别。J若尸(/兀) > 尸(马/兀),则兀G CDX若尸( < P(co2/x)x g a>2设N个样本分为两类®2o每个样本抽 出n个特征，X (兀，%2，兀39 ，兀门)丁1、判别函数：gS)= glS) g2(X)10尸（）0.80.60.40.2X后验概率分布若已知先验概率P(cojf(co)类条件概率密度

3、P(x/co 1)， P(x/ co2)O贝IJ可得贝叶斯判别函数四种形式：CDX力2 g(x) = P(ojx) - P(co2/x)，(后验概率)（2）g（x） = P（A/°）P（e）- P（劝i?2）P2），（类条件概率密度鴿-唸,（似然比形式能i 鴿鸚，（取对数方汤(2)P(a/o)P(Qi)Px/CDPCD)=>CDXx eco?Px/co) VDZ 、=> x e戸）CDXco?舲帑CDX=> x e52、决策规则：（1）戸（°/乂）：刊恋/乂）=>兀丘3、决策|衍方程：*(x) = 0 最小错误率分析兀为一维时，决策而为一点，无为二维

4、时决策面为曲线，兀为三维时，决策而为曲 面，无大于三维时决策而为超曲面。例：某地区细胞识另倂凤雇尚，作肚齒嗓知细胞K先从类条件概率密 度分布曲线上查到：P(® /兀)=1 一 P(® /兀)=0.18 2因为Plx)>/兀)，兀丘®属正常细胞。因为Pg)» P(®)，所以先验概率起很大化用.4、分类器设计:CD.X G阈值单元 决策二、多类情况：<Dz=(CD7,CO2v.,COm), X=Xj.X2 兀)L判别函数：M类有M个判别函数助，勺，乩（兀）每个判别函数有 上面的四种形式。=maxPx/a>j)P(v7) =>

5、 x e cdi = 12 M)2决策规则:gf（x） =A另一种形式：= In PQxg) + In Pg)=max1< J<M* n P(x/a)+ In P(°)=> x e3、决策面方程：&（劝=勺（丸人即&（劝-g/（K）= °4、分类器设计：X =L兀特征向量判别计算关于分类器的错误率分析1、一般错误率分析：二类问题：和/兀） > 尸（5/兀），贝欣®,这时错误率为（卜）.P加屮他处貪"即这时错误率最小° 尸（©/兀）,当平均错误率：p（e）=P（e/x）dxJs第一类判错：用（幺）

6、=P（XG&/©）= j Pgcojdx第二类判错：P2(e) = P(x e 7?/®) = £ P(x/co2)dx总错误率：P(e) = P(a)i)P(e) + P(cd2)P2(e)=j P(©)P(x/®)dA：+J P(co2)P(x/a2)dx使错误率最小条件:P(® )P(x/©) = P(® )P(x/®)(证明略)P(e)min =匸 P(d )P(x/dpgjpgq )dx对于多类问题：总错误率p) =G R2I(d + P(x w 3/®)+ + P(x e R

7、m /©)PS1)+ P(x e R Ja>2) + P(x g &/)+ + P(x g Rm /® )尸(今)+ + P(X G R /%) + P(X W) + .+ P(XG Rm_x )cdm )p(%)M M1=亍£ p(x w © /® )p(e)(计算量很大)卜 1 J=1jHiM用平均正确分类概率：P(M) = Y P(x G Rgpg/=!错误率：P(e) = l-P(M计算相对简单c最小风险Bayes分类器假定要判断某人是正常（卩）还是肺病患者（叫）,于是在判断中可能出 现以下情况：第一类，判对（正常-正常）

8、入门；第二类，判错（正常-肺病）入21 ； |第三类，判对（肺病一肺病）入妙 第四类，判错（肺病-正常）A12o 在判断时，除了能做出“是” g类或“不是” 0）/类的动作以外， 还可以做出“拒识”的动作。为了更好地研究最小风险分类器， 我们先说明几个概念：行动咛表示把模式兀判决为®类的一次动作。损耗函数九沪九G/0）表示模式X本来属于卩类而错判为卩所受 损失。因为这是正确判决，故损失最小。少损耗函数九戶心冋）表示模式X本来属于勺类错判为®所受损 矢。因为这是错误判决，故损失最人。风险R （期望损失）：对未知兀釆取一个判决行动班兀）所付出 代价（损耗）条件风险（也叫条件期望

9、损失）：R（ai/x）= E/力j）=£2（e/60j2 = 1,2,.,a.（a < M）j=i >在整个特征空间中定义期望风险，了期望风险：R = j* R（a（x）/x）P（0Zx,（平均风险）条件风险只反映对某兀取值的决策行动5所带来的风险。期 望风险则反映在整个特征空间不同的兀取值的决策行动所带来 的平均风险。最小风险Bayes决策规则：若尺仏/兀）二minR（ai / x）, Mxwq.°例：已知正常细胞先验概率为P(®) = 09,异常为PS?)-。丄从类条件概率密度分布ft线上查的PCx/©.) = 0.2, P(x/coi)

10、 = 0.4,2 I =0,入2 = 6池21 =1 几22 = °由上例中计算出的后验既率:P(®/x) = 0.818,P(®/兀)=0.182条件风险：R(ajx)=工备尸丿/兀)=人2尸(®/%)= 1092戶17?(a2/x)=人1 尸(©/a:) = 0.818因为A© /x)> R(a2/x)异常细胞因决策©类风险大。因;12=6较大，决策损失起决舸乍用。二类问题：把x归于吋风险：/x) = (coj/x) + X12P(d2/x)把xJ 5时风险：R(a2/x) = X217(0)!/x) + X22P

11、(co2/x)CO(o2最小风险分类规则：7?(0Cj/x)< (oc2/jc) => XG COj(Z21 -Z11)P(CO1/x)(九2 一九22)X G函数:叫讣MRgjx)=工尢(j/cojjpg/Q =工為戶(叫丿兀)=p(r=lj知丿工1=l-P(coz/x) T后验概率 7?(a,/x)最小，就相当幵/兀)最大, 这时便得到最小错误酚类器。coE2决策树一多峰情况Bayes分类器只能适用于样本分布呈单峰情况，对多峰情况则不行。 V若用决磊树，可进行如下步骤分类若兀2二兀20则转(2)，否则转(4)；X(2) 若a > k 则转,否贝Lk e cOj (x e

12、A);2(3) 若兀 > 兀亡贝Lk e cOj (x c c 否 贝Lk e co2 (x c B)(4) 若a > x,则 转(5),杏贝Lk e co2(x e D) x20(5) 若兀 > 亠2贝Lk e co2(x e F 贝Lk e co, (x e E)>b乂 2兀20<CQ二工工码9f J其中Tz表示属于类样本数仏表示属于®类样本数臨原属于®类，误判为®类的损失，Q表示在节点L上各类样本混淆程度2、决策树的构造,需要考虑以下问题：1)、如何判断一节点是否为叶子。如右图表示，假定A、B、C、D、E、F各包含50个样本，并

13、有以下的代价矩阵 兀1(0 10<10对于节点a,可以作出以下两个决策之一: 决策1, a不再分割:决策2, a分为两类决策1的代价为A1 (a) =Ca 一节点a的代价决策2的代价为 A2 (a) =a (Cb+CJ 节点b,c的代价和 其中，a为一经验因子，用以防止无限分割下去2 2Q=心九 + 厂2諾人=150x150x10+150x150x10=45000C/=! >12 22 2G + G =Y ribrjb + 乞 丫 时山入j = 200000/=1 >1i=l j=只要经验因子a<2.25,便有A2（a） Aa）,因此取决策2的代价较小，故应把a 分为两类。一般地决策代价为：LCL.P = 1不再分割c（C° + C心），F = 2,分为两类R卜决策分类公式：心乙）二4（乙）以=不驚黑叶<分为两类2）、选择节点的分割方式:a、根据经验确定。全部样本分为三类，其代价矩阵为入12入J（01060'入21入22入2310050J入31入32入33 >.60500 J例如,入=X?®1= 10,入=入和=60,%合为因为入2 =入21入32 =入23 =50,冋f 以3，类，而33