模式识别 第四章 统计判决.ppt

1、第四章 统计判决,最小误判概率准则判决 最小损失准则判决 最小最大损失准则 N-P(NeymanPearson)判决,例子癌症普查：,1癌症患者：11268 2正常者： 2242282 总人数：n=2253550 对每一类的概率做一个估计（先验概率）,41 最小误判概率准则判决,对人们测量细胞的特征向量 代表的某个人属于第i类的后验概率： 决策规律：,例子癌症普查（续1）：,若已知两类特征向量分布的类条件概率密度函数 贝叶斯公式、全概率公式,例子癌症普查（续2）：,将P(i|x)代入判别式，判别规则可表示为,或改写为,l12称为似然比（likelihood ratio），12称为似然比的判决阀

2、值。,例子癌症普查（续3）：,概念和符号,-总概率 -后验概率 -类概密，表示在类i条件下的概率密度，即类i模式x的概率分布密度 -先验概率，表示类i出现的先验概率，简称类i的概率,例：对一批人进行癌症普查，1 :患癌症者; 2 :正常人。 模式特征x=x(化验结果),x=1：阳性；x=0：阴性。 已知：（统计结果） 先验概率：P(1)=0.005 P(2)=1-P(1)=0.995 条件概率：p(x=阳|1)=0.95 p(x=阴|1)=0.05 p(x=阳|2)=0.01 求：呈阳性反映的人是否患癌症？,解：利用Bayes公式,因为，P(2|x=阳)= 1-P(1|x=阳)=1- 0.32

3、3=0.677 P(1|x=阳)P(2|x=阳) 故判决： (x=阳)2 ，即正常。,写成似然比形式,最小误判概率准则判决域示意图,1,2,x,p(x|1)P(1),p(x|2)P(2),12P(1),21P(2),该规则使得分类的错误率最小,两种错误 设 和 类出现的概率分别为 和 ，则总的误判概率是 误判概率 最小等价于使正确分类概率 最大，即,多类问题，最小误判概率准则有如下几种等价的判决规则,(1),(2),多类问题，最小误判概率准则有如下几种等价的判决规则,(3),(4),1,2,x,p(x|1)P(1),p(x|2)P(2),p(x|3)P(3),3,3,4.1.2 正态模式最小误

4、判概率判决准则的具体形式,在c类问题中，属于i类的n维模式 的正态分布密度函数为 式中， 为均值矢量， 为协方差,i类的判决函数可以表为 去掉与类别无关的项并不影响分类判决结果，故可简化为,决策-损失表,4.2.1 损失概念、损失函数与平均损失,对一个实属i类的模式采用了决策j所造成损失记为,条件平均风险,令决策的数目a等于类数c，如果决策j 定义为判 属于j 类，那么对于给定的模式 在采取决策j 的条件下损失的期望为 条件期望损失 刻划了在模式为 、决策为 j条件下的平均损失，故也称 为条件平均损失或条件平均风险（Risk）。（做决策j的平均损失）,由贝叶斯公式，上式可以写为 平均损失或平均

5、风险,平均风险,该式表明，R是损失函数 关于各类及 的 的数学期望，故称其为（总）平均损失或平均风险。,4.2.2 最小损失准则判决,可以将最小条件平均损失判决规则表为 如果 则判 定理 使条件平均损失最小的判决也必然使总的平均损失最小。 所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为最小损失准则。,对于两类问题,两类问题的最小损失准则的似然比形式的判决规则为 如果 则判,若记似然比阈值 则两类问题的判决规则为 如果 则判 0-1损失（ii=0, ij=1 ）条件下 最小损失判决最小错误判决,例4.2.2：设,正常细胞1 ，异常细胞2 ，已知 P(1)=0.9, P(

6、2)=0.1 ； ； 11= 0,12=1,21=6, 22=0。试用最小误判概率准则和最小损失准则判断该细胞是正常的还是异常?,解(1)由贝叶斯定理可以分别算出1 和2的后验概率。 因为 ，所以把 归于正常细胞。,(2)当依据损失进行判决时，计算条件平均损失 由于 ,因此判 。之所以这两个判决结果相反，是因为21取得较大的缘故。,4.2.3 含拒绝判决的最小损失判决,拒绝判决可以作为最小损失判决中的一个可能判决。设c+1=“拒绝判决”。 令 表示模式 实属 类但拒绝作出判决所造成的损失，于是在模式 条件下拒绝判决的平均损失为 如果 ，j=1,2,c，则 作出拒绝判决。,设 , , 这时 要使

7、 即 亦即,一般有：,含拒判决策的最小损失判决规则为,如果 ，则对 拒判； 如果 ，则判 。 当 即 时 恒成立，故此时不存在拒判。,对于两类问题，存在拒判决策的条件是,判决规则如下： 如果 ，则判 ； 如果 ，则判 ； 如果 ，则对 拒判。,43 最小最大损失准则 实际中，类先验概率 P(i) 往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P(i) 不确知或变动的情况下使平均损失变大的问题。,第四章统计判决,对于两类问题，设一种分类识别决策将特征空间分划为两个子空间1和2，记ij为将实属i类的模式判为j的损失函数，各种判决的平均损失为,利用,则平均损

8、失可写为,由于0 P(1 ) 1，所以平均损失值有a R a + b,由上式可见，当类概密、损失函数ij 、类域i 取定后，R是P(1)的线性函数。 考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域1 、 2 ，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线,PA(1),1 P(1),A,C,D,R*,B,R*B,0,D,C,按最小损失准则找出P(1)对应于(0,1)中的各个 不同P(1)值的最佳决策类域1、 2 ; 计算相应各个最佳决策类域的最小平均损失，得 R* P(1)曲线

9、; 找出使R*取最大值的P*(1) ; 运用P*(1) 、 P*(2) =1- P*(1)及ij构造似然比阈值; 运用最小损失准则下的决策规则 对具体的模式分类识别:,设计步骤,当采用0-1损失函数时，由b=0可得,上式表明，最小最大损失判决导出的最佳分界面应使两类错误概率相等，此时的平均损失为：,1,2,x,p(x|1),p(x|2),最小最大损失准则判决域示意图,44 N-P(NeymanPearson)判决 实际问题中，可能存在以下几种情况： 不知道各类的先验概率P(i )； 难于确定误判的代价ij ； 某一种错误较另一种错误更为重要。 针对，可以采用最小最大损失准则或令各类概率相等的办

10、法克服； 针对，如果允许，可以避开使用损失函数而采用最小误判概率准则； 针对(3)，可以采用最小损失准则判决。针对上面三个问题，更主要的是针对，可采用N-P准则。,第四章统计判决,对两类问题,设已知,且 将实属1类的模式判为属2类的误判概率为 将实属2类的模式判为属1类的误判概率为,令21=0=常数，求使12最小的判决域,运用Lagrage乘子法求条件极值，做辅助函数,选择满足条件 的 的全体作为1* ,保证所求得的y值y*比1的其它取法的y值都小,在1*中,p(l|w2),p(l|w1),的值决定着类域1、2， 由0确定，即选取，使21= 0 为求，设 是似然比 在 条件下的概率密度，当 时

11、判 ，所以当0给定后，Lagrange乘子可由下式确定。,妈妈新开了个淘宝店，欢迎前来捧场 妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没有人气，所以我也来出自己的一份力，帮忙宣传一下。 并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。 另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可靠，价格便宜。 欢迎大家来逛逛【扬州五亭龙玩具总动员】,个人小广告：,N-P判决要点,由 确定判决似然比门限,第四章统计判决 总结,概念和符号,-后验概率 -类条件概率密度，表示在类i条件下的概率密度，即类i模式x的概率分布密度 -先验概率，表示类i出现的先验概率，简称类i的概率,41最小误判概率准则判决,总的误判概率,两类问题，最小误判概率准则的等价的判决规则,(1),(2),(3),多类问题，最小误判概率准则的等价判决规则,(1),(2),(3),(4),多类问题，最小误判概率准则的等价判决规则,42 最小损失准则判决,对一个实属i 类的模式