哈工大 模式识别第2章

1、 i i x i i p xe () ( |) 2 2 2 1 2 121 122 ()(), ()(), ppx ppx 1 ( |)p x ( |)p x2 (,)(|) ()(|) () iiii p xp xppx p x (|) () (|) () (|) () (|) () ii i ii c ii i p xp px p x p xp p xp 1 先验概率，后验概率，概率密度函数之间关系 (|) () (|) (|) () ii ic ii i p xp px p xp 1 , (|)max (|) ij j pxpx 1 2 如果 则 i x jj j 12, (|) ()m

2、ax (|) () ii p xpp xp 若： i x则： (|)() ( ) (|)() p xp l x p xp 12 21 如果 则： x 1 h xl x p p xp x p ( )ln ( ) () ln (|)ln (|)ln () 1 12 2 则：x 1 (|) (). (|). . (|) () ii i p xp px p xp 11 12 1 0 2 0 9 0 818 0 2 0 90 4 0 1 (|)-(|).pxpx 21 11 0 8180 182 (|).(|).pxpx 12 0 8180 182 因此判定该细胞为正常细胞比较合理 p(e,x)：错误决

3、策为e,观测值为x的联合概率密度 p(e|x)：观测值为x时的条件错误概率密度函数 p(x)：x值出现的概率 则： rr rr p epx p x dxpx p x dx p xpdxp xpdx ( )(| ) ( )(| ) ( ) ( |) ()( |) () 21 12 2211 12 如果我们把作出w1决策的所有观测值区域称为r1，则 在r1区内的每个x值，条件错误概率为p(w2|x)。 另一个区r2中的x,条件错误概率为p(w1|x)。 p xp l x p xp (|)() ( ), (|)() 12 21 如果 x 1 rr rr p ep xpdxp xpdx pp xdx

4、pp xdx pp epp e ( )(|) ()(|) () ()(|)()(|) ()( )()( ) 2211 12 2211 12 2211 ,., (|)max(|) ij jc pxpx 1 如果: i x则： 也可写成先验概率与条件概率密度形式： ,., :(|) ()max(|) () iijj jc p xpp xp 1 如果 i x则： 多类别决策过程中的错误率计算： 1、把特征空间分割成r1，r2，rc，c个区域 2、在每个区域ri统计将所有其它类错误划为该区 域对应的类的概率，则每个区域共有c-1项错误率， 总共有c(c-1)项。（计算复杂） 正确率： 所以：p(e)=

5、1-p(c) （可见：每次决策，正确率最大，即：p(c）最大， 所以，错误率最小） iji jc pxpxx , ,., :(|)max(|)如果 1 2 iji jc r xrxx , ,., :()min()如果 1 2 ( ) ()(|) c i ijj j r xpx 1 i jj px ( ) (|) ( )( ) ()(|)(|)r xpxpx 11 11122 ( )( ) ()(|)(|)rxpxpx 22 21122 作出哪一种决策就要看是r1(x)小还是r2(x)小 这就是基于最小风险的贝叶斯决策的基本出发点 就是前面我们引用过的 i=1,2,a ri：称为条件风险。 i

6、rrx p x dx (|) () ji ik j ifrxrx thenx , ,., (|)min(|) 1 2 （1）根据贝叶斯公式计算后验概率 （2）利用后验概率及损失函数计算条件风险 （3）按条件风险最小进行决策。 若： 则： j x c iijj j rxpxik (|)(,) (|), ,., 1 1 2 ji ik rxrx , ,., (|)min(|) 1 2 作出决策 由于r(1|x)r(2|x) 即决策为2的条件风险小于决策为1的条件风险， 因此应采取决策行动2 即判待识别的细胞x为2类异常细胞。 pp x l x p xp ()(|) ( ), (|)() 1 222

7、 211 1 21 21 （-） 如果 （-） x 1 p xp l x p xp (|)() ( ), (|)() 12 21 如果 x 1 pp x l x p xp ()(|) ( ), (|)() 1 222 211 1 21 21 （-） 如果 （-） 称：p1(e)，p2(e)为两类错误率 因p(w1)，p(w2)确定 rr rr p epp xdx pp xdx pp epp e p ep xdxp ep xdx ( )()(|)()(|) ()( )() ( ) ( )(|)( )(|) 2211 12 2211 1122 21 如p2(e)=0为一个很小的常数， 使p1(e)

8、 p e p e ( ) ( )min 20 1 p ep e( )( ) 120 rr rr r p xdxp xdx p xdxp xdx p xp xdx (|)(|) (|)(|) ()(|)(|) 120 21 120 11 021 1 1 1 r p xp xdx ()(|)(|) 021 1 1 p xp x t (|)(|) 21 0 r p xdx (|) 02 1 0 可得 r p xdx p t p t (|)( ) ( |) ( ) ( |) 20 1 1 2 1 02 先由（1）求边界t，再由（2）求 p x p x ( |) ( |) 1 2 r p xp xdx

9、()(|)(|) 021 1 1 p x p x ( |) ( |) 1 2 p xp p xp ( |)() ( |)() 12 21 p p () () 2 1 p ep ldlp ldl ( )( |)( |) 2220 0 1 ( ()|) () () (|)() (|) () (|)() (|) r r rrxx p x dx pp xpp xdx pp xpp xdx 11111222 1 21112221 2 :()()pp 12 1利用 (|)(|) rr p xdxp xdx 11 21 1及 ()(|)()() ()(|)()(|) r rr rp xdxp p xdxp

10、xdx 22122221122 1 2111112222 21 1 则 即: r rr ap xdx bp xdxp xdx ()(|) ()()(|)()(|) 2212222 1 11222111112222 21 rabp() 1 a p * () 1 b p * () 1 最小最大决策 0 ()rabp1 1 * () a p1 * () b p1 a b ()p1 ()ra b 0 r ()()(|)()(|) rr bp xdxp xdx 11222111112222 21 0 () ()(|) r rabp p xdx 2212222 1 1 决策面及决策面方程：决策面及决策面方

11、程：决策域 的边界面就是决策面，在数学上 用解析形式表示成决策面方程。 判别函数：判别函数：用于表达决策规则 的某些函数则称为判别函数。 一、判别函数及决策面 三类别问题用一维特征空间时的所有决策边界 两类别问题的二维特征空间中的决策边界 两类别分类器的框图 此时，可用一个判别函数：g(x)=g1(x)-g2(x) 决策规则：g(x)0，则判x属于1 g(x)10）时，h(x)服从正态 分布，则可计算h(x)的均值和方差：(ij,ij易统计得到） ( )|()| ( ) | d iiliil l d iiiil l e h xeh x e h x 1 222 1 负对数似然比： 类条件概率密度： 错误率的计算同1（正态分布且协方差阵相等） ss p esst p ess t p ssh p hdht p ds t ds p epps ( )exp( ) ( )exp( )() () ( )lnexp() ( |),ln