哈工大 模式识别第2章知识分享

1、哈工大 模式识别第2章iixiip xe()( |)22212121122()(),()(),PPxPPx1( |)p x( |)p x2(,)(|) ()(|) ()iiiiP Xp XPPX p X(|) ()(|)()(|) ()(|) ()iiiiiciiip XPPXp Xp XPp XP1先验概率，后验概率，概率密度函数之间关系(|) ()(|)(|) ()iiiciiip XPPXp XP1,(|)max (|)ijjPXPX1 2如果则iXjjj 12,(|) ()max (|) ()iip XPp XP若：iX则：(|)()( )(|)()p XPl xp XP1221如果则

2、：X1h xl xPp Xp XP ( )ln ( )()ln (|)ln (|)ln()1122则：X1(|) ().(|).(|) ()iiip XPPXp XP111210 2 0 90 8180 2 0 90 4 0 1(|)-(|).PXPX 2111 0 8180 182(|).(|).PXPX120 8180 182因此判定该细胞为正常细胞比较合理P(e,x)：错误决策为e,观测值为x的联合概率密度P(e|x)：观测值为x时的条件错误概率密度函数P(x)：x值出现的概率则：RRRRP ePx p x dxPx p x dxp xPdxp xPdx( )(| ) ( )(| ) (

3、 )( |) ()( |) ()2112221112如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)。p XPl xp XP(|)()( ),(|)()1221如果X1RRRRP ep XPdxp XPdxPp Xdx Pp XdxPP ePP e( )(|) ()(|) ()()(|)()(|)()( )()( )2211122211122211,.,(|)max(|)ijjcPXPX1如果:iX则：也可写成先验概率与条件概率密度形式：,.,:(|) ()max(|) ()iijjjcp X

4、Pp XP1如果iX则：多类别决策过程中的错误率计算：1、把特征空间分割成R1，R2，Rc，C个区域2、在每个区域Ri统计将所有其它类错误划为该区域对应的类的概率，则每个区域共有c-1项错误率，总共有c(c-1)项。（计算复杂）正确率：所以：P(e)=1-P(c)（可见：每次决策，正确率最大，即：P(C）最大，所以，错误率最小）ijijcPXPXX, ,.,:(|)max(|)如果1 2ijijcR XRXX, ,.,:()min()如果1 2( )()(|)ciijjjR XPX1ijjPX( )(|)( )( )()(|)(|)R XPXPX1111122( )( )()(|)(|)RXP

5、XPX2221122作出哪一种决策就要看是R1(X)小还是R2(X)小这就是基于最小风险的贝叶斯决策的基本出发点就是前面我们引用过的i=1,2,aRi：称为条件风险。iRRX p X dX(|) ()jiiKjifRXRXthenX, ,.,(|)min(|)1 2jXciijjjRXPXiK (|)(,) (|), ,.,11 2jiiKRXRX, ,.,(|)min(|)1 2作出决策由于R(1|X)R(2|X)即决策为2的条件风险小于决策为1的条件风险，因此应采取决策行动2即判待识别的细胞X为2类异常细胞。Pp Xl xp XP()(|)( ),(|)()1 222211 12121（-

6、）如果（-）X1p XPl xp XP(|)()( ),(|)()1221如果X1Pp Xl xp XP()(|)( ),(|)()1 222211 12121（-）如果（-）称：P1(e)，P2(e)为两类错误率因P(W1)，P(W2)确定RRRRP ePp Xdx Pp XdxPP ePP eP ep XdxP ep Xdx( )()(|)()(|)()( )() ( )( )(|)( )(|)2211122211112221P eP e( )( )min201P eP e( )( )120RRRRRp Xdxp Xdxp Xdxp Xdxp Xp Xdx(|)(|)(|)(|)()(|)

7、(|)1202112011021111Rp Xp Xdx()(|)(|)02111p Xp Xt(|)(|)210Rp Xdx (|)0210可得Rp Xdxp tp t(|)( )( |)( )( |)20112102先由（1）求边界t，再由（2）求p xp x( |)( |)12Rp Xp Xdx()(|)(|)02111p xp x( |)( |)12p xPp xP( |)()( |)()1221PP()()21P ep ldlp ldl ( )( |)( |)222001( ()|) ()() (|)() (|)() (|)() (|)RRRRXX P X dXPp XPp XdXP

8、p XPp XdX111112221211122212:()()PP121利用(|)(|)RRp XdXp XdX 11211及()(|)()()()(|)()(|)RRRRp XdXPp XdXp XdX2212222112212111112222211则即:RRRap XdXbp XdXp XdX()(|)()()(|)()(|)221222211122211111222221RabP() 1aP*() 1bP*() 1最小最大决策0()RabP11*()aP1*()bP1AB()P1()Ra b 0R()()(|)()(|)RRbp XdXp XdX11222111112222210()

9、()(|)RRabPp XdX221222211决策面及决策面方程：决策面及决策面方程：决策域的边界面就是决策面，在数学上用解析形式表示成决策面方程。判别函数：判别函数：用于表达决策规则的某些函数则称为判别函数。一、判别函数及决策面三类别问题用一维特征空间时的所有决策边界两类别问题的二维特征空间中的决策边界两类别分类器的框图此时，可用一个判别函数：g(x)=g1(x)-g2(x)决策规则：g(x)0，则判X属于1g(x)10）时，h(x)服从正态分布，则可计算h(x)的均值和方差：(ij,ij易统计得到） ( )|()| ( ) |diiliilldiiiillE h xEh xE h x12221负对数似然比：类条件概率密度：错误率的计算同1（正态分布且协方差阵相等）ssP esstP ess tPssh p hdhtPdstdsP ePPs ( )exp( )( )exp( )() ()( )lnexp() ( |),ln()( )-