哈工大 模式识别第四章第五章

1、dkkijdij)(xJ),.,x,x(xJ121ijijijjiJ0,ij;J0,ij;JJ),.,x,x(xJ),.,x,x(xJdijdij1d2121x,( )( )( )(,)jinnccijdijklijklijJxPPxxn n 1111112ijklxx( )( )(,)iijijTijklklklniikkiciiixxxxxxmxnmPm( )( )( )( )( )( )( )(,)() ()111欧氏距离下的可分性判据 欧氏距离： 每类均值：所有样本集总均值：平均距离：（判据）令：则得判据的矩阵形式：bwdJxtr SS( )()inccTiiTbwiiiikikiii

2、kiSP mm mmSPxmxmn( )( )()() ,()()1111inciTiTdikikiiiikiJxPxmxmmmmmn( )( )( )() ()() ()111wbSS,im m,i , ,wbSS,iiE xE x ,ccTTwiiiibiiiiiSPExxSP()() ()()11dbwJxtr SS( )()( )()|ln|wbbwbwwbwJxtr S SSJxStrSJxtrSSSJxS12345（ ）（ ）（ ）完全可分重合，完全不可分dxP2,P1),2|x(p),1|x(gpJpdx)|x(p)|x(plnJ2/121B-ln( |)( |) , .ssCC

3、BJpxpxdxSSJJ 1120 10 5，( |)( )ln(|)iijjp xlxp X另一种常用的基于概率距离度量的判据是利用似然比或对数似然比。对两类问题，对数似然比为： 可提供i对j的可分性信息。如果对某个X，则lij=0 ,反之若两者差异越大，则lij的绝对值也大。 对整个特征空间概率分布的差异程度作出评价，可将对i类及对j 的平均可分性信息定义为 iiijijjXp xp xIxEp xdxp Xp X( |)( |)( )ln( |)ln(|)(|)总的平均可分信息则可表示成散度 ( |) ( |)( |)ln(|)iDijjiijjXp xJIIp xp xdxp X TD

4、ijjiijijijJtrI () ()()111111222ij 若则一维：TDijijJ()()1ijDJ()22jijiTBijijjiJ /|()|() ()ln|11 21112822若则ij TBijijMJJ()()11188D123wbJxtr S S( )()12 Y=WTX， 设：X的类内和类间离散度矩阵分别为SW ,Sb的类内和类间离散度矩阵分别为SW , SbD 12000000000000Diitr 1WbS S1WbS S1D123dTdWbdiidJWtr USS Utr-() 12110000002000000给定先验概率相等的两类，其均值向量分别为： 协方差矩

5、阵是： 求用J2判据的最优特征提取。 求 的本征值矩阵。由于这是一个两类别问题，总均值向量值是两个均值向量1和2的线性求和，则 中只有一个是独立的，因此 的秩是一，换句话说它只有一个非零本征值，W是D1矩阵，是一个向量W，求该向量需解 WbSS WSTDUU 1000000TWU S UIwbwSSJxS|5（ ）wbwwwTDiTiwSSJxSSSUUU S UI|51（ ）TWSUU ()11TWSUU1TUUUUwSUU1即： 是 的本征值矩阵wS1TWU S UI或TUU 是对角阵的证明及计算方法：DI 110000001DiiJ()511（X ）WWbbIS S UUS S UUUU

6、UU ()11WWWWWbbbSSSIS SIS S USUU ()1111又设 的本征值矩阵是则：WbS S1D 1000000-ln( |)( |)() () ln|()|()ln|ln|()()ssCTTTTTTTTJpxpxdxss tr W MWs WWsWWs WWsWWsWWsWWM 11211212122121111211211122:()() ()()()()()()()()TTCTTTTTTTTJssMWs WWsWWsWsWs WWsWWMWs WWsWWsWsWs WWsWWsW WWsW WW 112112121121121211112211111111梯度CTTTT

7、TTTJMWsWsWs WWsWWW MWW IWWWWW IWWWW :()()()()11212111122210110最优解可得.:()TTMWW WWW MW 12110可得()TTUWWW MWUU1令：本征值矩和本征向量是： 、有：:()()TTTTMWUW WWW MWUMWUW WWW MWUMWUWU 111111000因此或：即：由于Jc在任何非奇异变换下具有不变性，因此，WU=VU-1U=V也是最优变换阵，是-1M的本征向量。而M的秩是1，故只有一个非零本征值，此时：-:MWU WUVWUMVVVMWVU 111100令因此：所以： 是的本征向量矩正故：v ()121CJ

8、Wss tr()()112 .121v ()121可证，只有一个非零本征值，此时，W是一维的：T()()12121是 的本征值矩阵W是其本征向量.,:|()|ln|()():()()TTCTsTsTTTTTTTTs WWsWWJWWWWJcW IWWWWW IWWWWWW WWWWIWWWW 12121211211121221112121112211200可得得-:()()()()TTTTTTTTWW WWWWWWWWUWWWWUUWWWWUUWWUUWUWU 1121211211121111121111211210因此若：的本征值矩正是 ，本征向量矩正是有：或：即：或：根据Jc对非奇异变换的

9、不变性，W即是2-11的本征向量。此时：-:VWU 121因此是的本征向量矩正。|()|ln|()|()|lnln|TTCTsTssss WWU UsWWJWWU UWWs U UsIssIU U1221 12211 11112111122-|()|ln|()ln()CsddssssjjjjjjssIJssss11111112111122为使Jc最大，应选择满足如下关系的d个本征值对应的本征向量组成的矩阵。-()()()ssssssddssssss1111221111只有两类时：-() () ()() ()()()TTTDTTTTTJtrW MW WWWWtr WWWWWWWWIM111211

10、1221212112122dDiiiJcJtrI -,-()12121211112112112222、与相同、，（）是的本征值 最佳W是对应下列次序的本征值对应的本征向量DD1111122TTmmmmvw -()():/ ,(, , )(, , )112212121121212312111132444132844111114841111644481113 4111111非零本征值及本征向量-1 0 1 2*00*(ZL,Zr)法法等效算法等效算法ZL=（1）Zr=（0）SFSZL=（0）Zr=（1）SBSZL=（d）Zr=（0）穷举法ZL=（L）Zr=（0）GSFSZL=（0）Zr=（r）GS

11、BSZL=(1,1,1,1)Zr=(1,1,.,1)（l，r）nnTnnnx txjntTxx tjnt dtx txjntT( )exp(),( )exp()( )exp()limNNN0000021则：周期平稳过程的Fourier系数互不相关nnmbnmE x xnm*0nnRR tsE x t x sbjn *( )() ( )( )exp()0TTnmkkkkTTnmkkE x xEx t x sjntjms dsdtTRR tsE x t xsRbjkbjktsE x xE x t x sjntjms dsdtTbjntsT *( )( )exp()exp()( )() ( ) *(

12、 )( )exp()exp() ( )( )exp()exp()exp()22200000000000111TTTTkknjntjms dsdtbj mks dsj kns dtbnmTnm exp()exp()exp ()exp ()/00000000020(X(t)周期-R(t)周期,周期也为T）nnnnx txt( )( )bnmanmmntdtmnmnE x xmn*( )1010nnnmmmnmnmnmmnnnmnnnnkbbknnknaankkR t sE x t xsExtxsE x xs xttssR t ss dstss dst *( , ) ( ) *( )( )( )(

13、)( )|( )( )( )( , )( )|( )( )( )|( )222本征值本征函数则：两边同乘 并积分，则：Tjj dE xxxxEc () ();21jjjxc u1Tjjcu xTijiju uij10djjjxc u1TDxx xx,12TjjTTTTjjjjj dj dTTjjj dTTjjjjjjj dj djdjjjjcu xEu xx uu E xx uuuE xxDDg uuuu uEcgI ujdu ,()min()(),.,1112111101令：并令：jjjdjudu,.;.,01令本征分解jjjjTTTjjjjjj dj dj dj djuuuuuu ,:11

14、11的本征值TjjjuujDUU ,.,;1TTTTijijijTTijiijiTiijE ccE u xx uu E xx uuuuujiu uji0DDTDDDDDE C CE C CE C CE C CE C CE C CE CCE C CE C CE C C11121121222212000000TTTTTTE CCE U XX UU E XXUUU =(c1,c2,)T Tjwjju S uTjjbjbu S uS在uj轴上，原第i类特征向量Xik投影为：Xikj=ujTXik其类内离散度：iiiincjjjjjTjTwjikiikiijiikincTTTTTjjikjijikjii

15、kincTTjjikiikijikincTTjjikiikijikiTjwjwjiSPXmXmmu mnPu Xu mu Xu mnPuXmXmunuPXmXmunu S uSPn()() ()()()()()() 其中，这里，1111111111111incTikiikiikjXmXm()()11cccjjjjjTjjjjTbikikikjiiikiccTjTjTjTjTTjjjjTjjijjijjjiijiicTjjjjTjjiijiTjbjcjjjjTbjiiiSPP mmmmP mmmmP u mu mu mu mPummmmuuP mmmmuu S uSP mmmm ()()()()

16、()()()()()() ()()111111112TTjjbjjbjbijTwjwjju S uu S uSJ XSu S u()TjwjjcTbiiiiu S uSP()()()1 1231421342TTuu , ,124 242wS .1212314213423 51 5121 53 5解1）将SW作K-L变换的产生矩阵，求其本征矩阵得K-L变换的变换矩阵。可求得本征值矩阵和本征向量分别是：TwU SU U .500 7070 707020 7070 707TTUU, ., . ;, .,.112250 707 0 70720 7070 707TTTTbuuuuSuu uu ()( ,

17、 , ) , 11211114 2424 22216884jjjjTbu SJ XJuJ XX(. ., . .,.)().()11680 7070 707 0 707840 70751680 7070 7070 707840 70762231TJ XJ XWU()() ., .1210 707 0 7073）从这种特殊情况得到启发，一种充分利用类均值向量所包含的判别信息的方法因此而产生。具体说来这种方法分成两步：1）白化处理2）特征提取TwU SU TTjjbjjbjTbijbjjTwjwju Suu SuSJ Xu SuSu Su()1TijbjjJ Xu Su()数据同上例，求保持类均值

18、向量中全部分类信息条件下压缩为一维特征空间的坐标轴。 1231421342TTuu , ,124 242wbTwSUSBUSUU /.,.,.- .12121 231423 51 51134221 53 50 7070 70710 7070 7070 7070 7070 44700 31265000 50 7070 70700 7070 3160 52）2）3）TbbTTTbTuu uuSB S BVWBSVV . ., . .,. 1121683 61 897841 89714 60000 884 0 4460 512 0 0464) V5）非零本征值的本征向量：6）所以： 有监督学习中，样本集分布呈现交迭情况，而无监督学习方法由于没有类别样本指导，无法确定它们的交迭情况，只能按分布的聚类情况进行划分。 在类似于该例的实际应用问题中，预先选定不同类别的样本往往不可能，如时间不允许，或无法用人工干予等因素。 另外