第6章 特征的选择及提取

1、第第6 6章章 特征选择和特征提取特征选择和特征提取第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页121(,)()dijdijkkJx xxJx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页0, 0, ijijijjiJijJijJJ12121(,)(,)ijdijddJx xxJx xxx第第6 6章章 特征

2、选择和特征提取特征选择和特征提取返回本章首页返回本章首页( )( )111( )(,)jinnijdklijklJn nxxxij( )( )( )( )( )( )(,) () ()ijijijTklklklxxxxxx( )( )111111( )(,)2jinnccijdijklijijklJPPn n xxx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页( )11iniikiknmx1111ccciiiiiiiiinPnnnmmmm( )( )111( )() () () ()inciiTTdiiiiikkiikJPnxxmxmmmmm第第6 6章章 特征

3、选择和特征提取特征选择和特征提取返回本章首页返回本章首页( )( )111( )( )11 1( )() () () ()()( ) 1()()iinciiTTdiiiiikkiikcTbiiiinciiTwiiikkiikiibbwwiiJPnSPSSSSSxnEE xPxxmxmmmmmmm mmmxmmmx( )( )11()() ()()cciiTTbiiiwiiiikkiiSPSPExx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页11111( ) tr(+) tr(+)tr( )dbwbwnnnnniiiJSSSSaaAaaAax第第6 6章章 特征选

4、择和特征提取特征选择和特征提取返回本章首页返回本章首页第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页0PJ maxPJ 0PJ ,BCDJJJBJ1212ln() ()BJppdxxx1212( )() ()expBPPPJe第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页112ln()() 0,1ssCJppds xxx01s CJ0CJ x120()()CJpp xx01s 121( ;,)( ;)nCnCiiJs x xxJs x12121( ;,)( ;,)CkCkkJs x xxJs x xxxx第第6 6章章 特征选择和特征

5、提取特征选择和特征提取返回本章首页返回本章首页122112121121121122221221()()()( )( )()() ln()()()()()()()()ln( )()lnDJIIppdIppppppppppEpdIEpd xxxxxxxxxxxxxxxxxxxxxDJ第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页0DJ120()()DJpp xx121(,)()nDnDiiJx xxJx12121(,)(,)DkDkkJx xxJx xxxxx1221(,)(,)DDJJ 第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页12

6、2112121121121122221221()()()( )( )()() ln()()()()()()()()ln( )()lnDJIIppdIppppppppppEpdIEpd xxxxxxxxxxxxxxxxxxxxxDJ第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页11111122112222122211()exp2(2 )11()exp2(2 )tr() tr()TdTdTTppA BBAxxxxxx111122111121122212121221()lnln() ln()()111lntrtr222111lntrtr222TTTTppppxxxxxx

7、xxxxxx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页112121211111222122111()( )()ln()11lntr221tr()211ln()ln22TTpIpdppdpdxxxxxxxxxxxxx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页1111111111222112112112111211212122121111tr()21tr21tr21tr()21tr()211trtr221( )ln2()TTTTTpdpdpdpdI xxxxxxxxxxxxxxxxx1111121212121111trtrtr22

8、2T 第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页1112121111112122121212121221111121121212121212121211111( )lntrtrtr222111( )lntrtrtr2222( )( )11 2t22r2TTDTJIIII xxxxI121111211212121211212112tr22 TDTMJJ I第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页212211212121212121()211ln8221 21 8DTBBDJJJJ 第第6 6章章 特征选择和特征提取特征选择和特

9、征提取返回本章首页返回本章首页1tr(+)bwJSS12(,)TDy yyyy12(,)Tdx xxxdDTW yxD dWx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页12534 lntr t ()trrwbwbwbwbwJSSSSJSSJSSJS( )( )111() () () () cciiTTbiiiwiiiikkiiciiiSPSPEPxx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页下面我们着重讨论选择下面我们着重讨论选择 的情况的情况 。在线性变换矩阵。在线性变换矩阵 的作用下的作用下在变换后的子空间在变换后的子空间

10、 非奇异线性变换的不变非奇异线性变换的不变性性2JJW112( ) tr() tr ()TTbbTwwTTwbwbW ySW S WSW S WJdSSW S WW S Wx12tr()wbJSS111111111trtr ()tr ()tr()trTTTTwbwbTTTTwbwbwbAS AAS AASAAS AASS ASS AASS第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页这里不加证明的给出一下结论：这里不加证明的给出一下结论： 和和 分别为分别为 和和 对应的本征值。对应的本征值。这样，要选则最佳变换这样，要选则最佳变换 是要选择一个是要选择一个 d

11、维子空间，维子空间，使得在此子空间中，使得在此子空间中， 的本征值的本征值121121() tr()( ) tr()DwbiidwbiiJDSSJdSSi1wbSSi1wbSSD dW1wbSS12121,1,2,iiDdwbiiiidWSSu uuuu35,JJ 同样是这样选择。参考教材同样是这样选择。参考教材P188例题例题8-1 第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页例题例题6-1 已知有两类数据已知有两类数据,分别为分别为 试求：该组数据的类内试求：该组数据的类内 及类间及类间 离散矩阵离散矩阵 。解解： 12: (1,0), (2,0), (1,

12、1): ( 1,0), (0,1), ( 1,1)wSbS1121114122(,) , (,) 3 3 3 3 121333112112()()1123333333331 142126311111 12124369999TxSmmx mx m第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页2222121212631()()3691201012963663611()()6113393TxwTbSSSSSx mx mmmmm第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页例题例题6-2 1）已知两个正态分布时的散度公式为）已知两个正态分布时

13、的散度公式为 试将其转换成用于两个一维正态分布试将其转换成用于两个一维正态分布 及及 时的公式。时的公式。2）两个一维正态分布，其期望与方差分别为）两个一维正态分布，其期望与方差分别为 第一组：第一组： 第二组：第二组： 求其散度求其散度 。 11112112211221112tr22TDJ I211(,)N 222(,)N DJ2212120, 2, 4, 0.252212120, 2, 1, 1第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页解解： 22222222112121211222DJ2212120, 2, 4, 0.250.251411124478.5

14、2 0.2542432DJ 2212120, 2, 1, 114 2 42DJ 第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页例题例题6-3 对上题给出的数据，求使对上题给出的数据，求使 达到最大的特征提取。达到最大的特征提取。解解：由前面所得：由前面所得由于由于 秩为秩为1，故，故 只有一个非零本征值，只有一个非零本征值， 是是 矩阵，即矩阵，即 ，为求，为求 的本征值应解方程：的本征值应解方程：2J1136612011 6101299() 1 () 1304304bwbwbwSSrank Srank SSS1wbSS1wbSSW1DW w1wbSS第第6 6章

15、章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页 由于由于 为标量，所以为标量，所以1212111212()()()TwbTwbSSSSwwmmmmmmwmmw12()Tmmw1126306341()3114034wSwmm第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页习题讲解（习题讲解（P81）习题习题3-1 解解：极大似然估计：极大似然估计222121212112212111()exp2211ln()ln(2)221( )ln()11221kkNkNkkNkkkNkkxppxxHpxxN0 xxx 第第6 6章章 特征选择和特征提取特征选择和特

16、征提取返回本章首页返回本章首页Bayes估计估计2200220022220011( )( , ) ( )( , )( )( , 1) ( )(0 , 1)1111kNkNNkkkkpNpNNmNNpNpNNxxNNN xx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页习题讲解习题讲解（P81）习题习题3-4 求求Bayes估计量估计量解：解：12NH ，x ,x ,x11111()()(1)()()(1)NNkkkkNNkkNkkNMN Mkkp H PpPPPMp H PpPPPxxxxxP第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章

17、首页P10() ( )(1)()() ( )(1)MN MMN Mp H P f PPPp P Hp H P f P dPPPdP11010(1)()(1)MN MMN MPPdPPP p P H dPPPdPP第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页111001111001110101101(1)(1)11(1)(1)1(1)111(1)12111121(1)1MN MMN MMN MN MMMN MNMN MPPdPPdPN MPPPdPN MMPPdPN MMMPdPN MN MN MMMMN MN MN MMNPPdPMN 1111212MMN MN

18、 MMN第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页11011010110(111(1)1211)11122(111(1)1)1212MN MMNMN MNkMN MkMMMPPdPN MN MN MMNMMPPdPPPdPMPNNPPdPN MN MN MMNx第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页0, 0, ijijijjiJijJijJJ222()()ikjkkikjkmmJ x第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页,ikjkmm22,ikjk,ijm m(),1,2,kJ xkD第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页222()()0ikjkkikjkmmJ x第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首页1() ()cTbiiiiSP( )( )1()()ciiTwiiiikkiSPExxwbSSS11det()wbiiJSS12tr()wbiiJSS第第6 6章章 特征选择和特征提取特征选择和特征提取返回本章首页返回本章首