第2章线性判别函数

1、第第2 2章章 线性判别函数线性判别函数 第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页12nxxxX第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页12() , () , ()cgggXXX第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页 ()() , , 1 , 2 , , , ijggijcj iXX()() ijggXX 01(), 1 , 2 , , niikkikgw xwicX 0(), 1 , 2 ,

2、, TiiigwicXW X12( , , , )TiiiinwwwW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1110222012121020() ()()() ()TTTTgwgwggwwXW XXW XXXWWX121201020()()() , , TTTgggwwwXXXWWW0()TgwXW X12() 0 , () 0 , () 0 ,gggXXXXX可将其任意分类，或拒绝可将其任意分类，或拒绝第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页() 0g X pWXXW00()Tp

3、TTpTgwwWXWXWW WW XWW WWW00()( ) ggw0XWWW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数几几个个基本概念基本概念 2.2.2 感知准则函数及其梯度下降算法感知准则函数及其梯度下降算法返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页02(1)Nd12第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页012()() 0 , () 0 , () 0 ,TgwgggXW XXXXXX可将其任意分类，或拒绝可将其任意分类，或拒绝0121 T

4、nw w wwY AX第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页120 , 0 , TTA YYA YY12 , 0 , 一切一切 YYYYYY0 TA YY第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页4 对解区的限制对解区的限制对解区加以限制的对解区加以限制的目的目的在于使解向量在于使解向量更可靠。因为越靠更可靠。因为越靠近解区中间的解向近解区中间的解向量越能对新的样本量越能对新的样本正确分类。同时也正确分类。同时也可避免求

5、解向量可避免求解向量 的算法不致收敛到的算法不致收敛到解区边界的某点解区边界的某点上。上。A第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页( )TPJAYAA Y2.2.2 感知准则函数及其梯度下降算法感知准则函数及其梯度下降算法A0TiA YiYA 0 ( ) min( ) 0 若TPPJJAAYA YAA第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页( )PJAAA( )PJAA( )PJGAkAkA()PkJCA()PkJA( )PJA( )PJA第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1()PJGA1A11()()()kkkP

6、kPkPkkkkkJJJAAYYAAGAAGAYAAAY1A1A2A第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页123123123113131123451 1kkkkY , Y, Y , Y , Y, Y , Y , Y, Y , YY , Y , Y , Y , YY, Y, Y, Y, YAAY第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数2.2.1平方误差准则函数及其伪逆解平方误差准则函数及其伪逆解 2.2.2 MSE准则函数的梯度下降算法准则函数

7、的梯度下降算法返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页0TiA Y0 1 , 2 , TiibinA Y第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页12TTTnn dYYYY12nbbb0bYA biYe YA bYY1A YbTiibA Y第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页12TTTnn dYYYY12nbbb0bYA biYYY1A YbTiibA Y第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页e YA bA2221( )()nsiiiJbTAeYA bA Y1( )2()

8、2()nTsiJTiiiAA Yb YYYA b第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1111222( )2()22() 0 nsiTTTTnnnTTTJbbbTiiiTTTAA Yb YYA YYA YYA YYYA bY YA Y b第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页TY Y111() ()()TTTTTTAY YY bYY YYAY YY b1()TTY YYd dd dYYYY YIYYI第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页bb第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1()TTA

9、Y YY bTY Y1()TY Yd d( ) 2()TsJAYYA b第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页() 0TYYA b1A1kA1()TkkkkAAYYAb1kk( ) 2() 0TsJAYYA b第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页 1Ty W XWWyXW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1iiiRmXnX11iiTTiiiy HRmynniXW X W m1212()

10、TmmWmmW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页22()iiiy HSy m2212SS第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页22212 ()iimmJSSWW()J W()J WW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页22121212()()() TiiTTTBmmWmmWmmmmWW S WW()J W121222221212112212()()()() ()() ()y Hy HTTRTTRTTWSSy my mXXWX mX mWWX mX mWWSS WW S W第第2 2章章 线性判别函数线性判别函数

11、返回本章首页返回本章首页22212 ()TiiBTWmmJSSW S WWW S W()()JJ aWW()J WWW()J WW()J W第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页22()2()()()TTWBBWTWJ0W S W S WW S W S WWW S WTBTWW S WW S W1 BWWBS WS WSS WWW1WBSS第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1121212()()()WBTBRSS WWS WmmmmWmm112112 () ()WWRRSmmWWSmm 由于我们的目的是寻求最好的投影方向，由于我们的目的是

12、寻求最好的投影方向， 的的比例因子对此并无影响，因此，可得比例因子对此并无影响，因此，可得112()WWSmmW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页 。进一步，得到增。进一步，得到增广模式向量广模式向量 ，并进行规范化。不，并进行规范化。不失一般性，可以假设前失一般性，可以假设前 个样本属于个样本属于 类，后类，后 个样本属于个样本属于 。这样矩阵。这样矩阵 就可以写成分块矩阵就可以写成分块矩阵12 Nx , x , x1N11R2N22R12 Ny , y , y1N12N2Y第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1122IXYIX 是是

13、 个个 1 的列向量，的列向量， 是一个矩阵，它的行是一个矩阵，它的行是属于是属于 。接下来，我们将证明接下来，我们将证明MSE解和解和Fisher线性判别关线性判别关系。系。0wAWiXiNiiI1122NNNNIbI第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1212121121101212212122201111120TTTTTTTTTTx Rx RTTx Rx Rx Rx RNwNNNNwNNNN TTY YA Y bIIIIXIIIXWXXXXIx +xxxWx+x X XX X第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页12121212211

14、122110111112121221221()()(0 ) iix Rx RTTx Rx Rx Rx Rx RxTiWiiiRRTiRTTTTWNwNNNNNNNNN TTTTxxx +xxxWx+x X XX Xx +xmxSx mx mmmSmXmmXmXX1211221212()()12x Rx RTNNNNNNNNNNNxxmmmm第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页001122011112212112211122211222011122()()()(0()0 () TTTTWWTTNwNNNNNNNwNNwNNwNNNNNNTmmmmmmSm mm mmm

15、WmmWWWmmSm mmm221212121212()1 ()()()TTWNN NNNmWmmSmmmmWmm第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页1212()()TmmmmW对于任意的对于任意的 ，向量，向量 都是在都是在 的方向上，则就有的方向上，则就有代入代入W12()mm12121212()()(1)() TN NNmmmmWmm121212121120121()()() ()00() 0 () 0 TWWTiN NNNNx wx mxx mxTTTSmmmmWmmWSmmA yWWW第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页(1)c

16、ii2Cc第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页 ()() , , 1 , 2 , , ijggijcXX00()() ()() ()() 0ijTijijijggggwwXXXXWWX 0(), 1 , 2 , , TiiigwicXW X j iiX第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页第第2 2章章 线性判别函数线性判别函数返回本章首页返回本章首页 01(), 1 , 2 , , niikkikgw xwicX0111()nnniikklm lmiklmgw