模式识别-线性判别函数

1、2022-4-261线性判别函数线性判别函数 问题描述线性判别函数线性判别函数 如下图:三类的分类问题, 它们的边界线就是一个判别函数判别函数包含两类判别函数包含两类:线性判别函数:线性判别函数广义线性判别函数(所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数)分段线性判别函数非线性判别函数线性分类器的三种典型方法线性分类器的三种典型方法以Fisher准则为代表的传统模式识别方法以感知准则函数为代表的机器自学习方法以支持向量机为代表的统计学习理论。分段线性判别函数分段线性判别函数:近邻法2022-4-2642022-4-2652022-4-266判别函数的形式判别函数

2、的形式模式的特征矢量：模式的特征矢量：判别函数：判别函数：称为权矢量或系数矢量称为权矢量或系数矢量判别函数的形式判别函数的形式增广增广特征矢量：特征矢量：增广增广权矢量：权矢量：判别函数：判别函数：两类问题线性判别准则两类问题线性判别准则 1020,0,0,tgwxxw xx拒识决策规则:线性分类器的分类界面线性分类器的分类界面分类界面的几何解释分类界面的几何解释1.线性分类界面H是d维空间中的一个超平面；2.分类界面将d维空间分成两部分，R1，R2分别属于两个类别；3.判别函数的权矢量w是一个垂直于分类界面H的矢量，其方向指向区域R1 ；4.偏置w0与原点到分类界面H的距离有关：00wr w

3、多类问题（情况一）多类问题（情况一）每一类模式可以用一个超平面与其它类别分开；这种情况可以把c个类别的多类问题分解为c个两类问题解决，需要c个线性分类界面；第i类与其它类别之间的判别函数： tiigxa x3IR2IR1IR124IR1x2x3（1 1）二分法）二分法多类问题（情况一）判别规则多类问题（情况一）判别规则若存在i，使得gi(x)0， gj(x)0，ji，则判别x属于i类；其它情况，拒识。多类问题（情况二）多类问题（情况二）每两个类别之间可以用一个超平面分开；c个类别的问题需要c(c-1)/2个线性分类界面；第i类与第j类之间的判别函数为： ,tijijgxa xij多类问题（情况

4、二）判别准则多类问题（情况二）判别准则如果对任意ji ，有gij(x)0 ，则决策x属于i。 其它情况，则拒识。231结论：判别区间增大，不确定区间减小结论：判别区间增大，不确定区间减小IRIR23( )0dx 13( )0dx 12( )0dx 1213( )0( )0dxdx3231( )0( )0dxdx2123( )0( )0dxdx（2 2）i i/ /j j二分法二分法多类问题（情况三）多类问题（情况三）情况三是情况二的特例，不存在拒识区域。 多类问题（情况三）判别函数多类问题（情况三）判别函数c个类别需要c个线性函数： 1 1220tiiiiiddigw xw xw xwxa x

5、n判别准则： 1max,ijj Mgg xxix1213( )( )( )( )d xd xd xd x2123( )( )( )( )d xd xd xd x3231( )( )( )( )dxdxdxd x12312( )( )0d xd x13( )( )0d xd x23( )( )0dxdx（3 3）最大判别准则）最大判别准则结论：无不确定区间结论：无不确定区间v例：假设判别函数为：例：假设判别函数为：11221232()()1()dxxxdxxxdxx 问问 属属于哪一类。于哪一类。(1,1)x11221232()()1()dxxxdxxxdxx 解：解：所以所以2x三种方法小结三

6、种方法小结分类方分类方法法判别函数个判别函数个数数不确定不确定区区难易难易i i/ /i i二分法二分法i i/ /j j二分法二分法最大判最大判别准则别准则M MM(M-1)/2M M最多最多较少较少没有没有较难较难较易较易较易较易2022-4-2625判别函数的几何意义2022-4-26262022-4-2627基本参量的定义基本参量的定义2022-4-2628基本参量的定义基本参量的定义2022-4-2629*,),(),(2121wwwxyxwywwwwxxxxiiiinni即要寻找最优的度不同使得投影后的可分离程的方向不同显然的直线上的投影到方向为是是一个标量*,)(:2 , 1)(

7、 )(:2 , 11:,:,2121)()()()2()1 (21121N2121wwwxyxwywxnmmmmSSSSimxmxSixNmmxxNNNNxxxiiiiBiijjiijjijiiijji即要寻找最优的度不同使得投影后的可分离程的方向不同显然的直线上的投影到方向为是是一个标量在以矢量维矢量作变换类间离差阵总的类内离差阵各类的类内离差阵各类模式的均值矢量各类的模式分别记为类类和个模式分属于个和其中设给定的训练模式wwSSSSwSwSwSwwSwwSwwSwSwwSwSwwJwwSwwSwSSmmwJSSwSwmwmwmwmwmmSwSwSSSwSwmwxwmySimwNxwNymy

8、BFBFBBBjjiijiijiijijijijiiiB11BB2B2222122212122122222)(2)(2)()(存在），有：是非奇异的时候（即当:则,:令0)()( 2)( 20，令要获得最优的max)()(准则函数：Fisher:希望投影后)()(:类间离差度)()(:类内离差度2 ,1为：空间中各类模式的均值一维21212/)()(22取阈值：)(:变换函数Fisher)(:最佳权矢量1:令,数值我们关心的是方向而非)()(令)(:最佳判别矢量为对应的特征矢量,个非零特征值1只有,1的秩为,两类问题时211212121121211*2112121211B1B1B1mmSmmm

9、wmwmwmmyxSmmymmSwmmSwwmmwmmmmSwSSwFisherwSSSStmwNNmNmNwNNmwNmwNNNmNmNyNNPNNPmmmmPPSSPSPStBw/)(,/)()()()()()(21221121221121221122112121212121取阈值：当考虑先验概率时：2022-4-263521*21*211*1)()()(212121,)8(,2)7(),()6()5()4(, 2 , 1,)() 3(,2 , 11)2(|) 1 (:21XyyXwmmwymmSwSSSSSimXmXSmiXNmXXXFisherttwwwwwwjiijiijwijiji

10、ii判由得到判别门限由得到最佳解向量由的逆矩阵计算阵计算类内总的离散度矩矩阵计算各类的类内离散度由计算各类的均值矢量由和的两个子集和分成的训练样本集把来自两类线性判别的算法步骤2022-4-2637类Y 则 0,YAg(Y)若类Y 则 0,YAg(Y)若:对于二类问题有,根据判别函数的性质的超平面 0YA 判别面YAg(Y) :线性判别函数可写为212022-4-2638是线性可分的则样本,使得二类样本分类正确A若存在解向量,显然 解向量是不唯一的,解向量进行了限制可见每个学习样本都对 称为解向量A满足上述条件的向量N1,.,i 0,YA :对所有的学习样本有使得A,找到权矢量,各学习样本N由

11、:则二类分类问题变为-YY 类样本即令所有,类样本进行归一化处理现对i222022-4-2639难的直接求解不等式组是困N1,.,i 0,YA 不等式组即是根据学习样本求解 A,欲求解向量i2022-4-2640判别面的分割质量越高,的值越小J(A) :它具有如下的性质J(A),定义一个标量函数即,函数求极值的问题的问题转化为标量准则A可将求两个问题：两个问题： （1）构造准则函数）构造准则函数 （2）如何最快地搜索到使准则函数取）如何最快地搜索到使准则函数取极小值的解极小值的解*w线性判别函数的学习线性判别函数的学习 问题的提出：假设有一个包含n个样本的集合y1, y2, , yn, 一些标

12、记为1,另一些标记为2，用这些样本来确定一个判别函数g(x x)=a at tx x的权矢量a a。在线性可分的情况下，希望得到的判别函数能够将所有的训练样本正确分类；线性不可分的情况下，判别函数产生错误的概率最小。训练样本的规范化训练样本的规范化120,0,tiitiia yya yy120,0,tiitiia yya yyn非规范化：n规范化：最优问题的求解：最优问题的求解：（1 1）一个适当的代价函数（准则函数）一个适当的代价函数（准则函数）（2 2）一个优化算法）一个优化算法 梯度下降法梯度下降法一次准则函数及梯度下降法一次准则函数及梯度下降法(Gradient Descent Alg

13、orithm)(Gradient Descent Algorithm)感知准则函数感知准则函数（RosenblattRosenblatt）可微函数在某点的梯度是一个向量可微函数在某点的梯度是一个向量 函数在该点的变化率最函数在该点的变化率最大的方向大的方向 函数函数 的梯度向量定义为的梯度向量定义为12( )( )(,.,)ndf xffff xdxxxx( )f x x YJ wJ wxw 梯度下降法的迭代公式为：梯度下降法的迭代公式为： 1kkx Yw kw kJw kx 任给定初始权矢量，第任给定初始权矢量，第k+1k+1次迭代时的权矢量等于第次迭代时的权矢量等于第k k次的权矢量加上被

14、次的权矢量加上被w w（k k）错分的样本）错分的样本之之和和乘乘以某个系数。以某个系数。 批量修正准则函数的梯度：准则函数的梯度： )0()|(|)(kxwxwkwJ将梯度下降法应用到一次准则函数中将梯度下降法应用到一次准则函数中 )sgn(21J)(xxwxwwJ0101)sgn(, 2/1xwxwxwk定义令0, 0)(, 0)()( sgn(21)()()() 1(kkkkkkkkxwxkwxwkwxxkwxkwkwJkwkw感知器算法感知器算法 把样本集看成不断出现的序列逐一考虑，称为单样本修正把样本集看成不断出现的序列逐一考虑，称为单样本修正法。法。 且令且令 ，称为固定增量法。，

15、称为固定增量法。 若若 使得使得1k 1kw kw kx kx0w x 11x1w112wwx12x223wwx+-+-感知器算法感知器算法(Perceptron Approach)(Perceptron Approach) 算法思想算法思想任选一初始增广权矢量任选一初始增广权矢量用训练样本检验用分类正确否用训练样本检验用分类正确否对进行校正对进行校正对所有训练样本都能正确分类对所有训练样本都能正确分类？ENDYesYesYesNoNo一、感知器算法一、感知器算法算法步骤：算法步骤： 增广的训练样本集增广的训练样本集 每个类别已知，每个类别已知，（1 1）令步数）令步数k=1,k=1,增量增量

16、 为正的常数，为正的常数， 的各分量为较小的任意值的各分量为较小的任意值（2 2）输入训练模式）输入训练模式 ，计算判别函数值，计算判别函数值（3 3）调整增广权矢量，规则：）调整增广权矢量，规则： （a a）如果）如果 （b b）如果）如果 （c c）如果）如果（4 4）如果）如果kNkN，令，令k=k+1k=k+1，GOTO GOTO （2 2） 如果如果k=Nk=N，则检验，则检验 对所有训练样本是否都正确分类，是则结束，对所有训练样本是否都正确分类，是则结束，否则，令否则，令k=1k=1，GOTOGOTO（2 2） ,21Nxxx21或) 1 (wkxkxkw)(kkkxkwkwxkw

17、x)() 1(, 0)(1则和kkkxkwkwxkwx)() 1(, 0)(2则和)() 1(, 0)(0)(21kwkwxkwxxkwxkkkk则和或和kxkw)(*w一、感知器算法一、感知器算法感知器算法在多类问题中的运行步骤：感知器算法在多类问题中的运行步骤： 增广的训练样本集增广的训练样本集 每个类别已知，每个类别已知，（1 1）令步数）令步数k=1,k=1,增量增量 为正的常数，为正的常数，C C个权矢量赋任意初值个权矢量赋任意初值（2 2）输入符号未规范化的增广训练模式）输入符号未规范化的增广训练模式 ，计算，计算C C个判别函数值个判别函数值（3 3）调整增广权矢量，规则：）调整

18、增广权矢量，规则： （a a）如果）如果 （b b）如果）如果 （4 4）如果）如果kNkN，令，令k=k+1k=k+1，GOTO GOTO （2 2） 如果如果k=Nk=N，则检验，则检验 对所有训练样本是否都正确分对所有训练样本是否都正确分类，是则结束，否则，令类，是则结束，否则，令k=1k=1，GOTOGOTO（2 2） ,21Nxxxi), 2 , 1(),1 (ciwikxkiixkwkd)()()2 , 1(),() 1(),(),()(cikwkwijxdxdxiikjkiik则和),(),() 1()() 1()() 1()(),()(lijkwkwxkwkwxkwkwilxd

19、xdxjjkllkiikiklik则和), 2 , 1( ,)(cixkwki感知器算法感知器算法(批量调整版本批量调整版本)1.begin initialize , , k02. do kk+13. 4. until 5.return a6.end 0a 1kkkkyaayY kkyyY例例有两类模式的训练样本：1： (0,0), (0,1) 2： (1,0), (1,1) 用感知器算法求取判别函数，将两类样本分开。解：解：(1)(1)训练样本分量增广化及符号规范化：训练样本分量增广化及符号规范化： (2) (2) 给增广权矢量赋任意初值给增广权矢量赋任意初值 ，取增量，取增量 =1=1，,

20、 ) 1, 1, 1(, ) 1, 0 , 1(, ) 1 , 1 , 0(, ) 1 , 0 , 0(4321xxxx) 1 , 1 , 1 () 1 (w) 1 ()2(,01)()(,11wwxkwxdxxkkkk)2()3(,02)()(,22wwxkwxdxxkkkk)0 , 1 , 0()3()4(,02)()(,333xwwxkwxdxxkkkk) 1, 0 , 1()4()5(,01)()(,444xwwxkwxdxxkkkk)0 , 0 , 1()5()6(,01)()(,511xwwxkwxdxxkkkk) 1 , 1 , 1()6()7( ,0)()(,622xwwxkw

21、xdxxkkkk)0 , 1 , 2()7()8(,0)()(,733xwwxkwxdxxkkkk)8()9(,01)()(,84wwxkwxdxxkkkk) 1 , 1 , 2()9()10(,0)()(,911xwwxkwxdxxkkkk)10()11(,02)()(,102wwxkwxdxxkkkk)11()12(,01)()(,113wwxkwxdxxkkkk)0 , 0 , 3()12()13(,0)()(,1244xwwxkwxdxxkkkk) 1 , 0 , 3()13()14(,0)()(,1311xwwxkwxdxxkkkk)14()15(,01)()(,142wwxkwxd

22、xxkkkk)15()16(,02)()(,153wwxkwxdxxkkkk)16()17( ,02)()(,164wwxkwxdxxkkkk)17()18( ,01)()(,171wwxkwxdxxkkkk) 1 , 0 , 3(w0131 x57例题例题:已知训练样本已知训练样本(0,0)T1，(1,1)T2 ，(-1,1)T3, 试求解向量试求解向量w1、w2和和w3。 （2 2）运用感知器训练算法。置）运用感知器训练算法。置k=1k=1，增量，增量 =1=1，赋初，赋初值：值：w1 1=(0,0,0)=(0,0,0)T T, , w2 2=(0,0,0)=(0,0,0)T T, , w

23、3 3=(0,0,0)=(0,0,0)T T, ,进行迭代运算：进行迭代运算：解解:（1 1）训练样本分量增广化。将训练样本变成增广训）训练样本分量增广化。将训练样本变成增广训练模式：练模式：x1 1=(0,0,1)=(0,0,1)T T, , x2 2=(1,1,1)=(1,1,1)T T, , x3 3=(-1,1,1)=(-1,1,1)T T, , 这里的下标恰是所属类别，各类样本不需符号规这里的下标恰是所属类别，各类样本不需符号规范化。范化。58例题例题:已知训练样本已知训练样本(0,0)T1，(1,1)T2 ，(-1,1)T3, 试求解向量试求解向量w1、w2和和w3。 k=1,k=

24、1,xk k= =x1 11 1, ,因为因为d d1 1( (x1 1)=d)=d2 2( (x1 1)=0)=0，d d1 1( (x1 1)=d)=d3 3( (x1 1)=0)=0，错错分，所以分，所以: : w1 1(2)=(2)=w1 1(1)+ (1)+ x1 1=(0,0,1)=(0,0,1)T T w2 2(2)=(2)=w2 2(1)- (1)- x1 1=(0,0,-1)=(0,0,-1)T T w3 3(2)=(2)=w3 3(1)- (1)- x1 1=(0,0,-1)=(0,0,-1)T Tk=2,xk=2,xk k=x=x2 22 2, ,因为因为d d2 2(x

25、(x2 2)=-1d)=-1d1 1(x(x2 2)=1)=1，d d2 2(x(x2 2)=d)=d3 3(x(x2 2)=-1)=-1，错分，错分，所以所以 w w1 1(3)=w(3)=w1 1(2)- x(2)- x2 2=(-1,-1, 0)=(-1,-1, 0)T T w w2 2(3)=w(3)=w2 2(2)+ x(2)+ x2 2=( 1, 1, 0)=( 1, 1, 0)T T w w3 3(3)=w(3)=w3 3(2)- x(2)- x2 2=(-1,-1,-2)=(-1,-1,-2)T T59例题例题:已知训练样本已知训练样本(0,0)T1，(1,1)T2 ，(-1,

26、1)T3, 试求解向量试求解向量w1、w2和和w3。 k=3,xk=3,xk k=x=x3 33 3, ,因为因为d d3 3(x(x3 3)=-2d)=-2d)=0d1 1(x(x2 2)=-2)=-2，d d2 2(x(x2 2)=0d)=0d3 3(x(x2 2)=-4)=-4，正确，正确，所以所以 w w1 1(6)=w(6)=w1 1(5)=( 0,-2, 0)(5)=( 0,-2, 0)T T w w2 2(6)=w(6)=w2 2(5)=( 2, 0,-2)(5)=( 2, 0,-2)T T w w3 3(6)=w(6)=w3 3(5)=(-2, 0,-2)(5)=(-2, 0,

27、-2)T Tk=6,xk=6,xk k=x=x3 33 3, ,因为因为d d3 3(x(x3 3)=0d)=0d1 1(x(x3 3)=-2)=-2，d d3 3(x(x3 3)=0d)=0d2 2(x(x3 3)=-4)=-4，正确，正确，所以所以 w w1 1(7)=w(7)=w1 1(6)=( 0,-2, 0)(6)=( 0,-2, 0)T T w w2 2(7)=w(7)=w2 2(6)=( 2, 0,-2)(6)=( 2, 0,-2)T T w w3 3(7)=w(7)=w3 3(6)=(-2, 0,-2)(6)=(-2, 0,-2)T T61例题例题:已知训练样本已知训练样本(0

28、,0)T1，(1,1)T2 ，(-1,1)T3, 试求解向量试求解向量w1、w2和和w3。 k=7,xk=7,xk k=x=x1 11 1, ,因为因为d d1 1(x(x1 1)=0d)=0d2 2(x(x1 1)=-2)=-2，d d1 1(x(x1 1)=0d)=0d3 3(x(x1 1)=-2)=-2，正确，正确，三个权矢量不再变化，因此可以确定所有训练样本均已三个权矢量不再变化，因此可以确定所有训练样本均已被正确分类，被正确分类，由此得到三个解矢量：由此得到三个解矢量：w1 1* *= =w1 1(5)(5)，w2 2* *= =w2 2(5)(5)，w3 3* *= =w3 3(5

29、) (5) 同时可得三个判别函数同时可得三个判别函数: :d d1 1( (x) = -2) = -2x x2 2d d2 2( (x) = 2) = 2x x1 1-2-2d d3 3( (x) = -2) = -2x x1 1-2-2二次准则函数及其解法二次准则函数及其解法 问题：问题： 一次准则函数及其算法（如感知器算法）一次准则函数及其算法（如感知器算法）只适用于线性可分的情况，如果是线性不可分只适用于线性可分的情况，如果是线性不可分的，分类过程将不收敛的，分类过程将不收敛? ? 能否找到一种算法，使之能够测试出模能否找到一种算法，使之能够测试出模式样本集是否线性可分，并且对线性不可分

30、式样本集是否线性可分，并且对线性不可分的情况也能给出的情况也能给出“次最优次最优”的解？的解？ 如果训练模式是线性不可分如果训练模式是线性不可分不等式组是不等式组是不一致不一致的，不等的，不等式组没解。此时，式组没解。此时，目标目标最少的训练模式被错分。最少的训练模式被错分。（一）最小错分模式数目准则（一）最小错分模式数目准则 对线性不可分样本集，求一解矢量使得错分的模式数目最少。对线性不可分样本集，求一解矢量使得错分的模式数目最少。 对于两类问题，设对于两类问题，设n+1n+1维增广训练模式维增广训练模式已符号规范化已符号规范化。12,Nx xx 如果训练模式是线性可分的，则存在权矢量如果训

31、练模式是线性可分的，则存在权矢量 使不等式组使不等式组w0iw x (1,2,)iN成立。成立。式中式中 是是 矩阵。矩阵。 将上面的不等式组写成矩阵方程形式，并引入将上面的不等式组写成矩阵方程形式，并引入N 维余量矢量维余量矢量 ，于是不等式方程组变为，于是不等式方程组变为b0XwbX(1)Nn121211121(1)21222(1)12(1)(1)(,)NNnnNNN nNnxxXx xxxxxxxxxxxx （二）最小方差准则及（二）最小方差准则及W-HW-H算法算法 针对方程组针对方程组 , ,构造方差准则函数构造方差准则函数 对于对于 , ,此时的此时的 , ,而对于而对于 , ,此

32、时的此时的 。如果方程组有唯一解。如果方程组有唯一解, ,说说明训练模式集是线性可分的明训练模式集是线性可分的, ,如果方程组无解如果方程组无解, ,极小点值是极小点值是最小二乘解。一般情况下使最小二乘解。一般情况下使 极小等价于误分模式数目最极小等价于误分模式数目最少少。Xwb( )() ()J wXwbXwb21()minNiiiw xb (1,2,)iiw xbiN min ( )0JJ wiiw xb ( )0J w J 伪逆法伪逆法 求求 对对 的梯度并令其为零，有的梯度并令其为零，有 可得可得 (3-6-12)(3-6-12) 当当( (X X X X) )-1-1存在时，存在时，

33、 X X + +=(=(X X X X) )-1-1X X 称为称为X X的伪逆的伪逆( (也称广义逆或也称广义逆或M-PM-P逆逆) )， 称为称为 的伪逆解。的伪逆解。X X X X是是( (n n+1)+1)( (n n+1)+1)矩阵，一般是非奇异的。矩阵，一般是非奇异的。当当( (X X X X) )-1-1不存在时，可用广义逆法解不存在时，可用广义逆法解 这里这里( (X X X X) )+ +为为X X X X的广义逆矩阵。的广义逆矩阵。( )J w( )2()0J wXXwbwwX XwX b1()wX XX bX bwX b()wX XX b求解最佳权矢量的方法：求解最佳权矢

34、量的方法： 梯度法梯度法( )J w( )2()J wXXwb(0)w(1)( )( )kw kw kXXw kb由前述知，由前述知， 的梯度为的梯度为梯度下降算法迭代公式为梯度下降算法迭代公式为Step1. Step1. 任取任取Step2.Step2.(3-6-13)可以证明，当可以证明，当 为任意正的常数，为任意正的常数，则该算法使权矢量序列则该算法使权矢量序列 收敛于收敛于 ; ; 满足满足 ， 也称为也称为MSEMSE解。解。( )w kw()0J ww11/ , kk 此算法的两个性质此算法的两个性质: :1.1.当当 时时,MSE,MSE解解 等价于等价于FisherFisher

35、解。解。2.2.令令 , ,在样本数在样本数 时时,MSE,MSE解以最小解以最小均方误差逼近贝叶斯判决函数均方误差逼近贝叶斯判决函数Step1. Step1. 任取任取Step2.Step2.此算法通常称为此算法通常称为W WH(WidrowH(WidrowHoff)Hoff)算法算法仿前采用单样本修正法，则式仿前采用单样本修正法，则式(3-6-13)(3-6-13)可以修改为可以修改为1()()NkkkkXXwbw xb x (0)w(1)( )( )kkkkw kw kbw k xx1211122()NNN NNNNbN NNNN 个个w(1,1,1)bN 12( )()()BdxPxP

36、x为了减少计算量和存储量，由于为了减少计算量和存储量，由于(3-6-14)69H-KH-K算法算法求解最佳权矢量的方法求解最佳权矢量的方法(1)( )( )( )( )bb kb kJb kk H-KH-K算法的迭代公式为：算法的迭代公式为：)(2)(bwXJb0其中其中7071H-K算法步骤;21, 1, 0) 1 (kbStep2.Step2.置初值置初值)(1XXXXStep1.Step1.将训练样本符号规范化，得将训练样本符号规范化，得X X求伪逆求伪逆)()()()()(kbkwXkekbXkwStep3.Step3.计算计算72H-K算法步骤Step6. Step6. k=k+1;

37、 goto Step3; goto Step3;Step5.Step5.);)()()() 1(kekekbkb)()()() 1(kekeXkwkw)()(keXkw73742022-4-2675广义线性判决函数2022-4-26762022-4-26772022-4-2678x21,xbxaifxbxoraxif212, 0)(, 0)(,)()()(xxdbxaifxxdbxoraxifabxbaxbxaxxd令YwYdabbawYxabybayYdyyYxyxy)(),(, 1 (,)()()1 ,(2121221成为线性可分由一维变换到二维令ix的单值实函数是式中则分类界面是线性的中

38、是线性可分的在特征空间使选取适当的函数单值实函数是其中xdixfyxfxfxfyyyywwwwydywwywywywwxfwxfwxfwxdYxfxfxfydixfxxfyyyyyxxxxndYXiiddddddddddjdjjjiiidndn), 2 , 1)()1),(),(),()1 ,(),()()()()()(,)(),(),(), 2 , 1(),(,)(:),(,),(,:T21211211221112211212121nXx2)3(:12)3(12) 1(:)(:2) 1(! 2)!2(!:)(,)()(:)(21111112 nnnnnnnnxdnnnnnCnydxfywxw

39、xxwxwxdxdniinininijniniijiijiii为变换后的特征空间维数去掉常数项的总项数为上式第三项的项数为上式第二项的项数为上式第一项的项数为为线性函数可使为二次或一次式取为二次多项式时当82)()()0(10 xdwxdniniixwxd11)(211122112)(iininiiiixxwxdrrrriiiniiii ininiirxxxwxd211211121)(rrnC11nC21nC183(0)1( )ndxw( )(1)( )( )( )rrrdxdxdx)()(xdr的项数为：的项数为： !)!(rnrn111rkkknC84 的维数的维数 y1!)!(rnrnd

40、nsnssixxxxf2121)(rsssn21令令其中其中)()(),()()(),(.3 , 2 , 1),() 3(0),()2(),(),(),() 1 (:,),(.0,xKxdxdxKxKxxxKkxxxxxKxxKxxxxKxxxxKxxKxxxxKkkkkkkkkkkkkjiji即：可取为判决函数能够把样本正确分类，如果。为积累电位势函数，表示产生的电位总合被称为在任一点）的电位势（所有样本点数之间距离的单调下降函与是光滑函数，且是时，的距离趋于与达最大时，当且仅当它满足之间的电位势函数表示令作为区分界面的等位点的轨迹就可以电位为洼地电位势能的的样本聚集的区域形成在高地电位势能

41、的的样本聚集的区域形成这样在距离越远负电位越低该点的负电位最大的样本点为另一能源属于距离越远正电位越低该点的正电位最大的样本点为能源假定属于控制势函数的衰减速度为正常数如并可以展开成无穷级数的对称函数和选择双变量类电位势函数第系的定义域里是正交函数在式中即对称的有限多项式展开类电位势函数第,|sin|),(|11),(|exp),(:,:2, 2 , 1),()()(),(:,:122221kkkkkkkimikiikxxxxxxKxxxxKxxxxKxxxixxxxxK),()()(:, 0)(,),()()(:, 0)(,)()(, 0)(, 0)(,:),(2,2) 3(),(),()(

42、1,)2(0)(, 0,) 1 ()(,2122122212211212221222112212221111111021xxKxKxKxKxxxKxKxKxKxxKxKxxKxxKxxKxkxxxxKxxxKxKkxxKkxKxxxXkn则且若则且若被正确分类则且或者且若修正规则如下点的积累电位势计算个样本输入第输入第一个样本置将特征空间的各点电位即在输出样本前初始化函数个样本后的积累电位势表示输入令且已知样本类别输入训练样本集训练过程及修正规则而不是求权矢量接提供判别函数势函数的突出特点是直判别函数否则所有样本都能正确分类若且且且且修正规则如下输入,),()()(:) 3(,0)(,10)(,10)(,00)(,0)