基于-Fisher准则线性分类器设计

1、基于 Fisher 准则线性分类器设计专 业：电子信息工程学生：子龙学 号： 201316040117-、实验类型设计型：线性分类器设计（FiSher准则）1、实验目的本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解FiSher准则方法确定最佳线性分界面方法的原理，以及Lagrande乘子求解的原理。三、实验条件matlab软件四、实验原理线性判别函数的一般形式可表示成g (X) WTX Wo其中X1WXd根据FiSher选择投影方向WdW的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类样本投影尽可能密集的要求，用以评价投影方向W

2、的函数为:JF(W)（币帀2）22 S2* 1WSW (m1 m2)上面的公式是使用 FiSher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中m1 m2式一个向量，SWI是SW的逆矩阵，如m m2 是d维，SW和SW都是d× d维，得到的 W 也是一个d维的向量。向量W*就是使FiSher准则函数JF(W)达极大值的解，也就是按FiSher准则将d维X 空间投影到一维 Y空间的最佳投影方向， 该向量W*的各分量值是对原 d维特征向量求加权 和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使 FiSher准则函数极大的d维向量W*

3、的计算方法，但是判别函数中的另一项Wo尚未确定，一般可采用以下几种方法确定Wo如或者WoWom1 m22NImINim mN2或当P( )1与p( )2已知时可用WoITi1m22ln p( 1)/ p( 2)N1 N2 2当W确定之后，则可按以下规则分类,WTXWTXw0XIWOX2使用FiSher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法 的时间比较早，仍见有人使用。五、实验容已知有两类数据 I和2二者的概率已知 p( )1=0.6， p( )2 =0.4。1中数据点的坐标对应一一如下:数据：x1 =0.23311.52070.64990.77571.05241.19

4、740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099x2 =2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.9

5、3292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604x3 =0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.975

6、10.78400.41581.03150.75330.95482 数据点的对应的三维坐标为 x1 =1.4010 1.2301 2.0814 1.1655 1.3740 1.18291.7632 1.9739 2.4152 2.5890 2.8472 1.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414x2 =1.02980.96110.91541.

7、49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288x3 =0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61

8、970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458数据的样本点分布如下图：图1 :样本点分布图六、实验要求1）请把数据作为样本，根据FiSher选择投影方向 W的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类样本投影尽可能密集的要求， 求出评价投影方向 W的函数，并在图形表示出来。并在实验报告中表示出 来，并求使JF（W）取极大值的W。用matlab完成FiSher线性分类器的设 计，程序的语句要求

9、有注释。2）根据上述的结果并判断（1, 1.5，0.6）（1.2，1.0，0.55），（2.0，0.9，0.68），（1.2，1.5，0.89），（0.23，2.33，1.43），属于哪个类别，并画出数据分类 相应的结果图，要求画出其在W上的投影。3）回答如下问题，分析一下W的比例因子对于FiSher判别函数没有影响的原因。七、实验结果1、源代码x1=0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650

10、-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099'y1=2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38

11、012.23732.16141.92352.2604'z1=0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41580.9548'%存储第一类点x2=1.40101.23012.08141.16551.37401.18291.76321.973

12、92.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414'y2=1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.5

13、1500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288'z2=0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37291.03150.75330.7731 0.7319 1.3439 0.8142 0.9586 0.73790.

14、86511.36990.7548 0.7393 0.67391.1458'%存储第二类点Pw1=0.6Pw2=0.4 %求第一类点的均值向量 m1 m1x=mean(x1(:)%全部平均m1y=mean(y1(:)%全部平均m1z=mean(z1(:)%全部平均m1=m1xm1ym1z %求第二类点的均值向量 m2 m2x=mean(x2(:)%全部平均m2y=mean(y2(:)%全部平均m2z=mean(z2(:)%全部平均m2=m2xm2ym2z%求第一类类离散矩阵 S1S1=zeros(3,3) for i=1:36S1=S1+(x1(i),y1(i),z1(i)'-m

15、1)*(x1(i),y1(i),z1(i)'-m1)' end%求第二类类离散矩阵 S2S2=zeros(3,3) for i=1:36S2=S2+(x2(i),y2(i),z2(i)'-m2)*(x2(i),y2(i),z2(i)'-m2)' end%求总类离散度矩阵 SwSw=S1+S2%求向量 W*W=(inv(Sw)*(m1-m2) %画出决策面 x=0:.1:2.5 y=0:.1:3X,Y=meshgrid(x,y) Z=(W(1)*X+W(2)*Y)/(-W(3) mesh(X,Y,Z)%保持 hold on %透视决策面 hidden of

16、f %求第一类样品的投影值均值Y1=0 for i=1:36Y1=Y1+W'*x1(i),y1(i),z1(i)'endM1=Y1/36 %求第二类样品的投影值均值Y2=0 for i=1:36Y2=Y2+W'*x2(i),y2(i),z2(i)' endM2=Y2/36 %选取阈值 Y0Y0=(M1+M2)/2+(log(Pw1)/log(Pw2)/70 %判定未知样品类别X1=1,1.5,0.6'if W'*X1>Y0disp( ' 点 X1(1,1.5,0.6)属于第一类')plot3(1,0.5,0.6, '

17、or')elsedisp(' 点 X1(1,1.5,0.6)属于第二类')plot3(1,0.5,0.6, 'ob')endX2=1.2,1.0,0.55'if W'*X2>Y0disp(' 点 X2(1.2,1.0,0.55)属于第一类')plot3(1.2,1.0,0.55,'or')elsedisp(' 点 X2(1.2,1.0,0.55)属于第二类')plot3(1.2,1.0,0.55,'ob')endX3=2.0,0.9,0.68'if W'

18、*X3>Y0disp(' 点 X3(2.0,0.9,0.68)属于第一类')plot3(2.0,0.9,0.68,'or')elsedisp(' 点 X3(2.0,0.9,0.68)属于第二类')plot3(2.0,0.9,0.68,'ob')endX4=1.2,1.5,0.89'if W'*X4>Y0disp(' 点 X4(1.2,1.5,0.89)属于第一类')plot3(1.2,1.5,0.89,'or')elsedisp(' 点 X4(1.2,1.5,0.

19、89)属于第二类')plot3(12,1.5,089, end'ob')X5=023,2.33,143'if W*X5>Y0disp( '点X5(0.23,2.33,1.43)属于第一类)plot3(0.23,2.33,1.43,'or')elsedisp( '点X5(0.23,2.33,1.43)属于第二类')plot3(0.23,2.33,1.43,'ob')end2、决策面图2 :决策面（红色代表第一类，蓝色代表第二类）5Jl3、参数决策面向量W =-0.07980.2005-0.0478阈值Y0 =0.1828 样本点分类 X1 =1.00001.50000.6000点 X1(1,1.5,0.6) 属于第一类X2 =1.20001.00000.5500点 X2(1.2,1.0,0.55) 属于第二类X3 =2.00000.90000.6800点 X3(2.0,0.9,0.68) 属于第二类X4 =1.20001.50000.8900点 X4(1.2,1.5,0.89) 属于第二类X5 =0.23002.33001.4300点 X5(0.23