FISHER线性判别MATLAB实现

1、Fishe嚷性判别上机实验报告班级：学号：姓名：Fisher线性判别分析的基本思想：选择一个投影方向(线性变换，线性组合)， 将高维问题降低到一维问题来解决，同时变换后的一维数据满足每一类内部的样本 尽可能聚集在一起，不同类的样本相隔尽可能地远。Fisher线性判别分析，就是通过给定的训练数据，确定投影方向 M口阈值w0, 即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测 试数据的类别。线性判别函数的一般形式可表示成g (X) =WTX +w°其中<WdFisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影

2、尽可能密集的要求。如下为具体步骤：(1) W的确定mi x, i =1,2各类样本均值向量miNixXi样本类内离散度矩阵Si和总类内离散度矩阵SwS 二(x mj(x mi)T, i1,2样本类间离散度矩阵SbG =(m 现)(m m2)T在投影后的一维空间中，各类样本均值mi'= W Tmi样本类内离散度和总类内离散度Si' = wtS w Sw' = wTSwW样本类间离散度Sb' = WTSbWFisher准则函数为maxjF (W)= "一吗Si &(2)阈值的确定W。是个常数，称为阈值权，对于两类问题的线性分类器可以采用下属决策规则

3、：g(x) =g1(x) -g2(x)令贝U：如果g(x)>0,则决策内W ；如果g(x)<0,则决策内W2;如果g(x)=0,则可将x 任意分到某一类，或拒绝。(3) Fisher线性判别的决策规则Fisher准则函数满足两个性质：1 .投影后，各类样本内部尽可能密集，即总类内离散度越小越好。2 .投影后，各类样本尽可能离得远，即样本类间离散度越大越好。根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W w = §-1向-mJ。这就是Fisher判别准则下的最优投影方向。最后得到决策规则g(x)=w(x-：(m+m2)大于或小于 10gpWxw，则 lW2对于

4、某一个未知类别的样本向量x,如果y=W x>y0,则xGwl；否则xGw2。二数据描述1.1 ris 数据IRIS数据集以莺尾花的特征作为数据来源，数据集包含150个数据集，有4 维，分为 3 类，每类 50 个数据，每个数据包含4 个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集。1 .sonar 数据Sonar数据集包含208个数据集，有60维，分为2类，第一类为98个数据，第二类为 110 个数据，每个数据包含60 个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集。三实验结果以及源代码1.Iris( 1)代码：clccleardata=xlsread( 'I

5、ris' );Iris1=data(1:50,1:4);Iris2=data(51:100,1:4);Iris3=data(101:150,1:4);%类均值向量m1 = mean(Iris1);m2 = mean(Iris2);m3 = mean(Iris3);%各类内离散度矩阵51 = zeros(4);52 = zeros(4);53 = zeros(4);for i=1:1:30s1 = s1 + (Iris1(i,:) - m1)'*(Iris1(i,:) - m1);endfor i=1:1:30s2 = s2 + (Iris2(i,:) - m2)'*(I

6、ris2(i,:) - m2);endfor i=1:1:30s3 = s3 + (Iris3(i,:) - m3)'*(Iris3(i,:) - m3);end%总类内离散矩阵sw12 = s1 + s2;sw13 = s1 + s3;sw23 = s2 + s3;%投影方向w12 = (sw12A-1)*(m1 - m2)')'w13 = (sw13A-1)*(m1 - m3)')'；w23 = (sw23A-1)*(m2 - m3)')'%判别函数以及阈值T (即 w0 )T12 = -0.5 * (m1 + m2)*inv(sw1

7、2)*(m1 - m2)'T13 = -0.5 * (m1 + m3)*inv(sw13)*(m1 - m3)'T23 = -0.5 * (m2 + m3)*inv(sw23)*(m2 - m3)'kind1 = 0;kind2 = 0;kind3 = 0;newiris1=;newiris2=;newiris3=;for i=31:50x = Iris1(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if (g12 > 0)&(g13 >

8、; 0)newiris1=newiris1;x;kind1=kind1+1;elseif (g12 < 0)&(g23 > 0) newiris2=newiris2;x;elseif (g13 < 0)&(g23 < 0) newiris3=newiris3;x;endendfor i=31:50x = Iris2(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if (g12 > 0)&(g13 > 0)newiris1=

9、newiris1;x;elseif (g12 < 0)&(g23 > 0)kind2=kind2+1;newiris2=newiris2;x;elseif (g13 < 0)&(g23 < 0)newiris3=newiris3;x;endendfor i=31:50x = Iris3(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if (g12 > 0)&(g13 > 0)newiris1=newiris1;x;else

10、if (g12 < 0)&(g23 > 0)newiris2=newiris2;x;elseif (g13 < 0)&(g23 < 0)kind3=kind3+1;newiris3=newiris3;x;endendcorrect=(kind1+kind2+kind3)/60;fprintf( 'n 综合正确率： %.2f%nn' ,correct* 100);( 2)实验结果：综合正确率=96.67%2.Sonar( 1)代码：clccleardata=xlsread( 'sonar' );Sonar1=data(1:9

11、8,1:60);Sonar2=data(99:208,1:60);%类均值向量m1 = mean(Sonar1);m2 = mean(Sonar2);%各类内离散度矩阵s1 = zeros(60);s2 = zeros(60);for i=1:1:70s1 = s1 + (Sonar1(i,:) - m1)'*(Sonar1(i,:) - m1);endfor i=1:1:80s2 = s2 + (Sonar2(i,:) - m2)'*(Sonar2(i,:) - m2);end%总类内离散矩阵sw12 = s1 + s2;%投影方向w12 = (sw12A-1)*(m1 - m2)')'%判别函数以及阈值T (即w0 )T12 = -0.5 * (m1 + m2)*inv(sw12)*(m1 - m2)'kind1 =0;kind2 =0;newsonar1=;newsonar2=;for i=71:98x = Sonar1(i,:);g12 = w12 * x' + T12;if g12 > 0newsonar1=newsonar1;x;kind1=kind1+1;elsenewsonar2=newsonar2;x;endendfor i=81:110x = Sonar2(i,:);g12 = w12 * x&