基于Fisher准则线性分类器设计.doc

北京邮电大学实验报告题目:模式识别 班级： 专业： 姓名： 序号： 实验二、基于fisher准则线性分类器设计2.1实验类型：设计型：线性分类器设计（fisher准则）2.2实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解fisher准则方法确定最佳线性分界面方法的原理，以及lagrande乘子求解的原理。2.3实验条件：matlab软件，pc机2.4实验原理：线性判别函数的一般形式可表示成 其中 根据fisher选择投影方向w的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向w的函数为： 上面的公式是使用fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中式一个向量，是的逆矩阵，如是d维，和都是dd维，得到的也是一个d维的向量。向量就是使fisher准则函数达极大值的解，也就是按fisher准则将d维x空间投影到一维y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。以上讨论了线性判别函数加权向量w的确定方法，并讨论了使fisher准则函数极大的d维向量 的计算方法，但是判别函数中的另一项尚未确定，一般可采用以下几种方法确定如或者或当与已知时可用当w0确定之后，则可按以下规则分类，使用fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。2.5实验内容：已知有两类数据和二者的概率已知=0.6， =0.4。中数据点的坐标对应一一如下： 数据：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548数据点的对应的三维坐标为x2 = 1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：2.6实验要求：1) 请把数据作为样本，根据fisher选择投影方向的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向的函数，并在图形表示出来。并在实验报告中表示出来，并求使取极大值的。用matlab完成fisher线性分类器的设计，程序的语句要求有注释。2) 根据上述的结果并判断（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别，并画出数据分类相应的结果图，要求画出其在上的投影。3) 回答如下问题，分析一下的比例因子对于fisher判别函数没有影响的原因。2.7实验代码和实验结果分类器设计和分类结果x1=0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;y1=2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;z1=0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548;x2=1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.31482.0353 2.6030 1.2327 2.1465 1.5673 2.9414; y2=1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;z2=0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;%数据录入，整合为矩阵k=0;for i=1:6 for j=1:6 k=k+1; w1(:,k)=x1(i,j);y1(i,j);z1(i,j); w2(:,k)=x2(i,j);y2(i,j);z2(i,j); endend%计算均值向量m1和m2m1=mean(w1,2);m2=mean(w2,2);%计算离散度矩阵for i=1:36 s1=(w1(:,i)-m1)*(w1(:,i)-m1); s2=(w2(:,i)-m2)*(w2(:,i)-m2);endsw=s1+s2;%计算阀值w0w_new=transpose(inv(sw)*(m1-m2);m1_new=w_new*m1;m2_new=w_new*m2;pw1=0.6; pw2=0.4;e=exp(1);w0=(m1_new+m2_new)/2-log(pw1/pw2)/log(e)/(36+36-2);%分类判断x=1 1.2 2.0 1.2 0.23 1.5 1.0 0.9 1.5 2.33 0.6 0.55 0.68 0.89 1.43;m=0; n=0;result1=; result2=;for i=1:5 y(i)=w_new*x(:,i); if y(i)w0 m=m+1; result1(:,m)=x(:,i); else n=n+1; result2(:,n)=x(:,i); endend%结果显示 display(属于第一类的点)result1display(属于第二类的点)result2scatter3(w1(1,:),w1(2,:),w1(3,:),+r),hold onscatter3(w2(1,:),w2(2,:),w2(3,:),sg),hold onscatter3(result1(1,:),result1(2,:),result1(3,:),k),hold onscatter3(result2(1,:),result2(2,:),result2(3,:),bd)title(样本点及实验点的空间分布图)legend(样本点w1,样本点w2,属于第一类的实验点,属于第二类的实验点)实验结果分类结果如下：画出其在w上的投影x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099; x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604; x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548; %将x1、x2、x3变为行向量x1=x1(:); x2=x2(:); x3=x3(:); %计算第一类的样本均值向量m1 m1(1)=mean(x1); m1(2)=mean(x2); m1(3)=mean(x3); %计算第一类样本类内离散度矩阵s1 s1=zeros(3,3); for i=1:36 s1=s1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i); end %w2的数据点坐标 x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414; x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288; x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458; x4=x4(:); x5=x5(:); x6=x6(:); %计算第二类的样本均值向量m2 m2(1)=mean(x4); m2(2)=mean(x5); m2(3)=mean(x6); %计算第二类样本类内离散度矩阵s2 s2=zeros(3,3); for i=1:36 s2=s2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i); end %总类内离散度矩阵sw sw=zeros(3,3); sw=s1+s2; %样本类间离散度矩阵sb sb=zeros(3,3); sb=(m1-m2)*(m1-m2); %最优解w w=sw-1*(m1-m2); %将w变为单位向量以方便计算投影 w=w/sqrt(sum(w.2); %计算一维y空间中的各类样本均值m1及m2 for i=1:36 y(i)=w*x1(i) x2(i) x3(i); end m1=mean(y) for i=1:36 y(i)=w*x4(i) x5(i) x6(i); end m2=mean(y) %利用当p(w1)与p(w2)已知时的公式计算w0 p1=0.6;p2=0.4; w0=-(m1+m2)/2+(log(p2/p1)/(36+36-2); %计算将样本投影到最佳方向上以后的新坐标 x1=x1*w(1)+x2*w(2)+x3*w(3); x2=x4*w(1)+x5*w(2)+x6*w(3);%得到投影长度 xx1=w(1)*x1;w(2)*x1;w(3)*x1; xx2=w(1)*x2;w(2)*x2;w(3)*x2;%得到新坐标 %绘制样本点 figure(1) plot3(x1,x2,x3,r*) %第一类 hold on plot3(x4,x