基于Fisher准则的线性分类器设计.doc

模式识别实验 基于Fisher准则的线性分类器设计一、 实验目的：1. 进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识； 2. 理解Fisher准则方法确定最佳线性分界面方法的原理，以及拉格朗日乘子求解的原理。 二、 实验条件：1. PC微机一台和MATLAB软件。三、 实验原理：设有一个集合包含N个d维样本，其中个属于类，个属于类。线性判别函数的一般形式可表示成,其中。根据Fisher选择投影方向的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向的函数为： 其中： 为类中的第个样本为类内离散度，定义为：为类间离散度，定义为：上面的公式是使用Fisher准则求最佳法线向量的解，我们称这种形式的运算为线性变换，其中是一个向量，是的逆矩阵，如是维，和都是维，得到的也是一个维的向量。向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将维空间投影到一维空间的最佳投影方向，该向量的各分量值是对原维特征向量求加权和的权值。以上讨论了线性判别函数加权向量的确定方法，并讨论了使Fisher准则函数极大的维向量的计算方法，但是判别函数中的另一项尚未确定，一般可采用以下几种方法确定如或者或当与已知时可用当确定之后，则可按以下规则分类， 四、 实验内容：（以下例为模板，自己输入实验数据）已知有两类数据和二者的概率已知=0.6，=0.4。中数据点的坐标对应一一如下： =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.51520.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548数据点的对应的三维坐标为: =1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：根据所得结果判断（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别，并画出数据分类相应的结果图，要求画出其在W上的投影。五、 实验程序及结果：程序清单：x1=0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.51520.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;y1=2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;z1=0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548;x2=1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414;y2=1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;z2=0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458;m11=sum(mean(x1)/6;m12=sum(mean(y1)/6;m13=sum(mean(z1)/6;m21=sum(mean(x2)/6;m22=sum(mean(y2)/6;m23=sum(mean(z2)/6;m1=m11 m12 m13 ;m2=m21 m22 m23 ;b=zeros(3,3);for i=1:6 for j=1:6 a= x1(i,j) y1(i,j) z1(i,j) ;b=b+(a-m1)*(a-m1); endendfor i=1:6 for j=1:6 a= x2(i,j) y2(i,j) z2(i,j) ;b=b+(a-m2)*(a-m2); endend wx=zeros(3,3);wx=inv(b)*(m1-m2);w0=wx*(m1+m2)/2;s1=1 1.5 0.6;s2=1.2 1.0 0.55;s3=2.0 0.9 0.68;s4=1.2 1.5 0.89;s5=0.23 2.33 1.43;s=s1 s2 s3 s4 s5;for i=1:5 s(:,i) if wx*s(:,i)w0 disp(属于第一类) plot3(s(1,i),s(2,i),s(3,i),b.) , grid on hold on else disp(属于第二类) plot3(s(1,i),s(2,i),s(3,i),rx),grid on hold on end end hold on t1=0:.1:2;t2=0:.1:2.5;x,y=meshgrid(t1,t2);z=(x*(-0.0798)+y*(0.2055)-0.1748)/0.0478; %决策面mesh(