孙杨威12281201模式识别第5次实验报告.doc

实 验 报 告学生姓名： 孙杨威 学 号：12281201 实验地点：九教北401综合实验室 实验时间：2014.10.30一、 实验名称： 线性分类器设计二、 实验原理：1.感知器准则算法实验：感知器的原理结构为：感知器”是借于上世纪五六十年代人们对一种分类学习机模型的称呼，源于对生物智能的仿生学领域。定义感知准则函数：只考虑错分样本，于是定义： ，其中X0为错分样本当分类发生错误时就有WTX 0, 所以J(W) 总是正值，错误分类愈少， J(W)就愈小。理想情况为 ，即求最小值的问题。求最小值，对W求梯度代入迭代公式中Wk+1 = Wk-kJ 由J(W)经第K+1次迭代时，J(W)趋于0，收敛于所求的W值。2基于Fisher准则线性分类器设计：Fisher准则函数：Fisher准则函数下的最优投影方向：向量 就是使Fisher准则函数 达极大值的解，也就是按Fisher准则将2维X空间投影到一维Y空间的最佳投影方向，该向量 的各分量值是对原2维特征向量求加权和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的2维向量 的计算方法，但是判别函数中的另一项 尚未确定，一般可采用下式确定：当W0确定之后，则可按以下规则分类三、 实验内容：实验一：实验所用样本数据如表1给出（其中每个样本空间（数据）为两维，x 1表示第一维的值、x 2表示第二维的值），编制程序实现1、 2类 2、 3类的分类。分析分类器算法的性能。具体要求：1、复习感知器算法； 2、写出实现批处理感知器算法的程序1）从a=0开始，将你的程序应用在1和2的训练数据上。记下收敛的步数。2）将你的程序应用在2和3类上，同样记下收敛的步数。实验二：已知有两类数据 和 。 中数据点的坐标对应如下：四、 实验步骤：1.把数据作为样本，根据Fisher选择投影方向 的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向 的函数，并在图形表示出来，并求 使 取极大值的 。用matlab完成Fisher线性分类器的设计，程序的语句要求有注释。2.根据上述的结果并判断( 1，1.5，0.6 )，(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)， ( 0.23，2.33，1.43 ) ，属于哪个类别，并画出数据分类相应的结果图，画出其在 上的投影五、 实验代码及分析：实验一：Perceptron.m文件输入以下代码：clear all;clc;%original data%产生第一类、第二类和第三类原始数据，分别赋给w1、w2 和w3 变量w1=0.1 6.8 -3.5 2.0 4.1 3.1 -0.8 0.9 5.0 3.9;1.1 7.1 -4.1 2.7 2.8 5.0 -1.3 1.2 6.4 4.0;w2=7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 8.4 4.1;4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -6.1 3.7 -2.2;w3=-3.0 0.5 2.9 -0.1 -4.0 -1.3 -3.4 -4.1 -5.1 1.9;-2.9 8.7 2.1 5.2 2.2 3.7 6.2 3.4 1.6 5.1;%normalized%分别产生第一类、第二类和第三类增广样本向量集ww1、ww2 和ww3ww1=ones(1,size(w1,2); w1;ww2=ones(1,size(w2,2); w2;ww3=ones(1,size(w3,2); w3;%产生第一类和第二类样本向量的规范化增广样本向量集w12w12=ww1,-ww2;%4-42%w13=ww1,-ww3;%w23=ww2,-ww3;y=zeros(1,size(w12,2); %产生1x20 的行向量，赋给y，初值全为0v=1;1;1; %给权向量v 赋初值k=0; %k 为迭代次数，v(0)= 1;1;1while any(y=0)for i=1:size(y,2)y(i)=v*w12(:,i);endv=v+(sum(w12(:,find(y=0);k=k+1;endv %显示最终求得的权向量v 的值k %迭代次数值figure(1)plot(w1(1,:),w1(2,:),r.)hold onplot(w2(1,:),w2(2,:),b*)xmin=min(min(w1(1,:),min(w2(1,:);xmax=max(max(w1(1,:),max(w2(1,:);ymin=min(min(w1(2,:),min(w2(2,:);ymax=max(max(w1(2,:),max(w2(2,:);xindex=xmin-1:(xmax-xmin)/100:xmax+1;yindex=-v(2)*xindex/v(3)-v(1)/v(3); %由v*xindex=0推，参考书上（4-44）plot(xindex,yindex) %从v=0 开始，将程序应用在2 和3 类上，同样记下收敛的步数。w23=ww2,-ww3;yy=zeros(1,size(w23,2); %产生1x20 的行向量，赋给y，初值全为0vv=1;1;1; %给权向量v 赋初值kk=0; %k 为迭代次数，v(0)= 1;1;1while any(yy=0)for i=1:size(yy,2)yy(i)=vv*w23(:,i);endvv=vv+(sum(w23(:,find(yy0 h3=plot3(A(1,k),A(2,k),A(3,k),ro); %点为ro对应第一类 h3=plot3(A11(1),A11(2),A11(3),ro); %投影为ro对应第一类 else h4=plot3(A(1,k),A(2,k),A(3,k),bh); %点为ch对应第二类 h4=plot3(A11(1),A11(2),A11(3),bh); %投影为ch对应第二类 endendlegend(h1,h2,h3,h4,第一类样本点,第二类样本点,属于第一类的点,属于第二类的点);%画出最佳方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,k); view(-37.5,30); %设置视点的函数view(方位角,仰角)axis(-2,3,-1,3,-0.5,1.5); %设置坐标轴可见范围grid onhold off六、 实验结果及分析：实验一：感知器训练算法得到1 、2 的分类线感知器训练算法得到2 、3 的分类线实验表明：1 、2收敛的步数是28步，2 、3 收敛的步数是23步。感知器训练算法是针对线性可分的，对于不可分的一组数据，感知器算法算不出结果来。实验二：下图中，红色的*是给出的第一类样本点，绿色的五角星是第二类样本点。下方的实直线是最佳投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点，六角星是被分为第二类的样本点。使取极大值的W=（-0.0798， 0.2005，-0.0478）实验表明：的比例因子对于Fisher判别函数没有影响的原因：在本实验中，最重要的是W的方向，或者说是在此方向上数据的投影，所以W的比例因子，即它是单位向量的多少倍长就没那么重要了，不管比例因子大小是多少，在最后求投影时都会被消掉。七、 总结及心得体会：通过本次试验，我进一步