模式识别实验报告

北京邮电大学实验报告题目:模式识别班级：27专业：信息工程姓名：吕则东序号：20目录TOC\o"1-5"\h\z\o"CurrentDocument"实验一、Bayes分类器设计3\o"CurrentDocument"1.1实验类型：3\o"CurrentDocument"1.2实验目的：3\o"CurrentDocument"1.3实验条件：3\o"CurrentDocument"1.4实验原理：3\o"CurrentDocument"1.5实验内容：4\o"CurrentDocument"1.6实验要求：4\o"CurrentDocument"1.7实验代码和结果5\o"CurrentDocument"最小错误率贝叶斯分类器设计6\o"CurrentDocument"实验程序：6\o"CurrentDocument"运行结果8\o"CurrentDocument"最小风险贝叶斯决策分类器设计8实验程序9\o"CurrentDocument"运行结果11\o"CurrentDocument"实验二、基于Fisher准则线性分类器设计13\o"CurrentDocument"2.1实验类型：13\o"CurrentDocument"2.2实验目的：13\o"CurrentDocument"2.3实验条件：13\o"CurrentDocument"2.4实验原理：13\o"CurrentDocument"2.5实验内容：14\o"CurrentDocument"2.6实验要求：172.7实验代码和实验结果18分类器设计和分类结果18\o"CurrentDocument"实验结果20实验分析：25\o"CurrentDocument"实验四、近邻法分类器设计26\o"CurrentDocument"实验类型：26\o"CurrentDocument"实验目的：26\o"CurrentDocument"实验条件：26\o"CurrentDocument"实验原理：26\o"CurrentDocument"实验内容27\o"CurrentDocument"实验要求：33\o"CurrentDocument"实验代码：35\o"CurrentDocument"实验结果：39\o"CurrentDocument"问题3回答：41\o"CurrentDocument"实验总结41实验一、Bayes分类器设计1.1实验类型：基础型：Bayes分类器设计1.2实验目的：本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。1.3实验条件：matlab软件1.4实验原理：最小风险贝叶斯决策可按下列步骤进行：在已知P®「，P(X|七)，i=1,...，C及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：P(XI®)P0)P0|X)=ii—j=1,…，X'uP(X®)P(®)iij=1利用计算出的后验概率及决策表，按下面的公式计算出采取气,i=1,…，a的条件风险R(a\X)=▼X(a,①)P(®X),i=1,2,…，aiijj'j=1对(2)中得到的a个条件风险值R(a|X),i=1,…，a进行比较，找出使其条件风险i'最小的决策匕，即则匕就是最小风险贝叶斯决策。1.5实验内容:假定某个局部区域细胞识别中正常（①1）和非正常（必2）两类先验概率分别为正常状态：P（®1）=0.9；异常状态：P（必2）=0.1。现有一系列待观察的细胞，其观察值为x:-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0.97800.79321.18823.0682-1.5799-1.4885-0.7431-0.4221-1.11864.2532已知先验概率是的曲线如下图:p（x131）p（xIW2）类条件概率分布正态分布分别为（-2,0.25）（2,4）试对观察的结果进行分类。1.6实验要求：1）用matlab完成分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2）根据例子画出后验概率的分布曲线以及分类的结果示意图。3）如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：**r状态决策ooa106a210请重新设计程序，画出相应的后验概率的分布曲线和分类结果并比较两个结果。1.7实验代码和结果

最小错误率贝叶斯分类器设计=J最小错误率贝叶斯分类器设计=J最x=[-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0.97800.79321.18823.0682-1.5799-1.4885-0.7431-0.4221-1.11864.2532]pw1=0.9;pw2=0.1e1=-2;a1=0.5e2=2;a2=2m=numel(x)%得到待测细胞个数pw1_x=zeros(1,m)%存放对w1的后验概率矩阵pw2_x=zeros(1,m)%存放对w2的后验概率矩阵results=zeros(1,m)%存放比较结果矩阵fori=1:m%计算在w1下的后验概率pw1_x(i)=(pw1*normpdf(x(i),e1,a1))/(pw1*normpdf(x(i),e1,a1)+pw2火normpdf(x(i),e2,a2))%计算在w2下的后验概率pw2_x(i)=(pw2火normpdf(x(i),e2,a2))/(pw1*normpdf(x(i),e1,a1)+pw2火normpdf(x(i),e2,a2))endfori=1:mifpw1_x(i)>pw2_x(i)比较两类后验概率result(i)=0正常细胞elseresult(i)=1异常细胞endenda=[-5:0.05:5]%取样本点以画图n=numel(a)pw1_plot=zeros(1,n)pw2_plot=zeros(1,n)forj=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))%计算每个样本点对w1的后验概率以画图pw2_plot(j)=(pw2*normpdf(a(j),e2,a2))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))endfigure(1)holdonplot(a,pw1_plot,'k-',a,pw2_plot,'r-.')fork=1:mifresult(k)==0plot(x(k),-0.1,'b*')正常细胞用*表示elseplot(x(k),-0.1,'rp')异常细胞用五角星表示end;end;legend('正常细胞后验概率曲线'，'异常细胞后验概率曲线'，'正常细胞'，'异常细胞')xlabel('样本细胞的观察值')ylabel('后验概率')title('后验概率分布曲线')gridonreturn;

运行结果后验概率分布曲线FileEditFileEditViewInsertToolsDesktopWindow旦elp惇瓯佥即回翌口回口口后验概率分布曲线111X111X土显虹业!于早平平TTT-T:■1111111虹mta-!T-T-J--IT-x:ii1111111111111:*:111111-4-3-2-1012345样本细胞的观察值后验概率曲线与判决结果在一张图上：后验概率曲线如图所示，带*的曲线为判决成异常细胞的后验概率曲线；另一条平滑的曲线为判为正常细胞的后验概率曲线。根据最小错误概率准则，判决结果见曲线下方，其中'*”代表判决为正常细胞，“五角星”代表异常细胞各细胞分类结果：各细胞分类结果：0000000000000101110001010为判成正常细胞，1为判成异常细胞最小风险贝叶斯决策分类器设计实验程序TOC\o"1-5"\h\zx=[-3.9847,-3.5549,-1.2401,-0.9780,-0.7932,-2.8531,-2.7605,-3.7287,-3.5414,-2.2692,-3.4549,-3.0752,-3.9934,2.8792,-0.9780,0.7932,1.1882,3.0682,-1.5799,-1.4885,-0.7431,-0.4221,-1.1186,4.2532]disp(x)pw1=0.9pw2=0.1[R1_x,R2_x,result]=bayes(x,pw1,pw2)function[R1_x,R2_x,result]=danger(x,pw1,pw2)m=numel(x)%得到待测细胞个数R1_x=zeros(1,m)%存放把样本X判为正常细胞所造成的整体损失R2_x=zeros(1,m)%存放把样本X判为异常细胞所造成的整体损失result=zeros(1,m)%存放比较结果e1=-2a1=0.5e2=2a2=2%类条件概率分布px_w1:(-2，0.25)px_w2(2,4)r11=0r12=2r21=4r22=0%风险决策表fori=1:m%计算两类风险值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2))endfori=1:mifR2_x(i)>R1_x(i)第二类比第一类风险大result(i)=0判为正常细胞(损失较小)，用0表示elseresult(i)=1判为异常细胞，用1表示endenda=[-5:0.05:5]%取样本点以画图n=numel(a)R1_plot=zeros(1,n)R2_plot=zeros(1,n)forj=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2))%计算各样本点的风险以画图endfigure(1)holdonplot(a,R1_plot,'b-',a,R2_plot,'g*-')fork=1:mifresult(k)==0plot(x(k),-0.1,'b八'正常细胞用上三角表示elseplot(x(k),-0.1,'go'异常细胞用圆表示end;end;legend（'正常细胞'，'异常细胞'，'Location','Best'）xlabel（'细胞分类结果'）ylabel（'条件风险'）title（'风险判决曲线'）gridonreturn运行结果正常细胞异常细胞细胞分类结果最小风险贝叶斯决策风险判决曲线如上图所示，其中带*的绿色曲线代表异常细胞的条件风险曲线；另一条光滑的蓝色曲线为判为正常细胞的条件风险曲线。根据贝叶斯最小风险判决准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈“代表异常细胞。各细胞分类结果:100000000000110111000101其中，0为判成正常细胞，1为判成异常细胞分类结果比较：由最小错误率的贝叶斯判决和基于最小风险的贝叶斯判决得出的图形中的分类结果可以看出，样本-3.9934、-3.9847在前者中被分为“正常细胞”，在后者中被分为“异常细胞”，分类结果截然不同。因为在给予最小风险的贝叶斯判决中，影响决策结果的因素多了一个“损失”。可以看出，在图1中，这两个样本点下两类决策的后验概率相差很小，当结合最小风险贝叶斯决策表进行计算时，“损失”就起了主导作用，导致出现了相反的结果。另外，最小错误率贝叶斯决策就是在0-1损失函数条件下的最小风险贝叶斯决策，即前者是后者的特例。实验二、基于Fisher准则线性分类器设计2.1实验类型：设计型：线性分类器设计(Fisher准则)2.2实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrande乘子求解的原理。2.3实验条件：matlab软件2.4实验原理：线性判别函数的一般形式可表示成g(X)=WtX+w其中rx)rwi〕X=i…w=w2<d.••IwdJ根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：(m-m)2—^1^2——S2+S212

上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中m1-m2式一个向量，Sj是Sw的逆矩阵，如m1-m2是d维，Sw和Sj都是dXd维，得到的W*也是一个d维的向量。向量w*就是使Fisher准则函数.(W)达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量W*的各分量值是对原d维特征向量求加权和的权值。d维向量w*以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的的计算方法，但是判别函数中的另一项比0尚未确定，一般可采用以下几种方法确定d维向量w*或者口，nm+nm〜W-——1~12~a=m或者0N1+N2或当P(3)1与P(®)2已知时可用m+min[p(①)/p(①)―12—12—2N+N—212当W0确定之后，则可按以下规则分类，使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。2.5实验内容:

已知有两类数据®1和也二者的概率已知P0)1=0.6,P0)2=0.4。®1中数据点的坐标对应一一如下：数据：x=0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099y=2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604z=0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548也数据点的对应的三维坐标为

1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414y2=1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288z2=0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458数据的样本点分布如下图:

2-1.51-0.5-30:2.50.5-22.6实验要求：2-1.51-0.5-30:2.50.5-2请把数据作为样本，根据Fisher选择投影方向W的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W的函数，并在图形表示出来。并在实验报告中表示出来，并求使J口(w)取极大值的w*。用matlab完成Fisher线性分类器F的设计，程序的语句要求有注释。根据上述的结果并判断(1，1.5,0.6)(1.2,1.0，0.55)，(2.0，0.9,0.68)，(1.2，1.5,0.89)，(0.23,2.33，1.43)，属于哪个类别，并画出数据分类相应的结果图，要求画出其在W上的投影。回答如下问题，分析一下W的比例因子对于Fisher判别函数没有影响的原因。

2.7实验代码和实验结果

分类器设计和分类结果x1=[0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099];y1=[2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604];z1=[0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548];x2=[1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414];y2=[1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288];z2=[0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458];%数据录入，整合为矩阵k=0;forj=1:6k=k+1;w1(:,k)=[x1(i,j);y1(i,j);z1(i,j)];w2(:,k)=[x2(i,j);y2(i,j);z2(i,j)];endend%计算均值向量m1和m2m1=mean(w1,2);m2=mean(w2,2);%计算离散度矩阵fori=1:36s1=(w1(:,i)-m1)*(w1(:,i)-m1)';s2=(w2(:,i)-m2)*(w2(:,i)-m2)';endsw=s1+s2;%计算阀值w0w_new=transpose(inv(sw)*(m1-m2));m1_new=w_new*m1;m2_new=w_new*m2;Pw1=0.6;Pw2=0.4;e=exp(1);w0=(m1_new+m2_new)/2-log(Pw1/Pw2)/log(e)/(36+36-2);%分类判断x=[11.22.01.20.231.51.00.91.52.330.60.550.680.891.43];m=0;n=0;result1=[];result2=[];fori=1:5y(i)=w_new*x(:,i);ify(i)>w0m=m+1;result1(:,m)=x(:,i);elsen=n+1;result2(:,n)=x(:,i);endend%结果显示display('属于第一类的点')result1display('属于第二类的点')result2scatter3(w1(1,:),w1(2,:),w1(3,:),'+r'),holdonscatter3(w2(1,:),w2(2,:),w2(3,:),'sg'),holdonscatter3(result1(1,:),result1(2,:),result1(3,:),'k'),holdonscatter3(result2(1,:),result2(2,:),result2(3,:),'bd')title('样本点及实验点的空间分布图')legend('样本点w1','样本点w2','属于第一类的实验点'，'属于第二类的实验点')实验结果分类结果如下:

样本点及实验点的空间分布图画出其在+样本点W1样本点画出其在。属于第一类的实验点0属于第二类的实验点x1=[0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099];x2=[2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604];x3=[0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548];%将x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量mlm1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);fori=1:36S1=S1+[-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)]'*[-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)];end%w2的数据点坐标x4=[1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414];x5=[1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288];x6=[0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458];x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);fori=1:36S2=S2+[-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)]'*[-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)];end%总类内离散度矩阵SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最优解WW=Sw八-1*(m1-m2)'%将W变为单位向量以方便计算投影W=W/sqrt(sum(W.八2));%计算一维Y空间中的各类样本均值M1及M2fori=1:36y(i)=W'*[x1(i)x2(i)x3(i)]';endM1=mean(y)fori=1:36y(i)=W'*[x4(i)x5(i)x6(i)]';endM2=mean(y)%利用当P(w1)与P(w2)已知时的公式计算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1))/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标X1=[x1*W(1)+x2*W(2)+x3*W(3)]';X2=[x4*W(1)+x5*W(2)+x6*W(3)]';%得到投影长度XX1=[W(1)*X1;W(2)*X1;W(3)*X1];XX2=[W(1)*X2;W(2)*X2;W(3)*X2];%得到新坐标%绘制样本点figure(1)plot3(x1,x2,x3,'r*')%第一类holdonplot3(x4,x5,x6,'bp')%第二类legend('第一类点'，'第二类点')title('Fisher线性判别曲线')W1=5*W;%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','b');%判别已给点的分类a1=[1,1.5,0.6]';a2=[1.2,1.0,0.55]';a3=[2.0,0.9,0.68]';a4=[1.2,1.5,0.89]';a5=[0.23,2.33,1.43]';A=[a1a2a3a4a5]n=size(A,2);%下面代码在改变样本时都不必修改%绘制待测数据投影到最佳方向上的点fork=1:nA1=A(:,k)'*W;A11=W*A1;%得到待测数据投影y=W'*A(:,k)+W0;%计算后与0相比以判断类别，大于0为第一类，小于0为第二类ify>0plot3(A(1,k),A(2,k),A(3,k),'go');%点为"rp"对应第一类plot3(A11(1),A11(2),A11(3),'go');%投影为"r+"对应go类elseplot3(A(1,k),A(2,k),A(3,k),'m+');%点为"bh”对应m+类plot3(A11(1),A11(2),A11(3),'m+');%投影为"b*”对应m+类endend%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','k');view([-37.5,30]);axis([-2,3,-1,3,-0.5,1.5]);gridonholdoffFisher线性判别Fisher线性判别图像0.5其中，下方的实直线是最佳投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点，十字是被分为第二类的样本点。JF(w)取极大值的w*=(-0.0798,0.2005,-0.0478)实验分析.w的比例因子对于Fisher判别函数没有影响的原因：在本实验中，最需要的是W的方向，或者说是在此方向上数据的投影，那么W的比例因子，即它是单位向量的多少倍长就无关紧要了，不管比例因子有多大，在最后求投影时都会被消掉而起不到实际作用.实验四、近邻法分类器设计4.1实验类型：设计型：近邻法分类器设计4.2实验目的：本实验旨在让同学理解近邻法的原理，通过软件编程分段线性分类器的极端情况，理解k-近邻法和剪辑近邻的设计过程，掌握影响k-近邻法错误率的估算因素等。4.3实验条件：matlab软件4.4实验原理：最近邻法可以扩展成找测试样本的k个最近样本作决策依据的方法。其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成七，i=1,...,c则决策规划是：如果k(X)=maxk(X),i=1,...,c则决策X£«.(3-63)k近邻一般采用k为奇数，跟投票表决一样，避免因两种票数相等而难以决策。剪辑近邻法的基本思想是从这样一个现象出发的，即当不同类别的样本在分布上有交迭部分的，分类的错误率主要来自处于交迭区中的样本。当我们得到一个作为识别用的参考样本集时，由于不同类别交迭区域中不同类别的样本彼此穿插，导致用近邻法分类出错。因此如果能将不同类别交界处的样本以适当方式筛选，可以实现既减少样本数又提高正确识别率的双重目的。为此可以利用现有样本集对其自身进行剪辑。下面以两类别问题为例说明这种方法的原理。假设现有一个样本集N，样本数量为N。我们将此样本集分成两个互相独立的样本子集。一个被当作考试集aNT，另一个作为参考集aNR，数量分别为%与Nr,%+Nr=n。将aN中的样本表示成X,(i=1,…,%)，而在aN中的样本表示为七,(j=1,…,Nr)。将一个样本集分成两个相互独立的样本子集是指，分完以后的两个子集具有相同的分布例如将一个样本集分成两个相互独立的对等子集，则在每个特征空间的子区域，两个子集都有相同的比例，或说各类数量近似相等。要注意指出的是每个子区域从大空间到小空间)实际做时要用从总的集合中随机抽取的方式进行。剪辑的过程是：首先对aNT中每一个当在aNR中找到其最近邻的样本Yi(Xi)，用七(当)表示Yi是当的最近邻参考样本。如果七与Xi不属于同一类别，则将Xi从aNT中删除，最后从aNT中得到一个经过剪辑的样本集，称为剪辑样本集aNTE。aNTE可用来取代原样本集aN，作为参考样本集对待识别样本进行分类。aNT经过剪辑后，要作为新的训练样本集，则aNR是对其性能进行测试的样本，如发现aNT中的某个训练样本对分类不利，就要把它剪辑掉。实际上剪辑样本的过程也可以用k-近邻法进行，即对aNT中的每个样本当，找到在aNR中的k个近邻，用k-近邻法判断Xi是否被错分类。从而决定其取舍，其它过程与前述方法完全一样。剪辑近邻法也可用到多类别情况。剪辑过程也可不止一次。重复多次的称为重复剪辑近邻法。4.5实验内容如下面的matlab程序阐述的一样，有两个类别，x，y，样本的分布规律服从正态分布，其均值和方差分别为(2,2)，(-2,4)，每个类别里面分别有样本100个，如下面的数据所列(第一行为横坐标，相应的下一行对应的是纵坐标)，图形所示clearallcloseallx=2+sqrt(2)*randn(2,100)y=-2+sqrt(4)*randn(2,100)plot(x(1,:),x(2,:),'ro');holdonplot(y(1,:),y(2,:),'b*');gridonx1=1+sqrt(2)*randn(2,2)y1=-1+sqrt(4)*randn(2,3)plot(x1(1,:),x1(2,:),'gs');holdonplot(y1(1,:),y1(2,:),'gd');x=Columns1through82.33933.07771.87372.73392.37232.06072.79584.04972.72542.96871.29590.42812.72071.9812Columns91.5151through162.84220.69551.9956-1.46933.10272.08731.32331.87814.16311.69720.45320.69574.4584Columns171.2210through242.77025.35542.57553.15791.42992.60705.01881.78641.26801.45951.40492.20752.9997Columns251.6260through322.34000.72911.47222.75243.13803.78001.16132.21801.58882.44720.57142.42710.963928/412.43972.5036-0.12081.68140.11670.93580.99341.0406Columns33through401.63770.63350.59440.69002.72690.7390-0.94972.26601.12670.9308-0.28905.53621.98552.05770.2602-2.1053Columns41through480.72350.87651.2597-0.15375.86641.45640.86191.21081.88832.63201.54650.42954.60992.71260.87883.3248Columns49through561.76893.95432.13053.59103.45012.84762.27941.78771.27111.47690.69732.78462.43932.06723.15511.4484Columns57through643.97101.91223.87493.10352.17261.00683.26023.4937-0.25533.26653.28341.18043.90094.27032.64353.7896Columns65through721.89040.93812.64991.1209-0.76020.98783.32092.68252.21681.66660.6734-0.28853.4517-0.83193.51211.2336Columns73through801.39801.77503.03154.38140.07461.02330.73702.3106

2.85022.44972.46052.53281.84791.92841.99252.9242Columns81through881.67552.57952.07351.28354.49522.10991.52934.29771.63454.25854.43713.70473.77772.22041.78012.4882Columns89through960.55782.35031.93322.83941.91851.13662.69343.68762.71082.20083.15861.09792.28281.10500.73636.0314Columns97through1000.86304.87190.77021.18242.54520.92792.40002.9063Columns1through8-4.0741-2.20190.27722.5119-2.6005-2.7258-0.9535-2.6182-3.62421.8317-0.3543-1.3855-1.0020-2.2239-0.4317-2.0749Columns9through161.1157-2.9820-0.7157-4.8064-2.13680.0204-4.6403-1.4024-1.1429-1.9817-1.07013.5301-0.3107-2.6776-3.6135-3.0649

Columns17through241.03830.0278-3.8224-1.7426-0.8970-3.1769-2.6497-1.0395-2.4134-3.3121-3.0811-2.6541-0.7125-3.1175-1.9918-2.0607Columns25through32-2.9279-5.6277-3.2913-0.3836-6.5657-6.9075-4.9407-2.4313-3.3265-2.0005-1.7682-2.1453-0.7046-3.24160.6713-1.8313Columns33through401.15330.0380-0.90460.44502.1135-0.9418-0.36340.2072-0.2502-1.9232-1.7691-3.5266-1.1793-2.3955-1.7491-2.2116Columns41through48-2.7789-0.4264-1.5418-4.5961-3.1488-3.28130.15210.3201-2.8753-3.1971-5.1734-1.7970-1.21651.01121.86580.6457Columns49through561.72582.45681.0064-2.8329-2.2510-2.2932-0.4625-2.1996-3.2806-1.3224-1.5015-3.4684-3.3073-1.03441.3012-4.8685Columns57through64-0.3933-4.4781-0.8298-2.7694-4.4012-2.3012-2.72384.4696-1.9525-3.9448-4.2802-2.8949-7.0979-1.7046-2.1852-2.5313

Columns65through72-0.2649-0.50831.2236-4.0723-2.7961-3.8391-6.0491-1.26490.8744-3.6436-1.7198-1.0935-1.5580-0.2845-1.1005-7.1413Columns73through80-0.7904-4.9162-0.8173-3.0191-1.5423-3.4648-3.9127-1.0085-0.1674-1.8316-1.9920-6.5079-1.1666-3.2242-2.6278-1.7200Columns81through88-3.0868-2.2972-3.3748-1.1780-3.1821-3.7845-1.4982-1.7623-0.3149-4.3529-1.3920-1.1284-0.0297-5.7240-2.0337-2.7306Columns89through96-2.0356-3.1204-1.6235-1.6992-4.8063-2.9712-5.5903-3.5470-2.3859-0.1046-0.6685-3.2670-0.18801.7160-4.2020-3.9663Columns97through100-1.61452.1930-2.3963-5.2112-0.5505-5.93201.6841-3.7229请使用k-近邻法判断下列sample中样本的分类情况(-0.7303,2.1624),(1.4445,-0.1649),(-1.2587,0.9187),(1.2617,-0.2086),(0.7302,1.6587)

4.6实验要求：1、要求用matlab编程，来确定分类的情况，并以图形的方式表示出来。2、分析k值的不同对分类的情况是否有影响，并把结果用图形的方式表示出来。3、回答下列问题设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。•Aa——»Ai—试问：（1）按近邻法分类，这两类最多有多少个分界面画出实际用到的分界面A1与B4之间的分界面没有用到实验代码:clearallcloseallx=2+sqrt(2)*randn(2,100)2)的样本库y=-2+sqrt(4)*randn(2,100)4)的样本库x1=1+sqrt(2)*randn(2,2)y1=-1+sqrt(4)*randn(2,3)stablex=x;图stabley=y;图z=[x1y1];figure(1);plot(stablex(1,:),stablex(2,:),title('剪辑前的7判别');holdonplot(stabley(1,:),stabley(2,:),gridonplot(x1(1,:),x1(2,:),'gs');holdonplot(y1(1,:),y1(2,:),'gd');k=7%fori=1:5生成100个均值与方差为（2,生成100个均值与方差为（-2,生成待测样本x1生成待测样本y1创建x%的固定备份，用于画各种创建y%的固定备份，用于画各种将待测样本合并成一个矩阵ro'）;画样本库b*'）;画样本库画待测样本画待测样本剪辑前的7判别用于判别待测样本中各点对x样本的欧距中各点对y样本的欧距中各点的判决情况中点用于判别待测样本中各点对x样本的欧距中各点对y样本的欧距中各点的判决情况中点原来是x1类的情况中点如果是x类红方形蓝方形q=[1:(numel(z)/2)];g=oushi(x,z,j);h=oushi(y,z,j);q((j+1)/2)=panjue(g,h,k);ifj<numel(x1)ifq((j+1)/2)==0plot(z(j),z(j+1),'rs');elseplot(z(j),z(j+1),'bs');

endelse中点如果是y类ifq((j+1)/2)==0plot(z(j),z(j+1),'rd');红券形elseplot(z(j),z(j+1),'bd');蓝菱形endendendx1(被覆盖)'，'待测样本y1(被覆legend('x样本集'，x1(被覆盖)'，'待测样本y1(被覆'x1中第1点的归类'，'x1中第2点的归类'，'y1中第1点的归类'，'y1中第2点的归类'，'y1中第3点的归类'，2);figure(2);plot(stablex(1,:),stablex(2,:),'ro');title('剪辑前的1判别');holdonplot(stabley(1,:),stabley(2,:),'b*');gridonplot(x1(1,:),x1(2,:),'gs');holdonplot(y1(1,:),y1(2,:),'gd');k=1%fori=1:5%tempx=stablex;%tempy=stabley;%x=jianji1(tempx,tempy,k);%y=jianji2(tempx,tempy,k);%plot(x(1,:),x(2,:),'ko');%plot(y(1,:),y(2,:),'k*');%endforj=1:2:numel(z)q=[1:(numel(z)/2)];g=oushi(x,z,j);h=oushi(y,z,j);q((j+1)/2)=panjue(g,h,k);ifj<numel(x1)ifq((j+1)/2)==0plot(z(j),z(j+1),elseplot(z(j),z(j+1)end剪辑前的1判别用于判别待测样本中智点对x样本的欧距中智点对y样本的欧距

中备点的判决情况中点原来是x1类的情况中点如果是x剪辑前的1判别用于判别待测样本中智点对x样本的欧距中智点对y样本的欧距

中备点的判决情况中点原来是x1类的情况中点如果是x类rs');红方%形'bs');蓝方形endendendlegend('x样本集'，'y样本集'，'待测样本x1(被覆盖)'，'待测样本y1(