Fisher准则线性分类器设计

1、基于Fisher准则线性分类器设计1、实验内容:已知有两类数据.1和O2二者的概率已知P（）1=06,p()2:=0.4。切1中数据点的坐标对应数据：x=如下：0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.2015y=0.4070-0.1717-1.0573

2、-0.20992.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.3801z=2.23732.16141.92352.26040.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.0

3、0720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03152数据点的对应的二维坐标为0.75330.9548x2=1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.466

4、42.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414y2=1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288z2=0.621

5、01.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.6739数据的样本点分布如下图：0.86511.36991.14581) 请把数据作为样本，根据Fisher选择投影方向W的原则，使原样本向量在该方向上的投影能兼顾类问分布尽可能分开，类内样本投影尽可能密集的要求，求出评价

6、投影方向W的函数，并在图形表示出来。并在实验报告中表示出来，并求使JF(w)取极大值的w*。用matlab完成Fisher线性分类器的设计，程序的语句要求有注释。2) 根据上述的结果并判断(1,1.5,0.6)(1.2,1.0,0.55),(2.0,0.9,0.68),(1.2,1.5,0.89),(0.23,2.33,1.43),届于哪个类别，并画出数据分类相应的结果图,要求画出其在W上的投影。回答如下问题，分析一下W的比例因子对于Fisher判别函数没有影响的原因。x1=0.23311.52070.64990.77571.05241.19740.29080.25180.66820.5622

7、0.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099;x2=2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.699

8、12.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604;x3=0.53380.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330

9、.9548;%将x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);fori=1:36S1=S1+-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)'*-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i);end%w2的数据点坐标x4=1.40101.23012.08141.16551.37401.18291.76321.97392.41

10、522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414;x5=1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.9983

11、0.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288;x6=0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.

12、1458;x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);fori=1:36S2=S2+-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)'*-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i);end%总类内离散度矩阵SwSw=zeros(3,3);Sw=S1+S2;%样本类问离散度矩阵SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-

13、m2);%最优解WW=SwA-1*(m1-m2)'%将W变为单位向量以方便计算投影W=W/sqrt(sum(W.A2);%计算一维Y空间中的各类样本均值M1及M2fori=1:36y(i)=W*x1(i)x2(i)x3(i)'endM1=mean(y);fori=1:36y(i)=W*x4(i)x5(i)x6(i)'endM2=mean(y);%利用当P(w1)与P(w2)已知时的公式计算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标X1=x1*W(1)+x2*W(2)+x

14、3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到投影长度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐标%绘制样本点figure(1);plot3(x1,x2,x3,'r*');%第一类holdonplot3(x4,x5,x6,'gp');%第二类legend(笫一类点','第二类点');title('Fisher线性判别曲线');W1=5*W;%画出最佳方向line(-W1(1),W1(1),-W1(2)

15、,W1(2),-W1(3),W1(3),'color','g');%判别已给点的分类a1=1,1.5,0.6'a2=1.2,1.0,0.55'a3=2.0,0.9,0.68'a4=1.2,1.5,0.89'a5=0.23,2.33,1.43'A=a1a2a3a4a5;n=size(A,2);%下面代码在改变样本时可不修改%绘制待测数据投影到最佳方向上的点fork=1:nA1=A(:,k)'*W;A11=W*A1;%得到待测数据投影y=W*A(:,k)+W0;%计算后与0相比以判断类别，大于0为第一类，小于0为第二类

16、ify>0plot3(A(1,k),A(2,k),A(3,k),'ro');%点为"rp"对应第一类plot3(A11(1),A11(2),A11(3),'ro');%投影为"r+"对应ro类elseplot3(A(1,k),A(2,k),A(3,k),'ch');%点为"bh"对应ch类plot3(A11(1),A11(2),A11(3),'ch');%投影为"b*"对应ch类endend%画出最佳方向line(-W1(1),W1(1),-W1

17、(2),W1(2),-W1(3),W1(3),'color','m');view(-37.5,30);axis(-2,3,-1,3,-0.5,1.5);gridonholdoff3、实验结果根据求出最佳投影方向，然后按照此方向，将待测数据进行投影。为直观起见，我们将两步画在一张图上，如下：其中，红色的*是给出的第一类样本点，蓝色的五角星是第二类样本点。下方的实直线是最佳投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点，十字是被分为第二类的样本点。使Jf(w)取极大值的W=(-0.0798,0.2005,-0.0478)4、实验分析W的比例因子对丁Fish

18、er判别函数没有影响的原因:在本实验中，最需要的是W的方向，或者说是在此方向上数据的投影，那么W的比例因子，即它是单位向量的多少倍长就无关紧要了，不管比例因子有多大，在最后求投影时都会被消掉而起不到实际作用。ayes分类器设计1、实验内容假定某个局部区域细胞识别中正常（饥）和非正常（缶2）两类先验概率分别为正常状态：P（耕）=0.9;异常状态：P（喝）=0.1。现有一系列待观察的细胞，其观察值为X:-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0

19、.97800.79321.18823.0682-1.5799-1.4885-0.7431-0.4221-1.11864.2532已知先验概率是的曲线如下图:p（x|、）p（x|仍2）类条件概率分布正态分布分别为（-2,0.25）（2,4）试对观察的结果进行分类。1）用matlab完成分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2）根据例子画出后验概率的分布曲线以及分类的结果示意图。3）如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：状态决裔，、a106a210请重新设计程序，画出相应的后验概率的分布曲线和分类结果，并比较两个结果2、实验代码1最小错误率贝叶斯决

20、策（ml.m）x=-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0.97800.79321.18823.06820.7431-0.4221-1.11864.2532%得到待测细胞个数%存放对w1的后验概率矩阵%存放对w2的后验概率矩阵%存放比较结果矩阵-1.5799-1.4885pw1=0.9;pw2=0.1;e1=-2;a1=0.5;e2=2;a2=2;m=numel(x);pw1_x=zeros(1,m);pw2_x=zeros(1,m);r

21、esults=zeros(1,m);fori=1:m%计算在w1下的后验概率pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)J%计算在w2下的后验概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)%比较两类后验概率%正常细胞%异常细胞%取样本点以画图Jendfori=1:mifpw1_x(i)>pw2_x(i)result(i)=0;elseresult(i

22、)=1;endenda=-5:0.05:5;n=numel(a);pw1_plot=zeros(1,n);pw2_plot=zeros(1,n);forj=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);%计算每个样本点对w1的后验概率以画图pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);endfigure(1);holdonplot(a,pw

23、1_plot,'co',a,pw2_plot,'r-.');fork=1:mifresult(k)=0plot(x(k),-0.1,'cp');%正常细胞用五角星表示elseplot(x(k),-0.1,'r*');%异常细胞用*表示end;end;legend('正常细胞后验概率曲线','异常细胞后验概率曲线,'正常细胞','异常细胞')；xlabel（'样本细胞的观察值'）;ylabel（'后验概率'）;title（'后验概率分布曲

24、线'）;gridonreturn%实验内容仿真:x=-3.9847,-3.5549,-1.2401,-0.9780,-0.7932,-2.8531,-2.7605,-3.7287,-3.5414,-2.2692,-3.4549,-3.075,-3.9934,2.8792,-0.9780,0.7932,1.18823.0682,-1.5799,-1.4885,-0.7431,-0.4221,-1.1186,4.2532disp(x);pw1=0.9;pw2=0.1;result=bayes(x,pw1,pw2);2.2最小风险贝叶斯决策(m2.m)x=-3.9847-2.7605-3.9

25、934-1.5799-3.5549-3.72872.8792-1.4885-1.2401-3.5414-0.97800.7431-0.9780-2.26920.7932-0.4221-0.7932-2.8531-3.4549-3.07521.18823.0682-1.11864.2532pw1=0.9;pw2=0.1;%得到待测细胞个数%存放把样本X判为正常细胞所造成的整体损失%存放把样本X判为异常细胞所造成的整体损失%存放比较结果m=numel(x);R1_x=zeros(1,m);R2_x=zeros(1,m);result=zeros(1,m);e1=-2;a1=0.5;px_w1:(-

26、2,0.25)px_w2(2,4)e2=2;a2=2;%类条件概率分布r11=0;r12=2;r21=4;r22=0;%风险决策表fori=1:m%计算两类风险值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a

27、1)+pw2*normpdf(x(i),e2,a2)+22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfori=1:m%第二类比第一类风险大%判为正常细胞（损失较小），用0表示ifR2_x(i)>R1_x(i)result(i)=0;else%判为异常细胞，用1表示result(i)=1;endenda=-5:0.05:5;%取样本点以画图n=numel(a);R1_plot=zeros(1,n);R2_plot=zeros(1,n);forj=1:nR1_plot(j)=r11

28、*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normp

29、df(a(j),e2,a2)%计算各样本点的风险以画图endfigure(1);holdonplot(a,R1_plot,'co',a,R2_plot,'r-.');fork=1:mifresult(k)=0plot(x(k),-0.1,'cp');%正常细胞用五角星表示elseplot(x(k),-0.1,'r*');%异常细胞用*表示end;end;legend('正常细胞','异常细胞','Location','Best');xlabel('细胞分类结果

30、');ylabel('条件风险');title('风险判决曲线');gridonreturn%实验内容仿真：x=-3.9847,-3.5549,-1.2401,-0.9780,-0.7932,-2.8531,-2.7605,-3.7287,-3.5414,-2.2692,-3.4549,-3.075,-3.9934,2.8792,-0.9780,0.7932,1.18823.0682,-1.5799,-1.4885,-0.7431,-0.4221,-1.1186,4.2532disp(x);pw1=0.9;pw2=0.1;result=bayes(x,p

31、w1,pw2);3、实验结果1最小错误率贝叶斯决策后验概率曲线：带红色虚线曲线是判决为异常细胞的后验概率曲线宵色实线曲线是为判为正常细胞的后验概率曲线根据最小错误概率准则，判决结果显示在曲线下方：五角星代表判决为正常细胞，*号代表异常细胞各细胞分类结果(0为判成正常细胞，1为判成异常细胞)：3. 0000000000000101110001012最小风险贝叶斯决策带红色虚线曲线是异常细胞的条件风险曲线；宵色圆圈曲线是正常细胞的条件风险曲线。根据贝叶斯最小风险判决准则，判决结果显示在曲线下方：五角星代表判决为正常细胞，*号代表异常细胞。各细胞分类结果(0为判成正常细胞，1为判成异常细胞)：100

32、0000000001101110001014、实验分析由最小错误率的贝叶斯判决和基丁最小风险的贝叶斯判决得出的图形中的分类结果可以看出，样本-3.9847在前者中被分为“正常细胞”，在后者中被分为“异常细胞”，分类结果不同。因为在给予最小风险的贝叶斯判决中，影响决策结果的因素多“损失”，这个损失是人为给出的，要想获得最小风险的效果，就要认真分析其问题的内在特点与专家的共同设计给出适当的损失。可以看出，在图1中，这两个样本点下两类决策的后验概率相差很小，当结合最小风险贝叶斯决策表进行计算时，“损失因素”就起了主导作用，导致出现了相反的结果。另外，最小错误率贝叶斯决策就是在0-1损失函数条件下的最

33、小风险贝叶斯决策，最小错误率贝叶斯决策是最小风险贝叶斯决策的一种特列。三、感知函数准则线性分类器1、实验内容：已知有两个样本空间w1和w2,这些点对应的横纵坐标的分布情况是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;在二维空间样本分布图形如下所示：(plot(x1,y1,x2,y2)1、用matlab完成感知准则函数确定程序的设计。2、请确定sampled0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1),(1,1),(-0.5,-0

34、.5),(0.5,-0.5);届丁哪个样本空间，根据数据画出分类的结果。3、请分析一下Pk和虱1)对丁感知函数准则确定的影响，并确定当Pk=1/2/3时，相应的k的值，以及a不同时，k值得变化情况。4、根据实验结果请说明感知准则函数是否是唯一的，为什么?2、实验代码%a为解向量，b为分界面clearalla(1,：)=2,4;y=zeros(11,2)%第一类样本点x1=1,2,4,1,5;y1=2,1,-1,-3,-3;%规范化处理第一类样本点xb1=-x1;yb1=-y1;%第二类样本点x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;%需进行分类的样

35、本sample=0,-3;1,3;-1,5;-1,1;0.5,6;-3,-1;2,-1;0,1;1,1;-0.5,-0.5;0.5,-0.5%执行算法fori=1:5y(i,:)=xb1(i),yb1(i);endfori=1:6y(i+5,:)=x2(i),y2(i);endk=1;while(1)flag=1;yk=0,0;forj=1:11;temp=y(j,:)*a(k,:)'%求两个向量内积iftemp<=0yk=yk+y(j,:);flag=0;endendifflag=1break;elsea(k+1,:)=a(k,:)+yk;k=k+1;endend%确定分界面(

36、!指令用来调用操作系统命令ech。指令用来控制m文件在执行过程中是否显示)!echo迭代次数k-1%经过k-1次迭代!echo解向量a(k,:)%解向量b(1,1)=a(k,2);b(1,2)=-a(k,1);%此为分界面!echo分界面b(1,：)%绘制图形subplot(2,1,1),%图1:原始样本点，确定分界面plot(x1,y1,'rs',x2,y2,'b*');holdonline(0,a(k,1),0,a(k,2),'color','b');%绘制解向量c=b(1,2)/b(1,1);bplot(1)=-6/c;bplot(2)=6/c;line(bplot(1),bplot(2),-6,6,'color','g','LineWidth',2);%绘制分界面gridonaxis(-6,6,-6,6)xlabel('x'),ylabel('y'),title('由分类样本确定