模式识别试验报告-试验一Bayes分类器设计

1、实验一 Bayes分类器设计【实验目的】对模式识别有一个初步的理解， 能够根据自己的设计对贝叶斯决策理论算法有一个深刻 地认识，理解二类分类器的设计原理。【实验原理】最小风险贝叶斯决策可按下列步骤进行:在已知P( i)，P(X i)，i=1,，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：P( iX)P(X i)P( i)j=1,，X现有一系列待观察的细胞，其观察值为X :P(X i)P( i)j 1(2)利用计算出的后验概率及决策表，按下面的公式计算出采取aj,i=l,，a的条件风险cR(ai X)(ai , j)P( j X ) ,i=1,2,aj 1对中得到的a个条件风险值R

2、(aX),i=1,，a进行比较，找出使其条件风险最小的决策ak，即R ak x mia R ai x则ak就是最小风险贝叶斯决策。【实验内容】假定某个局部区域细胞识别中正常(1 )和非正常(2 )两类先验概率分别为正常状态：P (1)=；异常状态：P (2)=。已知类条件概率是的曲线如下图:P(x| 1)p(x| 2)类条件概率分布正态分布分别为N( -2 ,、N( 2,4 )试对观察的结果进行分类。【实验要求】1) 用matlab完成基于最小错误率的贝叶斯分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2) 根据例子画出后验概率的分布曲线以及分类的结果示意图。3) 如果是最

3、小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：、一状态 决策12a 104a 220请重新设计程序，完成基于最小风险的贝叶斯分类器，画出相应的条件风险的分布曲线和分类结果，并比较两个结果。【实验程序】最小错误率贝叶斯决策分类器设计x=pw1= ; pw2=e1=-2; a1 =e2=2;a2=2m=numel(x) %得到待测细胞个数pw1_x=zeros(1,m) %存放对w1的后验概率矩阵pw2_x=zeros(1,m) % 存放对w2的后验概率矩阵results=zeros(1,m) % 存放比较结果矩阵for i = 1:m%十算在w1下的后验概率pw1_x(i)=(pw1* n

4、ormpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2 ,a2)%十算在w2下的后验概率pw2_x(i)=(pw2* normpdf(x(i),e2,a2)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2 ,a2)endfor i = 1:mif pw1_x(i)>pw2_x(i) %比较两类后验概率result(i)=0 %正常细胞elseresult(i)=1 %异常细胞endenda=-5:5 %取样本点以画图n=nu mel(a)pw1_plot=zeros(

5、1, n)pw2_plot=zeros(1, n)for j=1: npw1_plot(j)=(pw1* normpdf(a(j),e1,a1)/(pw1* normpdf(a(j),e1,a1)+pw2* no rmpdf(a(j) ,e2,a2)%十算每个样本点对 w1的后验概率以画图pw2_plot(j)=(pw2* no rmpdf(a(j),e2,a2)/(pw1* normpdf(a(j),e1,a1)+pw2* normpdf(a(j) ,e2,a2)end figure(1)hold onplot(a,pw1_plot,'k-',a,pw2_plot,'

6、r-.')for k=1:mif result(k)=0plot(x(k),'b*') %正常细胞用*表示elseplot(x(k),'rp') %异常细胞用五角星表示en d;en d;legend('正常细胞后验概率曲线','异常细胞后验概率曲线','正常细胞','异常细胞')xlabel('样本细胞的观察值')ylabel('后验概率')title('后验概率分布曲线')grid onreturn ;实验内容仿真x =, , , , ,

7、, , , , , , , , , , , , ,disp(x)pw1 =pw2=result=bayes(x,pw1,pw2)最小风险贝叶斯决策分类器设计fun ctio n R1_x,R2_x,result=da nger(x,pw1,pw2)m=numel(x) %得到待测细胞个数R1_x=zeros(1,m)%存放把样本X判为正常细胞所造成的整体损失R2_x=zeros(1,m)%存放把样本X判为异常细胞所造成的整体损失result=zeros(1,m)%存放比较结果e1=-2a1 =e2=2a2=2%类条件概率分布 px_w1: ( -2， px_w2 ( 2,4)r1仁0r12=2

8、r2仁4r22=0液险决策表for i=1:m%十算两类风险值R1_x(i)=r11*pw1* normpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*pw2*normpdf(x(i)

9、,e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2 ,a2)for i=1:mif R2_x(i)>R1_x(i) result(i)=0elseresult(i)=1endendend%第二类比第一类风险大%判为正常细胞（损失较小） ，用 0 表示%判为异常细胞，用 1 表示a=-5:5 %取样本点以画图n=numel(a)R1_plot=zeros(1,n)R2_plot=zeros(1,n)for j=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a

10、1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j) ,e2,a2)R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j) ,e2,a2)%计算各样本点的风险以画图end figure(1) hold

11、 on plot(a,R1_plot,'b-',a,R2_plot,'g*-')for k=1:mif result(k)=0plot(x(k),'b“)E常细胞用上三角表示elseplot(x(k),'go')%异常细胞用圆表示end;end;legend(' 正常细胞 ',' 异常细胞 ','Location','Best') xlabel(' 细胞分类结果 ')ylabel(' 条件风险') title(' 风险判决曲线'

12、) grid onreturn实验内容仿真x=，disp(x) pw1 = pw2= R1_x,R2_x,result=da nger(x,pw1,pw2)【实验结果和数据】最小错误率贝叶斯决策后验概率曲线与判决结果在一张图上：后验概率曲线如图所示，带*的绿色曲线为判决成异常细胞的后验概率曲线；另一条平滑的蓝色曲线为判为正常细胞的后验概率曲线。根据最小错误概率准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈”代表异常细胞。各细胞分类结果：0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 1-50为判成正常细胞，1为判成异常细胞Llii

13、Lix.“ HUdUJUllmiiwudiiiidilii11厂一-正常细胞 异常细胞*/1111甲1f1卜* 十七ikH 弹1 miLiumL4-1.21后验概率分布曲线-4-3-2-10 123458 6 4 2 00 0 0 0 率概验后细胞的观察值图1基于最小错误率的贝叶斯判决最小风险贝叶斯决策风险判决曲线如图2所示，其中带*的绿色曲线代表异常细胞的条件风险曲线；另一条光滑的蓝色曲线为判为正常细胞的条件风险曲线。根据贝叶斯最小风险判决准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈“代表异常细胞。各细胞分类结果：1 0 0 0 0 0 0 0 0 0 0 0 1 1

14、0 1 1 1 0 0 0 1 0 1其中，0为判成正常细胞，1为判成异常细胞J IIIr i I正常细胞异常细胞II"am U I叫刊I虬 iJIL LJJIE. ntt¥%Irr*T:十七/ I卅|卜-|S mil It- ZAXi r IffH出屮肝风险判决曲线3.5-5-4-3-2-1012345细胞分类结果3 5 2 5 15 0210险风件条图2基于最小风险的贝叶斯判决【实验分析】由最小错误率的贝叶斯判决和基于最小风险的贝叶斯判决得出的图形中的分类结果可 以看出，样本、在前者中被分为“正常细胞”，在后者中被分为“异常细胞”，分类结果截然不同。因为在给予最小风险的

15、贝叶斯判决中，影响决策结果的因素多了一个“损失”。可以看出，在图1中，这两个样本点下两类决策的后验概率相差很小，当结合最小风险贝叶斯决策表进行计算时，“损失”就起了主导作用，导致出现了相反的结果。另外，最小错误率贝叶斯决策就是在0-1损失函数条件下的最小风险贝叶斯决策，即前者是后者的特例。实验二基于Fisher准则线性分类器设计【实验目的】本实验旨在让同学进一步了解分类器的设计概念,能够根据自己的设计对线性分类器有以及Lagrande乘子更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理, 求解的原理。【实验条件】Matlab软件【实验原理】线性判别函数的一般形式可表示成g (

16、X)wtx wo其中wi XiW2XWXdWd根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：Jf(W)(m r2)2* 1WSw (m)1 m2)上面的公式是使用 Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种 形式的运算，我们称为线性变换，其中m, m2式一个向量，Sw1是S的逆矩阵，如m m2 是d维，SW和S1都是dx d维，得到的 W 也是一个d维的向量。向量W*就是使Fisher准则函数JF(W)达极大值的解，也就是按Fisher准则将d维X 空间投影到一维 Y

17、空间的最佳投影方向， 该向量 W*的各分量值是对原 d维特征向量求加权 和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量W*的计算方法，但是判别函数中的另一项W。尚未确定，一般可采用以下几种方法确定W0如ri m22N1r1 N2m2W0- -2 2 mN1 N2或当W0P（ ）1与P（ ）2已知时可用m m in p（ J / p（ 2）2n_n2 2当w确定之后，则可按以下规则分类，WTXw0X1WTXWoX2使用Fisher准则方法确定最佳线性分界面的方法是一个着名的方法，尽管提出该方法 的时间比较早，仍见有人使用。【实验程序】funct

18、ion fisher%可仲数据点的坐标x1 =;x2 =;x3 =;%各x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%十算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);for i=1:36-m1(2)+x2(i)S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)'*-m1(1)+x1(i) -m1(3)+x3(i);end%w加勺数据点坐标 x4 =;x5 =;x6 =;x4=x4(:

19、);x5=x5(:);x6=x6(:);%计算第二类勺样本均值向量 m2 m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);for i=1:36S2=S2+-m2(1)+x4(i) -m2(2)+x5(i)-m2(3)+x6(i)'*-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i);end%总类内离散度矩阵 SwSw=zeros(3,3);Sw=S1+S2; %样本类间离散度矩阵SbSb=zeros(3,3); Sb=(m1-m2)'*(m1-m2);%

20、最优解 WW=Swr*(m1-m2)'%各W变为单位向量以方便计算投影W=W/sqrt(sum(W.A2);%十算一维Y空间中的各类样本均值M1及M2for i=1:36 y(i)=W'*x1(i) x2(i) x3(i)'endM1=mean(y)for i=1:36y(i)=W'*x4(i) x5(i) x6(i)'endM2=mean(y)%用当P(w1)与P(w2)已知时的公式计算 W0 p1=;p2=;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2); %计算将样本投影到最佳方向上以后的新坐标 X1=x1*W(1)+x2*

21、W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到投影长度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐标%绘制样本点figure(1)plot3(x1,x2,x3,'r*')%第一类hold onplot3(x4,x5,x6,'bp')%第二类legend(' 第一类点 ',' 第二类点 ') title('Fisher 线性判别曲线 ')W1=5*W;%画出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','b'); %判别已给点的分类a1=1,'a2=,'a3=,'a4=,'a5=,' A=a1 a2 a3 a4 a5n=size(A,2); %下面代码在改变样本时都不必修改%绘制待测数据投影到最佳方向上的点for k=1:nA仁A(:,k)'*W;A1 仁W*A1; y=W*A(:,k)+WO;if y>0plot3(A(1,k),A(2,k),A(3,k),'go');plot3(A11(1)