模式识别实验报告

1、班 级：姓名:学号：日 期：2011年12月实验一、Bayes分类器设计一、实验目的：1. 对模式识别有一个初步的理解2. 能够根据自己的设汁对贝叶斯决策理论算法有一个深刻地认识3. 理解二类分类器的设计原理二、实验条件：mat lab软件三、实验原理：最小风险贝叶斯决策可按下列步骤进行：1）在已知P（e）, P（X|），i二1,., c及给岀待识别的X的情况下，根据贝叶斯公式计 算岀后验概率：P|X）邓）叫）冃沪1,，X2）利用计算岀的后验概率及决策表，按下而的公式计算岀采取©，匸1,，a的条件风险R（e|X） = f 2（® ,® ）P9X）, i二 1, 2

2、,a/-I3）对（2）中得到的a个条件风险值：二1,，a进行比较，找出使英条件风险最小的 决策虹，即R （a*卜）=min R （q卜）则就是最小风险贝叶斯决策。四、实验内容假左某个局部区域细胞识别中正常（©）和非正常（血2）两类先验概率分别为 正常状态：P （ © ）二：异常状态：p （ 6 ）二。现有一系列待观察的细胞，其观察值为兀：已知先验概率是的曲线如下图:0.80.70.60.50.40.30.20.1p(x I ) “(xlQj类条件槪率分布正态分布分別为(-2)(2,4)试对观察的结果 进行分类。五. 实验步骤：1用matlab完成分类器的设计，说明文字程序相

3、应语句，子程序有调用过程。2.根据例子画岀后验概率的分布曲线以及分类的结果示意图。3最小风险贝叶斯决策，决策表如下：状态决策、©a 106a 210重新设汁程序，完成基于最小风险的贝叶斯分类器，画出相应的后验概率的分布曲线和分类 结果，并比较两个结果。六. 实验代码1最小错误率贝叶斯决策x= pwl=; pw2=;el二-2; al=;e2=2;a2=2;%得到待测细胞个数%存放对wl的后验概率矩阵%存放对w2的后验概率矩阵mnumel(x);pwl_x二zeros(1, m); pw2_x=zeros(1, m);for i = l:m%计算在下的后验概率pwl_x(i) = (p

4、wl*normpdf (x(i), el, al)/(pwl*normpdf (x(i), el, al)+pw2*normp df (x (i), e2, a2);%计算在w2下的后验概率pw2_x (i) = (pw2*normpdf (x (i), e2, a2)/ (pwl*normpdf (x(i), el, al)+pw2*normp df (x(i), e2, a2);endfor i = l:m辻pwl_x(i)>pw2_x(i) %比较两类后验概率result (i)=0;%正常细胞elseresult (i)=l;%异常细胞endenda二-5：5;%取样本点以画图n

5、=numel(a);pwl_plot=zeros(1, n);pw2_plot=zeros(1, n);for j=l:npwl_plot (j) = (pwl*normpdf (a(j), el, al)/(pwl*normpdf (a(j), el, al)+pw2*no rmpdf (a(j), e2, a2);%计算每个样本点对的后验概率以画图pw2_plot (j) = (pw2*normpdf (a(j), e2, a2)/ (pwl*normpdf (a(j), el, al)+pw2*no rmpdf (a(j), e2, a2);endfigure (1);hold onpl

6、ot (a, pwl_plot, ' co', a, pw2_plot, ' r-.')；for k=l:mif result (k)=0plot (x(k),cp,); %正常细胞用五角星表示elseplot (x(k), ' r*，) ； %异常细胞用*表示end;end;legendf正常细胞后验概率曲线'，'异常细胞后验概率曲线'，'正常细胞'，'异常 细胞')；xlabel (,样本细胞的观察值');ylabel C后验概率J ;titleC后验概率分布曲线');grid

7、onreturn%实验内容仿真：X ,，disp(x);pwl 二；pw2=;result=bayes (x, pwl,pw2);2.最小风险贝叶斯决策x=pwl二；pw2二; m=numel(x);%得到待测细胞个数Rl_x二zeros (1, m) ;%存放把样本X判为正常细胞所造成的整体损失R2_x二zeros(l, m) ;%存放把样本X判为异常细胞所造成的整体损失result二zeros (1, m) ;%存放比较结果el二-2;&1二；e2=2;a2=2;%类条件概率分布 px_wl: (-2, ) px_w2 (2,4)rll=0;rl2二2;r21=4;r22=0;%风

8、险决策表for i=l：m%计算两类风险值Rl_x(i) =r 1 l*pwl*normpdf (x(i), el, al)/(pwl*normpdf (x(i), el, al)+pw2*norm pdf (x(i), e2, a2) +r21*pw2*normpdf (x(i), e2, a2)/ (pwl*normpdf (x(i), el, al) +pw2*normpdf (x(i), e2, a2);R2_x(i) =r 12*pwl*normpdf (x(i), el, al)/(pwl*normpdf (x(i), el, al)+pw2*norm pdf (x(i), e2,

9、 a2) +r22*pw2*normpdf (x (i), e2, a2)/ (pwl*normpdf (x (i), el, al) +pw2*normpdf (x(i), e2, a2);endfor i=l：mif R2_x(i)Rl_x(i)result (i)=0;%第二类比第一类风险大%判为正常细胞(损失较小)，用0表示elseresult(i)=l;%判为异常细胞，用1表示end end%取样本点以画图&二-5:5; n=numel (a);Rl_plot=zeros (1,n);R2_plot=zeros(1, n); for j=l:nRl_plot (j) =r 1

10、1 *pw 1 *normpdf (a(j), el, al)/(pwl*normpdf (a(j), el, al)+pw2*n ormpdf (a(j), e2, a2) +r21*pw2*normpdf (a(j), e2, a2)/ (pwl*normpdf (a(j), el, al) +pw2*normpdf (a(j), e2, a2)R2_plot (j) =r 12*pwl*normpdf (a(j), el, al)/(pwl*normpdf (a(j), el, al)+pw2*n ormpdf (a(j), e2, a2) +r22*pw2*normpdf (a(j),

11、 e2, a2)/ (pwl*normpdf (a(j), el, al) +pw2*normpdf (a(j), e2, a2)%计算各样本点的风险以画图endfigure (1);hold onplot (a, Rl_plot, ' co', a, R2_plot,' r-.')；for k=l:mif result (k)=0plot (x (k),' cp') ；%正常细胞用五角星表示elseplot (x (k),' r*J);%异常细胞用*表示end;end;legend(5 正常细胞','异常细胞',

12、'Location , ' Best'); xlabelC细胞分类结果')；ylabel ('条件风险'); titlef风险判决曲线');grid onreturn%实验内容仿真：X , 、 ,、，disp(x);pwl 二；pw2 二；result=bayes(x, pwl, pw2);七. 实验结果1最小错误率贝叶斯决策后验概率曲线与判决显示在上图中后验概率曲线：带红色虚线曲线是判决为异常细胞的后验概率曲线青色实线曲线是为判为正常细胞的后验概率曲线根据最小错误概率准则，判决结果显示在曲线下方： 五角星代表判决为正常细胞，水号代表异常

13、细胞各细胞分类结果（0为判成正常细胞，1为判成异常细胞）：000000000000010111000101 2.最小风险贝叶斯决策-lai x|File Edit View Insert Tools Desktop Vindov Help、细胞分类结果Figure 1綾匡世<风险判决曲线如上图所示：带红色虚线曲线是异常细胞的条件风险曲线；青色圆圈曲线是正常细胞的条 件风险曲线根据贝叶斯最小风险判决准则，判决结果显示在曲线下方：五角星代表判决为正常细胞，水号代表异常细胞 各细胞分类结果（0为判成正常细胞，1为判成异常细胞）： 10000000000011011100010 1八、实验分析山

14、最小错误率的贝叶斯判决和基于最小风险的贝叶斯判决得出的图形中的 分类结果可看出，样本、在前者中被分为“正常细胞”，在后者中被分为“异常 细胞S分类结果完全相反。分析可知在最小风险的贝叶斯判决中，影响结果的 因素多了一个“损失”。在第一张图中，这两个样本点下两类决策的后验概率相 差很小，当结合最小风险贝叶斯决策表进行计算时，“损失”起了主导作用，导 致了相反的结果的出现。同时，最小错误率贝叶斯决策就是在0-1损失函数条件 下的最小风险贝叶斯决策，即前者是后者的特例。九、实验心得通过本次实验，我对模式识别有了一个初步的理解，开始对模式识别的相关 知识从书本上转移到了实践中，并跟据自己的设计对贝叶斯

15、决策理论算法有一个 深刻地认识，同时也理解二类分类器的设计原理。同时，之前只学过浅显的Matlab 知识，用M at lab实现数值计算的能力乂一次得到了训练，对以后的学习和实验 都有极大的帮助。实验二、基于Fisher准则线性分类器设计一、实验目的：1. 进一步了解分类器的设计概念2. 能够根据自己的设汁对线性分类器有更深刻地认识3. 理解Fisher准则方法确左最佳线性分界而方法的原理及Lagrande乘子求解的原理二. 实验条件：mat lab软件三、实验原理：线性判别函数的一般形式可表示成g (X) = VV7X + %其中/ 、/ 、X】IV =IV. d /根据Fisher选择投影

16、方向W的原则，即使原样本向咼在该方向上的投影能兼顾类间分 布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：上而的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中式一个向量，S,是Sw的逆矩阵，如 "-加2是d维，Sy和S,都是dXd维，得到的站也是一个d维的向崑向量“就是使Fisher准则函数Jh(W)达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向.该向量W"的各分量值是对原d维特征向量求 加权和的权值。以上讨论了线性判别函数加权向量W的确上方法，并讨论了使

17、Fisher准则函数极大的的计算方法，但是判别函数中的另一项I%尚未确左，一般可采用以下几种方法确左如或者2誉"或当p(®h与p(co)2已知时可用_ 凡 + ni2 _ In“()/p(a)2) "_2_ M+N厂2 _当舫确立之后，则可按以下规则分类，WX>-WoTXg W1 X >-w0X eco,使用Fisher准则方法确定最佳线性分界而的方法是一个著名的方法，尽管提出该 方法的时间比较早，仍见有人使用。四、实验内容：已知有两类数拯 和5二者的槪率已知“(e)二，卩9)2二。©中数据点的坐标对应一一如下：数据：02数据点的对应的三维坐

18、标为x2 =y2 =z2 =数据的样本点分布如下图:五、实验步使原样本向量在该方向上的投影1. 把数拯作为样本，根据Fisher选择投影方向W的原则.能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W的函 数，并在图形表示岀来。并在实验报告中表示岀来，并求使几（w）取极大值的/。用matlab 完成Fisher线性分类器的设计，程序的语句要求有注释。2. 根据上述的结果并判断（1,属于哪个类别，并画出数据分类相应的结 果图，画岀其在W上的投影。3. 回答如下问题，分析一下W的比例因子对于Fisher判别函数没有影响的原因。六.实验代码xl 二； x2 二；x3 二;%将

19、乂1、x2、x3变为行向量xl=xl (:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量mlml (l)=mean (xl);ml (2) =mean (x2);ml (3)=mean (x3);%计算第一类样本类内离散度矩阵S1S1 二zeros (3, 3);for i=l:36S1二S1+-ml(l)+xl(i)-ml(2)+x2(i)-ml (2)+x2 (i) -ml (3) +x3 (i);end%w2的数据点坐标x4 二；x5 二； x6 二；x4二x4 (:);x5二x5(:);x6二x6 (:);%计算笫二类的样本均值向量m2m2 (Demean (x4)

20、;m2(2)=mean (x5);m2(3)=mean (x6);处I算笫二类样本类内离散度矩阵S2S2=zeros (3, 3);for i=l:36S2 二 S2+-m2 (l)+x4(i)-m2 (2)+xo(i)-m2(2)+x5(i) -m2(3)+x6(i):-ml (3) +x3 (i) ' * -ml (1) +xl (i)-m2 (3) +x6 (i) ' * -m2 (1) +x4 (i)end%总类内离散度矩阵SwSw二zeros (3, 3);Sw=Sl+S2;%样本类间离散度矩阵SbSb二zeros (3, 3);Sb=(ml-m2)' *(m

21、l-m2);%最优解wW 二 Sw°T* (ml-m2)'%将w变为单位向量以方便计算投影W=W/sqrt (sum (W. 2);%计算一维Y空间中的各类样本均值Ml及M2for i=l:36y(i)=W,*xl(i) x2(i) x3(i)'endMl=mean (y);for i=l:36y(i)=W,*x4(i) x5(i) x6(i)'endM2=mean(y);%利用当P(wl)与P(w2)已知时的公式计算WOpl二；p2二；wo=-(M1+M2)/2+(log(p2/pl)/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标Xl=xl*

22、W(l)+x2*W (2) +x3*W(3)1，;X2二x4水W(l)+x5水W(2)+x6*W(3)' ;%得到投影长度XX1= W(l) *X1; W (2) *X1; W (3) *X11;XX2= W (1) *X2; W (2) *X2; W (3) *X2;%得到新坐标%绘制样本点figure (1);plot3 (xl, x2, x3, ') ； %第一类hold onplot3 (x4, x5, x6, 5 gpJ) ; %第二类legend f第一类点'J第二类点')；titleC Fisher线性判别曲线')；W1=5*W;%画出最佳

23、方向1 ine(-W1 (1),W1 (D, -(2), W1 (2), -W1 (3),W1 (3)1/color,冷);%判别已给点的分类； &2二'；d3二;a4; a5;A=al a2 a3 a4 a5:n=size (A, 2);%下面代码在改变样本时可不修改%绘制待测数据投影到最佳方向上的点for k=l:nAl 二 A(:, k)'*W;All二盼Al;%得到待测数据投影y二(:, k)+W0; %计算后与0相比以判断类别，大于0为第一类，小于 0为第二类if y>0plot3(A(l, k), A(2, k), A(3, k),' ro');%点为"rp"对应第一类plot3 (