模式识别实验指导书pdf.doc

模式识别实验指导书pdf 模式识别实验指导书西安理工大学信息与控制工程系模式识别实验指导前言模式识别能力是人类智能的重要标志，通过这种能力我们能够辨识人脸、识别语音、阅读手写文字、从口袋里摸出钥匙或者根据气味判断苹果是否成熟。 模式识别这门课程就是研究如何用计算机实现人的模式识别能力。 模式识别是以应用为基础的学科，目的是将对象进行分类。 这些对象可以是图像、信号波形、文字、语音等可以测量的对象。 为了让高年级本科学生能够更好地理解，模式识别课程中讲授的基本内容和方法，配合授课内容和实验学时要求，设计了6个学时的模式识别实验项目。 使用时可以在3个实验中任选2个来进行。 本实验指导书中给出了实验的内容、要求和简单的参考例程。 例程仅起参考作用，学生必须通过对例程的理解自己设计程序，完成全部实验内容。 -1-模式识别实验指导实验一总体概率密度分布的非参数方法 一、实验目的在进行Bayes决策时，一个前提条件是要预先知道先验概率密度和类条件概率密度，而实际中我们只是收集到有限数目的样本，而不知道先验概率密度和类条件概率密度。 因此，我们必须先根据有限的样本对类条件概率密度和先验概率密度进行估计，再用估计的结果进行Bayes决策。 由样本集估计概率密度的方法有监督参数估计、非监督参数估计和非参数估计三种类型，其中非参数估计方法是在样本所属类别已知，但是总体概率密度函数形式的条件下，直接推断概率密度函数本身的方法。 本实验的目的是通过编程进行概率密度的函数的Parzen窗函数估计和KN近邻估计，加深对非参数估计基本思想的认识和理解。 二、实验要求 1、复习非监督参数估计的基本思想； 2、复习用Parzen窗法进行总体分布的非参数估计方法并编制程序； 3、复习KN近邻法进行总体分布估计的基本原理，并编制程序； 4、本实验在2学时内完成； 三、参考例程及其说明下面程序采用正态窗进行概率密度函数的估计。 程序中N表示样本个数，h1表示于窗宽。 clear N=4096;XI=randn(1,N);h1=0.25;for x=-3:0.001:3%t=(x+2.5)*100%pause j=ceil(x+3)*100)+1;P(j)=0;for i=1:N%i%j%pause P(j)=exp(-0.5*(x-XI(i)*N0.5/h1)2)/(h1/N0.5)*(2*pi)0.5)+P(j);end P(j)=P(j)/N;-2-模式识别实验指导end x1=-3:0.01:3;plot(x1,P) 四、上机完成内容 1、修改参数N，令N=1，N=4，N=16，分析所得到的概率密度曲线的变化情况，说明这些曲线的意义。 2、修改h1，观察曲线变化，说明h1对概率密度函数估计的影响。 说明当h1十分小时出现的问题，思考产生这一问题的原因。 3、改用方窗函数实现概率密度函数的估计，分析不同样本数和不同窗宽对概率密度估计的影响。 4、参照上面例程，编制KN实现概率密度函数估计的程序。 分析KN取值对概率密度函数估计的影响。 （注意KN一定小于样本总数N，why?）。 五、实验报告要求 1、用自己的理解说明非参数估计方法的基本原理。 2、给出上机实验自编程序和程序运行结果。 3、针对内容2种出现的问题，说明Parzen窗法和近邻法各自的优缺点。 4、分析实验结果。 5、分析实验中出现的问题，说明从中得到哪些收获。 -3-模式识别实验指导实验二感知器准则算法实验 一、实验目的贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计，而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所需要的样本数急剧增加，使计算量大增。 在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别函数来直接将样本进行分类。 这种思路就是判别函数法，最简单的判别函数是线性判别函数。 采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器算法是一种求解判别函数系数的有效方法。 本实验的目的是通过编制程序，实现感知器准则算法，并实现线性可分样本的分类。 二、实验内容实验所用样本数据如表2-1给出（其中每个样本空间（数据）为两维，x1表示第一维的值、x2表示第二维的值），编制程序实现 1、2类 2、3类的分类。 分析分类器算法的性能。 2-1感知器算法实验数据类别1234样本x1x2x1x2x1x2x1x210.11.17.14.2-3.0-2.9-2.0-8.426.87.1-1.4-4.30.58.7-8.90.23-3.5-4.14.50.02.92.1-4.2-7.742.02.76.31.6-0.15.2-8.5-3.254.12.84.21.9-4.02.2-6.7-4.063.15.01.4-3.2-1.33.7-0.5-9.27-0.8-1.32.4-4.0-3.46.2-5.3-6.780.91.22.5-6.1-4.13.4-8.7-6.495.06.48.43.7-5.11.6-7.1-9.7103.94.04.1-2.21.95.1-8.0-6.3-4-模式识别实验指导具体要求 1、复习感知器算法； 2、写出实现批处理感知器算法的程序1）从a=0开始，将你的程序应用在1和2的训练数据上。 记下收敛的步数。 2）将你的程序应用在2和3类上，同样记下收敛的步数。 3）试解释它们收敛步数的差别。 3、提高部分3和4的前5个点不是线性可分的，请手工构造非线性映射，使这些点在映射后的特征空间中是线性可分的，并对它们训练一个感知器分类器。 分析这个分类器对剩下的（变换后的）点分类效果如何？ 三、参考例程及其说明针对1、2和3的分类程序如下clear%original dataw1=.16.8-3.52.04.13.1-0.80.95.03.9;1.17.1-4.12.72.85.0-1.31.26.44.0;w2=7.1-1.44.56.34.21.42.42.58.44.1;4.2-4.30.01.61.9-3.2-4.0-6.13.7-2.2;w3=-3.00.52.9-0.1-0.4-1.3-3.41-5.11.9;-2.98.72.15.22.23.76.23.41.65.1;%normalized ww1=ones(1,size(w1,2);w1;ww2=ones(1,size(w2,2);w2;ww3=ones(1,size(w3,2);w3;w12=ww1,-ww2;y=zeros(1,size(w12,2);a=1;1;1;k=0;while any(y=0)for i=1:size(y,2)y(i)=a*w12(:,i);end-5-模式识别实验指导a=a+(sum(w12(:,find(y=0);k=k+1;end ak figure (1)plot(w1(1,:),w1(2,:),r.)hold onplot(w2(1,:),w2(2,:),*)xmin=min(min(w1(1,:),min(w2(1,:);xmax=max(max(w1(1,:),max(w2(1,:);ymin=min(min(w1(2,:),min(w2(2,:);ymax=max(max(w1(2,:),max(w2(2,:);xindex=xmin-1:(xmax-xmin)/100:xmax+1;yindex=-a (2)*xindex/a (3)-a (1)/a (3);plot(xindex,yindex)w12=ww2,-ww3;y=zeros(1,size(w12,2);a=1;1;1;k=0;while any(y=0)for i=1:size(y,2)y(i)=a*w12(:,i);end a=a+(sum(w12(:,find(y=0);k=k+1;end ak figure (2)plot(w2(1,:),w2(2,:),r.)hold onplot(w3(1,:),w3(2,:),*)xmin=min(min(w2(1,:),min(w3(1,:);xmax=max(max(w2(1,:),max(w3(1,:);这段程序的作用是什么？-6-模式识别实验指导xindex=xmin-1:(xmax-xmin)/100:xmax+1;yindex=-a (2)*xindex/a (3)-a (1)/a (3);plot(xindex,yindex)上述程序运行后，可以得到线性分类器如图2-1和图2-2所示。 图2-1感知器训练算法得到1、2的分类线图2-2感知器训练算法得到2、3的分类线思考问题感知器算法最终得到的权值W有什么用途？有了权值后如何得到分类面？ 四、实验报告要求 1、完成实验要求内容，写出程序运行结果； 2、写出自编程序； 3、分析程序运行结果和实验中遇到的问题；-7-模式识别实验指导实验三Fisher线性判别实验 一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，低维特征空间的分类问题一般比高维空间分类问题简单。 因此，人们力图将特征空间进行降维，降维的一个基本思路是将d维特征空间投影到一条直线上，形成一维空间，这在数学上比较容易实现。 问题的关键是投影之后原来线性可分的样本可能变为线性不可分。 一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分。 如何确定投影方向使得降维以后，样本不但线性可分，而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布）。 就是Fisher线性判别所要解决的问题。 本实验通过编制程序让初学者能够体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。 二、实验要求 1、改写例程，编制用Fisher线性判别方法对三维数据求最优方向W的通用函数。 2、对下面表3-1样本数据中的类别1和2计算最优方向W。 3、画出最优方向W的直线，并标记出投影后的点在直线上的位置。 表3-1Fisher线性判别实验数据类别12样本x1x2x3x1x2x31-0.40.580.0890.831.6-0.0142-0.310.27-0.041.11.60.483-0.380.055-0.035-0.44-0.410.324-0.150.530.0110.047-0.451.45-0.350.470.0340.280.353.160.170.690.1-0.39-0.480.117-0.0110.55-0.180.34-0.0790.148-0.270.610.12-0.3-0.222.29-0.0650.490.00121.11.2-0.4610-0.120.054-0.0630.18-0.11-0.49-8-模式识别实验指导 4、选择决策边界，实现新样本xx1=（-0.7,0.58,0.089），xx2=（0.047,-0.4,1.04）的分类。 5、设某新类别3数据如表3-2所示，用自己的函数求新类别3分别和 1、2分类的投影方向和分类阈值。 表3-2新类别样本数据 三、参考例程及其说明求取数据分类的Fisher投影方向的程序如下其中w为投影方向。 clear clcw1=-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,.47,0.034;0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063;w2=0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;-0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49;xx1=-0.7,0.58,0.089;xx2=0.047,-0.4,1.04;s1=cov(w1,1);m1=mean(w1);s2=cov(w2,1);类别3样本x1x2x311.582.32-5.820.671.58-4.7831.041.01-3.634-1.492.18-3.395-0.411.21-4.7361.393.612.8771.21.4-1.898-0.921.44-3.2290.451.33-4.3810-0.760.84-1.96-9-模式识别实验指导m2=mean(w2);sw=s1+s2;w=inv(sw)*(m1-m2);h1=figure (1)for i=1:10plot3(w1(i,1),w1(i,2),w1(i,3),r*)hold onplot3(w2(i,1),w2(i,2),w2(i,3),bo)end y1=w*w1;y2=w*w2;figure (2)for i=1:10plot3(y1(i)*w (1),y1(i)*w