(完整版)模式识别复习要点和参考习题

1、复习要点绪论1、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例。答：我的本科毕设内容和以后的研究方向为重症监护病人的状态监测与预诊断，其中的第一步就是进行ICU病人的死亡率预测，与模式识别理论密切相关。主要的任务是分析数据库的8000名ICU病人，统计分析死亡与非死亡的生理特征，用于分析预测新进ICU病人的病情状态。按照模式识别的方法步骤，首先从数据库中采集数据，包括病人的固有信息，生理信息，事件信息等并分为死亡组和非死亡组，然后分别进行数据的预处理，剔除不正常数据，对数据进行插值并取中值进行第一次特征提取，然后利用非监督学习的方法即聚类分析进行第二次特征提取，得到训练样本集和测

2、试样本集。分别利用判别分析，人工神经网络，支持向量机的方法进行训练，测试，得到分类器，实验效果比传统ICU中采用的评价预测系统好一些。由于两组数据具有较大重叠，特征提取，即提取模式特征就变得尤为重要。语音识别，图像识别，车牌识别，文字识别，人脸识别，通信中的信号识别； 文字识别汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可磨灭的功勋。所以在信息技术及计算机技术曰益普及的今天，如何将文字方便、快速地输入到计算机中已成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。目前，汉字输入主要分为人工键盘输入和机器自动识别输入两种。

3、其中人工键入速度慢而且劳动强度大；自动输入又分为汉字识别输入及语音识别输入。从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写体识别中，脱机手写体的难度又远远超过了联机手写体识别。到目前为止，除了脱机手写体数字的识别已有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。 语音识别语音识别技术技术所涉及的领域包扌舌:信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。近年来，在生物识别技术领域中,声纹识别技术以其独特的方便性、经济性和准确性等优势受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。而且利用基因算法训练连续隐马尔柯夫模型的语音识别

4、方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有较高的识别率。 扌指纹识别我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。而这些皮肤的纹路在图案、断点和交叉点上各不相同，是唯一的。依靠这种唯一性，就可以将一个人同他的指纹对应起来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。一般的指纹分成有以下几个大的类别:环型(loop)，螺旋型(whorl),弓型(arch)，这样就可以将每个人的指纹分别归类，进行检索。指纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤 遥感遥感图像识别已广泛用于农作物估产、资源勘察、气象预

5、报和军事侦察等。 医学诊断在癌细胞检测、X射线照片分析、血液化验、染色体分析、心电图诊断和脑电图诊断等方面，模式识别已取得了成效。2、若要实现汽车车牌自动识别，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。答：汽车车牌自动识别需要有以下三大步骤：（1）获取包含车牌的彩色图像（2）实现车牌定位和获取（3）进行字符分割和识别，详细操作如流程图所示。第一步需要建立字符库，即根据已知字符的二值图像进行处理生成特征字符库；第二步通过摄像头获取包含车牌的彩色图像，输入图像；第三步利用主成分分析法、K-L变换，MDS和KPCA等方法对车牌进行特征识别；第四步对车牌进行粗略定位和精细

6、定位，如VMLA定位，基于边缘检测的方法，基于水平灰度变化特征的方法，基于车牌颜色特征的方法等。第五步利用分类器确定车牌类型之后对字符进行分割，对图像进行预处理，去除铆钉，谷值分析，模板匹配，二值化投影法等第六步分割成得单个字符进行模式识别，得到每个字符，然后组合输出结果，具体的方法为统计学习或人工神经网络等。统计决策3、最小错误率贝叶斯决策方法与最小风险贝叶斯决策方法4、正态分布下最小错误率决策与Neyman-Pearson决策方法(1)假设在某个地区的细胞识别中正常1和异常2两类的先验概率分别为正常状态P()二0.91异常状态：P()=0.12现有一待识的细胞，其观测值为x，从类条件概率密

7、度分布曲线上查得P(加1)=0.2并且已知损失系数为兀=0,人2=1,九21=6,九22=0。试对该细胞以以下两种方法进行分类:率准则的贝叶斯判决；基于最小风险的贝叶斯判决。p(x.)=0.4基于最小错误概解：基于最小错误概率准则的贝叶斯判决先计算先验概率P(x)=Xi)P(i)=0=0.8181fP(x)P()0.2x0.9+0.4x0.1jjj=1P(/x)=1-P(/x)=0.182,因为P(/x)P(xe属正常细胞。因为P()P(),所以先验概率起很大作用.12基于最小风险的贝叶斯判决0.2x0.9由上例中计算出的后验概率：P(.x)=0.818,P(2/x)=0.182条件风险：R(

8、a-x)仝九P(/x)=XP(/x)=1.09211jj122j=1R(ax)=XP(：x)=0.818因为R(ajx)R(.x)xe异常细胞，因决策类风险大。因九=6较大，决策损失起决定作用。12(2)已知两个一维模式类别的类概率密度函数为(2x,0x1p(xI)=、“10,其它p(x|2)=先验概率P()=P()，损失函数，九=九=0,九=0.6,九=0.4。1211221221(1)求最小平均损失Bayes判决函数；(2)求总的误判概率P(e)；解：先求先验概率：r、P(xI)P()1 x=pG丨)p()+；Gi)p()()P(x|)P()2 P(x|)P()+P(x|)P()1122求

9、条件风险：P（xIx）二九P（oIx）+九P（oIx）二九P（oIx）P（aIx）显P（0Ix）+1P（0Ix）二弋pGIx）2211222211期望风险要求最小，当p（Ix）=P（aIx）时满足要求，即12九P（oIx）=XP（coIx）0.6P（xio）P（01）=0.4P（xIo）P（o）22110.6（2-2x）=0.4x2xx=0.6(3)对于这个两类一维问题，若这两类的类概率密度分别服从正态分布N(O,b)和N(1,b)，证明使平均决策风险最小的决策阈值为1 、人pCd）x=-C2ln122 九P（to）2111p（x）=e2c2这里，假设风险函数兀二九22=0。一维正态分布：、2

10、兀解：先求先验概率：（）P（xIo）P（o）1x=P（xIo）P（o）+P（x）P（o）_（.）1P（xIo）P（0）22、P（O2Ix）=P（xIo）P（o）+P（xI2o）P（o）1122求条件风险：P（xIx）=XP（oIx）+XP（oIx）=XP（oIx）P（xIx）=XP（oIx）+XpCdIx）=XP（oIx）2211222211期望风险要求最小，当尸匕Ix）=P（aIx）时满足要求，即12XP（oIx）=XpCoIx）XP（xIo）P（o）=XP（xIo）P（o）12222111X丄e-第2P（o）=X122兀c2两边取对数x22112C2InXP（o）-（x-1）2=InXP（

11、o）1222c21 ,XP（o）x=-C2ln揑2A2 XPko）211概率密度函数估计5、最大似然估计方法与贝叶斯估计方法答：最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/O)转化为后验概率P(O/Xi),再求贝叶斯估计。(4)设以下两类模式均为正态分布1：(0,0)T，(2,0)T，(2,2)T，(0,2)T2：(4,4)T，(6,4)T，(6,6)T，(4,6)T设卩(1)=P(2)=1/2，求该两类模式之间的Bayes判别界面的方程，并绘出判别界面。解：02204664_X

12、=10022,X2=4466-1-X=-(0+2+2+0)=1,X114121=：(0+0+2+2)=11X=(4+6+6+4)=5,X=(4+4+6+6)=5214224X=11112协方差矩阵为C=k-1)2+(2-1+(2-1+(0-1)21434G,X)=6,1,X=G,X)=(5,522122113C1=C1=-(1221r31【C1=-)-1)2223C1C1工=11121C1C12122430-+(2-+(2-让14，工-1=1(6-5+(6-5+(4-514C2=C2=1【4-5)4-5)+(6-5)4-5)+(6-5)6-5)+(4-5)6-5)=012213C2=11-5+

13、(4-5+(6-5+(6-514223E=-2,C121先验概率430034，工-1=243003_4_C112C122心J=p6)=p6)=0.5,ln=0假定二类协方差矩阵不等2利用公式：g(x)=g(x)-g(x)211 y1y=(x-x)t-1(x-x)-(x-x)t-1(x-x)2 111222ily|+qln12P)22x=(x,x)T,将X=(x,x)T=(0,0)T代入得:1212所以判X=(0,0)T属于类。1令g(x)=0得分界线方程为：x+x-6=01g(x)=-180假定二类协方差矩阵相等83J0-038,y=8c300-3丿k82Z=Z+Z=12所以代入x=(0,0得

14、：g(x)=(x2-X)ty-1x+(xTy-1X.-xTy12故应把X=(0,0)T判为类，1分界线方程为g(x)=x+x-6=0121-x2E-1X2)-ln篇=-9025)假设在一维两类分类当中样本点符合Rayleigh概率密度函数分布：x-x2exp(C2i02C2)x-0x0试求判决边界g(x)=0解：g(x)=P(x|)P()ii-x22c2ix=expC2iP)i一x22c2i令g(x)=ln+InP()=lnx-2lnc-i2c2i决策面方程：g(x)i即：ln2-Cj6、Parzen窗法x2g(x)=0j、x22c22c2ij丿丄iP()=0+lni=0P)j（3）试用最大似

15、然估计的方法估计单变量正态分布的均值卩和方差&2解：例3设总体X+趴肿,其中円庐2均未知，设疋凤X是取自疋的一个样本.求“与cr2的极大似然估计量*解样本的似然函数为-”1g故有对数似然惭数IngE）=-号InME-缶（X/-岸2对屮和厅分别求偏导并令其为0得似然方程纠Bln（,小）_”*_1_0O7_bE曲歹=3仙计的注意到小是存的函数！it“工（心-打二0、b+”諾乳=乳扎一沪归养脑止态分布士极大似然佔计呈=矩佔计呈*1=1解之得极人似然估十I壮线性分类器与非线性分类器7、线性判别函数及线性分类器8、Fisher线性判别方法9、最小平方差误差判别10、分段线性距离分类器与二次判别函数11、

16、支持向量机12、近邻法（6）指出在Fisher线性判别中，w的比例因子对Fisher判别结果无影响的原因解：Fisher准则函数为:J（U）_（阮-）2_12-2+2W1W2_USUW，式中用餘表示w求导2&SftsU-2(U?SUSUPWpPB_0_arpsp_IT_訓航_W(UsP)2WW解之得：sBu八swu可得Fisher最佳鉴别矢量：九U_s-isp_s-i（m-m）（m-m）啰WBW1212上式右边后两项因子的乘积为一标量，令其为q,于是可得s-i(mm)九W12W的比例因子牛是一标量因子，不改变判别轴的方向，故对Fisher判别结果无影响。九7)考虑一种情况，量。根据感知器算法，

17、其中p二1,通过对W的调整，可实现判别函数解：,【0,11在类1中包含两个特征向量，W(0)二0.5,0.5，设计一个线性分离器来区分这两类。,koi训。类2中包含和两个向W(0)二初始权向量05,05当分类发生错误时就有对于：WTX0为正确，WTX0为错误，WTX0为正确2第一次迭代555.000=122(x1x1x2)T)T)T)(0(0(0(rbrlrl555.0.005(-),01T0T1T=0.5,不修正=0.5,不修正=1,修正(0)1山=-0.5-0.52第二次迭代2xy=1-0.5-0.5101r=-0.5,修正G(2)=G+x2=(-0.5-0.5+【01B=-0.50.5丄

18、w(2)rx2=-0.50.510r=-0.5,不修正w(2)rx?=-0.50.51r=0,修正w(2)22w(3)=w(2)-x2=丄0.50.5-11)t=L1.5-0.5r22第三次迭代耐xy=L1.5-0.50J=-0.5，修正w(3)(4)=6)+x2=G1.5-0.5+【01)t=L1.50.5tw(4)tx2=L1.50.50r=-1.5,不修正w(4)tx2=L1.50.511=-1,不修正2第四次迭代(4卞x1=L1.50.501r=0.5,不修正(4卞x?=L1.50.510r=-1.5,不修正(4卞x2=L1.50.51r=-1,不修正22迭代结束，o（4）=-1.50

19、.5判别函数为g（X）=-1.5X1+0.5X2特征选择与提取13、基于类内类间距离的可分性判据14、主成分分析方法与K-L变换基本原理mmm三类彎m3，其中1m:i）,-1,（1,-1,（0,-2求3解：:1,0）t,（2,0）t,（1,m:-1,0）t,（-1,（0,类的均值矢量：m（i）=迓x总体均值矢量：m=工pm（i）Nkiik=1i=1类内离散度：s=ps=1lp-L艺（x（i）-m（i）（x（i）-m（i）TWimiiNkki=1i=1ik=1类间离散度：s=工p（m（o-m）（m（o-m）TBi卩=0,卩=2,02=1,02=11212i=1m：x（1）=121l=1,mx（1

20、）=4/3s=丄迓（x-m）（x-m）t=12-1k0011/31Nkk1k=1=9-12总体离散度：lTNl=迓（x-m）（x-m）T=s+sWBm：x（2）=-1-10,mx（2）=-2/3s=男（x-m（2）（x一m（2）t=一22k_011_2/3_2Nkk92k=112m：x（3）=0-10-,mx（3）=-1/3-s=迓（x一m（3）（x/”=一2-1_3k-1-1-2-4/33Nkk93k=1-12-16627-1Sw=3（S1+S2+S3）=丄m=（m（i）+m（2）+m（3）=-1/9-,s=工p（m（o-m）（m（o-m）T=6213-3-1/9Bi81i=113629）两

21、个一维正态分布，其期望与方差如下：第一组冒0,巴=2Q12=4Q2=0.25；第二组求Bhattacharyya距离及散度。J=-lnJl.p（pIIw）12dXB12=一ln解：=一lne-16（7x2-64x+64加1dp=-lnJ1e4L町.：2kccQ12Q=-lne”2U732（x-）21_8-1764一322p一17（64一322，16/17.e168/17e一171e2k17Q（x-32/17）2p16/17dX17164322=-In17e一=Hp（fI）-p（fI）lnP（善1i）dXD12p（XI）Q2特殊情况:J=J（1/2）BC正态分布：p（f）N（m（1）,c）,p（

22、）n（再,c），多维是c,c为协方差112212j=丄s（1-s）（m?（1）-m（2）th-s）c+scim?一m（2）+丄in_C2122IqiC2Isj=-m（2）tB82（C1+C2）厨-m?）+1ln2|C1/2-|C|121/2Bhattacharyya距离即为jB散度为JDj=1TrC-1C+c-1C-2111(乩)-m?(j)t(c-1+c-1)(m?(i)-m(j)D2ijji2ij(10)已知以下两类模式w1：(0,0,0)T，(1,0,0)T，(1,0,1)T，(1,1,0)Tw2：(0,0,1)T，(0,1,0)T，(0,1,1)T，(1,1,1)T试用K-L变换分别把

23、特征空间维数降到d=2和d=1，并作图画出样本在该特征空间中的位置。使用Fisher线性判别方法给出这两类样本的分类面。解：m=工f(i)+工艮)=1114i4ii=i=0脸)=P)=5/10=1/22R=EfP=工P()EX(i)X(i)ii=1=工杯削+2百工即f（2）=i=1i=1求R的特征值和特征向量4九-2-1-1-14九-2-1-1-1=0nX=1,九=X=12344X-2Rtfj=X几j=12,3f=g1jjtf2-1話,f=g-10111当d=2时，选取X,1121f作为变换矩阵2X对应的tf21-10y(1)=TTx(1)=111100011010010吉-101212|_o

24、-1-1y(2)=TTx(2)000111111230111104201101011占-1当d=1时，选取X对应的作为变换矩阵tf1=丄12211y=Ttx(1)=丄1J21=吉1012y(2)=TTx(2)01010011013=10111:x=1k0001,0010000:x=2k0111,101L33/4m?(i)=1/41/41/4,m(2)=3/43/411_3-1-13工=K(f-m?)(f-m?)t=1Nkk161k=1=丄迓(f(2)-mf(2)(xf(2)-mf(2)工：2Nk2k=1161/2-1m?=+m?（2）+m?（3）=21/2,s=工p（m?（i）-m?）（m?（i）-m?）Tb1/2w*=s-1(m?-m?(2)=(8-8-8)ww*Tmf(1)+W*T&(2)”=-42y0=所以判别函数为：g（x）=w*Tx-y另一种神奇的答案:求R的特征值和特征向量16九-3ii=1=k-8-81x+4R=S,丨XI-R|=w16-1