模式识别课程小结.doc

模式识别课程小结 专业：导航、制导与控制姓名：张跃文2006年6月18日 课程结构安排和核心思想本教材详细介绍了在模式识别中常用的基本理论和基本方法，从理想状况下的贝叶斯决策理论开始，按照由浅入深、由表入里的逻辑顺序，重点讲解了线性和非线性判别函数、近邻法、最优化算法，特征选择和提取方面的内容。通过详细的讲解，使读者对模式识别的理论、方法和实际用途有了一个明确的思路和认识，对以后的实际应用有很强的指导意义，是一本很好的入门教材。本书前几章着重讨论监督学习，即已知训练集样本所属类别的条件下分类器的设计方法。然后讨论特征提取和选择的准则和算法。在这之后，讨论在不利用或没有样本所属类别信息的情况下的分类方法，即非监督模式识别方法。根据有关模式识别理论和技术的发展，简单介绍了一些实例，对读者对这门课程的实用性有了更直观的认识。模式识别系统有两种基本的方法，即统计识别方法和结构（句法）识别方法，与此相应的系统都由两个过程所组成，即设计和实现。设计是指用一定数量的样本（叫作训练集或学习集）进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。本教材只讨论了统计识别方法。基于统计方法的模式识别系统主要由4个部分组成：数据获取，预处理，特征提取和选择，分类决策。数据获取的过程就是通过测量、采样和量化，用矩阵或向量表示二维图像或一唯波形的过程。预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。然而由于图像或波形所包含的数据量是相当大的，为了有效的实现分类识别，就要找出最能反映分类本质的特征，这就是特征提取和选择的过程。分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。通过确定某个判决规则，使按这种判别规则对被识别对象进行分类所造成的错误率或引起的损失最小。第二章 贝叶斯决策理论主要精髓：一、基于最小错误率的贝叶斯决策如果P(w1| x)P(w2| x)，则把x规类于正常状态w1，反之P(w1| x)P(w2| x)，则把x归于异常状态w2。错误率P(e)P(w2)P2(e)+P(w1)P1(e)，由于贝叶斯决策规则式实际上是对每个x都使P(e| x)最小，所以必然有P(e)最小。也就是说，最小错误率决策规则确实使错误率最小。二、基于最小风险的贝叶斯决策用损失函数；i=1,2,a；j=1,2,c；表示当真实状态为wj而所采取的决策为时所带来的损失，就可以得到一般决策表。定义条件期望风险得到期望风险R=，最小风险贝叶斯决策规则为：如果则。三、分类器的设计通常定义一组判别函数用于表示多类决策规则，如果对一切ji,有，则将x归于wi类。故可根据需要定义不同的判别函数，只要满足上面这条性质就行。对别判别对象只有两类的情况下，我们可以定义判别函数，决策面方程显然为。难点：错误率的正确含义；最小错误率和最小风险的区别；分类器的设计。学习体会：通过本章的学习，对模式识别的基本内容和方法有了一个概括的了解。其本质就是将客观事物通过抽象，概括，找出最能反应事物本质的特征，利用数学工具尤其是统计学的有关理论，比较后验概率的大小，从而对被识别对象进行规类。这样设计出的分类器理论上最优而先验条件难以满足，故在应用中受到一定限制。 第三章 概率密度函数的估计主要精髓：一、参数估计1、最大似然估计把参数看成为确定的未知参数。似然函数定义为最大似然估计就是求使似然函数为最大的作为最大似然估计量。2、贝叶斯估计把参数看成为随机的未知参数，一般具有先验分布。样本通过似然函数并利用贝叶斯公式将的先验分布转化为后验分布，再利用使平方误差损失函数的贝叶斯风险极小化。3、贝叶斯学习利用的先验分布及样本提供的信息求出的后验分布，然后直接求总体分布。二、参数估计方法的应用1、正态分布的监督参数估计假定样本类别已知，且样本服从正态分布，则通过以上三种参数估计方法能够得到很好的效果，估计值拟合程度很高。2、非监督参数估计在未知样本类别条件下，经常利用最大似然估计，首先定义似然函数，然后利用从混合密度中提取的样本估计未知参数，如果混合分布可识别，则可用一般方法求最大似然估计量。如果不识别，则不可使用非监督参数估计，但实际上大部分常见连续随机变量的分布密度函数都是可识别的，故这种方法还有较强的实际应用价值。三、关于分类器错误率的估计问题1、对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的样本集称为检验集或考试集。2、对于未设计好的分类器，需将样本分成两部分，即分为设计集和检验集，分别用以设计分类器和估计错误率。难点：参数估计方法在实际中的应用。学习体会：本章主要讨论了当概率密度函数未知时，利用三种参数估计对其进行估计的问题。但是可以看出，尽管参数估计在统计学中已经有一套较完整的理论和方法，但在实际应用中，当样本数有限时，并不能保证估计出的概率密度函数能很好的反应真实情况，故一般情况下在此基础上设计性能良好的分类器并不是一个十分简单的问题。第四章 线性判别函数主要精髓：一、线性判别函数的基本概念及设计步骤一般表达式为；令；则当时，否则，若，则将任意分到某一类，或拒绝。线性分类器的主要设计步骤如下：1、要有一组具有类别标志的样本集。2、根据实际情况确定一个准则函数，且要能反映分类器的性能，极值解对应于最好的决策。3、用最优化技术求出准则函数的极值解，利用极值解就可以构造判别函数了。二、感知准则函数及其梯度下降算法对于一组线性可分的样本集，我们先构造准则函数，使得我们能够从准则函数的符号来判断样本是否被错分，故可以采用梯度下降算法，感知准则函数对所求的解向量求导数，再通过迭代循环即可求出使准则函数达到最小值的解向量。三、最小错分样本数准则由于感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，迭代过程永远不会终结，即算法不收敛。但在实际中很难事先知道样本集是否可分，因此，有必要研究一种既能适用于线性可分情况，又适用于线性不可分情况的算法。对于线性可分问题，可以得到一个如感知函数那样的解向量，使样本全部正确分类；而对于线性不可分情况，则得到一个使两类样本集错分数目最少的权向量，这样的准则就叫作最小错分样本数准则。主要算法有共轭梯度法、搜索法等。难点：算法的深刻理解及程序设计的实现学习体会：通过本章的学习，对基于几个常用准则函数的线性分类器设计方法有了一个大致的了解，深刻认识到在工程实践中化繁为简的思维方法，复杂的分类判别问题可以用线性判别函数近似逼近，为我以后解决实际问题提供了一个很好的思路。第五章 非线性判别函数主要精髓：一、分段线性判别函数概念分段线性判别函数是一种特殊的非线性判别函数，它确定的决策面是由若干超平面段组成的，能逼近各种形状的超曲面，具有很强的适应能力。如基于距离的分段线性判别函数可以将多个样本集分类，也就是说样本点距离哪个类的代表点近就把它分到哪一类。二、用凹函数的并表示分段线性判别函数对于多峰分布的两类问题，可以考虑用这种方法构造判别函数，通过判断判别函数的符号可以对样本进行分类，通常可以得到满意的结果，但也存在明显的问题，在算法执行前，要首先判断每类分布有多少个峰，从而确定设计几个分段线性判别函数，这就需要有先验知识，还需要给出每个分段线性判别函数中分段的数目。0三、用交遇区的样本设计分段线性分类器这是一种实现最少分段线性分类器的方法。当两类样本非线性可分时，贝叶斯分界面一般通过两类样本十分靠近或相互交迭的区域，即交遇区。把这些区域找出来，利用这些区域中的样本集设计线性判别函数，然后把它们连在一起，就构成了一个线性判别函数，所得的分界面时分段线性分界面，它可以很好地逼近贝叶斯分界面。难点：利用样本集确定子类数目及求子类的权向量和阀值权。学习体会：通过本章的学习，使我对复杂问题简单化的思路有了更深刻的认识。由于实际中很多模式识别问题并不是线性可分的，而且经常具有多峰性质和互相交错，但直接利用非线性函数解决问题又十分的复杂，因此，用分段线性函数进行逼近不仅是可能的而且效果很好，在实践中得到了广泛的应用。第六章 近邻法主要精髓：前两章基于距离的判别函数都是在每一类选一个代表点，是很直观和简单的方法，但这样的代表点可能不能很好的代表各个类，结果错误率比较高。本章讨论的近邻法就是将各类中的全部样本都作为代表点，即近邻法，是一种比较成熟的设计方法。一、最近邻法这是一种最简单但错误率也很小的方法，即比较待测样本与若干个已知类别的样本之间距离的大小，取最小值，则待测样本就属于那一类。其错误率大约为贝叶斯错误率的一到两倍，是一种很实用的设计方法。二、k近邻法这是最近邻法的一个推广。这种方法就是取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归于哪一类。也就是在N个已知样本中，找出x的k个近邻。设这N个样本中，来自w1类的样本有N1个，来自w2类的有N2个，来自wc类的有NC个，若k1，k2，kc分别是k个近邻中属于w1，w2，wc类的样本数，则定义判别函数，决策规则为：若，则；三、减少近邻法计算量和存储量的方法近邻法虽然有很好的特性，但一个明显的缺点就是计算量大。可采用快速搜索法，将样本分级成一些不相交的子集，并在子集的基础上进行搜索，这种方法对最近邻法和k-近邻法都适用。还可采用剪辑近邻法，即将样本集分成两个独立的集合设计集和考试集，并用设计集设计分类器，用考试集估计错误率。更进一步还有压缩近邻法，即在剪辑的基础上，再去掉一部分对分类决策没什么影响的样本以缩短计算时间和降低存储要求。难点：快速搜索算法的分级方法、程序设计学习体会：通过本章的学习，对近邻法的基本理论和方法有了一个较为全面的认识，也对它的重要性有了更深的体会，是一种很有实用价值又在理论上比较完善的设计方法。为了解决它对存储量和计算速度要求过高的问题，又进一步学习了几种改进的近邻法，尤其是快速搜索算法为缓解这一矛盾提供了一个很好的思路。第八章 特征的选择与提取主要精髓：特征选择与提取的目的就是通过一系列判据把高维特征空间压缩到低维空间，保留最有效的特征，以便更有效的设计分类器。特征提取和选择并不是截然分开的。可以先经过选择去掉那些明显没有分类信息的特征，再进行映射以降低维数。也可以先将原始特征空间映射到维数较低的空间，再在这个空间中再进行选择以进一步降低维数。一、特征提取本质上就是一种变换，即通过一定的映射方法，把处在高维空间中的样本用低维空间表示。根据所依据的判据不同，特征提取有很多种方法，如按欧氏距离度量的提取方法，选择的特征就使各个类别样本之间平均距离最大，从而使各类尽可能远地分开。按概率距离判据的特征提取方法，则是将分布密度的交叠程度用两类的先验概率密度函数之间的距离来度量，当两类完全可分时，这个距离最大；反之，当两类分布密度相同时，距离为零。基于判别熵最小化的特征提取，则是利用相对熵函数来判别，即相对熵越小，两类概率分布的差别就越大，当两类概率分布完全相同时，相对熵最大为零。二、特征选择任务就是从一组高维特征中选出一组较低维的最优特征，再通过一个较好的算法，以便在允许的时间内找出最优的那一组特征。常用的算法有最优搜索算法，也即“分支定界”算法，它是一种自上而下方法，但具有回溯功能，故可使所有可能的特征组合都被考虑到。这种算法主要利用了可分离性判据的单调性，一定能得到最优解。当然，这种算法计算量还是比较大甚至难以实现，所以有时经常采取一些次优算法，如顺序前进法，顺序后退法等。难点：最优算法的实现，熵函数的理解学习体会：通过本章的学习，对在图像处理等领域中使用的降维方法有了一个大概的了解，强化了通过数学工具解决实际问题的思想，对特征选择和提取的有关理论和方法有了一个明确的概念，深刻认识到特征选择和提取在模式识别中的重要性，为以后深入研究打下了一个良好的基础。第九章 基于K-L展开式的特征提取主要精髓：本章分析了利用少量的特征对样本进行描述从而降低特征空间维数的方法，即基于K-L展开式的特征提取方法。K-L展开式的一个重要性质就是它的展开系数是相互无关的，通过K-L变换，消除了原有向量各分量之间的线性相关性，从而可能去掉那些带有较少信息的坐标轴以达到降维的目的，