模式识别导论.doc

基于模式识别的个人认识班级 自动化1002班 姓名 刘永福 学号 1009101016摘要：本文主要介绍了模式识别的基本理论概念及算法，通过对模式识别的几种算法的概括、分析，推出算法的要求及步骤，实现样本的基本分类要求。主要包括模式识别及模式识别系统的基本概念以及应用领域、线性判别函数的介绍及相关算法的推理证明、非线性判别函数的介绍及相关算法的推理证明。10一模式识别及模式识别系统（1）模式识别的基本概念模式识别是以计算机为工具、各种传感器为信息来源，数据计算与处理为方法，对各种现象、事物、状态等进行准确地分析、判断识别与归类，包括人类在内的生物体的一项基本智能。对于模式和模式识别有“广义”和“狭义”两种解释：广义地说，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以称之为模式。此时，模式识别是生物体(包括人)的基本活动，与感觉、记忆、学习、思维等心理过程紧密联系，是透视人类心理活动的重要窗口之一。从这个角度讲，模式识别是研究生物体如何感知对象的学科，属于认识科学的范畴，是生理学家、心理学家、生物学家和神经生理学家的研究内容，常被称做认知模式识别。具体来说，它是指人们把接收到的有关客观事物或人的刺激信息与他在大脑里已有的知识结构中有关单元的信息进行比较和匹配，从而辨认和确定该刺激信息意义的过程。正是通过认知模式识别，我们才能认识世界，才能辨别出各个物体之间的差别，才能更好地学习和生活。狭义地说，模式是为了能让计算机执行和完成分类识别任务，通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息。把模式所属的类别或同一类中模式的总体称为模式类(或简称为类)。计算机模式识别就是指根据待识别对象的特征或属性，利用以计算机为中心的机器系统，运用一定的分析算法确定对象的类别的学科，是数学家、信息学专家和计算机专家的研究内容。因此，模式识别的研究主要集中在认知模式识别和计算机模式识别这两个方面。下面分别对这两方面内容进行详细介绍。（2）认知模式识别认知模式识别是认知心理学研究领域中的核心问题之一，是人的一种基本的认知能力或智能，在人的各种活动中都有重要的作用。模式识别可看做一个典型的知觉过程，它依赖于人已有的知识和经验。模式识别过程主要经历分析、比较和决策三个阶段。在认知心理学中，匹配过程可以采用模板匹配理论、原型匹配理论、特征匹配理论和结构优势描述理论来实现。（3） 计算机模式识别早期的计算机模式识别将研究重点放在模型的建立上。一个功能完善的计算机模式识别系统除了具有分类识别过程外，通常还应该具有学习过程。图1.给出了一个模式识别系统的原理框图，虚线的上部是分类识别过程，虚线的下部是学习过程。学习阶段是对样本进行特征选择，寻找分类的规律；实现(分类识别)阶段则是根据分类规律对未知样本集进行分类和识别。系统包括数据的采集及预处理、特征提取和选择、学习和训练、分类识别是任何模式识别系统中都具有的主要环节。图1.模式识别系统的原理框图（4）模式识别的基本方法及准则根据是否利用已知类别的训练样本，可将模式识别分为监督模式识别和非监督模式识别。对于不同的分类对象和不同的分类目的，可以采用不同的模式识别方法。根据采用的模式识别方法，可将模式识别分为统计模式识别、结构模式识别、模糊模式识别、神经网络模式识别等。模式识别的基本准则：奥卡姆剃刀原理 没有免费的午餐定理 丑小鸭定理（5）模式识别的应用随着模式识别理论和方法的快速发展，模式识别已在目标识别、生物特征识别（指纹识别、人脸识别）、图像识别、图形识别和故障诊断等很多领域中得到了广泛的应用。二线性判别函数（1）判别函数的基本概念模式识别的主要作用是判别各个模式的类别属性。判别函数是直接用来对模式样本进行分类的准则函数，也称为判决函数或决策函数。寻找类别之间分界线的方法称为判别函数法，判别函数法的结果提供了一个确定的分界线方程，这个分界线方程就是判别函数。因此，判别函数描述了各类之间的分界线的具体形式。判别函数可以是线性函数，也可以是非线性函数。(2） 线性判别函数在一般的d维特征空间中，线性判别函数的表达式为： （2-1） 式中:x是d维特征向量，又称为样本向量；w0是常数且非零，也称为阈值权；w是d维加权向量。x和w分别表示为 在二维欧氏空间中，由线性判别函数所确定的判别边界为一条直线；在三维空间中,为一个平面；当维数超过三时,判别边界称为超平面。通常由线性判别函数确定的判别界面通称为超平面。(3)感知器算法a.梯度下降法在数学分析中，函数J(a)的梯度方向J(ak)是这样一个方向：在点wk处，它指向J(a)增加最快的方向,而J(a)的负梯度方向J(ak)则指向J(a)下降最快的方向。感知器准则函数的梯度函数为 ： （2-2）梯度下降法的迭代公式为 ： （2-3）的取值大小是有理论依据的，为了简化分析取步长因子k=1，得迭代式为： （2-4）每次迭代只由一个错分样本完成，表示为： （2-5）b.奖惩算法将感知器梯度下降算法进一步具体化就是“奖惩”算法；当分类器发生分类错误时，通过修正权向量对分类器进行“惩罚”，使其向正确的方向转换；当分类正确时，保持权向量不变对其进行“奖励”，表现为不罚。算法具体步骤为设规范化增广样本集合Y=y1，y2，yn，初始化权向量，置k=0。 输入n个训练样本，计算判别函数g(yk)=a(k)Tyk，其中a(k)为第k次迭代的权向量。按照如下公式修正权向量： (2-6)其中为正的校正增量。如果a(k)Tyi0，则表明分类器对样本yi的分类正确，权向量保持不变。如果a(k)Tyi0，则表明分类器对样本yi的分类发生了错误，需要修正权向量。令k=k+1，返回，直到权向量a对所有的训练样本均稳定不变，此时所有的训练样本被正确分类。(4)最小均方误差算法感知器算法是针对线性可分的情形设计的。对于线性不可分的情况，它具有不收敛的缺点。最小均方误差(LeastMeanSquareError，LMSE)算法是对准则函数引进最小均方误差这一条件而建立起来的，算法的主要特点是在训练过程中判定训练集是否线性可分，从而对结果的收敛性做出判断。最小均方误差准则的梯度公式 : (2-7)使用梯度下降法作迭代式: (2-8)其中a0为任意的迭代初始值，经过有限次迭代可得到最优解。三非线性判别函数（1）分段线性判别函数及方法分段线性判别函数是一种特殊的非线性判别函数，其决策面是由若干个超平面段构成的。由于它的基本组成仍是超平面，因此与一般超曲面相比仍然是简单的。其决策面是由超平面段组成的这一特点使得它能逼近各种形状的超曲面，适应能力很强，应用面很广。通过样本集学习分段线性判别函数，就是学习每个子类的线性判别函数的权向量(增广权向量)。首先根据样本集确定子类数目及各子类的划分，然后利用样本集计算各子类判别函数的权向量和阈值权。根据已知条件的不同，可以产生不同的设计方法。（2）势函数法势函数法是利用物理概念，通过训练样本对特征空间中的累积势函数加以修正，使累积势函数可对训练样本进行正确分类，从而使得最终修正后的势函数可以作为判别函数。势函数法是典型的非线性分类方法，有很强的分类能力，也适用于线性可分的情况。势函数法是非线性分类中常用的一种方法，它借用物理学中点能源的势能概念解决模式的分类问题。对于两类问题，分别属于1、2两种类别的模式样本是分布在模式空间中的一些点。把属于1类的点xk比拟为一个点能源，在点xk上，势能达到峰值，随着与该点距离的增加，势能迅速减小。势函数法的训练过程是利用势函数依次输入样本时逐步积累势能的过程，模式分类的判别函数由分布在模式空间中的样本向量的势函数累积产生。势函数的选择：一般来讲，两个d维向量x和xk的势函数K(x，xk)应同时满足下列三个条件：a.K(x，xk)=K(xk，x)，当且仅当x=xk时达到最大值b.K(x，xk)是连续光滑函数；c.K(x，xk)是x与xk之间距离的单调下降函数。当x与xk之间距离趋于 无穷大时，K(x，xk)趋于零。(3)广义线性判别函数线性判别函数确定了d维空间的二分特性，以最简单的数学方法描述了两类模式的分类问题。但实际的样本分布并不一定都是线性可分的，判别界面往往是非线性边界，这时需要使用非线性判别函数。由于线性判别函数的突出优点是形式简单，因此考虑将复杂问题中的分类面作一些空间变换后，再表述为线性判别函数，称这类问题为广义线性判别函数。多项式函数就属于广义线性判别函数。二次函数的广义线性判别函数可以进一步推广，对于任意高次的多项式函数，通过适当的变换都可以转化为广义线性判别函数。不是x的线性函数，但却是y的线性函数。对于一般的线性判别函数由于非零，决策超平面不通过空间原点，因而可以使用广义线性判别函数的扩维方法实现齐次化。(4) 二次判别函数 除了分段线性判别函数外，二次判别函数也是一种常见的非线性判别函数，它比简单的线性判别函数的适用范围更广。在d维空间中，二次判别函数的一般表示为其中为dd阶的对称矩阵，为d维向量，为一标量，其未知系数的个数为。二次判别函数的复杂程度由d决定，在特征空间中的决策面为超曲面(如超球面、超椭球面、超双曲面等)。非线性判别函数（型势函数）：设两类训练样本集样本分布如图所示。用型势函数对样本进行分类，求判别函数。解 :从图中可以看出,两类样本不是线性可分的，选择指数函数作为势函数取在二维情况下势函数为 迭代过程如下： 故 故分类正确，不修改累积势函数,故 故分类错误，修改累积势函数为 故分类错误，修改累积势函数为 因为存在错误分类，对全部样本再进行一轮迭代。 故分类正确，不修改累积势函数，所以 故 故分类正确，不需要修正，所以 故 分类正确，不需要修正，所以 故 分类正确，不需要修正，所以 故分类正确，不需要修正，所以 从的四次迭代中，所有的训练样本都被正确分类，因此算法收敛于判别函数，分类器设计完成。判别函数，即 判别界面由得到。四.心得体会经过近10周的学习，学习了基本算法中有关模式识别的知识，对基本算法中模式识别的知识也有了较多的了解和认识，下面就谈谈自己对模式识别这方面的知识的学习心得和一些简单的总结。模式识别是一个快速发展的学科，因此很难对该领域的最新研究进展做一个很全面详尽的总结。模式识别从上世纪20年代发展至今，已经有了许多行之有效的模式识别方法来解决不同问题，但是还没有发展成统一的、有效的可应用于所有问题的模式识别理论。模式识别研究的目的就是要开发出一般的不依赖于应用领域的数据分析技术，使得机器可以像人类一样分析解决各种问题。这是一个难以实现的目标，人们当前要做的工作是结合具体问题提出新的模式识别方法，或者根据各种现有模式识别方法的特性，将不同的模