模式识别第一章绪论

1、第一章 绪论1、 生物的识别能人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通、艺术还是卡通图画。这种识别能力的科学基础是什么呢？卡通画片上的人是谁呢？为什么可以识别出也许有人认为其原理是逻辑推理（Logical Reasoning，就像下面这个The male professor said to the girls who were talking aloud in the classroom: “The noise made by two women is equal to the sound t 1000 ducks

2、 quack.” After a while somebody knocked at the door. One girl student reported: “Professor, 500 ducks are looking for you outside!”Question: Who was outside? Answer: A woman.并没第一章 绪论1、 生物的识别能人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通、艺术还是卡通图画。这种识别能力的科学基础是什么呢？卡通画片上的人是谁呢？为什么可以识别出也许有人

3、认为其原理是逻辑推理（Logical Reasoning，就像下面这个The male professor said to the girls who were talking aloud in the classroom: “The noise made by two women is equal to the sound t 1000 ducks quack.” After a while somebody knocked at the door. One girl student reported: “Professor, 500 ducks are looking for you ou

4、tside!”Question: Who was outside? Answer: A woman.并没有看到，也没有直接获取到门外来客的相关信息，只是通过上下文和逻辑推理，判断来客不会是 500 只鸭子，也不会是一位而是一位女性。，但是这种逻辑推理过程在识别上的人是谁时并没有明显地产生作用，一般是根据上人像的某种特征来识别甚至可以用“ 觉”来形容，识别的结果也难以用精确的逻辑条件和推理规则来论证。那么算机系统中，可以用是依据待识别事物上的特定标志来识别他们的吗？例如在计需要输入用户名和来获得操作，在门禁系统中，或者射频 ID 卡来验证自己的进出权限。但是这种过程也不是识别的过程，因为它保证的

5、仅仅是权限标志信息或标志物的验证（Identify）或鉴别，并不能确保拥有该权限标志物的就是被者本人。也就是说，通过这种方式可以控制操作或权限，但不能识别出操作或者的真实。柯南道尔是英国著名的小说作家，他创造了知名的福尔摩斯形象。有一次，他到巴黎旅行，刚出火车站，就遇到一个出租帮他把行李放到后备箱，然后上车对他说： 柯南道尔先生， 您要去哪儿？ 柯南道尔很惊讶，他问司机： 您认识我吗？回答说：不， 我从没见过您。柯南道尔说： 那您怎么知道我的名字呢？首先， 我从报上看到消息说，柯南道尔正在马赛度假；然后，我发现您正是从马赛开来的列车上下来的；接着， 我发现您的皮肤被晒黑了，这正是在海边度假归来

6、的人的典型特征；您穿衣的风格非常正式，很有绅士气派， 法第 1 发现您指被墨水染黑了，这证明您是位作家；所以， 我判断您是来自英国的柯南道尔先生。柯南道尔不禁赞叹道： 您真是观察得太细了， 您的推理能力不逊于任何真正！还有一个小小的细节，微笑着说，您提箱上刻着您所以，人或者生物识别事物依靠的是一种特殊的能力， 它能判断一个发现您指被墨水染黑了，这证明您是位作家；所以， 我判断您是来自英国的柯南道尔先生。柯南道尔不禁赞叹道： 您真是观察得太细了， 您的推理能力不逊于任何真正！还有一个小小的细节，微笑着说，您提箱上刻着您所以，人或者生物识别事物依靠的是一种特殊的能力， 它能判断一个模式识别也可以定

7、义为：识别一个模式， 其英文为 Pattern Recognition。 生物的模式识别能力是非常普遍和强大的，不仅人这样的智能生物具有模式识别的能力，无数的动物、植物都具有模式识别的能力：小猫会通过视觉、嗅觉和味觉判断一个物体是否是食物，树木会根据气温的高低和持续情况判断春天是否到来，微生物会根据化学物质的浓度来判断应当繁殖还是逃离。没有模式识别的能力， 生物体就不能对外界环境采取适当的反应，也就没有办法在客观世界中生存。2、 模式识别的概Pattern 的本意是图案、式样，它代表的不是一个具体的事物，而是事物所包含的信息特点，对应一个抽象的概念。虽然世界上没有完全相同的两片树叶，两幅花纹的

8、仍然可以识别出任意两片树叶是否来自同一种树木。即使不完全一样，仍然能辨别两幅是否是同一种花纹。所以，模式（Pattern）在识别过程中所指的是从客观事物中抽象出来，用于识别的最关键的一些特1 a)e)识别是 Recognition，其中“cognition”的意思是“认知”，就是去获取事物的有关知识；“Re cognition”是“再认知”，就是对已经具有知识的事物去判断它是什么。由于模式是抽象的事物特征，代表的是具有这些特征的一类事物，因此，它需要的过程中，从大量属于同一种类的事物中归纳总结出来。例如看了许多长颈鹿的，这些长颈鹿具有相似的形象， 们可以从身体形态、个头大小、皮肤花纹等方面抽象

9、归纳出长颈鹿的共同第 2 特征。当有一张新的动物供识别时，就可以依据这些特征来判断该动物是否是长颈鹿换句话说，能否划归到“ 长颈这一动物种类中去。所以特征。当有一张新的动物供识别时，就可以依据这些特征来判断该动物是否是长颈鹿换句话说，能否划归到“ 长颈这一动物种类中去。所以模式识别的本质是对事物的分类Classify 。认知过程是建立类别和类别模式特征之间关联的过程，而识别，就是将一个具体事物（称为样本Sle）根据特征划归到已知的类别（Class）中去。3、 模式识别的特根据模式识别的概念， 它具有以下的一些特点：模式识别只能识别已知类别的事物模式识别是将待识别的事物划归到已有的类别中去，对于

10、完未知的事物，没有办法给它贴上任何，是无法进行识别的。同时，如果已有的认知基础不同，对于同一个待识别的样本，也会得到完全不同的识别结果。一个去医院就医， 医生用他那惯用的潦草字体开了处方， 作地铁车票来往于家与之间。并拿之看过十多场及两场音乐会，还打过一场球，而且还混充上头的字迹获得了一次升迁。两年后他将此处方遗失了，但故事并未完结，他女儿捡到了字条，在年度音乐考核上按此演奏了一段钢琴，竟然获得了年终奖学金。模式识别是生物的本能， 但“模式识别学科” 研究的是机器识别物的模式识别原理是生物学、神经生理学和脑科学的务，作为信息学科中的模式识别学科，研究的是如何让机器（是指计算机）具有模式识别的能

11、力，算法的研究是最的研究内容。虽然高性能的模式识别方法需要在生物模式识别原理的基础上实现，但机器识别的效率和准确性目前还远远没有达到生物体的水平。模式识别研究的两大问题是学Learning（训练Training）和分类学习（训练）就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准，学习（）过程就是建立一个分类器的过程；分类就是对待识别的事物依据特征进行归类，以此确定该事物“是什么”。模式识别依据的是事物间的相似性模式识别利用同一类别的事物的共同特征来完成分类除了些可以用于分类的特征外，模式识别过程忽略具体事物的其他特性和细节。因此，被识别为同一类的事物只是“相似”，而不

12、是“相同”的，相似性是模式识别理论的基础。正因为如此，生物体和机器才能识别出以前从未见过的具体的某个事物，也才能对存在形变和其他失真情况的事物实现识别。模式识别的结果可能出现错误模式识别仅仅是在认知基础上的“识别”，而不是“确认第 3 的原理可以用“根据经验判断”来理解。而经验数据总是有限的，无法包括所有可能的分类情况。例如，再没有见过的情况下，把“体色为白色”作为识别天鹅的特征之一是合理的，但对于黑天鹅这个特征就无效了。因此，识别的结果总是可能出现错误，这和依据独有标志和信息来判断事物是不同的。或者说，模式识别本质上是一个存在不确定性的过程，识别过程存在错误率（Error Rate，的原理可

13、以用“根据经验判断”来理解。而经验数据总是有限的，无法包括所有可能的分类情况。例如，再没有见过的情况下，把“体色为白色”作为识别天鹅的特征之一是合理的，但对于黑天鹅这个特征就无效了。因此，识别的结果总是可能出现错误，这和依据独有标志和信息来判断事物是不同的。或者说，模式识别本质上是一个存在不确定性的过程，识别过程存在错误率（Error Rate，识别结果只能在一定的概率和置信度上表达事物所属的真实类别。在一个分类器训练的阶段，认知来源于训练数据集，因此，首要考虑的是对于训练集内的样本，分类器分类的错误率应该尽可能低（称为经验风险低。在使用分类器进行分类时，则希望分类器对于不在训练集中的新样本要

14、有尽可能高的识别能力，这种分类器算法对于未知样本的分类能力 称为“ 泛 化能力（ Generalization Ability。在实践中，由于训练集样本数据的随机性，这两个要求有时是的。例如在图 2 的两类分类问题中，如果样本 P 的特征出现了较大的随机误差，按照这种存在误差的样本训练得到的分类器，能出现过拟合（OverFitting， 有可能造成分类器泛化能力大幅度图 2 二、 1、 模式识别系统的结一个模式识别系统由以下部分组成第 4 3 待识别的样本经过模式，取得相应的信息数据，这些数据经过预处理环节， 生成可以表征模式的特3 待识别的样本经过模式，取得相应的信息数据，这些数据经过预处理

15、环节， 生成可以表征模式的特征，特征降维环节从这些特征中选取对分类最有效的特征，在分类器设计环节完成学习，建立相应的分类决策规则，也可以说是设计出一个有效的分类器，最后在分类器已设计好的情况下对待识别的单个样本进行分类决策，输出分类结果。需要注意的是：整个模式识别系统的各个环节都应当是由计算机自己完成，而无需人工干预。分类决策规则是从样本中自动计算获取的，而不是由人工设定的，这才能一个实用的模式识别系统。设计一个模式识别系统，只设计系统学习类别知识来建立分类规则的算法。2、 模式识别的流一个模式识别系统的工作流程包含以（1） 模式S模式识别研究的是计算机识别，因此事物所包含的各种信息必须通过转

16、换成计算机能接受和处理的数据。对于各种物理量，可以通过传感器将其转变成电信号，再由信号变换 最后经 A/D 采样转换成对应的数据值。对信号的形式、量程等进行变换，（2） 预处理 经过模式获得的数据量，是待识别样本的原始信息， 其中可能包含大量的干扰和无用数据。预处理环节通过各种滤波降噪措施，降低干扰的影响，增强有用的信息，在此基础上， 生成在分类上具有意义的各种特征。特征生成的方法和思路与待解决的模式识别问题和所采用的模式识别方法密切相关，例如对图像数据， 如果要识别的是场景的类型，颜色和纹理特征就很有用；如果要识别出包含的人脸是谁，那么人脸轮廓和关键点特征就很重要。预处理生成的特征可以仍然用

17、数值来表示，也可以用拓扑关系、逻辑结构等其他形式来表示，分别用于不同的模式识别方法。（3） 特征降维 ality 通常情况下，经过模式和预处理获得的模式特征数量是很大的，这给分类器的设计和分类决策都带来了效率和准确率两方面的影响。因此， 从大量的特征中选取出对分类最有效的有限的特征，降低模式识别过程的计算复杂度，提高分类准确性，是特征降维环节的主要任务。第 5 特征降维的方法主要包括特征选择（ Selection） 和特征提（FeatureExtractio特征降维的方法主要包括特征选择（ Selection） 和特征提（FeatureExtraction。特征选择是从已有的特征中，选择一些特

18、征，抛弃掉其他特征；特征提取是对原始的特征进行变换，生成一组维数更少的特征。两种方法虽然不同， 但目的都是为了降低特征的维度， 提高所选取的特征对分类的有效性。（4） 分类器设计分类器设计过程就是分类器学习的过程， 或者说是对分类器进行训练的过程。分类器设计是由计算机根据样本的情况自动进行的， 可分为有监督学习（Supervised Learning）和无监督学习(Unsupervised Learning)。有监督学习是指用于分类器学习的样本已经分好了类，具有类别，分类器知道那些样本是属于哪些类的，由此它可以学习到属于某类的样本都具有哪些共同的特征，从而建立起分类决策规则。无监督学习是指用于

19、分类器学习的样本集没有分好类， 分类器地据样本与样本之间的相似程度来将样本集划分成不同的类别，在此基础上建立分类决策规则。（5） 分类决策 Classification 分类决策是对待分类的样本按照已建立起来的分类决策规则进行分类，分类的结果要进行评估（Evauating3、 模式识别的方模板匹配模板匹配是最早出现的模式识别方法，甚至在计算机出现之前就已经开始使用了。它对每个类别建立一个或多个标准模板，分类决策时将待识别的样本与每个类别的模板进行比对，根据与模板的匹配程度将样本划分到最相似的类别中。严格来说，模板匹配不能算是模式识别的范畴， 在建立模板的时候需要人工的干预，但由于它直接、简单，

20、在类别特征稳定、明显，类间差距大的时候仍然可以使用，只是它的适应能力比较差。（2） 统计模式识别统计模式识别是主流的模式识别方法，它是将样本转换成特征空间中的点， 根据不同类别的样本在特征空间中的分布情况，确定类别边界和分类决策规则，再进行分类决策。统计模式识别基于概率统计理论和空间理论，它有坚实的数学基础，分类器学习算法也比较成熟，适用面很广。其缺点是算法较复杂， 对于各类别差异为结构特征时不能很好地求解。统计模式识别方法包括贝叶斯决策、判别函数法，支持向量机等具体结构模式识别结构模式识别是按照每个样本的结构特征进行分类，目前主要采用的是基于形式语言理论的句法方法。结构模式识别对于字符识别、

21、语言识别这样的结构化很强的模式识别问题是有效的，但它的学习方法比较理论上还有很大的研究空间。聚类分析第 6 ，当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法。模糊模式识别模糊模式识别是在模糊数学的基础上，利用模糊集的概念对原有的模式识别方法进行改进，其分类结果也是模糊化的，可以解决许多不具有精确特征值的分类问题，但是其模糊集合和模糊规则的建立具有较大的神经网络当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法

22、。模糊模式识别模糊模式识别是在模糊数学的基础上，利用模糊集的概念对原有的模式识别方法进行改进，其分类结果也是模糊化的，可以解决许多不具有精确特征值的分类问题，但是其模糊集合和模糊规则的建立具有较大的神经网络模式识别将人工神经元网络用于解决模式识别问题是当前的研究热点。人工神经元网络模拟生物神经元网络的工作过程，本质上是大规模并行非线性计算机，其输入输出关系理论上可以近任意非线性函数。因此，神经网络模式识别在解决复杂的非线性分类问题上具有优势， 其缺点是学习速度较慢，并且所获得的分类决策规则是不透明和非4、 模式识别的典型应的。随着计算机技术的快速发展和对于智能系统的强劲需求，模式识别技术在二战

23、以后得到了越来越广泛的应用。目前，只要需要机器具有感知能力和一定的智能响应能力的地方，就有模式识别的应用。以下在一些领域比较典型的模式识别应用：信息过滤 Information 在网络搜索和的过程中，需要根据信息的内容来确定是否过滤，这已经不是简单的关键字检索能够实现的， 必须根据信息的总体内容、出处和上下文关系来确定是否过滤， 模式识别技术可以发挥巨大的作用。最早的信息过滤算法是基于文本的， 现在已经发展到基于多媒体信息，包括图像、声音等等。生物特征识别 利用生物特征来识别人的，现在已经从科幻影片中的场景变成了现实。目前生物特征识别技术已从比较成识别、说话人识别、虹膜识别发展到了更加复杂的人

24、脸识别、手印识别、步态识别等方法。目标目标检测与也是模式识别的典型应用，大的方面可以应用到制导、自动驾驶等军事领域，小的方面可以应用到智能相机笑脸识别、眼动控制等领域。手势识别 Gesture 、照手势识别是近年来在人机交互领域的重要进展， 通过识别人手的和运动来完成对计算机系统的非接触控制， 手势的检测可以依据和其它传感器实现，KinectMYOLeap Motion 都是比较受关注技术和产品。音乐识别 Music 音乐识别本科音乐分类和旋律识别。音乐分类是根据音乐的特征将其划入到不同的类别中，例如苹果公司的 Genius 技术。旋律识别第 7 （Melody Recognizing）是指根

25、据旋律，而不是根据关键字来搜索音乐，曾经在 2010 9 月短暂推出过音乐是目前音乐检索的发展。的哼唱检索，在许多卡拉 OK 点歌系统和唱 的音乐检索技术，也有一些 字符识别 Optical Character 应用中，也采用了基于哼光学字符识别（ OCR）是最早发展的模式识别应用之（Melody Recognizing）是指根据旋律，而不是根据关键字来搜索音乐，曾经在 2010 9 月短暂推出过音乐是目前音乐检索的发展。的哼唱检索，在许多卡拉 OK 点歌系统和唱 的音乐检索技术，也有一些 字符识别 Optical Character 应用中，也采用了基于哼光学字符识别（ OCR）是最早发展的

26、模式识别应用之一， 它可分为联机识别和脱机识别，又可以分为手写识别和印刷体识别。目前联机手写识别（ 掌上设备写输入、脱机印刷体识别（ 扫描文件的OCR、PDF 文件的拷贝） 都发展到了一定的实用水平，比较脱机手写识别。图像识别搜索 Image 的是通过图像的内容来进行检索， 而不是根据关键字检索，也是模式识别在图像处理方面的典型应用。由于图像本身的质量差异较大，变化的情况也比较多，目前该领域还处于研究阶段。的图像检索：ht自然语言理解 Natural language 推出了实验性自然语言理解（ NLU）一直是人工智能领域的研究重点， 其研究内容既包括文字的理解，也包括口头的理解。目前文字方面

27、进展较大，许多机器翻译系统已经可以投入实用，例如的翻译脑电识别 Electroencephalograph 对于脑电信号的识别，是一项非常前沿的研究工作。它不仅可以用于“读脑”，获知人的思维活动，而且可以用于“ 脑电控制”，帮助疾人或者特殊务。（例如战斗机的驾驶员）控制各种设备完成预定任环境识别 Environment 环境识别是对周边环境类型和状态的识别技术，在无人驾驶汽车、Glass 等先进的随身环境感外星探测器等系统中十分重要，知和信息处理设备境识别也是重要的组成部分。三、 1、 样本、模式和模式样本 待识别的客观事物。例如：具体的人、一个水果、一种心电图都是样本。模式 从客观事物抽象出

28、的规范化的信息，在有限维条件下可以描和表达样本，是模式识别的对象，一般用事物的各种属性来表示。模式类 、身高、体重一个模式。具有某种相似性的模式的集合，模式识别就是将样本对应的第 8 式归入到模式类中的过程。例如：、女性就是两个模式类；偏瘦、标准、偏胖、很胖也是不同的模式类。对同样的一组模式，可以按照不同的标准划分模式类。特征、特征空间和特征向特征 是从所有模式信息中选取出来的，可以用于模式识别的部2性。特征既可以是数值型的，也可以是非数值型的。例如：、体重就是数值型特征，美、丑或者拓扑结构就是非数值型特征。非数值型特征在模式识别系统中，也需要用数据编码来表示，只是数据之间没有数值关系。特征既

29、可以直接采用事物的属性，也可以由事物属性经计算处理得到。例如根据世界卫生组织（WHO）瘦的计算公式为：BMl体重(kg)2(m)特征空间 Feature BMI 式归入到模式类中的过程。例如：、女性就是两个模式类；偏瘦、标准、偏胖、很胖也是不同的模式类。对同样的一组模式，可以按照不同的标准划分模式类。特征、特征空间和特征向特征 是从所有模式信息中选取出来的，可以用于模式识别的部2性。特征既可以是数值型的，也可以是非数值型的。例如：、体重就是数值型特征，美、丑或者拓扑结构就是非数值型特征。非数值型特征在模式识别系统中，也需要用数据编码来表示，只是数据之间没有数值关系。特征既可以直接采用事物的属性

30、，也可以由事物属性经计算处理得到。例如根据世界卫生组织（WHO）瘦的计算公式为：BMl体重(kg)2(m)特征空间 Feature BMI 。把每个特征作为一个维度，就可以模式都是空间中的一个点。一个的空间，每个如果特征都是数值型特征，则特征空间是一个几何空间；如果特征是非数值型特征，特征空间是一个集合空间。特征空间中的一个子空间或者一个区域，就代表了具有相似性的参考标准中：BMI 值18.5 的一个模式类。例如18.523.92426.9 之间为偏胖，27特征向量 Feature 几何特征空间中的一个点代表一个模式，其各个特征值一个特征向量。3、 相似度的度量 了模式识别的依据是模式之间的相

31、似性，总是把相似程度高的模式划归为同一类，这就牵涉到如何定量地定义“相似度”。两个模式 xi 和 xj 之间的相似度度量标准应当满足以下几个要求：相似度应当为非负值 Non-一个模式与自身的相似度应当是最大的相似度对两个模式是对称的 Symmetry如果模式的特征是数值型特征，所有模式都是几何空间中的点，此时最明显的相似度度量标准就是点与点之间的距离。当然，距离的定义是多种多样的，常用的距离度量（特征维数为 n）包括：距离nd (x k明考夫斯基距离第 9 1q nqd (q)x k曼哈顿距离nx k距离切dij()xik x1k对于具有非数值型特征的模式，也可以定义其它的相似度度量标准。例如

32、对两个不同的字符串表示的模式，可以用编辑距离（1q nqd (q)x k曼哈顿距离nx k距离切dij()xik x1k对于具有非数值型特征的模式，也可以定义其它的相似度度量标准。例如对两个不同的字符串表示的模式，可以用编辑距离（是指从一个字符串转换成另一个字符串所需的最少的单字符编辑操作次数，允许的单字符编辑操作包括替换、和删除）来度量两个模式之间的相似度。4性 当特征空间中属于同一个类的模式相似度远高于与其它类中的模式的相似度时，称模式类具有性要求是模式识别的基本要求，只有当两个类之间相似度远低于的相似度时，分类的错误率才会较低。同一个类但是在一个模式识别任务中，有时很难满足性的要求。此时

33、可通过增加特征空间的维数，或进行空间变换来增强该问题模式类的性。例如在使用 BMI 标准对人的胖瘦进行分类时，类别之间紧密相连，紧致性很差。四、 课程简介1基本课程名称：模式识别（导论：32学时，共分为 8 授课教师：高琪课程教学方式：课堂讲授+课堂 项目小组：每组 3人，至少来自于）+2 个班，至多包括 1 。项目题目：成绩评定方式：方向的自动识别平时成绩：1：课后作业 2,3,4,5：小测验项目实践：35%： ： 个人小组成果展示： 期第 10 2本课程从模式识别的基本概念入手，在特征选择和特征提取等降维算法的基础上，主要介绍统计模式识别、智能模式识别、结构模式识别和聚统计模式识别方面重点介绍以线性分类器