模式识别课绪论汇编

1、 模模 式式 识识 别别 主讲: 徐蔚然本门课的教学目的n模式识别的基本概念、原理和方法 n模式识别对不同领域都极为重要，所以必须了解和掌握模式识别技术n(目标)侧重在应用模式识别技术 n(内容)侧重基本概念的讲解,辅以必要的数学推导 n温故而知新n对不同目的的同学提供不同层次知识教学要求n不同层次的理解和学习n模式识别是什么(基本概念和方法)n了解术语含义、了解模式识别系统基本结构、了解模式识别中关键问题n掌握具体的模式识别方法n理解各种算法原理n运用模式识别方法n解决实际问题n公式和物理含义n至少理解意义n理解含义的基础上理解数学公式考察方法n课堂30%n作业30%n期末考试40%教材和参

2、考数目教材和参考数目n教材教材n模式识别(第第2版版) 清华大学出版社 边肇祺n参考书目参考书目n模式识别(第第3版版) 清华大学出版社 张学工n模式识别导论模式识别导论 北京邮电大学出版社 盛立东nPattern Classification, Richard O. Duda, etc.nPattern Recognition, Sergios Theodoridis, etc.参考文献总结n侧重理解和领会n减少应试教育的影响n鼓励自我实践n智能自动客服系统n自动导购软件n关于手机定时设置的一些操作n基于塞班手机平台下的短信优化处理软件n手机监控空调/热水器停课通知n10月12日星期一的模式

3、识别课停课一次n上课时间另行通知n初步决定最后一周（考试前一周）补课一次 模模 式式 识识 别别 绪 论主讲: 徐蔚然本章学习目的 n什么是模式识别？n模式识别有什么用？哪里可以应用？n机器自动学习的最基本原理是什么？本章重点 n模式识别的含义，模式的概念n模式的描述方法n模式识别系统的组成n模式识别利用训练样本设计分类器的原理(学习)本章难点 n模式的向量表示与结构表示n利用向量表示进行分类的基本原理n训练和学习的概念、算法，分类器设计是如何利用训练样本数据提供的信息的n模式识别系统的组成，特征选择与提取的含义和重要性n相似性的度量方法学习指南 n学习本章着重要了解几个最基本的概念，即模式识

4、别就是机器自动识别与分类；n为了实现自动识别对所要识别事物要进行度量，以及用相应方法表示；n着重弄清特征向量是什么意思？n通过一些例题与习题了解其定义及用途，弄清分类的最基本方法，弄清为什么要用分界面来实现机器自动识别与分类。1.1 模式识别和模式的概念n模式识别n英文:Pattern Recognitionn机器识别，计算机识别，或机器自动识别 n本门课中的含义:n针对让计算机来判断事物而提出的 n用计算机实现人的模式识别能力日常生活中的模式识别n日常生活中的模式识别n陌生、但密切相关n语音、图像、气味n寻找教室、查找资料、医生看病n见惯不惊日常生活中的模式识别n模式识别n针对让计算机来判断

5、事物而提出的 n该学科研究的内容是使机器能做以前只能由人类才能做的事，具备人所具有的、对各种事物与现象进行分析、描述与判断的部分能力。模式识别与认知心理学n模式识别与认知心理学n认知心理学n是二十世纪50年代中期在西方兴起的一种心理学思潮，二十世纪70年代成为西方心理学的一个主要研究方向。它研究人的高级心理过程，主要是认识过程，如注意、知觉、表象、记忆、思维和语言等。n认知心理学和模式识别的相互作用 模式识别与认知心理学感觉知觉收集、转换、分析、编码，信息的输入过程感觉器官感觉分析脑知觉的组织大脑将感觉组织成有意义的模式的过程感觉编码知觉的习得知觉研究的一个中心课题就是模式识别模式识别与认知心

6、理学n知觉的一些特性: 选择性模式识别与认知心理学n知觉的一些特性: 整体性接近性相似性连续性封闭性模式识别与认知心理学n知觉的一些特性: 理解性模式识别与认知心理学n知觉的一些特性:恒常性大小恒常性形状恒常性颜色恒常性o选择性o整体性知觉的特性o理解性o恒常性模式识别与认知心理学n错觉n错觉是错误的知觉，是在特定条件下产生的对客观事物歪曲的知觉。Muller-Lyer illusion模式识别与认知心理学n目的和结论n认知是一个过程，需要大脑的参与n人的认知并不神秘，也符合一定的规律，也会产生错误n计算机模式识别过程可以参考认知过程n对认知过程的研究也需要借鉴计算机模式识别系统模式识别与其它

7、智能技术的关系n模式识别与其它智能技术的关系n人工智能n信息检索n数据挖掘n图像处理和计算机视觉机器与人类识别事物原理的比较 n人类:具有提取抽象概念的能力n分析事物的本质n总结出规律n抽象成“概念”n机器:缺乏抽象概念的能力n最基本的方法是计算n要求人研究出好的方法，构造出好的系统机器与人类识别事物原理的比较n机器:辨别事物的最基本方法是计算 n计算机要分析的事物n计算机作为标准的 “模板”n相似程度计算 模式与模式类n模式与模式类n把所见到的事物称为模式，而将它们的归属类别称为模式类。 n样本与模式(模式类)n所见的具体事物是样本，而它们所属的事物类别，代表这些事物的“概念”是模式 。n模

8、式与样本在集合论中是子集与元素之间的关系 1.2 模式的描述方法n人类的方法n从不同事物所具有的不同属性为出发点认识事物n模式识别中的方法n模式识别中，模式就是用它们所具有的特征特征(Feature) 描述的。n对一种模式与它们的样本来说，将描述它们的所有特征用一特征集表示 :模式的描述方法n描述模式的两种基本方法n一种是对事物的属性进行度量，属于定量的表示方法(向量表示法 )。n另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描述方法)。 模式的描述方法n利用特征进行定量描述(向量表示法)n用各种尺度对事物进行度量 n常用的方法是将这些度量排成序n例如对水果进行分类 用水果的重量

9、，近似球体直径表示水果:一只苹果重0.3斤,直径10厘米,则可表示成(0.3,10) (0.35,12)则可解释成重量为0.35斤，直径12厘米 模式的描述方法n利用特征进行定量描述(向量表示法)n特征空间中的一个样本点图像的向量表示方法数字图像像素向量的运算是建立在 各个分量基础上的 模式的描述方法n结构性描述方法n由事务的组成成分与相互关系进行描述。 n对一幅景色图像中的房屋的描述n它有屋顶、墙、门窗等组成，各种成分之间又有相互关系，则墙在屋顶之下，门与窗都在墙上等。n常用的有串、树、图等 统计模式识别与结构模式识别n统计模式识别n基于特征向量的表示方法n结构模式识别n基于结构性描述方法1

10、.3 模式识别系统n模式识别系统n对样本进行分类，执行模式识别的计算机系统称为模式识别系统n模式识别系统的基本构成n一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。 n图数据获取n模式识别系统的基本构成n用不同形式的传感器构成，它实现信息的获取与信息在不同媒体之间的转换。n将光或声音等非电信息转化为电信息。n信息可以是二维的图象如文字，图象等；可以是一维的波形如声波，心电图，脑电图；也可以是物理量与逻辑值。预处理包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理。 特征提取和特征选择n将所获取的原始量测数据转换成能反映事物本质，并将其最有效分类的特征

11、表示n输入:原始的量测数据(必要的预处理) n输出:将原始量测数据转换成有效方式表示的信息，从而使分类器能根据这些信息决定样本的类别 特征提取选择n测量空间n原始数据是由所使用的量测仪器或传感器获取的，这些数据组成的空间叫测量空间。 n特征空间 n待识别的样本及模式都是用特征进行描述的，识别与训练都是在特征空间中进行的。 n测量空间 特征空间特征提取选择n将所获取的原始量测数据转换成能反映事物本质，并将其最有效分类的特征表示n例如，一幅64x64的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。这就是特征提取和选择的过程。特征提取选择n数字识别

12、的例子 n特征向量表示法n优点: 简单n缺点:稳定性差。这种表示与网格的尺寸有关，与字的笔划粗细有关，更主要的是字在网格中的不同位置与转向有关。n改进:特征提取选择n数字识别的例子n结构(笔划)表示法 n也就是将它分成一横加上一斜杠表示。n优点:没有前种方法的缺点 n缺点 :提取这种结构信息也不是一件容易方便的事。 分类器设计与分类决策n模式识别系统工作的两种方式n训练方式和分类决策方式n训练方式:将该特征空间划分成由各类占据的子空间，确定相应的决策分界。分类器设计分类器设计与分类决策n分类决策方式:分类决策n用相应得决策分界对待分类样本进行分类决策的过程。模式识别系统: 汽车车牌识别n例:

13、汽车车牌识别n成功的车牌识别系统有着非常广泛的应用前景，例如公路上的自动收费站，十字路口的违章车辆监视等等。目前的车牌识别系统大都是按照以上的流程。这个流程又可以在整体上划分为两大部分车牌的提取和定位，以及字符识别部分。下面，我们将针对每一个模块，具体说明车牌识别的过程。 模式识别系统: 汽车车牌识别n总体框图模式识别系统: 汽车车牌识别n车牌定位模块 n框图描述n车牌定位模块的目的:n是从整幅图像中定位出车牌的精确位置。n利用信息模式识别系统: 汽车车牌识别n字符识别 n框图描述n正确车牌判断n输入:候选车牌区域n输出:正确车牌的结果,去掉伪车牌区域n字符识别分两部分n字符分割n字符识别模块

14、n神经元网络，PCA，特征提取及匹配等，模板匹配和特征提取是比较常用的方法。1.4 有关模式识别的若干问题n学习n模式的紧致性n相似性度量一.学习n学习n人的学习能力n从学习过程中掌握很强的分辨事物能力 n机器的学习n机器也有个学习过程，训练与学习的过程n机器训练的实质:按照公式计算求解过程 n要使用一批包括各种类别的训练样本 n勾画出各类事物在特征空间分布的规律性 n确定使用分类的具体数学公式及其参数学习n例:两类训练样本近似圆形分布 n分类函数类型的确定:n使用什么类型的分类函数是人为决定的 学习n数学式中参数的确定n人能从错误中吸取教训 n利用错误提供应纠正信息，纠正分类函数迭代过程，逐

15、渐收敛学习n模式识别中的学习与训练分类器设计:求优化解的过程n(计算求解过程)从训练样本提供的数据中找出某种数学式子的最优解最优解n(达到的效果)这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达某种准则达到极值到极值。学习可见分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数准则函数。直线边界最小错误率准则:A最小风险准则:B学习和推广能力n学习的目的(训练的目的)n根据已知样本，得出分类规律n根据分类规律，判断未知样本n推广的能力(举一反三)n影响推广能力的因素n训练样本的多少n问题的复杂性n分类函数的选择学习和推广能力n两种鱼的分类nSalm

16、onnSea bass学习和推广能力n特征1:长度特征学习和推广能力n特征2:亮度特征学习和推广能力n二维特征空间中的分布(直线分类函数)分类模型简单有分类错误未知样本分类错误率接近于已知样本学习和推广能力n复杂曲线分类函数复杂的分类模型导致复杂的分类函数对训练样本实现理想分类对未知样本容易错误分类推广能力差学习和推广能力n分类器设计要平衡各种因素决策边界应该是分类器复杂度和训练样本集合之间的权衡对未知样本分类最准确二.模式的紧致性n模式的紧致性n分类器设计难易程度与模式在特征空间的分布方式有密切关系 模式的紧致性n模式的紧致性n紧致性概念的说明模式的紧致性n紧致集具有下列性质n(1)临界点的

17、数量与总的点数相比很少。n(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。n(3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。n对紧致性的理解n物体分布区域，不要混叠n物体的边界不能过于复杂模式的紧致性n影响数据紧致的因素n数据本身 n如手写体数字 n数据描述方法n印刷体数字的网格表示模式的紧致性n特征提取:改善数据紧致性n许多问题在量测空间表示时往往不满足紧致性n通过一种变换，使它们具有了紧致性n模式识别系统设计的任务就是要寻找这样一种变换三 相似性度量n相似与分类n样本和模板的相似性比较n定义相似关系n给出相似关系的一般要求n集合论中的等价关系n自

18、反n对称n可传递n相似关系不是等价关系相似性度量 1.两个样本xi ，xj之间的相似度量满足以下要求： 应为非负值 样本本身相似性度量应最大 度量应满足对称性 在满足紧致性的条件下，相似性应该是点间距离的 单调函数 2. 用各种距离表示相似性： 相似性度量n欧几里德距离n绝对值距离已知两个样本 xi=(xi1, xi2 , xi3,xin)T xj=(xj1, xj2 , xj3,xjn)TnkjkikijXXd12nkjkikijXXd1|相似性度量n明考夫斯基距离nkjkikqijXXqqd1|1)(其中当q=1时为绝对值距离， 当q=2时为欧氏距离相似性度量n 切比雪夫距离n 马哈拉诺比

19、斯距离|max)(1jkiknkijXXdq趋向无穷大时明氏距离的极限情况1)(jijiTijXXXXMd其中xi ，xj为特征向量， 为协方差。使用的条件是样 本符合正态分布相似性度量 夹角余弦nkjknkiknkjkikijXXXXC12121相似性度量例： x1 , x2 , x3的夹角如图：因为x1 , x2 的夹角小，所以x1 , x2 最相似。x1x2x1x2x3即样本间夹角小的为一类，具有相似性模式识别发展历史n1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。n30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。模式识别发展历史n50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。n60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。n80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。n90年代 小样本学习理论，支持向量机也受到了很大的重视。关于模式识别的国内、国际学术组织关于模