模式识别原理及其应用

精品文档引言

课程对象计算机应用技术专业硕士研究生的专业基础课电子科学与技术学科硕士研究生的专业基础课

与模式识别相关的学科统计学概率论线性代数（矩阵计算）形式语言机器学习人工智能图像处理计算机视觉…教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。

教学目标掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础

题外话基本：完成课程学习，通过考试，获得学分。提高：能够将所学知识和内容用于课题研究，解决实际问题。飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。教材/参考文献R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中译本）.边肇祺，模式识别（第二版），清华大学出版社，2000。蔡元龙，模式识别，西北电讯工程学院出版社，1986。机构、会议、刊物1973年IEEE发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次），成立了国际模式识别协会---“IAPR”1977年IEEE成立PAMI委员会，创立IEEETrans.onPAMI，并支持ICCV,CVPR两个会议其他刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)第一章模式识别概论什么是模式（Pattern）？什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的直观特性:可观察性可区分性相似性模式识别的概念模式识别–直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。模式识别的研究目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法模式识别简史1929年G.Tauschek发明阅读机，能够阅读0-9的数字。30年代Fisher提出统计分类理论，奠定了统计模式识别的基础。50年代NoamChemsky提出形式语言理论——傅京荪提出句法结构模式识别。60年代L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。模式识别的应用（举例）生物学自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析模式识别的应用（举例）工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全指纹识别、人脸识别、监视和报警系统模式识别方法模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。解释空间：将c个类别表示为 其中为所属类别的集合，称为解释空间。假说的两种获得方法监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说（通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类；对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。假说的两种获得方法（续）非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。模式分类的主要方法数据聚类统计分类结构模式识别神经网络数据聚类目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。是一种非监督学习的方法，解决方案是数据驱动的。统计分类基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法，分类器是概念驱动的。结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（matchingscore）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法–句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。神经网络神经网络是受人脑组织的生理学启发而创立的。由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分类。模式识别系统模式识别系统的基本构成数据获取特征提取和选择预处理分类决策分类器设计模式识别系统组成单元数据获取：用计算机可以运算的符号来表示所研究的对象二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原模式识别系统组成单元特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间->维数较低的特征空间分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小模式识别过程实例在传送带上用光学传感器件对鱼按品种分类 鲈鱼(Seabass)

品种 鲑鱼(Salmon)识别过程数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开识别过程特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等…分类决策：把特征送入决策分类器模式分类器的获取和评测过程数据采集特征选取模型选择训练和测试计算结果和复杂度分析，反馈训练和测试训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：实例：统计模式识别（续）待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）实例：统计模式识别（续）由训练样本得到的特征空间分布图实例：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。实例：句法模式识别问题：如何利用对图像的结构信息描述，识别如下所示图片：实例：句法模式识别（续）将整个场景图像结构分解成一些比较简单的子图像的组合；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。实例：句法模式识别（续）多级树描述结构实例：句法模式识别（续）训练过程：用已知结构信息的图像作为训练样本，先识别出基元（比如场景图中的X、Y、Z等简单平面）和它们之间的连接关系（例如长方体E是由X、Y和Z三个面拼接而成），并用字母符号代表之；然后用构造句子的文法来描述生成这幅场景的过程，由此推断出生成该场景的一种文法。实例：句法模式识别（续）识别过程：先对未知结构信息的图像进行基元提取及其相互结构关系的识别；然后用训练过程获得的文法做句法分析；如果能被已知结构信息的文法分析出来，则该幅未知图像与训练样本具有相同的结构（识别成功），否则就不是这种结构（识别失败）。本门课程的主要内容第一章概论第二章聚类分析第三章判别函数第四章统计识别第五章 特征选择和提取第六章句法模式识别第七章神经网络相关数学概念随机向量及其分布随机向量如果一个对象的特征观察值为{x1,x2,…,xn}，它可构成一个n维的特征向量值x，即

x=(x1,x2,…,xn)T

式中，x1,x2,…,xn为特征向量x的各个分量。一个特征可以看作n维空间中的向量或点，此空间称为模式的特征空间Rn

。相关数学概念随机向量及其分布随机向量在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随即变量，即许多对象的特征向量在n维空间中呈随机性分布，称为随即向量。相关数学概念随机向量及其分布随机向量的参数[数学期望][协方差矩阵]相关数学概念正态分布[一维正态密度函数]相关数学概念正态分布[多维正态密度函数]历史ⅱ岳麓版第13课交通与通讯的变化资料精品课件欢迎使用[自读教材·填要点]一、铁路，更多的铁路1．地位铁路是

建设的重点，便于国计民生，成为国民经济发展的动脉。2．出现1881年，中国自建的第一条铁路——唐山

至胥各庄铁路建成通车。1888年，宫廷专用铁路落成。交通运输开平

3．发展(1)原因：①甲午战争以后列强激烈争夺在华铁路的

。②修路成为中国人

的强烈愿望。(2)成果：1909年

建成通车；民国以后，各条商路修筑权收归国有。4．制约因素政潮迭起，军阀混战，社会经济凋敝，铁路建设始终未入正轨。修筑权救亡图存京张铁路

二、水运与航空1．水运(1)1872年,

正式成立，标志着中国新式航运业的诞生。(2)1900年前后，民间兴办的各种轮船航运公司近百家，几乎都是在列强排挤中艰难求生。2．航空(1)起步：1918年，附设在福建马尾造船厂的海军飞机工程处开始研制

。(2)发展：1918年，北洋政府在交通部下设“

”；此后十年间，航空事业获得较快发展。轮船招商局水上飞机筹办航空事宜处三、从驿传到邮政1．邮政(1)初办邮政：1896年成立“大清邮政局”，此后又设

，邮传正式脱离海关。(2)进一步发展：1913年，北洋政府宣布裁撤全部驿站；1920年，中国首次参加

。邮传部万国邮联大会2．电讯(1)开端：1877年，福建巡抚在

架设第一条电报线，成为中国自办电报的开端。(2)特点：进程曲折，发展缓慢，直到20世纪30年代情况才发生变化。3．交通通讯变化的影响(1)新式交通促进了经济发展，改变了人们的通讯手段和

，

转变了人们的思想观念。(2)交通近代化使中国同世界的联系大大增强，使异地传输更为便捷。(3)促进了中国的经济与社会发展，也使人们的生活

。台湾出行方式多姿多彩[合作探究·提认知]

电视剧《闯关东》讲述了济南章丘朱家峪人朱开山一家，从清末到九一八事变爆发闯关东的前尘往事。下图是朱开山一家从山东辗转逃亡到东北途中可能用到的四种交通工具。依据材料概括晚清中国交通方式的特点，并分析其成因。

提示：特点：新旧交通工具并存(或：传统的帆船、独轮车，近代的小火轮、火车同时使用)。

原因：近代西方列强的侵略加剧了中国的贫困，阻碍社会发展；西方工业文明的冲击与示范；中国民族工业的兴起与发展；政府及各阶层人士的提倡与推动。[串点成面·握全局]

一、近代交通业发展的原因、特点及影响1．原因(1)先进的中国人为救国救民，积极兴办近代交通业，促进中国社会发展。(2)列强侵华的需要。为扩大在华利益，加强控制、镇压中国人民的反抗，控制和操纵中国交通建设。(3)工业革命的成果传入中国，为近代交通业的发展提供了物质条件。2．特点(1)近代中国交通业逐渐开始近代化的进程，铁路、水运和航空都获得了一定程度的发展。(2)近代中国交通业受到西方列强的控制和操纵。(3)地域之间的发展不平衡。3．影响(1)积极影响：促进了经济发展，改变了人们的出行方式，一定程度上转变了人们的思想观念；加强了中国与世界各地的联系，丰富了人们的生活。(2)消极影响：有利于西方列强的政治侵略和经济掠夺。1．李鸿章1872年在上海创办轮船招商局，“前10年盈和，成为长江上重要商局，招商局和英商太古、怡和三家呈鼎立之势”。这说明该企业的创办 (

)A．打破了外商对中国航运业的垄断B．阻止了外国对中国的经济侵略C．标志着中国近代化的起步D．使李鸿章转变为民族资本家解析：李鸿章是地主阶级的代表，并未转化为民族资本家；洋务运动标志着中国近代化的开端，但不是具体以某个企业的创办为标志；洋务运动中民用企业的创办在一定程度上抵制了列强的经济侵略，但是并未能阻止其侵略。故B、C、D三项表述都有错误。答案：A二、近代以来交通、通讯工具的进步对人们社会生活的影响(1)交通工具和交通事业的发展，不仅推动各地经济文化交流和发展，而且也促进信息的传播，开阔人们的视野，加快生活的节奏，对人们的社会生活产生了深刻影响。(2)通讯工具的变迁和电讯事业的发展，使信息的传递变得快捷简便，深刻地改变着人们的思想观念，影响着人们的社会生活。2．清朝黄遵宪曾作诗曰：“钟声一及时，顷刻不少留。虽有万钧柁，动如绕指柔。”这是在描写 (

)A．电话B．汽车C．电报 D．火车解析：从“万钧柁”“动如绕指柔”可推断为火车。答案：D[典题例析][例1]

上海世博会曾吸引了大批海内外人士利用各种交通工具前往参观。然而在19世纪七十年代，江苏沿江居民到上海，最有可能乘坐的交通工具是 (

)A．江南制造总局的汽车B．洋人发明的火车C．轮船招商局的轮船D．福州船政局的军舰[解析]由材料信息“19世纪七十年代，由江苏沿江居民到上海”可判断最有可能是轮船招商局的轮船。[答案]

C[题组冲关]1．中国近代史上首次打破列强垄断局面的交通行业是(

)A．公路运输 B．铁路运输C．轮船运输 D．航空运输解析：根据所学1872年李鸿章创办轮船招商局，这是洋务运动中由军工企业转向兼办民用企业、由官办转向官督商办的第一个企业。具有打破外轮垄断中国航运业的积极意义，这在一定程度上保护了中国的权利。据此本题选C项。答案：C2.右图是1909年《民呼日报》上登载的一幅漫画，其要表达的主题是(

)A．帝国主义掠夺中国铁路权益B．西方国家学习中国文化C．西方列强掀起瓜分中国狂潮D．西方八国组成联军侵略中国解析：从图片中可以了解到各国举的灯笼是火车形状，20世纪初的这一幅漫画正反映了帝国主义掠夺中国铁路权益。B项说法错误，C项不能反映漫画的主题，D项时间上不一致。答案：A[典题例析][例2]

(2010·福建高考)上海是近代中国茶叶的一个外销中心。1884年，福建茶叶市场出现了茶叶收购价格与上海出口价格同步变动的现象。与这一现象直接相关的近代事业是(

)A．电报业 B．大众报业C．铁路交通业 D．轮船航运业[解析]材料主要反映了信息交流的快捷，故选A。[答案]

A[题组冲关]3．假如某爱国实业家在20世纪初需要了解全国各地商业信息，可采用的最快捷的方式是 (

)A．乘坐飞机赴各地了解B．通过无线电报输送讯息C．通过互联网D．乘坐火车赴各地了解解析：本题考查中国近代物质生活的变迁。注意题干信息“20世纪初”“最快捷的方式”，因此应选B，火车速度远不及电报快。20世纪30年代民航飞机才在中国