模式识别-0-绪论.ppt

模式识别 Pattern Recognition,主讲教师：程建 职称：副教授 研究方向：图像处理与模式识别、计算机视觉与场景理解、机器学习、多源遥感图像智能处理与分析,教材与参考书,模式识别 ，边肇祺，张学工，清华大学出版社； 模式识别 ，蔡元龙 ，西安电子科技大学出版社； 模式分类，R. O. Duda, P. E. Hart, D. G. Stork （著），李宏东，姚天翔 （译），机械工业出版社,教学内容,绪论模式识别的基本概念 （2学时） 非监督学习方法：聚类分析 （4学时） 线性判别函数与线性分类器设计 （6学时） 贝叶斯决策理论 （6学时） 概率密度函数的估计 （6学时） 特征选择与提取 （6学时） 复习 （2学时）,教学相关要求,1. 课堂纪律,禁止大声喧哗 禁止玩手机 禁止无故缺席和迟到,2. 成绩构成,课程总成绩 = 平时成绩 + 期末考试成绩 平时成绩（20%）：作业 + 课堂表现 期末考试（80%） 作业：总共5次，要求每人至少交作业3次,第一章 绪论,模式识别的基本概念 模式识别的应用 模式识别的研究方法 统计模式识别 结构模式识别 模式识别的发展动态 模式识别研究的基本内容 统计模式识别系统构成,1.1 模式识别的基本概念,机器智能系统应该包括三个部分： 感知部分：相当于人的眼、耳、触觉、嗅觉等等； - 模式识别 学习部分：模仿人在自己的行动中总结经验，改善自身能力的功能； - 机器学习 思维部分：相当于人的逻辑推理和计算能力； - 人工智能,模式(Pattern)：泛指一切客观事物的存在形式，具有时间或空间分布的信息。从工程角度讲是指客观事物存在形式的数学表达。 识别(Recognition)：人的识别过程是一个非常复杂的心理和生理过程。从工程的角度讲，识别可以看作是一个分类问题。,模式识别的数理依据,对象具有显著的特征（可观察性） 对象在经过一定的处理之后能提取出部分显著的特征，这些特征可以描述该对象，或者以此将该对象区别与其他的对象,用特征向量来表示特征。 对象具有逻辑可分性（可区分性） 从逻辑上可以依据一定的标准将对象划分成不同的类别，依据的标准可能与对象特征密切联系，划分的方法又直接关系到分类方法的正确程度，划分方法又可能从已有的一部分样本来进行归纳得到。,统计意义上的最优性（性能可控性） 对象或者说是待分类的样本总体数目可能无限大，有时候无法求得对所有的样本进行精确分类，这个时候只是需要统计意义上的最优，或者错误了最低则可。,1.2 模式识别的应用,工业用途：产品质量检验，设备故障检测，智能机器人的感知系统； 商业用途：钱币的自动识伪，信函的自动分拣，电话信息查询，声控拨号； 医学用途：对心电、脑电、CT等信号进行处理和识别，自动进行疾病的诊断； 安全领域：生理特征鉴别(Biometrics)，网上电子商务的身份确认，对公安对象的刑侦和鉴别；,军事领域：巡航导弹的目标识别、场景识别，战斗单元的敌我识别； 办公自动化：文字识别技术和声音识别技术； 数据挖掘：海量数据分析； 网络应用：文本、图像、视频等信息载体的分类。,智能信息研究方向,模式识别,图像与视觉处理,语言处理,语音识别,汉字识别,图像识别,Biometrics,信息检索,语言理解,机器翻译,场景识别,应用举例,字符识别：印刷体与手写体，在线与离线,医学图像识别与医学信号识别 遥感图像分类,生物特征识别：（指纹、人脸与虹膜等）,智能武器：智能战略导弹（巡航）、智能战术导弹（地空、空地、舰空、空舰等）,1.3 模式识别的研究方法,统计模式识别与结构模式识别 统计模式识别：将模式看作空间中的一个点，采用解析几何和概率论、数理统计的方法，判别输入模式的类别属性； 结构模式识别：也称为句法模式识别，将模式看成是由一些基本元素有组织的构成，用字符串对模式进行描述，利用形式语言和自动机理论对模式的结构进行分析和判别；,监督分类和非监督分类 监督类(Supervised)分类方法：依靠已知所属类别的训练样本集合，按照他们特征向量的分布来确定判别函数，只有判别函数确定之后才能用它来对未知的模式进行分类判别。 要求：进行大量的测试、实验、提炼、统计得到足够的先验知识。作为确定判别函数的基础。并且要有足够的样本。,非监督（Unsupervised）分类方法：没有(足够的)先验知识，而是基于“物以类聚”的出发点，通过聚类分析，将模式特征相近的划分成一类，在特征空间相距比较近的一些模式归为一类。 目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。,参数与非参数方法 由于模式集合的样本在特征空间中表现出随机性，我们只能根据类的分布概率密度函数为基础，来确定判别函数，以某一个置信度来分类模式。 参数方法 已知概率密度函数的参数和表达形式，或者通过样本训练学习能估计出类的概率密度函数的近似表达式。,非参数方法 在没有概率密度函数或者也估计不出概率密度函数参数形式的情况下，就无法利用概率密度函数来计算判别函数。凡是不采用某种概率密度函数的估计参数来确定判别函数的，都可以归之为非参数方法。那么， (i) 绕过概率密度函数直接确定判别函数（或者判函数的形式，再通过训练样本来确定参数） (ii) 最邻近的原则分类。 (iii) 非参核（Kernel）估计方法,1.4 模式识别的发展动态,60年代初，数理统计学中已经形成了完整的统计决策理论； 70年代中期，美籍华人傅京孙教授建立了句法模式识别理论； 80年代，在傅京孙教授指导下，我国一批学者在美国进修，回国后开展模式识别研究。 80年代以后：新技术的爆发期，代表性的有人工神经网络、支持向量机（SVM）、贝叶斯网和马尔科夫-系方法、流型（Manifold）学习等。,模式识别的国内、国际学术组织,1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议。 1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议，CVPR。 国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。,期刊(Journal),IEEE Transaction on Pattern Analysis and Machine Intelligence，PAMI； Pattern Recognition； Pattern Recognition Letter； International Journal of Pattern Recognition and Artificial Intelligence 模式识别与人工智能；,1.5 模式识别研究的基本内容,给定一个训练样本的特征矢量集合： 分别属于N个类别： 设计出一个分类器，能够对未知类别样本Y 进行分类,模式识别系统的目标：在特征空间和分类空间之间找到一种归属关系映射，这种映射也称之为分类。 特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。 分类空间：将c个类别表示为 其中 为所属类别的集合，称为分类空间。,1.6 统计模式识别系统,分类,训练,什么是特征？,特征抽取,特征抽取,模式的特征空间表示,特征的分布,特征的分布,模式识别的训练方法,有监督学习（有教师学习）：预先已知训练样本集合中每个样本的类别标号； 无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号；,统计识别方法的分类,一、根据样本在空