模式识别Chapter 1课件

1、Pattern Recognition,1,PPT学习交流,Self-introduction,黄 琳琳 , Ph.D, Professor Tokyo University of Agriculture and Technology Research: Image processing, pattern recognition Email:,bjtu2012,2,PPT学习交流,关于课程,电路与系统 二级学科 专业基础课 限选课 32 学时, 2 学分,3,PPT学习交流,What is Pattern Recognition？,？,4,PPT学习交流,What is Pattern Rec

2、ognition？,5,PPT学习交流,What is Pattern Recognition？,6,PPT学习交流,What is Pattern Recognition？,7,PPT学习交流,What is Pattern Recognition？,Two Al Qaeda suspects were recently taken into custody by U.S. immigration authorities as they tried to enter the United States after their fingerprints were matched with on

3、es lifted by U.S. military officials from documents found in caves in Afghanistan.,8,PPT学习交流,9,PPT学习交流,10,PPT学习交流,11,PPT学习交流,模式识别,信息感知与处理 计算机模式识别 模式识别应用及应用前景,12,PPT学习交流,计算机模式识别,模式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程,数据获取,模式分割,模式识别,姚明 ROCKETS 11,视听觉信息处理,13,PPT学习交流,Applications of Pattern Recognitio

4、n,生物特征识别,14,PPT学习交流,Applications of Pattern Recognition,遥感图像分析,15,PPT学习交流,16,PPT学习交流,17,PPT学习交流,18,PPT学习交流,19,PPT学习交流,Applications of Pattern Recognition,2007年1月1日上午9：33分 京B J9579 国贸桥2.8Km 处,20,PPT学习交流,21,PPT学习交流,Steps,22,PPT学习交流,23,PPT学习交流,24,PPT学习交流,模 式 识 别 应 用,25,PPT学习交流,模 式 识 别 应 用,26,PPT学习交流,数字

5、化感知数据：来源丰富、数量巨大,模式识别的意义,27,PPT学习交流,模式识别的难点,感知数据：非结构化（像素、波纹等）,28,PPT学习交流,模式识别的应用前景,尚未找到非常通用、有效方法， 绝大部分还没有得到充分利用,29,PPT学习交流,模式识别的应用前景,视频数据不能及时处理事后仍需人工查找,30,PPT学习交流,模式识别的应用前景,网络信息检索-市场前景广阔,31,PPT学习交流,模式识别的应用前景,机器翻译-市场潜力巨大,32,PPT学习交流,Pattern Recognition Applications,应用背景广泛 应用前景巨大,国家安全与公共安全 空间探测与环境保护 信息服

6、务及相关产业 医疗诊断与疾病康复,33,PPT学习交流,An Example,A typical pattern recognition problem Key problems Terms of pattern recognition,34,PPT学习交流,Pattern Recognition Methodology,你打算怎么做？,35,PPT学习交流,Pattern Recognition Methodology,这两种鱼有什么不同？ 长度、宽度、重量、亮度 鱼鳞、尾部形状 什么因素会影响特征测量？ 光线 鱼在传送带上的位置 照相机的噪声,36,PPT学习交流,在分类过程中都有哪些步骤

7、？,获取图像,分开鱼,测量特征,分类,鲈鱼,三文鱼,37,PPT学习交流,Pattern Recognition Methodology,特征选择 （Selecting Features）,选择鱼的长度作为特征,38,PPT学习交流,Pattern Recognition Methodology,分类 （Classification） 长度 阈值 （Threshold）,如何选择合适的阈值？,39,PPT学习交流,Pattern Recognition Methodology,鲈鱼和三文鱼长度直方图,40,PPT学习交流,Pattern Recognition Methodology,特征选择

8、 （Selecting Features） 虽然大多数鲈鱼都比三文鱼长，但长度的方差还是较大，导致分类误差大 渔夫又告诉我们鲈鱼比三文鱼亮,加入新的特征：亮度,41,PPT学习交流,Pattern Recognition Methodology,鲈鱼和三文鱼亮度直方图,42,PPT学习交流,Pattern Recognition Methodology,多维特征 鱼的长度 鱼的亮度 鱼的图像由二维空间的一个点 （特征矢量）表示,43,PPT学习交流,Pattern Recognition Methodology,样本长度和亮度特征的散点图（scatter plot）,44,PPT学习交流,Pa

9、ttern Recognition Methodology,样本长度和亮度特征的散点图（scatter plot）,我们可以用一条线来区分两种鱼，而不是用一个阈值,45,PPT学习交流,Pattern Recognition Methodology,复杂的分类模型将导致复杂的边界，推广能力差,46,PPT学习交流,Pattern Recognition Methodology,分类界面复杂度与未知样本之间折中,47,PPT学习交流,Pattern Recognition Methodology,不同分类错误的代价？ 如果鱼类包装公司知道： 买三文鱼package的顾客发现里面有鲈鱼会很生气 买

10、鲈鱼package的顾客发现里面有三文鱼则不会不高兴,这种情况下该怎么设置分类界面？,48,PPT学习交流,Pattern Recognition System,鲈鱼,三文鱼,49,PPT学习交流,Pattern Recognition System,输入与输出的映射关系,50,PPT学习交流,预处理 特征提取 分类器设计,Key Problems,51,PPT学习交流,Preprocessing,52,PPT学习交流,Feature extraction/representation,53,PPT学习交流,Feature extraction/representation,54,PPT学习交

11、流,55,PPT学习交流,Classification,56,PPT学习交流,Template Matching,57,PPT学习交流,Statistical method,基于概率密度估计 和 Bayes 决策,58,PPT学习交流,Structural method,基于语法规则的分类 基于结构匹配的分类,59,PPT学习交流,Artificial neural network,60,PPT学习交流,分类器设计 （机器学习）,人工神经网络： 基于函数影射的分类 支持向量机、核方法： 基于边界学习的分类 多分类器、集成学习： 多个分类器合并,61,PPT学习交流,Pattern Recogn

12、ition System,62,PPT学习交流,预处理 特征提取 分类器设计,Key Problems,Post-processing,Training sample collection,Over-fitting,63,PPT学习交流,预处理 特征提取 分类器设计,Key Problems,Post-processing,Training sample collection,Template matching,Statistical method,Neural network method,Structural method,Hybrid method,64,PPT学习交流,预处理 特征提取

13、 分类器设计,Key Problems,Post-processing,Training sample collection,Supervised Learning,Un-Supervise Learning,65,PPT学习交流,66,PPT学习交流,67,PPT学习交流,68,PPT学习交流,教学内容,69,PPT学习交流,教材,“Pattern Classification” - Richard O. Duda， Peter E. Hart - 中、英文版均可 参考书 - 边肇祺等编著，模式识别，清华大学出版社 电子邮件: PW: bjtu2012,70,PPT学习交流,Terms,Pa

14、tter class Intra-class variability Inter-class similarity Pattern class model,71,PPT学习交流,72,PPT学习交流,73,PPT学习交流,74,PPT学习交流,75,PPT学习交流,The term pattern recognition encompasses a wide range of information processing problems of great practical significance, from speech recognition and the classificatio

15、n of handwritten character, to face recognition and medical diagnosis. Often these are problems which many humans solve in a seemingly effortless fashion. However, their solution using computers has, in many cases, proved to be immensely difficult.,76,PPT学习交流,模式识别基本概念,模式 Pattern,客观事物或现象常常被划分为由相似但又不完

16、全相同的个体组成的集合类别，称这些个体客观事物或现象为模式，或将整个类别称为模式。,本课程中，模式往往表现为具有时间或空间分布的信息，因此，将个体客观事物或现象的时间或空间分布的信息称为模式。,77,PPT学习交流,模式识别基本概念,分类 Classification,将个体客观事物或现象划分到几个指定类别中的某个类别的过程称为分类。,分类就是对个体客观事物或现象的所属类别作出判断或决定，统计学理论中通常称之为决策。,分类时需要依据某个或某些规则，称为分类规则，统计学理论中通常称之为决策规则。决策规则不同时，同一问题的分类结果也可能不同。,78,PPT学习交流,模式识别基本概念,模式识别 Pa

17、ttern Recognition,对个体客观事物或现象进行分类的过程就是模式识别。换句话说，分类就是模式识别。,本课程中，模式识别尤其是指采用计算机和计算机技术（模仿人）对个体客观事物或现象的时间或空间分布的信息进行的模式识别。,模式识别是一门学科或理论的名称。,79,PPT学习交流,模式识别历史,生物“模式识别”(心理学) Human Perception and Cognition （人类感知与认知） 光学/机械模式识别 第一个光学字符识别专利：1929,80,PPT学习交流,模式识别历史,现代模式识别：电子计算机发明以后 先期统计学基础：Bayes, Gauss, Fisher, et

18、c. 早期统计模式识别：IBM (1950s-) 第一个“模式识别”学术会议：1966 (波多黎各) 第一次国际模式识别大会(ICPR)：1972 国际模式识别协会(IAPR)：1974筹建，1978年正式成立,81,PPT学习交流,模式识别方法演化,核心内容：模式分类 特征提取/选择、聚类分析、分类器设计（机器学习） 统计模式识别：1950s- 句法、结构模式识别：1970s-,82,PPT学习交流,模式识别,模式识别：计算机科学与电子工程交叉学科 中国：“控制科学与工程”一级学科 二级学科：控制理论与控制工程、模式识别与智能系统、导航制导与控制、系统工程等 欧美：没有自动控制系 自动控制：

19、电子工程系、机械工程系 模式识别：电子工程系、计算机科学系,83,PPT学习交流,主要组织,国际组织 IAPR - International Association of Pattern Recognition） IEEE Computer Society: -TC on PAMI (Pattern Analysis and Machine Intelligence),84,PPT学习交流,主要组织,国内组织 中国自动化学会： - 模式识别与机器智能(PRMI)专业委员会 - 1981年成立，IAPR成员组织 中国计算机学会： - 人工智能与模式识别专业委员会 中国人工智能学会,85,PPT学习交流,主要学术活动,系列性国际会议 ICPR：2年一次，1000人规模 ICCV： 2年一次，1000人规模 CVPR：每年一次在美国，1000人规模 ICDAR： 2年一次，300-400人规模 ICB： 2年一次，200-300人规模,86,PPT学习交流,主要出版物,Pattern Recognition, 1968- PR Society, Elsevier IEEE Trans. PAMI, 1978- IEEE Computer Soc