模式识别课件第一章绪论

1、pattern recognition办公地点：主楼办公地点：主楼501email:u 1introduction to pattern recognitionu 2bayesian decision theoryu 3maximum-likelihood & bayesian parameter estimation u4linear discriminant functionsu5feature extraction & selectionu6unsupervised learning & clustering l1 richard o. duda, peter e

2、. hart, david g. stork, pattern classification, 2nd edition, john wiley & sons, inc. 2001(模式分类模式分类，李宏东 姚天翔等译，北京：机械工业出版社，2003年9月l 2模式识别模式识别，边肇祺，张学工等编 著，清华大学出版社，2000年1月第2版l3 vladimir n. vapnik, the nature of statistical learning, springer-verlag, new york, ny, 1995 (中译本统计学习理论的统计学习理论的本质本质，张学工译，清华大学

3、出版社，2000年9月)international journal of pattern recognition and artificial intelligence (ijprai) (http:/ ) pattern recognition pattern recognition letter machine learning neural computation模式识别与人工智能 cvpr、icpr、icml、coltnipsu1929年 g. tauschek发明阅读机，能够阅读0-9的数字。u30年代 fisher提出统计分类理论，奠定了统计模式识别的基础。u6070年代，统计模式

4、识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，出现“维数灾难”。u但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。u50年代 noam chemsky 提出形式语言理论u美籍华人付京荪提出句法(结构)模式识别。u60年代 l.a.zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。u80年代 hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。u90年代小样本学习理论，支持向量机也受到了很大的重视。 machine perception an example pattern reco

5、gnition systems the design cycle learning and adaptation methods of pattern recognition conclusionubuild a machine that can recognize patterns: speech recognition fingerprint identification ocr (optical character recognition) dna sequence identification upattern recognition is the study of how machi

6、nes can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (anil k. jain)u模式识别模式识别：把一组研究对象，根据其某些特征进行识别并分类。what is a pattern ?u模式是指人所生活的客观世界的总称。u模式模式（pattern）：指一组包含了对事物所具有的特征和信息的描述。 a

7、fingerprint image a handwritten cursive word a human face a speech signal a irisu识别(recognition)再认知(re-cognition)u 主要研究相似和分类问题 有监督分类 无监督分类u模式识别是模拟人的某些功能:模拟人的视觉：计算机+光学系统模拟人的听觉：计算机+声音传感器模拟人的嗅觉和触觉：计算机+传感器设想有一个鱼类加工厂，希望能将传送带上鱼的品种分类过程自动进行。speciessea bass(鲈鱼)salmon(鲑鱼) problem analysis set up a camera and

8、take some sample images to extract features length长度 lightness光泽 width宽度 number and shape of fins鳍的数目和形状 position of the mouth, etc嘴的位置等 this is the set of all suggested features to explore for use in our classifier! preprocessing 用分割技术将不同的鱼分离开来，或者将鱼同背景分开 将每条鱼的数据送入特征提取器，其作用是通过测量特定的“特征”或“属性”来简化原始数据 t

9、he features are passed to a classifier classification select the length of the fish as a possible feature for discrimination samplingthe length is a poor feature alone!select the lightness as a possible feature. threshold decision boundary and cost relationship move our decision boundary toward smal

10、ler values of lightness in order to minimize the cost (reduce the number of sea bass that are classified salmon!)task of decision theory adopt the lightness and add the width of the fishlightnesswidthfishx = x1, x2t怎样才能事先知道其中哪个特征对分类性能最重要呢?因为其中某些特征很可能是冗余的。比如，如果鱼眼睛的颜色、与宽度完全相关，那么分类器的性能将不因增加了鱼眼颜色这一特征而有任

11、何改善。即使不考虑获得更多特征时所需的额外的计算量。是否真的有必要采用非常多的特性呢？这样作是否会给将来在非常高维的空间中进行分类操作埋下了“祸根”？假设在上述任务中，其他的特征要么太难以测量，要么对分类器毫无用处(甚至起反作用)。这样，将只有两个特征好用。如果分类的判决模型非常复杂，分界面也十分复杂(而不再像图1-4那样是一简单分界直线)，所有的训练样本可以被完美的正确分类(如图1-5所示)，虽然如此，这样一个结果也依然不令人满意。 过分复杂的模型将导致复杂的判决曲线。 设计分类器的中心目标是能够对新样本(比如以前从未见过的某条鱼)做出正确的反应，这就是“推广能力”(generalizati

12、on) 。 图1-5那种复杂的判决边界过分“调谐” (tune)到某些特定的训练样本上了，而不是类别的共同特征，或者说是待分类的全部鲈鱼(或者鲑鱼)的总体模型。 虽然这种判决曲线对训练样本可以得到完美的分类效果，但是对将来的新模式推广能力很差。例如，图1-5中标记“？”的新模式应该更像是鲑鱼。然而却被分类为鲈鱼。 自然地，想采集更多的训练样本，以获得特征向量的更好估计。 例如，可以使用类别样本的概率分布。 可是，在某些模式识别问题中，能够比较容易获得的样本数据十分有限。即使在连续的特征空间中已经有大量的样本点，可是如果按照图1-5的思路，分类器将给出极度复杂的判决边界，而且将不太可能很好地处理

13、全新的样本模式。 寻求某种“简化”分类器的方案。分类器所需的模型或判别边界将不需要像图1-5那样复杂。 如果已经能够更好的分类新的测试样本，那么即使它对训练样本集的分类性能不够好，也应该接受它。 但是，假如在设计“复杂”的分类器时其推广能力可能不是很好，那么，又将如何精确和定量的设计相对“简单”一些的分类器呢? 图1-6图中标示出的判决曲线是对训练样本的分类性能和分界面复杂度的一个最优折中。 系统怎样才能自动得出图1-6所示的那种相对简单的分界曲线，以使得其性能比图1-4的直线分界面，或者图1-5复杂分界曲线更为优越？ 假设能够做到“推广能力”和“复杂度”的折中，又将怎么样去预测系统对新模式的

14、推广能力如何呢？统计模式识别统计模式识别要研究的中心问题。要研究的中心问题。错误率错误率0.1500 0.03330.13330.0833pattern recognition systemsusensing use of a transducer (camera or microphone) pr system depends of the bandwidth, the resolution sensitivity distortion of the transducerusegmentation and grouping patterns should be well separated

15、and should not overlapfeature extraction discriminative features invariant features with respect to translation, rotation and scale.classification use a feature vector provided by a feature extractor to assign the object to a categorypost processing exploit context input dependent information other

16、than from the target pattern itself to improve performancepattern recognition systemsudata collectionufeature choiceumodel choiceutraininguevaluationucomputational complexitythe design cycleudata collection how do we know when we have collected an adequately large and representative set of examples

17、for training and testing the system?ufeature choice depends on the characteristics of the problem domain. simple to extract, invariant to irrelevant transformation insensitive to noise.the design cycleumodel choice use data to determine the classifier. many different procedures for training classifi

18、ers and choosing modelsutraining unsatisfied with the performance of our fish classifier and want to jump to another class of modeluevaluation measure the error rate (or performance and switch from one set of features to another one)the design cycleucomputational complexity what is the trade-off bet

19、ween computational ease and performance? (how an algorithm scales as a function of the number of features, patterns or categories?)the design cyclelsupervised learning a teacher provides a category label or cost for each pattern in the training setlunsupervised learning the system forms clusters or

20、“natural groupings” of the input patternslreinforcement learning the most typical way to train a classifier is to present an input, compute its tentative category label, and use the known target category label to improve the classifier. in reinforcement learning or learning with a critic, no desired

21、 category signal is given; instead, the only teaching feedback is that the tentative category is right or wrong.p模板匹配模板匹配p统计方法统计方法p句法方法句法方法p神经网络神经网络首先对每个类别建立一个或多个模板输入样本和数据库中每个类别的模板进行比较，求相关或距离根据相关性或距离大小进行决策优点：直接、简单缺点：适应性差变形模板methods of pattern recognition根据训练样本，建立决策边界统计决策理论根据每一类总体的概率分布决定决策边界判别分析方法给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数本课程的重点内容