模式识别第一章 绪论

PatternRecognition办公地点：主楼501Email:zhaolh62@163.com整理pptContents

1．IntroductiontoPatternRecognition2．BayesianDecisionTheory3．Maximum-Likelihood&Bayesian

ParameterEstimation

4．LinearDiscriminantFunctions5．FeatureExtraction&Selection6．UnsupervisedLearning&Clustering整理pptReferences[1]RichardO.Duda,PeterE.Hart,DavidG.

Stork,PatternClassification,2ndEdition,JohnWiley&Sons,Inc.2001(《模式分类》，李宏东姚天翔等译，北京：机械工业出版社，2003年9月整理ppt

[2]《模式识别》，边肇祺，张学工等编著，清华大学出版社，2000年1月第2版[3]VladimirN.Vapnik,TheNatureofStatisticalLearning,Springer-Verlag,NewYork,NY,1995(中译本《统计学习理论的本质》，张学工译，清华大学出版社，2000年9月)References整理ppt主要期刊和会议InternationalJournalofPatternRecognitionandArtificialIntelligence(IJPRAI)(http:///)PatternRecognitionPatternRecognitionLetterMachineLearningNeuralComputation《模式识别与人工智能》CVPR、ICPR、ICML、COLT

NIPS…整理ppt1929年G.Tauschek发明阅读机，能够阅读0-9的数字。30年代Fisher提出统计分类理论，奠定了统计模式识别的基础。60～70年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。MachinePerception模式识别的发展史整理ppt模式识别的发展史50年代NoamChemsky

提出形式语言理论美籍华人付京荪提出句法(结构)模式识别。60年代L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。80年代Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。MachinePerception整理pptChapter1:IntroductiontoPatternRecognition

MachinePerceptionAnExamplePatternRecognitionSystemsTheDesignCycleLearningandAdaptationMethodsofPatternRecognitionConclusion整理pptMachinePerceptionBuildamachinethatcanrecognizepatterns:SpeechrecognitionFingerprintidentificationOCR(OpticalCharacterRecognition)DNAsequenceidentification整理pptIntroductionPatternrecognitionisthestudyofhowmachinescanobserve

theenvironment,learntodistinguish

patternsofinterestfromtheirbackground,andmakesoundandreasonabledecisions

aboutthecategories

ofthepatterns.(AnilK.Jain)模式识别：把一组研究对象，根据其某些特征进行识别并分类。MachinePerception整理pptWhatisaPattern?模式是指人所生活的客观世界的总称。模式（Pattern）：指一组包含了对事物所具有的特征和信息的描述。afingerprintimageahandwrittencursivewordahumanfaceaspeechsignal……AirisMachinePerception整理ppt识别(Recognition)识别(Recognition)—再认知(Re-Cognition)

主要研究相似和分类问题有监督分类无监督分类模式识别是模拟人的某些功能:模拟人的视觉：计算机+光学系统模拟人的听觉：计算机+声音传感器模拟人的嗅觉和触觉：计算机+传感器MachinePerception整理pptAnexample设想有一个鱼类加工厂，希望能将传送带上鱼的品种分类过程自动进行。Species Seabass(鲈鱼)Salmon(鲑鱼)整理pptProblemAnalysisSetupacameraandtakesomesampleimagestoextractfeaturesLength长度Lightness光泽Width宽度Numberandshapeoffins鳍的数目和形状Positionofthemouth,etc…嘴的位置等Thisisthesetofallsuggestedfeaturestoexploreforuseinourclassifier!Anexample整理pptPreprocessing用分割技术将不同的鱼分离开来，或者将鱼同背景分开将每条鱼的数据送入特征提取器，其作用是通过测量特定的“特征”或“属性”来简化原始数据ThefeaturesarepassedtoaclassifierClassificationSelectthelengthofthefishasapossiblefeaturefordiscriminationAnexample整理pptSamplingAnexample整理pptAnexampleThe

lengthisapoorfeaturealone!Selectthelightnessasapossiblefeature.整理pptAnexample整理pptThresholddecisionboundaryandcostrelationshipMoveourdecisionboundarytowardsmallervaluesoflightnessinordertominimizethecost(reducethenumberofseabassthatareclassifiedsalmon!)

TaskofdecisiontheoryAnexample整理pptAdoptthelightnessandaddthewidthofthefishLightnessWidthFish x=[x1,x2]TAnexample整理pptAnexample整理ppt怎样才能事先知道其中哪个特征对分类性能最重要呢?因为其中某些特征很可能是冗余的。比如，如果鱼眼睛的颜色、与宽度完全相关，那么分类器的性能将不因增加了鱼眼颜色这一特征而有任何改善。Anexample整理ppt即使不考虑获得更多特征时所需的额外的计算量。是否真的有必要采用非常多的特性呢？这样作是否会给将来在非常高维的空间中进行分类操作埋下了“祸根”？假设在上述任务中，其他的特征要么太难以测量，要么对分类器毫无用处(甚至起反作用)。这样，将只有两个特征好用。Anexample整理ppt如果分类的判决模型非常复杂，分界面也十分复杂(而不再像图1-4那样是一简单分界直线)，所有的训练样本可以被完美的正确分类(如图1-5所示)，虽然如此，这样一个结果也依然不令人满意。Anexample整理pptAnexample过分复杂的模型将导致复杂的判决曲线。整理ppt设计分类器的中心目标是能够对新样本(比如以前从未见过的某条鱼)做出正确的反应，这就是“推广能力”(generalization)。图1-5那种复杂的判决边界过分“调谐”(tune)到某些特定的训练样本上了，而不是类别的共同特征，或者说是待分类的全部鲈鱼(或者鲑鱼)的总体模型。Anexample整理ppt虽然这种判决曲线对训练样本可以得到完美的分类效果，但是对将来的新模式推广能力很差。例如，图1-5中标记“？”的新模式应该更像是鲑鱼。然而却被分类为鲈鱼。Anexample整理ppt自然地，想采集更多的训练样本，以获得特征向量的更好估计。例如，可以使用类别样本的概率分布。可是，在某些模式识别问题中，能够比较容易获得的样本数据十分有限。即使在连续的特征空间中已经有大量的样本点，可是如果按照图1-5的思路，分类器将给出极度复杂的判决边界，而且将不太可能很好地处理全新的样本模式。Anexample整理ppt寻求某种“简化”分类器的方案。分类器所需的模型或判别边界将不需要像图1-5那样复杂。如果已经能够更好的分类新的测试样本，那么即使它对训练样本集的分类性能不够好，也应该接受它。但是，假如在设计“复杂”的分类器时其推广能力可能不是很好，那么，又将如何精确和定量的设计相对“简单”一些的分类器呢?Anexample整理pptAnexample图1-6图中标示出的判决曲线是对训练样本的分类性能和分界面复杂度的一个最优折中。整理ppt系统怎样才能自动得出图1-6所示的那种相对简单的分界曲线，以使得其性能比图1-4的直线分界面，或者图1-5复杂分界曲线更为优越？假设能够做到“推广能力”和“复杂度”的折中，又将怎么样去预测系统对新模式的推广能力如何呢？—统计模式识别要研究的中心问题。Anexample整理pptConclusionAnexample错误率0.15000.03330.13330.0833整理pptAnexampleConclusion整理pptAnexampleConclusion整理pptAnexampleConclusion整理pptAnexampleConclusion整理pptPatternRecognitionSystemsPatternRecognitionSystems整理pptPatternRecognitionSystemsSensingUseofatransducer(cameraormicrophone)PRsystemdependsofthebandwidth,theresolutionsensitivitydistortionofthetransducerSegmentationandgroupingPatternsshouldbewellseparatedandshouldnotoverlap整理pptFeatureextractionDiscriminativefeaturesInvariantfeatureswithrespecttotranslation,rotationandscale.ClassificationUseafeaturevectorprovidedbyafeatureextractortoassigntheobjecttoacategoryPostProcessingExploitcontextinputdependentinformationotherthanfromthetargetpatternitselftoimproveperformancePatternRecognitionSystems整理pptTheDesignCycleDatacollectionFeatureChoiceModelChoiceTrainingEvaluationComputationalComplexity整理pptTheDesignCycle整理pptDataCollectionHowdoweknowwhenwehavecollectedanadequatelylargeandrepresentativesetofexamplesfortrainingandtestingthesystem?FeatureChoiceDependsonthecharacteristicsoftheproblemdomain.Simpletoextract,invarianttoirrelevanttransformationinsensitivetonoise.TheDesignCycle整理pptModelChoice Usedatatodeterminetheclassifier.ManydifferentproceduresfortrainingclassifiersandchoosingmodelsTraining UnsatisfiedwiththeperformanceofourfishclassifierandwanttojumptoanotherclassofmodelEvaluation Measuretheerrorrate(orperformanceandswitchfromonesetoffeaturestoanotherone)TheDesignCycle整理pptComputationalComplexity Whatisthetrade-offbetweencomputationaleaseandperformance?

(Howanalgorithmscalesasafunctionofthenumberoffeatures,patternsorcategories?)TheDesignCycle整理pptLearningandAdaptationSupervisedlearningAteacherprovidesacategorylabelorcostforeachpatterninthetrainingsetUnsupervisedlearningThesystemformsclustersor“naturalgroupings”oftheinputpatternsReinforcementLearningThemosttypicalwaytotrainaclassifieristopresentaninput,computeitstentativecategorylabel,andusetheknowntargetcategorylabeltoimprovetheclassifier.Inreinforcementlearningorlearningwithacritic,nodesiredcategorysignalisgiven;instead,theonlyteachingfeedbackisthatthetentativecategoryisrightorwrong.整理ppt模板匹配统计方法句法方法神经网络MethodsofPatternRecognition整理ppt模板匹配首先对每个类别建立一个或多个模板输入样本和数据库中每个类别的模板进行比较，求相关或距离根据相关性或距离大小进行决策优点：直接、简单缺点：适应性差变形模板MethodsofPatternRecognition整理ppt统计方法根据训练样本，建立决策