模式识别Chapter 1

.,1,PatternRecognition,北京交通大学电子信息工程学院,.,2,Self-introduction,黄琳琳,Ph.D,ProfessorTokyoUniversityofAgricultureandTechnologyResearch:Imageprocessing,patternrecognitionEmail:huangll,pattern2012;PW:bjtu2012,.,3,关于课程,电路与系统二级学科专业基础课限选课32学时,2学分,.,WhatisPatternRecognition？,？,.,WhatisPatternRecognition？,.,WhatisPatternRecognition？,.,WhatisPatternRecognition？,.,WhatisPatternRecognition？,TwoAlQaedasuspectswererecentlytakenintocustodybyU.S.immigrationauthoritiesastheytriedtoentertheUnitedStatesaftertheirfingerprintswerematchedwithonesliftedbyU.S.militaryofficialsfromdocumentsfoundincavesinAfghanistan.,.,9,.,10,.,.,模式识别,信息感知与处理计算机模式识别模式识别应用及应用前景,.,计算机模式识别,模式识别：使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程,数据获取,模式分割,模式识别,姚明ROCKETS11,视听觉信息处理,.,ApplicationsofPatternRecognition,生物特征识别,.,ApplicationsofPatternRecognition,遥感图像分析,.,16,.,17,.,18,.,19,.,ApplicationsofPatternRecognition,2007年1月1日上午9：33分京BJ9579国贸桥2.8Km处,.,21,.,22,Steps,.,23,.,24,.,模式识别应用,.,模式识别应用,.,数字化感知数据：来源丰富、数量巨大,模式识别的意义,.,模式识别的难点,感知数据：非结构化（像素、波纹等）,.,模式识别的应用前景,尚未找到非常通用、有效方法，绝大部分还没有得到充分利用,.,模式识别的应用前景,视频数据不能及时处理事后仍需人工查找,.,模式识别的应用前景,网络信息检索-市场前景广阔,.,模式识别的应用前景,机器翻译-市场潜力巨大,.,PatternRecognitionApplications,应用背景广泛应用前景巨大,国家安全与公共安全空间探测与环境保护信息服务及相关产业医疗诊断与疾病康复,.,34,AnExample,AtypicalpatternrecognitionproblemKeyproblemsTermsofpatternrecognition,.,PatternRecognitionMethodology,你打算怎么做？,.,PatternRecognitionMethodology,这两种鱼有什么不同？长度、宽度、重量、亮度鱼鳞、尾部形状什么因素会影响特征测量？光线鱼在传送带上的位置照相机的噪声,.,在分类过程中都有哪些步骤？,获取图像,分开鱼,测量特征,分类,鲈鱼,三文鱼,.,PatternRecognitionMethodology,特征选择（SelectingFeatures）,选择鱼的长度作为特征,.,PatternRecognitionMethodology,分类（Classification）长度阈值（Threshold）,如何选择合适的阈值？,.,PatternRecognitionMethodology,鲈鱼和三文鱼长度直方图,.,PatternRecognitionMethodology,特征选择（SelectingFeatures）虽然大多数鲈鱼都比三文鱼长，但长度的方差还是较大，导致分类误差大渔夫又告诉我们鲈鱼比三文鱼亮,加入新的特征：亮度,.,PatternRecognitionMethodology,鲈鱼和三文鱼亮度直方图,.,PatternRecognitionMethodology,多维特征鱼的长度鱼的亮度鱼的图像由二维空间的一个点（特征矢量）表示,.,PatternRecognitionMethodology,样本长度和亮度特征的散点图（scatterplot）,.,PatternRecognitionMethodology,样本长度和亮度特征的散点图（scatterplot）,我们可以用一条线来区分两种鱼，而不是用一个阈值,.,PatternRecognitionMethodology,复杂的分类模型将导致复杂的边界，推广能力差,.,PatternRecognitionMethodology,分类界面复杂度与未知样本之间折中,.,PatternRecognitionMethodology,不同分类错误的代价？如果鱼类包装公司知道：买三文鱼package的顾客发现里面有鲈鱼会很生气买鲈鱼package的顾客发现里面有三文鱼则不会不高兴,这种情况下该怎么设置分类界面？,.,PatternRecognitionSystem,鲈鱼,三文鱼,.,PatternRecognitionSystem,输入与输出的映射关系,.,预处理特征提取分类器设计,KeyProblems,.,Preprocessing,.,Featureextraction/representation,.,Featureextraction/representation,.,.,Classification,.,TemplateMatching,.,Statisticalmethod,基于概率密度估计和Bayes决策,.,Structuralmethod,基于语法规则的分类基于结构匹配的分类,.,Artificialneuralnetwork,.,分类器设计（机器学习）,人工神经网络：基于函数影射的分类支持向量机、核方法：基于边界学习的分类多分类器、集成学习：多个分类器合并,.,PatternRecognitionSystem,.,预处理特征提取分类器设计,KeyProblems,Post-processing,Trainingsamplecollection,Over-fitting,.,预处理特征提取分类器设计,KeyProblems,Post-processing,Trainingsamplecollection,Templatematching,Statisticalmethod,Neuralnetworkmethod,Structuralmethod,Hybridmethod,.,预处理特征提取分类器设计,KeyProblems,Post-processing,Trainingsamplecollection,SupervisedLearning,Un-SuperviseLearning,.,66,.,67,.,68,.,69,教学内容,.,70,教材,“PatternClassification”-RichardO.Duda，PeterE.Hart-中、英文版均可参考书-边肇祺等编著，模式识别，清华大学出版社电子邮件:prbjtuPW:bjtu2012,.,71,Terms,PatterclassIntra-classvariabilityInter-classsimilarityPatternclassmodel,.,72,.,73,.,74,.,75,.,Thetermpatternrecognitionencompassesawiderangeofinformationprocessingproblemsofgreatpracticalsignificance,fromspeechrecognitionandtheclassificationofhandwrittencharacter,tofacerecognitionandmedicaldiagnosis.Oftentheseareproblemswhichmanyhumanssolveinaseeminglyeffortlessfashion.However,theirsolutionusingcomputershas,inmanycases,provedtobeimmenselydifficult.,.,模式识别基本概念,模式Pattern,客观事物或现象常常被划分为由相似但又不完全相同的个体组成的集合类别，称这些个体客观事物或现象为模式，或将整个类别称为模式。,本课程中，模式往往表现为具有时间或空间分布的信息，因此，将个体客观事物或现象的时间或空间分布的信息称为模式。,.,模式识别基本概念,分类Classification,将个体客观事物或现象划分到几个指定类别中的某个类别的过程称为分类。,分类就是对个体客观事物或现象的所属类别作出判断或决定，统计学理论中通常称之为决策。,分类时需要依据某个或某些规则，称为分类规则，统计学理论中通常称之为决策规则。决策规则不同时，同一问题的分类结果也可能不同。,.,模式识别基本概念,模式识别PatternRecognition,对个体客观事物或现象进行分类的过程就是模式识别。换句话说，分类就是模式识别。,本课程中，模式识别尤其是指采用计算机和计算机技术（模仿人）对个体客观事物或现象的时间或空间分布的信息进行的模式识别。,模式识别是一门学科或理论的名称。,.,模式识别历史,生物“模式识别”(心理学)HumanPerceptionandCognition（人类感知与认知）光学/机械模式识别第一个光学字符识别专利：1929,.,模式识别历史,现代模式识别：电子计算机发明以后先期统计学基础：Bayes,Gauss,Fisher,etc.早期统计模式识别：IBM(1950s-)第一个“模式识别”学术会议：1966(波多黎各)第一次国际模式识别大会(ICPR)：1972国际模式识别协会(IAPR)：1974筹建，1978年正式成立,.,模式识别方法演化,核心内容：模式分类特征提取/选择、聚类分析、分类器设计（机器学习）统计模式识别：1950s-句法、结构模式识别：1970s-,.,模式识别,模式识别：计算机科学与电子工程交叉学科中国：“控制科学与工程”一级学科二级学科：控制理论与控制工程、模式识别与智能系统、导航制导与控制、系统工程等欧美：没有自动控制系自动控制：电子工程系、机械工程系模式识别：电子工程系、计算机科学系,.,主要组织,国际组织IAPR-InternationalAssociationofPatternRecognition）IEEEComputerSociety:-TConPAMI(PatternAnalysisandMachineIntelligence),.,主要组织,国内组织中国自动化学会：-模式识别与机器智能(PRMI)专业委员会-1981年成立，IAPR成员组织中国计算机学会：-人工智能与模式识别专业委员会中国人工智能学会,.,主要学术活动,系列性国际会议ICPR：2年一次，1000人规模ICCV：2年一次，1000人规模CVPR：每年一次在美国，1000人规模ICDAR：2年一次，300-400人规模ICB：2年一次，200-300人规模,.,主要出版物,PatternRecognition,1968-PRSociety,ElsevierIEEETrans.PAMI,1978-IEEEComputerSocietyPatternRecognitionLetters,1980-IAPR,ElsevierInt.JournalofPRandAI,1988-(WorldScientific)PatternAnalysisandApplications,1997-(Springer)国内：模式识别与人工智能，1988-,.,主要机构,国外USA:MIT(Poggio),UIUC(ThomasHuang),CMU(T.Kanade),MSU(A.K.Jain),Maryland(Resenfeld,Chellappa)Canada:Toronto(Hinton),Conc