哈工大模式识别课程期末总结

1、,哈尔滨工业大学,课程总复习,2,主要内容,1. 关于期末考试/考察 2. 章节知识点整理,3,1. 关于期末考试/考察,4,1. 确认考试人员名单； 2. 考试/考察方式 学位课：考试70%+报告30%； 选修课：报告100%（不用考试）。 3. 报告形式(见word文档) 4. 考试题目（100分） 1简答题（35分） 7*5=35分 2推导题（8分） 3证明题（8分） 4问答题（24分）3*8=24分 5计算题（25分） 9+8+8=25分 （记得要带尺子，铅笔，橡皮擦）,【关于期末考试】,5,2.章节知识点整理,哈尔滨工业大学,第1章 模式识别绪论,主要内容,模式识别基本概念 模式识别

2、系统组成 模式识别基本问题 应用领域 小结,模式识别系统组成,【模式识别系统组成】,1. 信息的获取：通过测量、采样、量化并用矩阵或向量表示。通常输入对象的信息有三个类型：二维图像（文字、指纹、地图、照片等）、一维波形（脑电图、心电图、机械震动波形等）、物理参量和逻辑值（体检中的温度、血化验结果等）,2. 预处理：去除噪声，加强有用的信息，并对输入测量仪器或其它因素造成的干扰进行处理。,3. 特征提取与选择：为了实现有效的识别分类，要对原始数据进行变换得到最能反映分类本质的特征，此过程为特征提取和选择。,4. 分类决策：在特征空间中用统计方法把被识别对象归为某一类。基本作法是在样本训练集基础上

3、确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。,5.后处理：针对决策采取相应的行动。,哈尔滨工业大学,第2章 贝叶斯决策理论,主要内容,概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 贝叶斯分类器设计 正态分布时的统计决策 小结,贝叶斯决策基础知识,【贝叶斯决策基础知识】,基于最小错误率的贝叶斯决策,【基于最小错误率的贝叶斯决策】,【基于最小错误率的贝叶斯决策】,【基于最小错误率的贝叶斯决策】,【基于最小风险的贝叶斯决策】,【基于最小风险的贝叶斯决策】,【基于最小风险的贝叶斯决策】,【基于最小风险的贝叶斯

4、决策】,【基于最小风险的贝叶斯决策】,【基于最小风险的贝叶斯决策】,【基于最小风险的贝叶斯决策】,【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】,哈尔滨工业大学,第3章 概率密度函数估计,主要内容,引言 参数估计 正态分布的参数估计 非参数估计 本章小结,参数估计,【参数估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,【最大似然估计】,例子（梯度法不适合）：,不成功！,【贝叶斯估计】,【贝叶斯估计】,【贝叶斯估计】,【贝叶斯学习】,【三种方法总结】,【三种方法总结】,哈尔滨工业大学,第4章 线性判别函数,主要内容,

5、线性判别函数的基本概念 Fisher线性判别准则函数 感知准则函数 最小平方误差准则函数 多类问题,4.1.1 概念的提出,【线性判别函数】,4.1.1 概念的提出,【线性判别函数】,4.1.1 概念的提出,【线性判别函数】,4.1.1 概念的提出,【线性判别函数】,说明：判别函数g(x)正比于任意一点x到超平面的代数距离。,Fisher线性判别准则函数,【 Fisher线性判别准则函数】,【 Fisher线性判别准则函数】,【 Fisher线性判别准则函数】,【 Fisher线性判别准则函数】,【 Fisher线性判别准则函数】,【 Fisher线性判别准则函数】,哈尔滨工业大学,第5章 非

6、线性判别函数,主要内容,基本概念 基于距离的分段线性判别函数 分段线性分类器设计 二次判别函数 程序设计方法 实际应用系统设计研究报告,哈尔滨工业大学,第6章 特征的选择与提取,主要内容,1.引言 2 类别可分离性判据 3 特征选择 4.特征提取,60,哈尔滨工业大学,第7章 近邻法,61,主要内容,0.引言 1.近邻法原理及其决策规则 2.快速搜索近邻法 3.剪辑近邻法 4.压缩近邻法,62,1.近邻法原理及其决策规则,63,【基本原理】,64,【最近邻法决策规则 】,65,【 -近邻法决策规则 】,66,【问题的提出】,67,2.快速搜索近邻法,68,3. 剪辑近邻法,69,4. 压缩近邻

7、法,70,哈尔滨工业大学,第8章 主成分分析(PCA),71,主要内容,1.引言 2 主成分分析(PCA) 3 基于K-L展开式的特征提取 4.应用举例,72,2.主成分分析,73,根据方差最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据向量的线性组合。 通过对原始数据的平移、尺度伸缩(减均值除方差)和坐标旋转(特征分解)，得到新的坐标系(特征向量)后，用原始数据在新坐标系下的投影(点积)来替代原始变量。,一. 主成分分析的基本原理,74,主成分分析的优点 它能找到表现原始数据阵最重要的变量的组合 通过表示最大的方差，能有效地直观反

8、映样本之间的关系 能从最大的几个主成分的得分来近似反映原始的数据阵的信息,75,【人脸识别】,76,【人脸识别】,77,【人脸识别】,78,【人脸识别】,79,基于PCA构建特征脸空间是对图像进行K-L变换，以去除样本间的相关性，然后根据特征值的大小选择特征向量。 这种方法首先将人脸图像映射为高维空间的向量，然后应用基于统计的离散K-L变换方法，构造一个各分量互不相关的特征空间，即特征脸空间，再将人脸图像在高维空间中的向量映射到特征脸空间，得到特征系数。,PCA构建特征脸空间,哈尔滨工业大学,第9章 人工神经网络,主要内容,1.基础知识 2.前馈神经网络 3.反馈神经网络 4.自组织映射神经网

9、络,神经网络的学习方法,神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练。,学习方式： 监督学习 非监督学习 再励学习 学习规则： 误差纠正学习算法 竞争学习算法,4.自组织映射,自组织映射Self-Organizing Map 亦称SOFM。 Kohonen 提出（1980s）,SOM 用于非监督模式识别,自组织学习过程本身就是一个非监督学习过程SOMA(自组织分析) 基本思路： 用未知样本集训练SOM; 计算象密度图; 根据象密度图划分聚类(把结点代表的小聚类合并)。,特点： 对数据分布形状少依赖性；可反映真实存在的聚类数目，尤其适合人

10、机合作分析(高维数据的有效二维显示) 数学上待研究的问题多： 象密度与样本分布密度之间的关系？ 拓扑保持特性？ 如何在SOM 平面上聚类？,哈尔滨工业大学,第10章 无监督学习,主要内容,1. 引言 2. 单峰子集（类）的分离方法 3. 类别分离的间接方法 4. 分级聚类方法,【引言】,根据：某种假设（对聚类应具有的性质的认识） 结果：聚类（clusters） 属中间结果（数学结果），需经解释赋予物理含义（后处理）,应用： 复杂系统未知特性分析（举例） 航天、航空、航海（具体阐述）,直接方法:基于概率密度函数估计,相间接聚类方法:基于样本间似性度量,【动态聚类】,多次迭代，逐步调整类别划分，最

11、终使某准则达到最优。,三个要点： 选某种距离作为样本相似性度量 定义某个准则函数，用于评价聚类质量。 初始分类方法及迭代算法,【动态聚类】,【动态聚类】,【动态聚类】,初始划分：一般可先选代表点，再进行初始分类。 代表点选择方法： 1. 经验选择 2. 随机分成c 类，选各类重心作为代表点 3. “密度”法。计算每个样本的一定球形邻域内的样本数作为“密度”，选“密度”最大的样本点作为第一个代表点，在离它一定距离选最大“密度”点作为第二个代表点，依次类推。 4. 用前c 个样本点作为代表点。 5. 用c 1聚类求c 个代表点：各类中心外加离它们最远的样本点，从1 类开始。,【动态聚类】,初始分类

12、方法： 1. 最近距离法。离哪个代表点近就归入哪一类。 2. 最近距离法归类，但每次都重新计算该类代表点。 3. 直接划分初始分类：每一个样本自成一类，第二个样本若离它小于某距离阈值则归入此类，否则建新类， 4. 将特征归一化，用样本各特征之和作为初始分类依据。,说明： 初始划分无一定之规，多为启发式方法。 C 均值方法结果受初值影响，是局部最优解。,【动态聚类】,C 均值聚类方法用于非监督模式识别的问题： 要求类别数已知； 是最小方差划分，并不一定能反映内在分布； 与初始划分有关，不保证全局最优。,4. 分级聚类方法 （Hierachical Clustering）,【分级聚类方法 】,思想

13、：从各类只有一个样本点开始，逐级合并，每级只合并两类，直到最后所有样本都归到一类。,Hierarchical tree - dendrogram 聚类过程中逐级考查类间相似度，依此决定类别数,树枝长度：反映结点/树枝之间的相似度或距离 树枝位置：在不改变树结构情况下可以任意调整，调整方法需研究 距离/相似性度量：多种选择，如欧式距离、相关、City Block、,【分级聚类方法 】,距离（相似性度量）： 样本之间的度量 聚类之间的度量,算法（从底向上）： （1）初始化，每个样本形成一类 （2）把相似性最大（距离最小）的两类合并 （3）重复（2），直到所有样本合并为两类。,【分级聚类方法 】,【

14、分级聚类方法 】,哈尔滨工业大学,第11章 模糊模式识别,主要内容,1. 引言 2. 模糊集的基本知识 3. 模糊特征和模糊分类 4. 特征的模糊评价 5. 模糊聚类方法 6. 模糊k 近邻分类器,【模糊C 均值方法（FCM）】,C 均值算法,【模糊C 均值】,【模糊C 均值】,【模糊C 均值】,模糊C 均值算法：,【改进的模糊C 均值算法】,模糊C 均值算法的一个缺点：,【改进的模糊C 均值算法】,【改进的模糊C 均值算法】,AFC 有更好的鲁棒，且对给定的聚类数目不十分敏感。但有时可能会出现一个类中只包含一个样本的情况，可通过在距离计算中引入非线性，使之不会小于革值来改进。 AFC、FCM

15、 与C 均值一样，依赖于初值。,实验效果举例 例一：类别重迭及类别不明显情况 +：C 圴值 ：FCM O：AFC,【改进的模糊C 均值算法】,正确聚类(C=4),CM聚类(C=3),FCM聚类(C=3),AFC聚类(C=3),例二：给定类别数与实际类别数不一致的情况,109,改进的模糊C均值算法 改进的模糊C均值算法较前面提到的模糊C均值算法具有更好的鲁棒性，它不但可以在有孤立样本存在的情况下得到较好的聚类效果，而且可以放松隶属度条件，而且因为放松了隶属度条件，使最终聚类结果对预先确定的聚类数目不十分敏感。 与确定性C均值算法和模糊C均值算法一样，改进的模糊C均值算法仍然对聚类中心的初值十分敏

16、感，为了得到较好的结果，可以用确定性C均值算法或模糊C均值算法的结果作为初值。,【改进的模糊C 均值算法】,哈尔滨工业大学,第12章 统计学习理论,主要内容,1. 统计学习理论,2. 支持向量机 3. 核方法,2. 支持向量机,根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。,【基本概念】,Vapnik 与1995年提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SV

17、M是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。,【基本概念】,由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中 Joachims 最近采用SVM在Reuters-21578来进行文本分类，并声称它比当前发表的其他方法都好,【基本概念】,由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他

18、机器学习问题中 Joachims 最近采用SVM在Reuters-21578来进行文本分类，并声称它比当前发表的其他方法都好,特点：,非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射; 对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心; 支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。 SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductive inference) ,大大简化了通常的分类和回归等问题。,【基本概念】,特点：,SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义