模式复习ppt课件.ppt

复习 第一章模式识别概论第二章聚类分析第三章判别函数第四章统计判别第五章特征选择与提取第六章人工神经网络第七章句法模式识别第八章模糊模式识别方法第九章模式识别应用 1 第一章模式识别概论 模式概念广义地说 存在于时间和空间中可观察的物体 如果可以区别它们是否相同或是否相似 都可以称之为模式 直观特性可观察性可区分性相似性模式识别目的利用计算机对物理对象进行分类 在错误概率最小的条件下 使识别的结果尽量与客观物体相符合 方法 两种假说 监督学习 概念驱动或归纳假说非监督学习 数据驱动或演绎假说 2 第一章模式识别概论 模式分类数据聚类统计分类神经网络结构模式识别模式识别系统组成模式识别过程实例 3 第二章聚类分析 聚类分析的相关概念定义对一批没有标出类别的模式样本集 按照样本之间的相似程度分类 相似的归为一类 不相似的归为另一类 这种分类称为聚类分析 模式相似 分类的依据把整个模式样本集的特征向量看成是分布在特征空间中的一些点 点与点之间的距离即可作为模式相似性的测量依据 聚类分析的有效性特征选择的维数和降维处理 4 第二章聚类分析 模式相似性的测度和聚类准则相似性测度欧氏距离马氏距离一般化的明氏距离角度相似性函数聚类准则试探方法聚类准则函数法 5 第二章聚类分析 基于试探的聚类搜索算法按最近邻规则的简单试探法最大最小距离算法系统聚类法算法几种距离计算准则 最小距离准则实例动态聚类法K 均值算法算法和实例ISODATA算法基本步骤和思路算法和实例 6 第三章判别函数 线性判别函数用判别函数分类的概念线性判别函数的一般形式和分类问题两类情况 多类情况 三种多类情况广义线性判别函数基本思想广义线性判别函数的意义线性的判别函数判别函数选用二次多项式函数判别函数选用r次多项式函数分段线性判别函数模式空间和权空间 7 第三章判别函数 Fisher线性判别从d维空间到一维空间的一般数学变换方法Fisher准则函数的定义基于最佳变换向量的投影感知器算法线性判别函数的感知器赏罚训练算法采用感知器算法的多类模式的分类可训练的确定性分类器的迭代算法梯度法固定增量的逐次调整算法最小平方误差 LMSE 算法 8 第三章判别函数 势函数法判别函数的产生分析步骤势函数的选择第一类势函数对称的有限多项式展开第二类势函数双变量的对称函数实例决策树简介概念二叉树 9 第四章统计判别 作为统计判别问题的模式分类贝叶斯判别原则贝叶斯最小风险判别正态分布模式的贝叶斯分类器M种模式类别的多变量正态类密度函数两类问题且其类模式都是正态分布的特殊情况模式分布密度的协方差矩阵不等模式分布密度的协方差矩阵相等实例 10 第四章统计判别 在贝叶斯分类器中 构造分类器需要知道类概率密度函数 类概率密度是正态分布 它完全由其均值向量和协方差矩阵所确定 均值和协方差矩阵的非随机参数的估计均值和协方差矩阵的估计量定义均值和协方差矩阵估计量的迭代运算均值向量和协方差矩阵的贝叶斯学习一般概念单变量正态密度函数的均值学习 11 第五章特征选择与提取 特征选择的概念所谓特征选择 就是从n个度量值集合中 按某一准则选取出供分类用的子集 作为降维 m维 m n 的分类特征 特征提取的概念所谓特征提取 就是通过某种变换 从n个度量值集合中产生m个特征 m n 作为新的分类特征 或称为二次特征 目的为了在尽可能保留识别信息的前提下 降低特征空间的维数 已达到有效的分类 12 第五章特征选择与提取 模式类别可分性的测度点到点之间的距离点到点集之间的距离类内距离类内散布矩阵类间距离和类间散布矩阵多类模式集的散布矩阵特征选择对于独立特征的选择原则一般特征的散布矩阵准则 13 第五章特征选择与提取 离散K L变换一种适用于任意概率密度函数的正交变换将原来的特征做正交变换 获得的每个数据都是原来n个数据的线性组合 然后从新的数据中选出少数几个 使其尽可能多地反映各类模式之间的差异 而这些特征间又相互独立 离散的有限K L展开K L展开式的性质K L展开式系数的计算步骤按K L展开式选择特征三条结论实例 14 第六章人工神经网络 概念和特点人工神经网络定义固有的并行结构和并行处理知识分布存储容错性自适应性局限性人工神经网络基础生物原型 大脑 人工神经网络处理单元 人工神经元 特性人工神经网络的拓扑结构存储和回忆功能人工神经网络的训练方法人工神经网络的稳定性和收敛性 15 第六章人工神经网络 前馈网络感知器模型符号单元功能表示能力训练算法线性单元加权的直接求解法 规则训练算法非线性单元加权求解描述Sigmoid函数情况多层网络的训练 误差反传训练算法 BP算法 原理和推算过程训练算法实现步骤 Sigmoid函数 BP训练算法存在的问题及改进 16 第六章人工神经网络 反馈网络Hopfield网络 离散型 网络拓扑结构及描述网络运行过程及其神经元的演变和状态的变迁网络联想方法和网络训练随机神经网络模拟退火算法基本思想实现过程玻尔兹曼机与BP网络的差别训练算法 17 第六章人工神经网络 自组织神经网络普通的无指导信号的训练过程一种常用的无指导学习方法竞争学习 包括 竞争过程的权值调整 最佳匹配竞争过程的网络组织 胜者为王一种典型的自组织网络Hamming网络Kohonen网络网络的拓扑结构网络自组织算法 18 第六章人工神经网络 人工神经网络的应用开发设计人工神经网络应用的可行性人工神经网络应用的特点人工神经网络模型的应用情况人工神经网络模型的选取原则网络大小所需输出类型联想记忆类型训练方法时间的限定人工神经网络模型的设计确定结点的类型确定网络 层的大小和连接要求确定学习算法和参数人工神经网络应用系统的评价网络的大小速度完全训练标准网络的实验 19 第七章句法模式识别 句法模式识别系统构成系统框图处理过程学习过程集合论中的关系运算形式语言理论和句法模式识别文法定义语言的生成过程文法的分类无约束文法上下文有关文法上下文无关文法正则文法实例 20 第七章句法模式识别 句法结构的自动机识别确定有限态自动机非确定有限态自动机正则文法 有限态自动机上下文无关文法 下推自动机基元的提取图形边界或骨架的基元选择按区域划分成多边形近似的基元形式语言在图形识别中的应用各种文法用于模式识别的功能比较程序文法图形描述语言PDL树文法 21 第七章句法模式识别 句法分析通过生成树的句法分析CKY分析算法最小距离误差的句法校正分析句法模式识别的随机文法随机文法定义随机有限态自动机识别器文法推断基本概念人机交互式的归纳推断法启发式的归纳推断法 22 第八章模糊模式识别方法 引言