《模式识别原理》PPT课件.ppt

模式识别原理 3学分60学时 连自学和考试时间 一课本1 数字图象处理与模式识别 余英林编著 华南理工大学出版社 1990 第九章以后2 模式识别 边肇祺著清华大学出版社19882000第二版1 4章6章3 句法模式识别 傅京荪著 二参考书1 数字处理处理 KennethRCastleman清华大学出版社 patternrecongnition 2 句法模式识别 R CGonzalaz3 SatosiWatanabe PatternRecognition Human Machanical 1995年 4 模式识别与图象处理 戚飞虎等译上海交大出版社 1989 全面浏览和备忘手册 还有各种识别应用语言 字符 地震 水声5 计算机文字识别技术 胡家忠著气象出版社1994文字识别是PR一个重要分支 研究得较为充分 有许多行之有效得识别方法 应用越来越广泛 作者是第一线的干将 6 语音处理与识别 胡光锐著上海科技文献出版社1994语音处理手册 有些基本的程序 有关的现成工作不需自己去搞 省下的时间可用于探索新事物 7 神经网络在模式识别中的应用 张立明著复旦大学出版社1993识别工作日新月异地发展 各种识别方法层出不穷 不断完善 要不断学习 8 自适应模式识别与神经网络 包约翰有英文本 中译本kohonen极力推荐在美国颇受欢迎地研究生教材阐述模式识别与神经网络地基本概念 原理与准则 内容 模式性质统计PR模糊集合理论及方法非数值特征的PR神经网络简介BP算法联想存贮及Hopfield网自组织网络及用神经网络实用自适应PR的若干方法内容编排与国内教材很不相同 上课还是按既定方针 三课程安排统计PR1简介2贝叶斯法决策理论近似步骤 计算负荷 训练 检验神经网络分类器常规分类器决策规则分类器设计几种贝叶斯分类 最小分类 最邻近分类3概率密度函数估计密度估计分类器错误率估计4判别函数线性判别函数线性可分性准则函数感知准则5特征选择与提取 6聚类分析7句法模式识别源模式选择和模式文法 描述 化简 推断 自动机实现识别8模式分析系统结构中控制模块数学模型 结构表示AI问题求解模型及搜索技术在理解目标内容模式分类和表达中的应用 对感兴趣目标进行检测 测量 获得客观信 建立其描述9神经网络在PR中的应用用前馈网络实现任意分界面线性RBF网络BP网应用联想记忆自适应谐振理论 ART 10其他aFukushima神经认知机b最优算法 遗传算法 进化算法等c模糊P R 上下文有关分类 隐马尔可夫模型 Viterbi算法等用于 信号处理中有 Chap1基本知识一基本数学方法1集合论几个关系模式识别是模式从模式空间到类别隶属空间的正确映射 模式集合元素为模式值模式集中元素数nP x 具有性质P的x某种逻辑性质或物理性质具有P的那些x的集合幂集所有子集 含空集 P x 有个元素可表示为所有被包含于X的集合的集合 模式集间映射运算若有 定义域 则 值域 值域 从模式集X到模式集Y的关系 若映射运算 且有则为特征函数 集合A为具有某个性质的元素集合 则X的元素x到集合A的映射的取值为 某个元素x不属于该集合时 不具有某个性质 取值0某个元素x属于该集合时 具有某个性质 取值1 2参考估计给定模式样本随机过程样本 可估计其统计参量 估值为不同逼近方法 不同逼近条件 如何逼近真值 不同估计 兼容估计 Consistentestimate 若有 则为的兼容估计 样本数极多时 以概率逼近 无偏估计 unbiasedestimate n任意给定 即n可有限 期望值 为的无偏估计 渐近无偏估计n有限时 不成立 但 则为的渐近无偏估计 有效估计最有效估计 mostefficientestimate 与真值的方差 平均D方差 讨论的下限R 以便看本身与的距离而不只是平均意义下的距离不同如果存在估计 使方差到达最小下限 且 则称为的最有效估计 渐近最有效估计估计的有效度定义 模式样本数n为一定时 b 置信区间真值落在区间的概率很大 在区间外概率很小 大小的定义可用某个门限值作参考 则称此区间为的置信区间 3熵函数 1 基于类似的概率依赖性的概念 观察样本x并计算其后验概念以确定从此实验中获得多少信息 观察一个样本 如果对所有类有相同的后验概率 则模式等获得的信息最小或不确定性 熵 最大 这样熵度量能用来估计模式向量x与类别之间的依赖性 2 以下熵度量已由度广义熵导出 定义 ab香农c贝叶斯距离 2次 三次 熵函数测度模式样本的分布的无规则程度 某一样本 事件的不确定性 输出信息的随机性 模式识别中使系统熵最小的理论 定义 结构函数J 部分熵之和 总体熵 系统熵 理解 两部分之间关系清楚 相关性很大 意味着系统有结构存在 可用其中一部分知识去推测另一部分情况 如1与2有唯一关系 则总体熵为0 2个部分组成 n个部分 每个部分情况有可能从其余部分推出 N个部分组成 a 如果系统杂乱无章 没有结构b 如系统结构非常确定系统结构性强 则较易被分类和分析 其总体熵小 总的模式结构已经知道得很清楚 总体熵为0 要对一个系统实行模式分类和分析 就是要找一个分类方法使系统结构尽量清楚 使系统熵最小 二概况 术语 研究方法1 概况50年代起步 前2页已提到 60年代发展相当迅速 70年代近代数理统计理论 信息论 控制论 系统论 计算机技术等得发展 形成近代模式识别 2 术语模式 Pattern 所研究系统表现出来得一些有规则得典型结构特征 反义词是 杂乱无章 模式样本 PatternSamples 表示各种模式的有意义的测量数据 如 水果大小 颜色 甜度模式样本值测量值模式样本值 挑最合适 最重要的测量值作模式样本值 数字矩阵模式需要几个样本值来充分表征其各种特征 此模式样本是一个n维向量 采集了m个样本 测量m次 特征值Feature性质值Properties上面表征模式特征的n个量称为该模式样本的特征值 性质值 特征空间 FeatureSpace n个特征值组成一个n维特征向量或性质向量 建立一个n维空间 各坐标轴对应于 每个样本为空间中一个点 称之为特征空间 性质空间 特征向量特征提取过程 从测量值中抽取特征值 简单模式与复杂模式简单模式组成 子模式类别 构成规则分类模式分析模式识别的对象只要求并属于何种类别 模式分类 3模式识别问题可解决的先决条件 代表性 给定模式样本充分代表所研究模式的各方面性质要求抽样足够密 所得结论要能推广到其他样本 说明性 对简单模式 必须能找到说明它属于何类的参数 可分性 同类模式 有几乎差不多得特征值不同类模式 特征值差得远 唯一性 假定结构规律 各个子模式复杂模式 4研究方法 模式 有规则得特征得数据结构 特征名称 特征值 特征间关系 识别 被识别目标事件类别 事物 现象 观察者感知认知器官去映射 人类映射不透明 用计算机语言去精确地选择描速目标事件特征 使映射从不透明变透明 并模仿人对各种事物 现象地判断能力来对其加以识别 模式识别两阶段 方向内容 模式分类 事物是什么东西分析 要选择最好地方法 能适应改变的条件 模式分类 与模式表达方式选择有关两个传统领域 统计模式句法PR 统计PR运用统计分类和决策估计理论解决问题 用到 参量估计 分类 类别分析 原理框图 句法PR逻辑关系 结构关系数字语言技术和计算机语言用于识别分类 模式文法 产生规则 文法推理 模式 句子分类过程 分析句子 看是否满足某一文法 该文法表某一类 复合模式 模式原 最简单的已被认识的 是限于前后关系的方法 对更一般结构 复杂结构无能为力 B模式分析谱系结构 树形结构表示 按最小代价路径来搜索结合人工智能 有自适应性 有选择最好方法的能力 C模糊数学法模糊分类法 按最大隶属度原则分类赋予特征模糊性 三一个简单的统计分类器工作模式样本给定类别集合问题 从模式统计样本 求分类准则设出现在类的概率为 先验概率 据Bayes公式模式样本属于类的后验概率特殊 若令每类出现的等概率 则这时只需看前验概率不管x属于哪一类 为const值 据最大似然准则 maxlikelihood 作出分类判别准若判 等先验概率时 所以若 即为的充要条件进一步设取对数化简 得函数可见的临界面为上述式子 设为 为0即判别函数为 鉴别第I类与第j类若只有第I类和第j类 则 Chap2贝叶斯决策理论PR分类 根据识别对象特征 某个类别分类问题基本理论之一 统计决策理论 模式分析分类器设计 基本方法之一贝叶斯决策理论贝叶斯分类要求 各类别总体概率分布已知 各类别 先验 类条件 要决策的类别数已知 类别数一定且已知 K类 问题归结为 n维向量空间类别集合 若特征空间已观察到某一向量 n维特征空间中某一个点 x分到哪一类最合理 以哪些决策规则来分类 分类错误率又如何 一 几种常用决策规则1基于最小错误率的贝叶斯决策目标 尽量减少分类错误e方法 利用贝叶斯公式 使分类错误率减少 至例 癌细胞的识别 细胞预处理后抽出n各特征条件 n个特征n维空间向量x 类别 细胞状态 概率分布 看作随机变量 所以某状态出现的概率可以估计 如据医院病理检查的大量统计资料可获得正 异常比例 从而得状态先验概率 A状态先验概率正常状态概率异常状态概率且只依靠先验会得出全属于某一类的结论 分不开要利用病理分析 观测更多信息 如正常状态下细胞特征观察的 B类条件概率密度具备上述 条件后分类利用贝叶斯公式后验概率实质 通过观察x把先验概率转化为状态后验概率 再进行分类 规则基于最小错误率的贝叶斯决策规则为 2类 推广多类合理的决策为等价公式 两类问题则似然比阈值的似然比两端为计算方便 取负对数则 错误率分析 指平均错误率 定义在整个n维特征空间上积分两类别问题 难 此时把x分为第2类时 x条件错误概率为 分界点t处地两类别概率等 但也可能与实际不符 最小错误率规则实则是对每个样本x都使取小 平均错误率也达到最小 这就说明最小错误率贝叶斯决策规则的确使平均错误率最小 多类别决策中 特征空间分成K个区域 每个区域记为 可能错分的情况很多 平均错误率将有项 K类 每类有K 1项错分 但落在分类的第j个区域 很难算 但可从正确率入手 2基于最小风险的贝叶斯决策上述分类使 这实际上是假设所有错误的重要性一样 但不同错误风险不同 但有时要考虑比错误率更广泛的概念 风险 风险又与损失紧密相连 如 对细胞分类 固然尽可能正确判断 但把 正常判成异常判成正常 两种错判造成的后果 损失大小都有不同 后者损失更大 正常 异常 增加精神负担 异常 正常 失去进一步检查治疗的机会 最小风险贝叶斯决策 即对各种错误造成损失会有不同而提出的一种决策规则 决策 采取的决定 又称行动 不同错误率惩罚不同 每决策有相应代价 决策空间 行动空间 可能采取的各种决策组成的集合 每个决策或行动都将带来一定的损失 通常是决策和自然状态的函数 其关系可表示成决策表 亦可均为风险矩阵 损失矩阵 观察量x 为一个n维随机向量 状态空间 K个自然状态 k类 决策空间A a个决策 a不一定等于K 比如拒绝决策时 损失函数表示 真实状态为 决策为 所带来的损失 考虑到错判所成的损失各有不同 就不能只根据后验概率某一个大小来作决策 而应使损失最小 给定的x 采用决策2i时 某一决策时 X可能属于任一类别决策条件期望损失x随机变量 有不同的观察值 同一不同x条件风险大小不同采取的决策与观察到的x值有关 对每一个x的最佳决策函数 即 决策是随机向量x的函数 记为是随机变量 有期望风险Rn维特征空间积分元体积元条件风险 对某一个x的取值采取决策所带来的风险 期望风险 整个特征空间上所有x的取值采取相应的决策所带来的平均风险 最小风险贝叶斯决策 对系数的决策 使期望风险在采取每一个决策时 均使其条件风险最小 则对所有x作出决策时 其期望风险也必然最小 所以