识别 第一章readdata.jsp.ppt

模式识别 杨帆河北工业大学信息工程学院 1 模式识别的发展史 1929年发明阅读机 能够阅读0 9的数字 30年代Fisher提出统计分类理论 奠定了统计模式识别的基础 因此 在60 70年代 统计模式识别发展很快 但由于被识别的模式愈来愈复杂 特征也愈多 就出现 维数灾难 但由于计算机运算速度的迅猛发展 这个问题得到一定克服 统计模式识别仍是模式识别的主要理论 第一章概论 1 1模式识别的基本概念 60年代L A Zadeh提出了模糊集理论 模糊模式识别理论得到了较广泛的应用 80年代神经元网络模型理论 近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用 90年代小样本学习理论 支持向量机也受到了很大的重视 新世纪进一步发展 2 模式识别的基本定义 1 模式存在于时间 空间中可观察的事物 具有时间或空间分布的信息 凡是人类能用其感官直接或间接接受的外部信息都称为识别 2 模式识别用计算机实现人对各种事物或现象的分析 描述 判断 识别 模式识别是模拟人的某些功能模拟人的视觉 计算机 光学系统模拟人的听觉 计算机 声音传感器模拟人的嗅觉和触觉 计算机 传感器 3 模式识别的目的和作用在于面对某一具体事物时将其正确的归入某一类别 例1 医生给一个病人看病 模式识别的完整过程 测量病人的体温和血压 化验血沉 询问临床表现 通过综合分析 抓住主要病症 医生运用自己的知识 根据主要病症 作出正确的诊断 例2 选取做家具的松木 4 模式识别的主要研究内容 机器的自动识别 1 模式识别必须经历过程 模式空间的维数 与选择的样本和测量方法有关 也与特定应用有关 维数很大 但是是一个有限值 在模式空间里 每个模式样本都是一个点 点的位置由该模式在各维上的测量值确定 1 2模式识别系统 模式空间的维数虽然是有限的 但还是非常多 其中一些并不反映样本的实质 机器在作出判断之前要对模式空间里的各坐标元素进行综合分析 以获取最能揭示样本属性的观测量作为主要特征 这些主要特征就构成特征空间 从模式空间到特征空间所需要的综合分析 往往包含适当的变换和选择 这个过程称为 特征提取和特征选择 判决规则 由某些知识和经验可以确定的分类准则 根据适当的判决规则 把特征空间里的样本区分成不同的类型 从而把特征空间塑造成了 类型空间 决策面 不同类型之间的分界面 类型空间的维数与类型的数目相等 一般小于特征空间的维数 分类判决 由特征空间到类型空间所需要的操作就是分类判决 预处理模式空间里 针对具体的研究对象 往往需要进行适当的预处理 预处理的功能包括 清除或减少模式采集中的噪声及其它干扰 提高信噪比 消除或减少数据图像的模糊及几何失真 提高清晰度 转变模式的结构 以便后续处理 如非线性模式转为线性模式 预处理的方法 滤波 变换 编码 标准化等 特征提取 选择一般的情况 人们对客观世界里的具体物体或事件进行模式采集时 总是尽可能多的采集测量数据 造成样本在模式空间里的维数很大 模式维数很大首先带来的问题是处理的困难 处理时间很长 费用很高 有时甚至直接用于分类是不可能的 即所谓 维数灾难 特征提取 选择的目的目标 就是要压缩模式的维数 使之便于处理 减少消耗 特征提取往往以在分类中使用的某种判决规则为准则 所提取的特征使在某种准则下的分类错误最小 为此 必须考虑特征之间的统计关系 选用适当的正交变换 才能提取最有效的特征 选择对分类贡献较大的特征 删除贡献甚微的特征 分类分类目标 把特征空间划分成类型空间 把未知类别属性的样本确定为类型空间的某一个类型 在给定条件下 可以否定样本属于某种类型 实际分类过程中 对于预先给定的条件 分类中出现错误是不可避免的 因此 分类过程只能以某种错误率来完成 显然 错误率越小越好 但是 分类错误率又受很多条件的制约 分类方法 分类器设计 选用的样本及提取的特征等 因此 分类错误率不能任意小 此外 分类错误率的分析 计算也很困难 只有在较简单的情况下才能有解析的解 分类错误率是分类过程中的重要问题 c 指纹锁 d 指纹考勤仪 2模式识别系统 一个模式识别系统应该完成模式采集 特征提取 选择 分类等功能 系统方框图如下 1 模式采集组合目的 完成模式的采集 方法 根据处理对象的不同 可以选用不同的传感器 测量装置 图像录取输入装置等 采集之后 还要进行滤波 消除模糊 减少噪声 纠正几何失真等预处理操作 2 特征提取组合目的 实现由模式空间到特征空间的转变 有效压缩维数 一般来说 特征提取组合应该是在一定分类准则下的最佳或次佳变换器 或是实现某特征选择算法的装置 3 分类器目的 实现对未知类别属性样本的分类判决 为了设计分类器 首先要确定对分类错误率的要求 选用适当的判决规则 但是为了使分类器能有效地进行分类判决 还必须对它进行训练 也就是 分类器首先要进行学习 4 分类器的训练大家都知道 小孩认字是一个反复学习的过程 那么机器要掌握某种判决规则 学习过程必不可少 前面讲过的医生诊病的例子 如果要让机器代替医生来给患者诊断 就必须把医生的知识和经验教给机器 并且输入一些病例 对机器进行训练 这种训练的过程就是机器学习的过程 这个过程往往需要反复多次 不断纠正错误 最后才能使机器自动诊断的错误率不超过给定的值 经过特征提取 选择进入学习过程的样本常常被称为训练样本 其属性预先知道或者不知道 分类判决规则常常是样本各特征的函数 训练过程就是要确定函数的所有权因子 这个过程是一个输入 修正 再输入 再修正 不断反复的过程 直到分类错误率不大于给定值为止 分类器完成训练之后 根据已经确定的判决规则 对未知类别属性的样本进行分类 此时 分类器就具有自动识别的能力 1 3模式识别的应用 1 字符识别 包括印刷体字符的识别 手写体字符的识别 脱机 各种OCR设备例如信函分拣 文件处理 卡片输入 支票查对 自动排板 期刊阅读 稿件输入 在线手写字符的识别 联机 各种书写输入板 2 医疗诊断 心电图 脑电图 染色体 癌细胞识别 疾病诊断 例如关幼波肝炎专家系统 3 遥感 资源卫星照片 气象卫星照片处理 数字化地球 图象分辨率可以达到1米 4 指纹识别脸形识别5 检测污染分析 大气 水源 环境监测 6 自动检测 产品质量自动检测7 语声识别 机器翻译 电话号码自动查询 侦听 机器故障判断 8 军事应用 1 4模式识别方法模式识别分为 统计模式识别 句法模式识别 统计模式识别 是以样本在特征空间中的类概率密度函数为基础 进行模式识别 句法模式识别 是以图形结构特征为基础 运用形式语言理论的技术 进行模式识别 适用于复杂景物图像处理 例1 男女19人进行体检 测量身高和体重 如下表 但事后发现4人忘了写性别 试问 这4人是男是女 样本是人 男 女两个类别 特征是身高 体重 构成二维特征空间 已知15人的性别 作为训练样本 根据其值确定他们在特征空间的位置 图中 男性集中于右上方 女性集中于左下方 这就是聚类性质 采用数理统计方法 可在两个性别之间描绘一条曲线 它是特征x1 身高 x2 体重 的函数 表示为 现考察16 19号体检者 由身高 体重确定在上图中的位置 显然 16 19在负线一侧 判定他们为女性 17 18位于正线一侧 判为男性 上述判决方法使分类错误率最小 例2 如下图中一幅图形 要识别图中的物体 选用句法模式识别方法 其中 面 三角形 地板和墙壁 即L T X Y Z M和N均为基本图形单元 简称基元 在句法模式识别中 基元就是特征 句法模式识别的方法 在学习过程中 确定基元与基元之间的关系 推断出生成景物的方法 判决过程中 首先提取基元 识别基元之间的连接关系 使用推断的文法规则做句法分析 若分析成立 则判断输入的景物属于相应的类型 1 5模式识别的基本问题 一 模式 样本 表示方法向量表示 假设一个样本有n个变量 特征 X1 X2 Xn T2 矩阵表示 N个样本 n个变量 特征 3 几何表示一维表示X1 1 5X2 3二维表示X1 x1 x2 T 1 2 TX2 x1 x2 T 2 1 T三维表示X1 x1 x2 x3 T 1 1 0 TX2 x1 x2 x3 T 1 0 1 T 4 基元 链码 表示 在右侧的图中八个基元分别表示0 1 2 3 4 5 6 7 八个方向和基元线段长度 则右侧样本可以表示为X1 006666这种方法将在句法模式识别中用到 二 模式类的紧致性 1 紧致集 同一类模式类样本的分布比较集中 没有或临界样本很少 这样的模式类称紧致集 2 临界点 样本 在多类样本中 某些样本的值有微小变化时就变成另一类样本称为临界样本 点 3 紧致集的性质 要求临界点很少 集合内的任意两点的连线 在线上的点属于同一集合 集合内的每一个点都有足够大的邻域 在邻域内只包含同一集合的点4 模式识别的要求 满足紧致集 才能很好的分类