模式识别讲义第一章.ppt

模式识别 第一章引言 模式识别基本概念模式识别的发展模式识别的方法模式识别系统的基本原理模式识别的基本问题 例子1 医生诊病过程 1 测量病人的体温和血压 化验血沉 询问临床表现 2 通过综合分析 抓住主要病症 3 医生运用自己的知识 经验 根据主要病症 测量化验结果 作出正确的诊断 在模式识别技术中 常用的术语有 样本 模式 特征 类型等等 对照医生诊病过程 有 a 样本 医院里的众多患者 每个患者都是一个样本 单一样本 医生诊断的某一患者 就是样本空间中的一个单一样本 样本值 某一患者的化验 检查结果与表征现象 b 模式 各样本值按一定的数据准则综合的结果 模式样本 具有某种模式的样本 模式采集 获取某样本的测量数值的过程 医生诊病过程 c 特征 患者某些具有显著特征的化验数据及表征 特征选择与提取 能表征 疾病 特异性的化验结果与表征 d 判决 医生运用知识 病例经验综合分析给出诊断 判决准则 规则 医生的知识判决结果 将患者明确 或以概率 确定为某一种病症 或多种 并发病症 的患者 及病患严重程度 事实上 最后的结果也成为分类 因此有预先知道类别 已知病症 与未知类别 未知病症 的区别 模式识别 就是以计算机为工具 各种传感器为信息来源 数据计算与处理为方法 对各种现象 事物 状态等进行准确地分析 判断识别与归类 模式 是一个物体或感兴趣实体的定量的或结构的描述 模式类 是具有某些共同特性的模式的集合 模式识别 从不相关的细节背景中 抽取数据的有意义的特征或属性 根据这些特征和属性对数据进行分类 把特征和属性相同的数据归成同一类 具体项目的识别 识别字符 图画某些其他 音乐及周围事物的过程 分为视觉和听觉识别 抽象项目的识别 不靠外界的感官刺激而识别一个古老的论点或某个问题的解答 基本概念 模式识别的发展 1929年G Tauschek发明阅读机 能够阅读0 9的数字 30年代Fisher提出统计分类理论 奠定了统计模式识别的基础 因此 在60 70年代 统计模式识别发展很快 但由于被识别的模式愈来愈复杂 特征也愈多 就出现 维数灾难 随着计算机运算速度的迅猛发展 这个问题得到一定克服 目前 统计模式识别仍是模式识别的主要理论 50年代NoamChemsky提出形式语言理论 在此基础上 美籍华人付京荪提出句法结构模式识别 60年代L A Zadeh提出了模糊集理论 模糊模式识别理论得到了较广泛的应用 模式识别的发展 80年代Hopfield提出神经元网络模型理论 近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用 90年代小样本学习理论 支持向量机也受到了很大的重视 1973年IEEE发起了第一次关于模式识别的国际会议 ICPR 成立了国际模式识别协会 IAPR 每2年召开一次国际学术会议 1977年IEEE的计算机学会成立了模式分析与机器智能 PAMI 委员会 每2年召开一次模式识别与图象处理学术会议 国内的组织有电子学会 通信学会 自动化协会 中文信息学会 模式识别的发展 模式识别的应用领域更加广泛 生物 医学 军事 农业 工业 社会 教育 航天 航空 经济 金融 生物认证 数字水印 基于语音 重点人物通信监控语音识别系统 规模音频资料检索基于图像 光学字符识别 OpticalCharacterRecognitionOCR 车牌识别 VehicleLicensePlateRecognitionVLPR 人脸识别 指纹识别 签名认证 支票认证 表情和手势识别 农作物分类与害虫识别 生物信息学 DNA识别 航空与卫星遥测遥感数据资源调查 军用目标的图像识别 基于图形模式识别的机器人控制等基于工程数据 振动模式分析与故障诊断 石油钻井数据分析与事故预报 基于状态模式的智能控制 数据挖掘与知识发现等 模式识别的发展 模式识别的计算手段更加先进 海量存储技术 高速计算 并行计算技术 网格技术 网络技术 新型前端器件 激光 红外 MEMS 传感器网络 模式识别的新型算法层出不穷 Computationwithword Zadeh SoftComputationDNAComputation 国内外模式识别的学术活动从未间断 小波 模式识别国际会议 机器学习 模式识别国际会议 图像处理 模式识别国际会议 数据挖掘 模式识别国际会议 模式识别的方法 决策理论方法 统计识别法 以判别函数为基础 利用判别函数对模式进行分类 句法模式识别 结构模式识别 将对象分解为若干个基本单元 基元 用基元和他们的结构关系描述对象 运用形式语言理论进行句法分析 根据其是否符合某一类的文法而决定其类别 模糊模式识别 运用模糊数学的理论和方法解决模式识别问题 适用于分类识别对象本身或要求的识别结果具有模糊性的场合 人工神经网络法 是由大量简单的神经元相互连接而构成的非线性动态系统 具有学习 自组织 联想能力 在学习中具有自动提取特征 进行识别 决策 人工智能方法 人工智能研究如何使机器具有人脑功能的理论和方法 将学习 知识表示 推理等用于模式识别 统计模式识别 统计模式识别 是以决策函数为基础 对模式向量进行分类 例w1 w2判别函数 d X w1x1 w2x2 w3 0式中w为参数 x1 x2是模式的坐标变量并且d X 代表d x1 x2 把任何落在分界线上的观测值X代入上述方程式都得到d X 0 任何来自w1类的模式X 在代入d X 时 得一负数 而w2则位于正数一边 N维情况下 模式识别系统的基本原理 信息的获取 是通过传感器 将光或声音等信息转化为电信息 信息可以是二维的图象如文字 图象等 可以是一维的波形如声波 心电图 脑电图 也可以是物理量与逻辑值等等 预处理 包括A D 二值化 图象的平滑 变换 增强 恢复 滤波等 特征抽取和选择 在模式识别中 需要进行特征的抽取和选择 如 一幅64 64的图象可以得到4096个数据 这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征 这就是特征提取和选择的过程 分类器设计 主要功能是通过训练确定判决规则 使按此类判决规则分类时 错误率最低 把这些判决规则建成判决规则标准库 这一过程称为分类器设计 分类决策 在特征空间中对被识别对象进行分类 模式识别的基本问题 模式 样本 表示方法模式类的紧致性相似与分类特征的生成数据标准化 模式表示法 向量表示法 模式向量 以数量信息为特征的模式表示 即以模式的n个特征量测值组成一个n维特征矢量X x1 x2 xn T表示模式 例 字符识别机 辨别每个输入 判断它是属于哪一种字符 A Z 0 9 拒绝类 共26 10 1 37个模式类 采用光电阵列把字符变成二值的图象 如6 6方阵 X x1x2x3 x36 T 矩阵表示 N个样本 n个变量 特征 几何表示 一维表示X1 0 5X2 3二维表示X1 x1 x2 T 1 2 TX2 x1 x2 T 2 1 T三维表示X1 x1 x2 x3 T 1 1 0 TX2 x1 x2 x3 T 1 0 1 T 符号串表示法 1 定义了一定的模式基元 用模式基元的连接表示模式 符号串表示法 2 定义算子 增加串的表示能力 请给出串对应的模式 a b c d c d b a a b b a a b b a a b b b 习题 a 模式基元 c b d a 模式基元 b a b b a 树表示法 任何一个分层有序系统都导致树结构 引入 在内部 关系 由 组成 关系 a b c d e f g h i a b c i h g d f e 网表示法 网表示法 网是无向带标志的点图 在上图中 我们在引入 与 连接 就可以得到图所示的网 二 模式类的紧致性 1 紧致集 同一类模式类样本的分布比较集中 没有临界样本或者临界样本很少 这样的模式类称紧致集 2 临界点 样本 在多类样本中 某些样本的值有微小变化时就变成另一类样本称为临界样本 点 3 紧致集的性质 要求临界点很少 集合内的任意两点的连线 在线上的点属于同一集合 集合内的每一个点都有足够大的邻域 在邻域内只包含同一集合的点 4 模式识别的要求 满足紧致集 才能很好的分类 如果不满足紧致集 就要采取变换的方法 满足紧致集 相似与分类 1 两个样本xi和xj之间的相似度量满足以下要求 应为非负值 样本本身相似性度量应最大 度量应满足对称性 在满足紧致性的条件下 相似性应该是点间距离的单调函数 2 用各种距离表示相似性 已知两个样本xi xi1 xi2 xi3 xin Txj xj1 xj2 xj3 xjn T常用的距离有欧氏距离 马氏距离等 绝对值距离 欧几里德距离 明考夫斯基距离 其中当q 1时为绝对值距离 当q 2时为欧氏距离 切比雪夫距离 q趋向无穷大时明氏距离的极限情况 马哈拉诺比斯距离 其中xi xj为特征向量 为协方差 使用的条件是样本符合正态分布 夹角余弦 xixj样本 向量 间夹角越小 两个样本越具有相似性 例 x1 x2 x3 x4的夹角如图 x1和x2间的夹角最小 所以x1 x2最相似 可以归为同一类 x3 x1 x2 x4 相关系数 为xixj的均值 注意 在求相关系数之前 要将数据标准化 3 分类的主观性和客观性 分类的主观性 目的不同 分类不同 例如 鲸鱼 牛 马从生物学的角度来讲都属于哺乳类 但是从产业角度来讲鲸鱼属于水产业 牛和马属于畜牧业 分类的客观性 科学性判断分类必须有客观标准 因此分类是追求客观性的 但主观性也很难避免 这就是分类的复杂性 四 特征的生成 1 低层特征 无序尺度 有明确的数量和数值 有序尺度 有先后 好坏的次序关系 如酒分为上 中 下三个等级 名义尺度 无数量 无次序关系 如有红 黄两种颜色 2 中层特征 经过计算 变换得到的特征 3 高层特征 在中层特征的基础上有目的的经过运算形成 例如 椅子的重量 体积 比重 体积与长 宽 高有关 比重与材料 纹理 颜色有关 这里低 中 高三层特征都有了 五 数据的标准化 1 极差标准化 一批样本中 每个特征的最大值与最小值之差为极差 极差 极差标准化 2 方差标准化 Si为方差 标准化的方法很多 原始数据是否应该标准化 应采用什么方法标准化 都要根据具体情况来定 模式识别常用资源列表 模式识别论文IEEETransactionsonNeuralNetworkshttp www ieee nns org pubs tnn JournalofMachineLearningResearchhttp www jmlr org PatternRecognition ElsevierSciencePatternRecognition