模式识别学习心得

模式识别学习心得 作者 白静2012 9 8 1 模式识别定义 模式识别 PatternRecognition 是指对表征事物或现象的各种形式的 数值的 文字的和逻辑关系的 信息进行处理和分析 以对事物或现象进行描述 辨认 分类和解释的过程 是信息科学和人工智能的重要组成部分 模式识别又常称作模式分类 从处理问题的性质和解决问题的方法等角度 模式识别分为有监督的分类 SupervisedClassification 和无监督的分类 UnsupervisedClassification 两种 二者的主要差别在于各实验样本所属的类别是否预先已知 一般说来 有监督的分类往往需要提供大量已知类别的样本 但在实际问题中 这是存在一定困难的 因此研究无监督的分类就变得十分有必要了 模式还可分成抽象的和具体的两种形式 前者如意识 思想 议论等 属于概念识别研究的范畴 是人工智能的另一研究分支 我们所指的模式识别主要是对语音波形 地震波 心电图 脑电图 图片 照片 文字 符号 生物传感器等对象的具体模式进行辨识和分类 2 模式识别的发展简史 1929年G Tauschek发明阅读机 能够阅读0 9的数字 30年代Fisher提出统计分类理论 奠定了统计模式识别的基础 50年代NoamChemsky提出形式语言理论 傅京荪提出句法 结构模式识别 60年代L A Zadeh提出了模糊集理论 模糊模式识别方法得以发展和应用80年代以Hopfield网 BP网为代表的神经网络模型导致人工神经元网络复活 并在模式识别得到较广泛的应用 90年代小样本学习理论 支持向量机也受到了很大的重视 3 模式识别的方法和应用 模式识别的方法 统计模式识别句法模式识别模糊模式识别人工神经网络法人工智能方法模式识别的应用文字识别语音识别指纹识别遥感医学诊断 4 模式识别基本概念 模式识别 PatternRecognition 确定一个样本的类别属性 模式类 的过程 即把某一样本归属于多个类型中的某个类型 样本 Sample 一个具体的研究 客观 对象 如患者 某人写的一个汉字 一幅图片等 模式 Pattern 对客体 研究对象 特征的描述 定量的或结构的描述 是取自客观世界的某一样本的测量值的集合 或综合 特征 Features 能描述模式特性的量 测量值 在统计模式识别方法中 通常用一个矢量表示 称之为特征矢量 记为模式类 Class 具有某些共同特性的模式的集合 5 模式识别系统 一个典型的模式识别系统由下图所示的结构框图组成 一般由数据获取 预处理 特征提取选择 分类决策及分类器设计五部分组成 分类器设计在训练过程中完成 利用样本进行训练 确定分类器的具体参数 而分类决策在识别过程中起作用 对待识别的样本进行分类决策 6 模式识别系统 7 范例木板图象512 512d 3长度纹理亮度c 2松木 桦木 维数无限有限 很大R有限d不大c d R 无限 模式识别过程 8 特征矢量和特征空间 特征矢量 设一个研究对像的n个特征量测量值分别为 我们将它们作为一个整体来考虑 让它们构成一个 维特征矢量特征空间 各种不同取值的特征矢量的全体构成了 维特征空间 9 随机矢量的描述 随机矢量 在模式识别过程中 要对许多具体对象进行测量 以获得许多次观测值 每次观测值不一定相同 所以对许多对象而言 各个特征分量都是随机变量 即许多对象的特征向量在n维空间中呈随机性分布 称为随机矢量 随机矢量的分布函数 设为随机矢量 为确定性矢量 随机矢量的联合概率分布函数定义为 式中表示括号中事件同时发生的概率 10 聚类分析 ClusteringAnalysis 一 聚类分析的基本思想 相似的归为一类 模式相似性的度量和聚类算法 无监督分类 Unsupervised 二 特征量的类型 物理量 重量 长度 速度 次序量 等级 技能 学识 名义量 性别 状态 种类 三 方法的有效性取决于分类算法和特征点分布情况的匹配 11 聚类过程遵循的基本步骤 三 聚类准则 clusteringcriterion 以蕴涵在数据集中类的类型为基础 二 近邻测度 proximitymeasure 定量测定两特征如何 相似 或 不相似 一 特征选择 featureselection 尽可能多地包含任务关心的信息 12 聚类过程遵循的基本步骤 六 结果判定 interpretationoftheresults 由专家用其他方法判定结果的正确性 五 结果验证 validationoftheresults 常用逼近检验验证聚类结果的正确性 四 聚类算法 clusteringalgorithm 按近邻测度和聚类准则揭示数据集的聚类结构 13 聚类应用的四个基本方向 一 减少数据许多时候 当数据量N很大时 会使数据处理变得很费力 因此可使用聚类分析的方法将数据分成几组可判断的聚类m m N 来处理 每一个类可当作独立实体来对待 从这个角度看 数据被压缩了 二 假说生成在这种情况下 为了推导出数据性质的一些假说 对数据集进行聚类分析 因此 这里使用聚类作为建立假说的方法 然后用其他数据集验证这些假说 三 假说检验用聚类分析来验证指定假说的有效性 四 基于分组的预测对现有数据进行聚类分析 形成模式的特征 并用特征表示聚类 接下来 对于一个未知模式 就可以用前面的聚类来确定是哪一类 14 模式相似性测度 用于描述各模式之间特征的相似程度 距离测度测度基础 两个矢量矢端的距离测度数值 两矢量各相应分量之差的函数 相似测度测度基础 以两矢量的方向是否相近作为考虑的基础 矢量长度并不重要 匹配测度当特征只有两个状态 0 1 时 常用匹配测度 0表示无此特征1表示有此特征 故称之为二值特征 15 聚类的算法 简单聚类方法针对具体问题确定相似性阈值 将模式到各聚类中心间的距离与阈值比较 当大于阈值时该模式就作为另一类的类心 小于阈值时按最小距离原则将其分划到某一