ch1模式识别简介

模式识别PatternRecognition 电气信息学院自动化系授课教师 余勤工作单位 自动化系 说明 我在网易上申请了一个网络U盘 以后所有的资料全部放在网络U盘上 需要的同学可自行下载 网络U盘的使用说明 打开Internetexplorer 在地址栏输入密码 223344登录网盘打开 模式识别 文件夹即可以后的作业请同学们上载到该文件夹中 请同学们注意文件上载时间 以确定是否是最新文件 课程形式 主课 学习报告学习要求 按时上课 认真听讲阅读参考资料 认真记笔记 整理笔记思考 群体讨论 提问成绩评定 学习报告 ppt形式 40 学习报告 讲解 40 平时成绩 20 教材 模式识别 边肇棋 张学工编著 清华大学出版社 精通VC 数字图像模式识别技术及工程实践人民邮电出版社张宏林模式识别清华大学出版社边肇祺模式识别及应用科学出版社付京荪SyntacticPatternRecognition ApplicationK S FuPatternRecognitionPrinciplesJ T TomR C Gouzales 参考书 机构 会议 刊物 1973年IEEE发起了第一次关于模式识别的国际会议 ICPR 此后两年一次 成立了国际模式识别协会 IAPR 1977年IEEE成立PAMI委员会 创立IEEETrans onPAMI 并支持ICCV CVPR两个会议其他刊物PatternRecognition PR PatternRecognitionLetters PRL InternationalJournalofPatternRecognitionandArtificialIntelligence IJPRAI 与模式识别相关的学科 统计学概率论线性代数 矩阵计算 形式语言 机器学习人工智能图像处理计算机视觉 1 1模式识别和模式的概念 什么是模式 Pattern 什么是模式 广义地说 存在于时间和空间中可观察的物体 如果我们可以区别它们是否相同或是否相似 都可以称之为模式 模式所指的不是事物本身 而是物体的描述 因此 模式往往表现为具有时间和空间分布的信息 因此 我们将模式解释为物体的较抽象的特征和描述 模式的直观特性 可观察性可区分性相似性 模式 模式就是样本 是具有相似之处的事物和现象的集合中的单个事物或现象 模式类 具有相似之处的事物和现象的集合 模式类和模式的关系 相当于集合论中的子集和元素 模式还可分成抽象的和具体的两种形式 前者如意识 思想 议论等 属于概念识别研究的范畴 是人工智能的另一研究分支 我们所指的模式识别主要是对语音波形 地震波 心电图 脑电图 图片 文字 符号 三维物体和景物以及各种可以用物理的 化学的 生物的传感器对对象进行测量的具体模式进行分类和辨识 模式类型 按照模式信息的组成 可分为下列三种类型 1 二维图象 如文字 指纹 照片等 2 一维波形 如脑电图 心电图 机械震动波形等 3 物理参量和逻辑值 前者如人的体温及各种化验数据等 后者如对状态或症状的判断的是否 有无 模糊逻辑值等 模式可以是以矢量形式表示的数字特征 也可以是以句法结构表示的字符串或图 还可以是以关系结构表示的语义网络或框架结构等 对于上述三种类型的模式 必须分别使用不同的识别和推理方法 统计模式识别 句法模式识别和人工智能模式识别 因此 统计模式识别基本原理是 有相似性的样本在模式空间中互相接近 并形成 集团 即 物以类聚 主要方法有 决策函数法 k近邻分类法 支持向量机 特征分析法 主因子分析法等 参考书籍 统计模式识别 AndrewR Webb JainAK DuinRPW JianchangMao Statisticalpatternrecognition areview PatternAnalysisandMachineIntelligence 2000 22 1 4 37 句法 或结构 模式识别基于形式语言理论的概念为基础 模式按其结构分解为子模式或模式基元 模式基元的连接关系以文法形式进行描述 一个场景的示意图场景结构的分析 模糊模式识别模糊集理论 Zadeh 1965模糊集理论在模式识别中的应用神经网络模式识别特点 具有信息分布式存储 大规模自适应并行处理 高度的容错性以及学习能力缺点 实际应用中仍有许多因素需要凭经验确定 比如如何选择网络节点数 初始权值和学习步长等 局部极小点问题 过学习与欠学习问题等 模式识别的概念 模式识别的能力是人类重要的认知能力 这里所讨论的模式识别是指用计算机实现人脑中的模式识别能力 人对事物识别的的辨认主要是通过事物的特征作出判断的 人通过学习 知识积累 认识事物的特征或建立一个准则 用此原则去识别或辨认见到的事物 包括已知的和未知的 什么是模式识别 模式识别 直观 无所不在 物以类聚 人以群分 周围物体的认知 桌子 椅子人的识别 张三 李四声音的辨别 汽车 火车 狗叫 人语气味的分辩 炸带鱼 红烧肉人和动物的模式识别能力是极其平常的 但对计算机来说却是非常困难的 模式识别 PatternRecognition 用计算机的方法将模式归于其对应的模式类 即 对表征事物或现象的各种形式的 数值的 文字的和逻辑关系的 信息进行处理和分析 以对事物或现象进行描述 辨认 分类和解释的过程 模式识别与人的模式识别的区别 模式识别是把具体事物归入某一类别的过程 归类 首先要有类存在 通过设计或有监督的学习过程使系统能完成特定的识别任务 这种方法的缺点是系统学习能力不强 人的模式识别过程具有极强的学习能力 通过学习 人不仅能归类 识别 而且能创造新的类别 认知 模式识别的数学模型 Y F X X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法 目的 利用计算机对物理对象进行分类 在错误概率最小的条件下 使识别的结果尽量与客观物体相符合 模式识别技术的诞生和发展 模式识别 PatternRecognition 诞生于20世纪20年代 在60年代初发展成一门学科 它是人工智能 ArtificialIntelligence 系统的不可缺的组成部分 它已发展成为人工智能的一个重要的独立分支性学科 具有自己独立的理论和方法 ArtificialIntelligence PatternRecognition ImageProcessing 智能金字塔 模式识别和人工智能 1 智能智能问题是自然界四大奥秘 物质的本质 宇宙的起源 生命的本质 智能的发生 之一 几种研究理论和方法 认知科学 思维科学 知识阈值理论 进化理论 模式识别简史 1929年G Tauschek发明阅读机 能够阅读0 9的数字 30年代Fisher提出统计分类理论 奠定了统计模式识别的基础 50年代NoamChemsky提出形式语言理论 傅京荪提出句法结构模式识别 60年代L A Zadeh提出了模糊集理论 模糊模式识别方法得以发展和应用 80年代以Hopfield网 BP网为代表的神经网络模型导致人工神经元网络复活 并在模式识别得到较广泛的应用 90年代小样本学习理论 支持向量机也受到了很大的重视 模式识别的应用 举例 生物学自动细胞学 染色体特性研究 遗传研究天文学天文望远镜图像分析 自动光谱学经济学股票交易预测 企业行为分析医学心电图分析 脑电图分析 医学图像分析 模式识别的应用 举例 工程产品缺陷检测 特征识别 语音识别 自动导航系统 污染分析军事航空摄像分析 雷达和声纳信号检测和分类 自动目标识别安全指纹识别 人脸识别 监视和报警系统 模式分类的主要方法 数据聚类统计分类结构模式识别神经网络 统计模式识别 统计模式识别 统计模式识别基本原理是 有相似性的样本在模式空间中互相接近 并形成 集团 即 物以类聚 主要方法有 决策函数法 k近邻分类法 支持向量机 特征分析法 主因子分析法等 参考书籍 统计模式识别 AndrewR Webb JainAK DuinRPW JianchangMao Statisticalpatternrecognition areview PatternAnalysisandMachineIntelligence 2000 22 1 4 37 数据聚类 目标 用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集 是一种非监督学习的方法 解决方案是数据驱动的 统计分类 基于概率统计模型得到各类别的特征向量的分布 以取得分类的一种方法 特征向量分布的获得是基于一个类别已知的训练样本集 是一种监督学习的方法 分类器是概念驱动的 训练样本集中样本的类别已知 实例 统计模式识别 19名男女同学进行体检 测量了身高和体重 但事后发现其中有4人忘记填写性别 试问 在最小错误的条件下 这4人是男是女 体检数值如下 实例 统计模式识别 续 待识别的模式 性别 男或女 测量的特征 身高和体重训练样本 15名已知性别的样本特征目标 希望借助于训练样本的特征建立判别函数 即数学模型 实例 统计模式识别 续 由训练样本得到的特征空间分布图 从图中训练样本的分布情况 找出男 女两类特征各自的聚类特点 从而求取一个判别函数 直线或曲线 只要给出待分类的模式特征的数值 看它在特征平面上落在判别函数的哪一侧 就可以判别是男还是女了 结构模式识别 句法 或结构 模式识别基于形式语言理论的概念为基础 模式按其结构分解为子模式或模式基元 模式基元的连接关系以文法形式进行描述 一个场景的示意图场景结构的分析 实例 句法模式识别 续 将整个场景图像结构分解成一些比较简单的子图像的组合 子图像又用一些更为简单的基本图像单元来表示 直至子图像达到了我们认为的最简单的图像单元 基元 所有这些基元按一定的结构关系来表示 利用多级树结构对其进行描述 这种描述可以采用形式语言理论 实例 句法模式识别 续 训练过程 用已知结构信息的图像作为训练样本 先识别出基元 比如场景图中的X Y Z等简单平面 和它们之间的连接关系 例如长方体E是由X Y和Z三个面拼接而成 并用字母符号代表之 然后用构造句子的文法来描述生成这幅场景的过程 由此推断出生成该场景的一种文法 实例 句法模式识别 续 识别过程 先对未知结构信息的图像进行基元提取及其相互结构关系的识别 然后用训练过程获得的文法做句法分析 如果能被已知结构信息的文法分析出来 则该幅未知图像与训练样本具有相同的结构 识别成功 否则就不是这种结构 识别失败 神经网络 神经网络是受人脑组织的生理学启发而创立的 由一系列互相联系的 相同的单元 神经元 组成 相互间的联系可以在不同的神经元之间传递增强或抑制信号 增强或抑制是通过调整神经元相互间联系的权重系数来 weight 实现 神经网络可以实现监督和非监督学习条件下的分类 模式识别的三大研究方向 语法模式识别 统计模式识别 神经网络 neuralnetworks 模式识别 其他识别分支 模糊识别 FuzzyRecognition 本课程主要研究基于概率论的统计模式识别 模式识别归类于智能系统 ArtificialIntelligence PatternRecognition ImageProcessing 智能金字塔 模式空间 特征空间和类型空间 信息获取 用矩阵表示的二维图像或用向量表示的一维波形二维图像 文字 指纹 地图 照片等一维波形 脑电图 心电图 季节震动波形等物理参量和逻辑值 体温 化验数据 参量正常与否的描述 模式识别系统的组成 预处理 去噪 增强 退化现象复原特征提取和选择 对原始数据进行变换 提取最能代表其本质的特征测量空间 原始数据组成的空间 维数较高特征空间 分类识别赖以进行的空间 维数较低样本 在特征空间中的一个模式通常也叫做一个样本 它往往可以表示为一个向量 即特征空间中的一个点 模式识别过程实例 在传送带上用光学传感器件对鱼按品种分类鲈鱼 Seabass 品种鲑鱼 Salmon 识别过程 数据获取 架设一个摄像机 采集一些样本图像 获取样本数据预处理 去噪声 用一个分割操作把鱼和鱼之间以及鱼和背景之间分开 识别过程 特征提取和选择 对单个鱼的信息进行特征选择 从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置 等等 分类决策 把特征送入决策分类器 长度 数量 亮度 数量 亮度 宽度 决策面 亮度 宽度 决策面 亮度 宽度 决策面 模式分类器的评测过程 数据采集特征选取模型选择训练和测试计算结果和复杂度分析 反馈 训练和测试 训练集 是一个已知样本集 在监督学习方法中 用它来开发出模式分类器 测试集 在设计识别和分类系统时没有用过的独立样本集 系统评价原则 为了更好地对模式识别系统性能进行评价 必须使用一组独立于训练集的测试集对系统进行测试 对识别技术的要求 位置无关性 与被识别的物体的位置无关大小无关性 与被识别的物体的大小无关旋转不变性 与被识别的物体的旋转无关具体应用不同 要求不同 归属于同一模式类的模式在分类空间中应组成一个紧致集 紧致集 Theconvexhull 满足 临界点的数量很少 和总点数相比 集合中任意两个内点可以用光滑线连接 该连线上的点也属于该集合每个内点都有一个足够大的邻域 该邻域只包含同一集合中的点 只要各模式类是可分的 则总存在这样一个空间使变换到这个空间中的集合是紧致集 分类对模式的要求 相似性度量p5 defineameasureofsimilarityorproximity 样本的相似性度量要用数量化的方法对事物进行分类 就必须用数量化的方法描述事物之间的相似程度 一个事物常常需要用多个变量来刻画 如果对于一群有待分类的样本点需用p个变量描述 则每个样本点可以看成是Rp空间中的一个点 因此 很自然地想到可以用距离来度量样本点间的相似程度 几个术语 记 是样本点集 距离d 是 R 的一个函数 满足条件 1 d x y 0 x y 正定性2 d x y 0当且仅当x y 3 d x y d y x x y 对称性4 d x y d x z d x y x y z 三角不等式 一般而言 相似性度量应是点间距离的单调函数相似性度量应满足 非负性 样本本身最大性 对称性 themostpopularsimilaritymeasureistheEuclideandistance Thesmallerthedistance thegreaterthesimilarity TheothersincludetheMahalanobisdistance theMinkowskidistance theMinkowskidistance 在Minkowski距离中 最常用的是欧氏距离 它的主要优点是当坐标轴进行正交旋转时 欧氏距离是保持不变的 因此 如果对原坐标系进行平移和旋转变换 则变换后样本点间的距离和变换前完全相同 值得注意的是在采用Minkowski距离时 一定要采用相同量纲的变量 如果变量的量纲不同 测量值变异范围相差悬殊时 建议首先进行数据的标准化处理 然后再计算距离 在采用Minkowski距离时 还应尽可能地避免变量的多重相关性 multicollinearity 多重相关性所造成的信息重叠 会片面强调某