分类模型 特征表示 (作业第四周讲)- 330

分类模型&特征表示Classificationmodel&featuressaid主讲人：juan日期：2015年3月30日《计算机视觉》--周平2024/5/12#4查准率和查全率特征表示目录#1#2#3模式识别分类模型2024/5/132024/5/14一、模式识别定义1：将一个目标实例以一个目标原型或类别定义进行匹配的过程成为验证。（e:银行自动柜员机）模式识别是根据输入的原始数据对其进行各种分析判断，从而得到其类别属性，特征判断的过程。模式是存在于时间和空间中的可观察的事物，如果我们可以区别它们是否相同或者是否相似，那我们从这种事物所获取的信息就可以称之为模式。 人们为了掌握客观的事物，往往会按照事物的相似程度组成类别，而模式识别的作用和目的就在于把某一个具体的事物正确的归入某一个类别。 识别的一个定义是再认识。“人以类聚，物以群分” 用计算机实现人对各种事物或现象的分析、描述、判断、识别。2024/5/15用例子说明，哪些是模式识别的范畴：1．将铅笔、钢笔、圆珠笔、毛笔、彩笔都归类为书写用的“笔”；2．医生根据心电图化验单来判断病人是否得心脏病；3．警察根据指纹来进行身份验证；4．利用计算机进行字符识别；5．根据用户的虹膜进行身份识别；（虹膜与指纹一样独一无二）6．判断当前用户发出的声音是什么字符；7．判断当前图片中是否有行人、人脸、车辆等；8．对出现在图片序列中的行人、车辆进行跟踪；9．对图片中的人脸进行身份识别验证；10．对车辆的拍照进行识别；11．判断车辆的颜色、车型；12．在海量图片库当中寻找与某一张图片相似的若干图片；13．根据用户哼唱的音调搜索对应的歌曲......二、分类模型2024/5/18

一个理想类别是一些具有重要工头属性的目标的集合在实际中，某目标所属类别用类别标号来标识。分类就是根据目标的属性表示赋予目标类别号的过程。分类器是一种设备或算法，她输入的是目标的表示，输出的是类别标号。

拒绝类别是无法归入任何已知类别的目标设置的通用类别。特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。解释空间：将C个类别表示为，其中为所属类别的集合，称为解释空间。

二、分类模型分类任务的输入数据是记录的集合。每条记录也称实例或者样例，用元组（x,y）表示，其中x是属性的集合，而y是一个特殊的属性，指出样例的类标号（也成为分类属性或目标属性）。2024/5/19分类（classification通过学习得到一个目标函数（targetfunction），也成为分类模型（classificationmodel），把每个属性集x映射到一个预先定义的类标号y。目的：1、描述性建模

分类模型可以作为解释性的工具，用于区分不同类中的对象。2、预测性建模

分类模型还可以用于预测未知记录的类标号。2024/5/110分类2024/5/111输入属性集（x）

分类模型输出类标号（y）解决分类问题的一般方法2024/5/112表中每个表项表示实际类标号为i但是被预测为类j的记录数。被分类模型正确预测的样本总数是，而被错误预测的样本总数是。2024/5/113二类问题的混淆矩阵2024/5/114二类问题的混淆矩阵同样，分类模型的性能也可以用错误率（errorrate）来表示，其定义如下：目标：寻求最高的准确率或者最低的错误率虽然混淆矩阵提供衡量分类模型的信息，但是用一个数汇总这些信息更便于比较不同模型的性能。为实现这一目的，可以使用性能度量（performancemetric），如准确率（accuracy），其定义如下：2024/5/115三、查准率查全率定义1：文档检测系统的查准率，是检索出的相关文档数（属于C1类）与检索出的文档总数（属于C1类的文档数加上实际是C2类的误报文档数）之比。定义2：文档检索系统的查全率，是检索出的相关文档数与数据库中总的相关文档数之比，即分子是检索出的属于C1的文档数，分母是检索出的属于C1的文档数与漏报的文档数之和。2024/5/116查准率和查全率假设一个图像数据库包含200张用户感兴趣的日落图像，用户希望能与查询图像匹配。假设系统检索出200个相关图像中的150幅以及另外100幅欧诺个户不感兴趣的图像。 这次检索（分类）的查准率是：150/250=60% 查全率是：150/200=75%如果系统将数据库中的所有图像返回，则查全率是100%，但查准率将非常低，另一方面，如果分类是为了低误报率的话，查准率将偏高，而查全率将偏低。什么是图像特征?理想的特征描述符应该具有：可重复性、可区分性、集中以及高效等特性；还需要能够应对图像亮度变化、尺度变化、旋转和仿射变换等变化的影响。计算机视觉中通常把角点（corner）作为是图像的特征，而角点能够作为图像特征点的原因有以下两点：1、角点具有唯一的可识别性，当然，这是基于两幅图像没有非常大的差别的前提下适用的；2、角点具有稳定性，换句话说，就是当该点有微小的运动时，就会产生明显的变化。于是，可以清晰的看到该点的移动，这有利于特征点的跟踪；对于图像上其它的特征描述，如边（edge），区域（patch）等，用数学的语言来描述，就是，这些特征点变化性比较小。如某一灰度相似的区域，其一阶导数为常数，二阶导数也为常数。因此，若选取一幅图像中这样的某个区域作为特征，则在另一幅图像中，便很难找到同时满足唯一可识别性和稳定性要求的对应特征。2024/5/117四、特征表示特征向量及其几何解释：2024/5/118四、特征表示图像特征的分类有多种标准，如根据自身的特点可以将其分为两大类：描述物体外形的形状特征和描述物体表面灰度变化的纹理特征。而根据特征提取所采用的方法的不同又可以将其特征分为统计特征和结构特征。灰度（彩色）图像像素矩阵图像特征的分类：我们常将某一类对象的多个特型组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量；如果是n个特征组合，则为一个n维特征向量，常常被作为识别系统的输入。一般讲带分类的对象称为样本，将其特征向量称为样本特征向量或样本向量。2024/5/119（a）三维空间中的3维特征向量样本（b）二维空间中的2维特征向量及其上的一种可能的划分四、特征表示2024/5/120四、特征表示投影降维法字符样本的特征举例2024/5/121四、特征表示特征处理的基本方法：分别处理单个特征，并除去那些几乎不具（新的、不相关）辨别能力的特征；将特征综合考虑，通过线性/非线性变换，使结果维数降低且具有更好地辨别能力。2024/5/122四、特征表示通常假定给出了维数为d的确定的模式样本集，但d维特征如何确定尚未明确实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征

需要依据某种准则进行特征提取和选择，为此应当首先构造这样的准则——类别可分离性判据

可分离性判据应能反映各类样本在特征空间中的分布情况，能刻画各特征分量在分类识别中的重要性或贡献 1类别可分离性判据满足的要求（1）与错误概率（或其的上下界）有单调关系（2）当特征独立时有可加性2024/5/1232024/5/124四、特征表示（3）具有“距离”的某些特性，即（4）对特征数目是单调不减，即加入新的特征后，判据值不减应当指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。2024/5/125