模式识别与人工智能

1、Pattern Recognition & artificial IntelligenceLecture 2: 特征选择与提取（一）1/60主要内容1.引言2 类别可分离性判据3 特征选择4.特征提取2/601.引言3/60 对特征空间改造、优化、主要目标是降维，即把维数高特征空间改成维数低特征空间。 降维主要有两种路径。一个是删选掉一些次要特征，问题在于怎样确定特征主要性，以及怎样删选。另一个方法是使用变换伎俩，在这里主要限定在线性变换方法上，经过变换来实现降维，这两种方法区分要搞清楚。【问题提出】4/601什么叫特征空间？假如我们用颜色、尺寸、重量来衡量水果结构特特空间是几维空间？ 2假如

2、用颜色、尺寸与重量组成特征空间来区分苹果与梨，这三种度量中哪种最有效？ 为何？ 能否想像这两种水果在这个三维空间分布？假如用这个特征空间来区分红苹果与樱桃，你想像一下这两类水果在特征空间怎样分布？ 能否对这两种情况设计更经济有效特征空间？【问题提出】5/603假如两类物体在一个二维特征空间如图分布,能否用删除其中任一维来优化特征空间？有没有什么方法能得到一个对分类很有利一维特征空间？【问题提出】6/604上题答案可用右图Y1与Y2组成空间表示。你认为哪个分量能够删掉？ 5将原在X1、X2空间表示数改成用Y1、Y2空间表示？ 【问题提出】7/601描述事物方法选择与设计 方案1.从框架左边框到数

3、字之间距离改变反应了不一样数字不一样形状，这能够用来作为数字分类依据。 方案2.强调分析不一样截面信号，如在框架若干部位沿不一样方向截取截面分析从背景到字，以及从字到背景转换情况,如AB截面切割字符三次，CD截面切割字符一次等。 【问题提出】8/602特征空间优化 这个层次工作发生在已经有了特征描述方法之后，也就是已经有了一个初始特征空间，怎样对它进行改造与优化问题。普通说来要对初始特征空间进行优化是为了降维。即初始特征空间维数较高。能否改成一个维数较低空间，称为优化，优化后特征空间应该更有利于后续分类计算 例 用RGB颜色空间和HSI颜色空间【问题提出】9/60【问题提出】10/60【问题提

4、出】11/60【概念】12/60【概念】13/60【概念】14/602 类别可分离性判据15/60【概念】特征选择与提取任务是找出一组对分类最有效特征，所以需一准则。概念：数学上定义用以衡量特征对分类效果准则实际问题中需依据实际情况人为确定。误识率判据：理论上目标，实际采取困难（密度未知，形式复杂，样本不充分，）可分性判据：实用可计算判据16/60【概念】(1) 与误判概率(或误分概率上界、下界)有单调关系。 (2) 当特征相互独立时，判据有可加性，即 ： 式中，是对不一样种类特征测量值， 表示使用括号中特征时第i 类与第j类可分性判据函数。类可分别判断函数 17/60【概念】(3) 判据含有

5、“距离”一些特征，即 ：，当时；，当时；(4) 对特征数目是单调不减，即加入新特征后，判 据值不减。 类可分别判断函数 18/60【概念】19值得注意是：上述结构可分性判据要求，即“单调性”、“叠加性”、“距离性”、“单调不减性”。在实际应用并不一定能同时具备，但并不影响它在实际使用中价值。 类可分别判断函数 19/60类可分别判断依据惯用方法：基于几何距离可分性判据基于概率密度可分性判据基于熵类可分性判据20/60基于几何距离类可分离判据普通来讲，不一样类模式能够被区分是因为它们所属类别在特征空间中类域是不一样区域。显然，区域重合部分越小或完全没有重合，类别可分性就越好。所以能够用距离或离差

6、测度（散度）来结构类别可分性判据。 21/60基于几何距离类可分离判据(一) 点与点距离 (二) 点到点集距离用均方欧氏距离表示22/60基于几何距离类可分离判据(三) 类内及总体均值矢量 各类模式总体均值矢量 类均值矢量： 为对应类先验概率，当用统计量代替先验概率时，总体均值矢量可表示为：23/60基于几何距离类可分离判据(四) 类内距离 类内均方欧氏距离 类内均方距离也可定义为： 24/60基于几何距离类可分离判据(五) 类内离差矩阵 显然(六) 两类之间距离 25/60基于几何距离类可分离判据(七)各类模式之间总均方距离 当取欧氏距离时，总均方距离为26/60基于几何距离类可分离判据(八

7、) 多类情况下总类内、类间及总体离差矩阵 类内离差类间离差总体离差 易导出各模式之间总均方距离27/60基于几何距离类可分离判据28/60基于几何距离类可分离判据在特征空间中，当类内模式较密聚，而不一样类模式相距较远时，从直觉上我们知道分类就较轻易，由各判据结构可知，这种情况下所算得判据值也较大。由判据结构我们还能够初步了解利用这类判据标准和方法。29/60选择标准：ii. 计算简单，易于实现。iii. 数学上轻易处理。准则函数递推计算问题:每增/减一个特征，只影响向量中一个元素，矩阵一行和一列。i. 实际分类问题需要，找与分类性能关系亲密者。基于几何距离类可分离判据30/60基于概率分布可分

8、性判据考查两类分布密度之间交叠程度31/60基于概率分布可分性判据32可用两类概密函数重合程度来度量可分性，结构基于类概密可分性判据。此处所谓重合程度是指两个概密函数相同程度。32/60基于概率分布可分性判据(一) Bhattacharyya判据(JB)受相关概念与应用启发，我们能够结构B-判据，它计算式为W-=xdxpxpJBrrr2121)()(lnww式中W表示特征空间。在最小误判概率准则下，误判概率有 BJPPeP-exp)()()(21210ww33/60基于概率分布可分性判据PePePpxdxPpxdx0112212()min()min()()()()=+wwwwrrrrWWPpx

9、Ppxdx1122min()(),()()=wwwwrrrWPpxPpxdx1122 12()()()()/wwwwrrrWPPpxpx12 1212()()()()/=wwwwrrW 12/dxr12 12/()()expPPJB=-ww证实：设为误分概率，则最小误分概率为：34/60基于概率分布可分性判据（二）Chernoff判据(JC)35/60基于概率分布可分性判据JC 含有以下性质： (1)对一切01s，0CJ； (2)对一切01s，JpxpxC=012()()rrww； (3)当参数s和()1-s互调时，有对称性,)1;,();,(1221sJsJCC-=wwww (4)当rx各分量nxxx,21L相互独立时， =nllCnCxsJxxxsJ121);(),;(L36/60基于概率分布可分性判据JC 含有以下性质： (5)当rx各分量nxxx,21L相互独立时，有 )( ),;(),;(121121nkxxxxsJxxxsJkkCkC-LL(6)最小误判概率 )10( );,(exp)()()(2112100)因为，当 0 s 1 时 f (s) = -asb1-s(ln a - ln b)2 0， 1。不一样值可得不一样可分性度量。当1时，由洛必达法