模式特征的提取与选择ppt课件

1、方式特征的提取与选择方式特征的提取与选择方式特征的提取与选择在一个较完善的方式识别系统中，或在一个较完善的方式识别系统中，或者明显地或者隐含地要有特征提取与者明显地或者隐含地要有特征提取与选择技术环节，通常其处于对象特征选择技术环节，通常其处于对象特征数据采集和分类识别两个环节之间，数据采集和分类识别两个环节之间，特征提取与选择方法或质量的优特征提取与选择方法或质量的优劣极大地影响着分类器的设计和性能，劣极大地影响着分类器的设计和性能，它是方式识别的中心问题之一。它是方式识别的中心问题之一。方式特征的提取与选择1 概述概述在实践问题中，经常不容易找到那些在实践问题中，经常不容易找到那些最重要的

2、特征，或受条件限制不能对最重要的特征，或受条件限制不能对它们进展丈量，这就使特征选择和提它们进展丈量，这就使特征选择和提取的义务复杂化而成为构造方式识别取的义务复杂化而成为构造方式识别系统最困难的义务之一。系统最困难的义务之一。特征提取和选择的根本义务是如何从特征提取和选择的根本义务是如何从许多特征中找出那些最易得且有效的许多特征中找出那些最易得且有效的特征特征,从而实现特征空间维数的紧缩从而实现特征空间维数的紧缩.方式特征的提取与选择1 概述概述虽然特征的提取和选择在方式识别中虽然特征的提取和选择在方式识别中占有重要位置占有重要位置,但迄今没有普通方法但迄今没有普通方法,大大多数的方法都是面

3、向问题的多数的方法都是面向问题的.对于不同对于不同的方式识别问题可以的方式识别问题可以 有不同的特征提有不同的特征提取和选择方法取和选择方法,而且即使对于同一方式而且即使对于同一方式识别问题往往也能够用不同方法识别问题往往也能够用不同方法,所以所以要对这些方法作普通的评价是困难的要对这些方法作普通的评价是困难的.方式特征的提取与选择1 概述概述方式特征并非提获得越多越好方式特征并非提获得越多越好.在实践在实践任务中任务中,往往会发现当特征的数目到达往往会发现当特征的数目到达某个限制后某个限制后,不但不能改善分类器的性不但不能改善分类器的性能能,反而会使它的任务恶化反而会使它的任务恶化.其缘由在

4、于其缘由在于用以设计分类器的样本数目是有限的用以设计分类器的样本数目是有限的.为了使方式识别的结果称心为了使方式识别的结果称心,在添加特在添加特征的同时征的同时,必需添加供学习的样本数量必需添加供学习的样本数量.方式特征的提取与选择1 概述概述(1)用一定数量的样本估计出来的参数用一定数量的样本估计出来的参数设计设计Bayes分类器时分类器时,随着维数的添加随着维数的添加要求样本数急剧添加要求样本数急剧添加,这样才干保证一这样才干保证一定的错误率定的错误率.方式特征的提取与选择1 概述概述(2)在用线性判别函数来划分方式空间在用线性判别函数来划分方式空间时时,普通要用一组样本来决议划分区域普通

5、要用一组样本来决议划分区域的超平面的超平面.当添加维数时当添加维数时,样本数应有更样本数应有更多的添加才干坚持原有的超平面容度多的添加才干坚持原有的超平面容度.方式特征的提取与选择1 概述概述(3)在临近法与集群分析中在临近法与集群分析中,经常运用的经常运用的是群内离散度矩阵是群内离散度矩阵Sw,为了运用行列式为了运用行列式准那么准那么,离散度矩阵必需是非奇特的离散度矩阵必需是非奇特的,这这 就要求样本数与群数之差应远大于维就要求样本数与群数之差应远大于维数数.方式特征的提取与选择1 概述概述几个根本概念几个根本概念特征构成特征构成:根据被识别的对象产生一组根本特征根据被识别的对象产生一组根本

6、特征, ,它可以是计算出来的它可以是计算出来的( (当识别对象是波当识别对象是波形或数字图像时形或数字图像时),),也可以是用仪表或也可以是用仪表或传感器丈量出来的传感器丈量出来的( (当识别对象是实物当识别对象是实物或某过程时或某过程时),),这样产生出来的特征叫这样产生出来的特征叫做原始丈量做原始丈量( (一次丈量一次丈量),),原始丈量的直原始丈量的直接结果或间接结果称为原始特征接结果或间接结果称为原始特征. .方式特征的提取与选择1 概述概述几个根本概念几个根本概念特征提取特征提取:原始特征的数量能够很大原始特征的数量能够很大, ,或者说样本或者说样本是处于一个高维空间中是处于一个高维

7、空间中, ,经过映射经过映射( (或或变换变换) )的方法可以用低维空间来表示样的方法可以用低维空间来表示样本本, ,这个过程叫特征提取这个过程叫特征提取. .映射后的特映射后的特征叫二次特征征叫二次特征, ,它们是原始特征的某种它们是原始特征的某种组合组合. .变换变换A:YXA:YX称为特征提取器称为特征提取器. .方式特征的提取与选择1 概述概述几个根本概念几个根本概念特征选择特征选择:从一组特征中挑选出一些最有效的特从一组特征中挑选出一些最有效的特征以到达降低特征空间维数的目的征以到达降低特征空间维数的目的, ,这这个过程叫特征选择个过程叫特征选择. .有时特征提取和选择并不是截然分开

8、有时特征提取和选择并不是截然分开的，在详细的方式识别问题中也可以的，在详细的方式识别问题中也可以结合运用。结合运用。方式特征的提取与选择2 类别可分性判据类别可分性判据把一个高维空间变换为低维空间的映把一个高维空间变换为低维空间的映射有很多，哪种映射对分类最有利，射有很多，哪种映射对分类最有利，需求一个比较规范，即类别可分性判需求一个比较规范，即类别可分性判据，这些判据应能反映各类在特征空据，这些判据应能反映各类在特征空间中的分布情况，应能描写各特征分间中的分布情况，应能描写各特征分量在分类识别中的重要性或奉献。量在分类识别中的重要性或奉献。以分类器的错误概率做为规范有难度以分类器的错误概率做

9、为规范有难度. .方式特征的提取与选择2 类别可分性判据类别可分性判据l与错误概率与错误概率( (或其界限或其界限) )有单调关系有单调关系, ,使判据取最值时使判据取最值时, ,错误概率也较小错误概率也较小. .l当特征相互独立时当特征相互独立时, ,判据具有可加性判据具有可加性. .l判据须有度量特性判据须有度量特性( (非负性非负性, ,对称性对称性).).l本身有单调性本身有单调性( (参与新特征时参与新特征时, ,判据不判据不减小减小).).类别可分性判据应满足的几个要求类别可分性判据应满足的几个要求:方式特征的提取与选择2 类别可分性判据类别可分性判据l点与点的间隔点与点的间隔l点

10、到点集的间隔点到点集的间隔l类内间隔类内间隔( (类内均方欧氏间隔类内均方欧氏间隔d2)d2)l类内离差矩阵类内离差矩阵Sw(d2=TrSw)Sw(d2=TrSw)l两类之间的间隔两类之间的间隔l各类间的总均方间隔各类间的总均方间隔l总的类内类间及总体离差矩阵总的类内类间及总体离差矩阵l ST=Sw+ STST=Sw+ ST基于几何间隔的可分性判据基于几何间隔的可分性判据方式特征的提取与选择2 类别可分性判据类别可分性判据lJ1=TrSw-1SBJ1=TrSw-1SBlJ2=TrSB/TrSwJ2=TrSB/TrSwlJ3=TrSw-1STJ3=TrSw-1STlJ4=|ST|/|SW|=|S

11、w-1ST|J4=|ST|/|SW|=|Sw-1ST|基于几何间隔的可分性判据基于几何间隔的可分性判据l上述各种判据存在关联性上述各种判据存在关联性, ,其中一些其中一些判据如判据如J1,J4J1,J4具有非奇特线性变换不变具有非奇特线性变换不变性性. .它们本质类似它们本质类似, ,但性能能够不同但性能能够不同. .方式特征的提取与选择2 类别可分性判据类别可分性判据根本原那么根本原那么JpJp非负非负. .当两类概率密度函数完全不重叠时当两类概率密度函数完全不重叠时,Jp,Jp趋于无穷大趋于无穷大. .当两类概率密度函数完全重合时当两类概率密度函数完全重合时,Jp,Jp为为零零. .相对于

12、两个概率密度具有对称性相对于两个概率密度具有对称性. .基于类概率密度函数的可分性判据基于类概率密度函数的可分性判据方式特征的提取与选择2 类别可分性判据类别可分性判据判据举例判据举例BhattacharyyaBhattacharyya判据判据JB=-lnSp(x|w1)p(x|w2)1/2dxJB=-lnSp(x|w1)p(x|w2)1/2dxChernoffChernoff判据判据JC=-lnSp(x|w1)sp(x|w2)1-sdxJC=-lnSp(x|w1)sp(x|w2)1-sdx散度散度( (总的平均可分性信息总的平均可分性信息) )JD=I12(x)+I21(x)JD=I12(x

13、)+I21(x)基于类概率密度函数的可分性判据基于类概率密度函数的可分性判据方式特征的提取与选择2 类别可分性判据类别可分性判据I12(x)=E1lnp(x|w1)/p(x|w2)I12(x)=E1lnp(x|w1)/p(x|w2)基于类概率密度函数的可分性判据基于类概率密度函数的可分性判据I21(x)=E2lnp(x|w2)/p(x|w1)I21(x)=E2lnp(x|w2)/p(x|w1)方式特征的提取与选择2 类别可分性判据类别可分性判据原理：选择使后验熵最小的那些特征原理：选择使后验熵最小的那些特征用于分类识别。用于分类识别。基于后验概率的可分性判据基于后验概率的可分性判据JH=Ex-

14、Sp(wi|x)logp(wi|x)JH=Ex-Sp(wi|x)logp(wi|x)JHs=ExHs(p1,p2,pc)JHs=ExHs(p1,p2,pc)Hs=(21-s-1)S(pis)-1Hs=(21-s-1)S(pis)-1pi=p(wi|x)pi=p(wi|x)方式特征的提取与选择3 基于可分性判据进展变换的特征提取基于可分性判据进展变换的特征提取SwSw和和SBSB分别为原始特征空间中类内和分别为原始特征空间中类内和类间离差矩阵类间离差矩阵,Sw,Sw* *和和SBSB* *分别为变换特分别为变换特征空间中类内与类间离差矩阵征空间中类内与类间离差矩阵基于离差矩阵的特征提取基于离差矩

15、阵的特征提取SwSw* *=WTSwW=WTSwWSBSB* *=WTSBW=WTSBW方式特征的提取与选择3 基于可分性判据进展变换的特征提取基于可分性判据进展变换的特征提取假设假设W W为非奇特矩阵为非奇特矩阵, ,那么那么J1=TrSw-1SBJ1=TrSw-1SB是不变的是不变的. .基于离差矩阵的特征提取基于离差矩阵的特征提取因此因此, ,只需求出只需求出Sw-1SBSw-1SB的一切特征值的一切特征值, ,选其较大的选其较大的d d个个, ,以其特征向量为列向以其特征向量为列向量构造量构造W W即可使即可使J1J1最大最大. .方式特征的提取与选择3 基于可分性判据进展变换的特征提

16、取基于可分性判据进展变换的特征提取由于由于SwSw是对称正定矩阵是对称正定矩阵, ,故有非奇特矩故有非奇特矩阵阵A,A,使使ATSwA=I,ATSwA=I,取取U=AV,U=AV,其中其中V V为规范为规范正交矩阵正交矩阵, ,那么那么U U为非奇特矩阵为非奇特矩阵, ,且使且使UTSTUUTSTU为对角阵为对角阵.UTSwU.UTSwU为单位阵为单位阵. .从而可知从而可知U U及及UTSTUUTSTU分别为分别为Sw-1STSw-1ST的特的特征矢量矩阵及特征值对角阵征矢量矩阵及特征值对角阵. .进而可得进而可得J4J4为特征值的某种和为特征值的某种和, ,同理只同理只需求针对较大的特征值

17、构造需求针对较大的特征值构造W W即可即可. .基于离差矩阵的特征提取基于离差矩阵的特征提取方式特征的提取与选择4 最正确鉴别矢量的提取最正确鉴别矢量的提取前面根据类内前面根据类内, ,类间及总离差矩阵构造类间及总离差矩阵构造可分性判据求最正确变换矩阵可分性判据求最正确变换矩阵, ,其特点其特点是整个最正确坐标系在方式上是一同是整个最正确坐标系在方式上是一同求出的求出的, ,但也可以用单个分量的类间类但也可以用单个分量的类间类内间隔比作为准那么内间隔比作为准那么, ,逐个求出最正确逐个求出最正确坐标系的各轴矢量坐标系的各轴矢量. .方式特征的提取与选择4 最正确鉴别矢量的提取最正确鉴别矢量的提

18、取FisherFisher鉴别矢量及鉴别平面鉴别矢量及鉴别平面在设计分类器时在设计分类器时, ,在适当保证分类识别在适当保证分类识别正确率的条件下正确率的条件下, ,为简便或为可实现性为简便或为可实现性, ,常要求降低维数常要求降低维数, ,或有时为便于显示或有时为便于显示, ,常首先要求方式的维数是常首先要求方式的维数是1 1或或2,2,这就要这就要求将目的的原始求将目的的原始n n维特征矢量映射成一维特征矢量映射成一维标量或二维矢量维标量或二维矢量. .方式特征的提取与选择4 最正确鉴别矢量的提取最正确鉴别矢量的提取FisherFisher鉴别矢量及鉴别平面鉴别矢量及鉴别平面要将高维方式映

19、射成二维方式要将高维方式映射成二维方式, ,需求两需求两个正交矢量个正交矢量. .这时除了这时除了FisherFisher鉴别矢量鉴别矢量u1u1外外, ,还要求出第二个矢量还要求出第二个矢量u2.u2.因此可因此可用用u1Tu2=0u1Tu2=0作为约束条件使作为约束条件使JF(u2)JF(u2)最大最大, ,即即Z=max(u2TSBu2)/(u2TSwu2)-ku1Tu2Z=max(u2TSBu2)/(u2TSwu2)-ku1Tu2方式特征的提取与选择4 最正确鉴别矢量的提取最正确鉴别矢量的提取最正确鉴别矢量集最正确鉴别矢量集设设u1u1是使是使JF(ui)JF(ui)取最大的取最大的F

20、isherFisher最正最正确鉴别矢量确鉴别矢量, ,且且u1u1已规格化已规格化, ,其模长为其模长为1,1,那么单位那么单位FisherFisher最正确鉴别矢量最正确鉴别矢量u1u1是是F-SammonF-Sammon最正确鉴别矢量集中的第一最正确鉴别矢量集中的第一个矢量个矢量. .该矢量集中的第该矢量集中的第i i个鉴别矢量个鉴别矢量uiui经过解一个最优化问题而求得经过解一个最优化问题而求得. .方式特征的提取与选择4 最正确鉴别矢量的提取最正确鉴别矢量的提取最正确鉴别矢量集最正确鉴别矢量集 MaxJF(ui) MaxJF(ui) s.t. uiTuj=0, j=1,2,i-1.

21、s.t. uiTuj=0, j=1,2,i-1. |ui|=1 |ui|=1令令U=(u1,u2,ur),U=(u1,u2,ur),那么变换那么变换y=UTxy=UTx称为称为F-SF-S变换变换(FST).Fisher(FST).Fisher是是r=2r=2特例特例. .方式特征的提取与选择5 离散离散K-L变换变换Karhunen-LoeveKarhunen-Loeve变换变换取变换函数取变换函数:y=g(x).:y=g(x).为使变换后的特为使变换后的特征还能很好的表达原有特征征还能很好的表达原有特征, ,作估计量作估计量x(m)=SmyiWi+Sm+1biWix(m)=SmyiWi+S

22、m+1biWix(m)=x-x(m)x(m)=x-x(m)e2(m)=E|x(m)|2e2(m)=E|x(m)|2对于不保管的那些分量对于不保管的那些分量, ,该当用它们的该当用它们的平均值来替代平均值来替代, ,就能得到最正确的就能得到最正确的bibi值值. .方式特征的提取与选择5 离散离散K-L变换变换Karhunen-LoeveKarhunen-Loeve变换变换为了进一步得到为了进一步得到Wi,Wi,还需求在还需求在WiTWi=1WiTWi=1的条件下的条件下, ,找出使找出使e2(m)e2(m)最小的最小的Wi.Wi.为此为此运用拉格朗日乘数法即可运用拉格朗日乘数法即可. .每个特

23、征在代表每个特征在代表x x方面的有效性由与它相方面的有效性由与它相对应的特征值所确定对应的特征值所确定. .尽能够保管特征值尽能够保管特征值大的分量大的分量.x.x的协方差矩阵的特征向量使的协方差矩阵的特征向量使拉格朗日函数在正交归一的基向量的一拉格朗日函数在正交归一的基向量的一切选择中最小切选择中最小. .方式特征的提取与选择6 特征选择中的直接挑选法特征选择中的直接挑选法次优搜索法次优搜索法单独最优的特征选择法单独最优的特征选择法计算各特征单独运用时的判据值并以递计算各特征单独运用时的判据值并以递减排序减排序, ,从而选取前从而选取前d d个分类效果最好的个分类效果最好的特征即可特征即可. .即使各特征是统计独立的即使各特征是统计独立的, ,该法选出的特该法选出的特征也不一定是最优的特征组合征也不一定是最优的特征组合. .方式特征的提取与选择6 特征选择中的直接挑选法特征选择中的直接挑选法次优搜索法次优搜索法增添特征法增添特征法( (顺序前进法顺序前进法SFS)SFS)是一种最简单