特征提取K-L变换

1、5.1 基本概念基本概念5.2 类别可分性测度类别可分性测度5.3 基于类内散布矩阵的单类模式特征提取基于类内散布矩阵的单类模式特征提取5.4 基于基于K-L变换的多类模式特征提取变换的多类模式特征提取第第5章章 特征选择与特征提取特征选择与特征提取 特征提取特征提取5.1 基本概念基本概念 由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。 能获得的性质测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。 特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即

2、快又准确。1两种数据测量情况两种数据测量情况(1) 具有很大的识别信息量。即应具有很好的可分性。(2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别 的特征应丢掉。(3) 尽可能强的独立性。重复的、相关性强的特征只选一个。(4) 数量尽量少，同时损失的信息尽量小。2对特征的要求对特征的要求3. 特征选择和特征提取的异同特征选择和特征提取的异同（1）特征选择：从L个度量值集合 中按一定准 则选出供分类用的子集，作为降维（m维，m L）的分类 特征。Lxxx,21（2）特征提取：使一组度量值 通过某种变换 产生新的m个特征 ，作为降维的分类特征， 其中 。),(21Lxxxih),(21my

3、yyLmmi;, 2 , 1(c)是具有分类能力的特征，故选(c)，扔掉(a) 、 (b) 。BA解：法1 特征抽取：测量三个结构特征 (a) 周长 (b) 面积 (c)两个互相垂直的内径比 特征选择：一般根据物理特征或结构特征进行压缩。 分析：例：特征选择与特征提取的区别：对一个条形和圆进行识别。 当模式在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果。法2： 特征抽取：测量物体向两个坐标轴的投影值，则A、B各有2个值域区间。可以看出，两个物体的投影有重叠，直接使用投影值无法将两者区分开。 分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时针方向变，并适当平移等

4、。根据物体在 轴上投影的坐标值的正负可区分两个物体。2x特征提取，一般用数学的方法进行压缩。 BA2x1x22Bx22Ax12Bx12Ax11Bx11Ax21Bx21AxBA2x1x2x1x5.2 类别可分性测度类别可分性测度5.2.1 基于距离的可分性测度基于距离的可分性测度类别可分性测度：衡量类别间可分性的尺度。相似性测度：衡量模式之间相似性的一种尺度类内距离和类间距离类概率密度函数 类别可分性测度空间分布：随机模式向量： 错误率 与错误率有关的距离 1类内距离和类内散布矩阵类内距离和类内散布矩阵1) 类内距离：同一类模式点集内，各样本间的均方距离。 平方形式：|22jiEDXX )()(

5、TjijiEXXXXXi,，Xj： n维模式点集X中的任意两个样本 。特征选择和提取的结果应使类内散布矩阵的迹愈 ？愈好。特征选择和提取的结果应使类内散布矩阵的迹愈 小小愈好。22TT2XXXXEEED 2TTMMXXEtr2TMMRtr2Cnkk122若X中的样本相互独立，有式中，R：该类模式分布的自相关矩阵； M：均值向量； C：协方差矩阵； ：C主对角线上的元素，表示模式向量第k个分量的方差；2k tr：矩阵的迹（方阵主对角线上各元素之和）。2) 类内散布矩阵：表示各样本点围绕均值的散布情况 该类分布的协方差矩阵。类间散布矩阵的迹愈大大愈有利于分类。2类间距离和类间散布矩阵类间距离和类间

6、散布矩阵1) 类间距离：模式类之间的距离，记为 。 bD每类模式均值向量与模式总体均值向量之间平方距离的先验概率加权和。ciiibPD1202|)(MMciiiiP10T0)()(MMMM XME0cii, 2 , 1,XciiiP1)(M2) 类间散布矩阵：表示c类模式在空间的散布情况，记为Sb。ciiiibP1T00)()(MMMMS类间散布矩阵的迹愈？愈有利于分类。3) 类间距离与类间散布矩阵的关系：tr2bbDS注意：与类间距离的转置位置不同。3多类模式向量间的距离和总体散布矩阵多类模式向量间的距离和总体散布矩阵1）两类情况的距离 q个 p个 12共pq个距离 两个类区之间的距离 =

7、pq个距离的平均距离多类间任意两个点间距离的平均距离类似地 多类情况多类间任意两个点间平方距离的平均值inkjnljlikcjjijciidDnnPPJ11211),(1)()(21XX（5-8） inkikiin11XMi类的均值向量： （5-10） ciiiP10)(MMc类模式总体的均值向量： （5-11） 2）多类情况的距离(2) Jd的另一种形式：将以下3式代入(5-8)式(1)多类模式向量间的平均平方距离Jd)()(),(T2jlikjlikjlikDXXXXXX（5-9） 平方距离：任意类的组合特定两类间任意样本的组合得)()()()(1)(0T01T1MMMMMXMXiiiik

8、inkiikiciidnPJ某类类内平方距离平均值 某类类间平方距离多类模式向量之间的平方距离=各类平方距离的先验概率加权和 某类的平方距离模式类间的距离模式类内的距离多类模式向量之间的距离3）多类情况的散布矩阵ciiiibP1T00)()(MMMMS多类类间散布矩阵 ：4）多类模式平均平方距离与总体散布矩阵的关系)(tr)(trwbtdJSSS多类类内散布矩阵： ciiiiwEP1T)()(MXMXSiXciinkiikiikinP11Ti)(1)( MXMX 各类模式协方差矩阵的 先验概率加权平均值。 多类模式的总体散布矩阵： wbtESSMXMXS)(T00得)()()()(1)(0T0

9、1T1MMMMMXMXiiiikinkiikiciidnPJ 距离与散布矩阵作为可分性测度的特点： * 计算方便，概念直观（反映模式的空间分布情况 ）； * 与分类错误率没有直接的联系。211)|()(RdpePXX122)|()(RdpePXX)()()()()(2211ePPePPeP5.2.2 基于概率分布的可分性测度基于概率分布的可分性测度1散度散度出发点：对数似然比含有类别的可分性信息。 )()(lnjiijpplXX1）散度的定义 )()(lnijjipplXX 对不同的X，似然函数不同，对数似然比体现的可分性不同，通常采用平均可分性信息对数似然比的期望值 。 i类对数似然比的期望

10、值：XXXXdppplEIXjiiijij)()(ln)(类对数似然比的期望值：jXXXXdppplEIXijjjiji)()(ln)(散度等于两类的对数似然比期望值之和。 XXXXXdppppIIJjiXjijiijij)()(ln)()()()(xdxxpxEXXXXXdppppIIJijXijijjiji)()(ln)()( 散度表示了区分i类和j 类的总的平均信息。2）散度的性质（1）jiijJJXXXXXdppppIIJjiXjijiijij)()(ln)()(特征选择和特征提取应使散度尽可能的 ？特征选择和特征提取应使散度尽可能的大。（3）错误率分析中，两类概率密度曲线交叠越少，错

11、误率越小。 XXXXXdppppIIJjiXjijiijij)()(ln)()(由散度的定义式可知，散度愈大，两类概率密度函数曲线相差愈大，交叠愈少，分类错误率愈小。 据此可估计每一个特征在分类中的重要性： 散度较大的特征含有较大的可分信息保留。（5）可加性表明，加入新的特征，不会使散度减小。即),(),(12121nnijnijxxxxJxxxJ3）两个正态分布模式类的散度设i类和j 类的概率密度函数分别为 ),()(CMXiiNp),()(CMXjjNp)()()(tr11jitjitjijiijJMMCMMMMMMC两类模式之间马氏距离的平方 一维正态分布时： 22)(mmJjiij两类

12、均值向量距离越远，散度愈大每类自身分布愈集中，两类间的散度愈大5.3 基于类内散布矩阵的单类模式特征提取基于类内散布矩阵的单类模式特征提取对某类模式：压缩模式向量的维数。 对多类分类：压缩维数； 保留类别间的鉴别信息，突出可分性。 特征提取的目的：特征提取操作方法：AXX *m1 mn n1 (m n)注意：维数降低后，在新的m维空间里各模式类之间的分布规 律应至少保持不变或更优化。讨论内容： * 根据类内散布矩阵如何确定变换矩阵A； * 通过A如何进行特征提取。1根据类内散布矩阵确定变换矩阵根据类内散布矩阵确定变换矩阵 XMET)(MXMXC E式中，X为n维向量，C为 nn 的实对称矩阵。

13、ijij, 0, 1Tjiuu n个特征向量相互正交。 若选n个归一化特征向量作为A的行，则A为归一化正交矩阵：TTTnuuuA21nuuuA21TIAA T)(T*MXMXC E)(TAMAXAMAX ETT)(AMXMXAETACAAMXAAXXM*EEE(1)(2)nnnnuuuuuuuuuuuunC2121212121TTTTTTn0021AnnkkuCukijij, 0, 1Tjiuu|2*2jiEDXX )()(*T*jijiEXXXX)()(TjijiEAXAXAXAX)()(TTjijiEXXAAXX)()(TjijiEXXXX|2jiEXX (3) 变换后的类内距离变换后：类

14、内距离保持不变 。n0021*C根据以上特点得到构造变换矩阵的方法：思路：目标：构造一变换矩阵，可以将n维向量X变换成m维（mn）。 将变换前的C的n个特征值从小到大排队选择前m个小的特征值对应的特征向量作为矩阵A的行（mn）对X进行A变换 优点：压缩了维数； 类内距离减小，样本更密集 相当去掉了方差大的特征分量。后 续nmnmnxxaaaa11111*1mxx2特征提取的方法特征提取的方法NiiiN1T)(1MXMXCNiiN11XM其中， 第二步：计算C的特征值，对特征值从小到大进行排队，选择 前m个。TTTmuuuA21第四步：利用A对样本集X进行变换。AXX *则m维（m n）模式向量

15、X *就是作为分类用的模式向量。解：1) 求样本均值向量和协方差矩阵。31T 3. 1, 231iiXM31TT3 . 01 . 01 . 07 . 031iiiMMXXC由 03 . 01 . 01 . 07 . 0得3 . 01 . 01 . 07 . 0C2765. 017236. 02211选由归一化特征向量u1构成变换矩阵A：1 . 2, 5 . 066. 41A74. 01*1 AXX48. 12*2 AXX28. 03*3 AXXT1 1, 1 XT22, 2XT3 1, 3X变换前变换后5.4 基于基于K-L变换的多类模式特征提取变换的多类模式特征提取对一类模式：维数压缩。对多

16、类模式：维数压缩，突出类别的可分性。 特征提取的目的： 卡洛南-洛伊（Karhunen-Loeve）变换（K-L变换）：* 一种常用的特征提取方法；* 最小均方误差意义下的最优正交变换；* 适用于任意的概率密度函数；* 在消除模式特征之间的相关性、突出差异性方面 有最优的效果。离散K-L变换连续K-L变换分为：1K-L展开式展开式1jjajuXaj：随机系数；用有限项估计X时 ：djja1juX引起的均方误差：)()(TXXXX E12djjaEijij, 0, 1Tjiuu代入X、 ，利用X12djjaE1jjajuX由 两边 左乘 得 。TjuXujTja1TTdjEjjuXXu1Tdjt

17、EjjuXXuuj为确定性向量 1TdjRjjuuR：自相关矩阵。 ) 1()(1T1TdjdjgjjjjjjuuuRuuj：拉格朗日乘数 0)(jjuIR, 1 dj说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为1T11TtrdjjdjdjjjjjuRuuRu 因此，当用X的正交展开式中前d项估计X时，展开式中的uj应当是前d个较大的特征值对应的特征向量。) 1()(1T1TdjdjgjjjjjjuuuRuuK-L变换方法：对R的特征值由大到小进行排队： 121dd均方误差最小的X的近似式：djja1juXUaX ijij, 0,

18、 1TjiuuIuuuuuuUUddTTTT2121矩阵形式： 式中， ， 。 T21,daaaa,duuuUjdn1T21,jnjjuuuju其中： （5-49） K-L展开式 对式(5-49)两边左乘U t ：XUaT K-L变换 系数向量a就是变换后的模式向量。 2利用自相关矩阵的利用自相关矩阵的K-L变换进行特征提取变换进行特征提取第一步：求样本集X的总体自相关矩阵R。 NjjjNE1TT1XXXXR,duuuU21XUXT*决定压缩后的维数 3不同散布矩阵的不同散布矩阵的K-L变换变换 根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息的效果不同。多类类内散布矩阵： ciiiiwEP1T)()(MXMXSiX若要突出各类模式的主要特征分量： 选用对应于大特征值的特征向量组成变换矩阵； 若要使同一类模式聚集于最小的特征空间范围： 选用对应于小特征值的特征向量组成变换矩阵。类间散布矩阵： ciiiibP1T00)()(MMMMS 适用于类间距离比类内距离大得多的多类问