基于KL展开式的特征提取.ppt

第第7 7章章 基于基于K-LK-L展开式的特征提取展开式的特征提取 n n 7.1 K-L7.1 K-L变换的定义与性质变换的定义与性质 n n 7.2 K-L7.2 K-L变换特征提取的原理及应用变换特征提取的原理及应用 n n 7.3 7.3 利用利用K-LK-L变换进行人脸识别变换进行人脸识别 实现特征提取的途径 n考虑利用线性变换的方式实现降维 q本质上说是高维低维的投影 q形式上可看是原始向量各分量的线性组合 n由上章内容，此处关键是选择合适的变换，使 变换之后的数据保持足够的类别可分性 实现特征提取的途径 n两类经典的处理方法 q多重判别分析：考虑模式类可分离性 q成分分析：用较少数量的特征对样本进行描 述，减少或去除冗余信息（去相关、信息压 缩） n所谓成分分析，即有可能将认为是不重要的成分 去除或用较少数据粗略表示，从而减少数据量， 实现特征降维 DKLT的性质： 1. 使变换后产生的新的分量不相关 2. 以部分新分量表示原向量均方误差最小 3. 使变换向量更趋确定、能量更趋集中 离散K-L变换（DKLT），又称霍特林 (Hotelling)变换或主分量分解，它是一种基 于目标统计特性的最佳正交变换 7.1 K-L变换的定义与性质 设 n维随机向量 r Lxx xxn = ( ,) 12 T ，其均 值向量 rr xE x=，相关矩阵RE x x x r r r = T ，协方 差矩阵 CE xxxx x r rrrr =-()() T ， r x经正交变换后 产生向量 r Lyyyyn = ( ,) 12 T 设有标准正交变换矩阵T，（即 TT=I） 取前m项为 的估计值 （称为 的K-L展开式） 其均方误差为 xty ii r r = 在TT=I的约束条件下,要使均方误差 为此设定准则函数 由 可得 即 i是 的特征值，而 是相应的特征向量。 由表明: 利用上式有: 用“截断”方式产生x的估计时，使均方误差最小 的正交变换矩阵是其相关矩阵Rx的前m个特征值 对应的特征向量构成的。 DKLT的性质 (1) 变换后各特征分量不相关 的自相关矩阵和协方差矩阵为 变换后的向量的各分量不相关的 i=E(yi2)，或i=Eyi -E(yi)2 (含义：方差) DKLT使新的分量y1和y2不相关 两个新的坐标轴方向分别由 和 确定 通过K-L变换，消除了原有向量x的各分量之间的相 关性，从而有可能去掉那些带有较少信息的坐标轴 以达到降低特征空间维数的目的。 (2)最佳逼近性 (3)使能量向某些分量相对集中，增强随机 向量总体的确定性（即得到主要成分） DKLT的性质 采用同等维数进行表示，该结果与原始数据的 均方误差最小 何谓主轴及主成分表示 n主轴 q特征值大 q方差大 n主成分表示与类可分性 qO qQ 例: 已知两类样本 试用K-L变换做一维特征提取。 解：（1） （3）求R的特征值、特征向量 （2） （4）选1对应的 作为变换矩阵 得 由 得变换后的一维模式特征为 两组二维空间的数据（a）（b）如图所示， 试用K-L变 换来做一维的特征提取。 （a） （b） 解：这两种情况下的期望向量 对于数据（a），有 对于数据（b），有 计算协方差矩阵的特征值和特征向量： 对于数据（a）: 对于数据（b）: 课堂练习 已知一组数据的协方差矩阵为已知一组数据的协方差矩阵为 试问：试问： （1 1）协方差矩阵中各元素的含义。）协方差矩阵中各元素的含义。 （2 2）求该组数据的两个主分量。）求该组数据的两个主分量。 （3 3）K-LK-L变换为什么又被称作最佳变换？变换为什么又被称作最佳变换？ （4 4）为什么说经主分量分析后，消除了各分量）为什么说经主分量分析后，消除了各分量 之间的相关性之间的相关性。 答：答： (1)(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。对角元素是各分量的方差，非对角元素是各分量之间的协方差。 (2)(2)主分量，求协方差矩阵的特征值，主分量，求协方差矩阵的特征值， 对应的特征向量为对应的特征向量为 , , 对应特征向量为对应特征向量为 ， 这两个特征向量即为主分量。这两个特征向量即为主分量。 (3) (3) 对一组数据进行按一组正交基分解，在只取相同数量分量的条对一组数据进行按一组正交基分解，在只取相同数量分量的条 件下，以均方误差计算件下，以均方误差计算K-LK-L变换对应的变换对应的截尾误差最小