基于KL展开式的特征提取.ppt

第7章 基于K-L展开式的特征提取,7.1 K-L变换的定义与性质 7.2 K-L变换特征提取的原理及应用 7.3 利用K-L变换进行人脸识别,实现特征提取的途径,考虑利用线性变换的方式实现降维 本质上说是高维低维的投影 形式上可看是原始向量各分量的线性组合 由上章内容，此处关键是选择合适的变换，使变换之后的数据保持足够的类别可分性,实现特征提取的途径,两类经典的处理方法 多重判别分析：考虑模式类可分离性 成分分析：用较少数量的特征对样本进行描述，减少或去除冗余信息（去相关、信息压缩） 所谓成分分析，即有可能将认为是不重要的成分去除或用较少数据粗略表示，从而减少数据量，实现特征降维,DKLT的性质： 使变换后产生的新的分量不相关 以部分新分量表示原向量均方误差最小 使变换向量更趋确定、能量更趋集中,离散K-L变换（DKLT），又称霍特林(Hotelling)变换或主分量分解，它是一种基于目标统计特性的最佳正交变换,7.1 K-L变换的定义与性质,设,n,维随机向量,，其均,值向量,r,r,x,E,x,=,，相关矩阵,，协方,差矩阵,，,经正交变换后,产生向量,设有标准正交变换矩阵T，（即 TT=I）,取前m项为 的估计值,（称为 的K-L展开式）,其均方误差为,在TT=I的约束条件下,要使均方误差,为此设定准则函数,由 可得,即,i是 的特征值，而 是相应的特征向量。,由,表明:,利用上式有:,用“截断”方式产生x的估计时，使均方误差最小的正交变换矩阵是其相关矩阵Rx的前m个特征值对应的特征向量构成的。,DKLT的性质,(1) 变换后各特征分量不相关 的自相关矩阵和协方差矩阵为 变换后的向量的各分量不相关的 i=E(yi2)，或i=Eyi -E(yi)2 (含义：方差),DKLT使新的分量y1和y2不相关 两个新的坐标轴方向分别由 和 确定,通过K-L变换，消除了原有向量x的各分量之间的相关性，从而有可能去掉那些带有较少信息的坐标轴以达到降低特征空间维数的目的。,(2)最佳逼近性,(3)使能量向某些分量相对集中，增强随机向量总体的确定性（即得到主要成分）,DKLT的性质,采用同等维数进行表示，该结果与原始数据的均方误差最小,何谓主轴及主成分表示,主轴 特征值大 方差大 主成分表示与类可分性 O Q,例: 已知两类样本,试用K-L变换做一维特征提取。,解：（1）,（3）求R的特征值、特征向量,（2）,（4）选1对应的 作为变换矩阵,得,由 得变换后的一维模式特征为,两组二维空间的数据（a）（b）如图所示， 试用K-L变换来做一维的特征提取。,（a）,（b）,解：这两种情况下的期望向量 对于数据（a），有,对于数据（b），有 计算协方差矩阵的特征值和特征向量： 对于数据（a）: 对于数据（b）:,课堂练习,已知一组数据的协方差矩阵为 试问： （1）协方差矩阵中各元素的含义。 （2）求该组数据的两个主分量。 （3）K-L变换为什么又被称作最佳变换？ （4）为什么说经主分量分析后，消除了各分量之间的相关性。,答： (1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。 (2)主分量，求协方差矩阵的特征值， 对应的特征向量为 , 对应特征向量为 ， 这两个特征向量即为主分量。 (3) 对一组数据进行按一组正交基分解，在只取相同数量分