第八章特征提取

1、第八章 特征提取王文伟 wang wenwei, dr.-ing.tel:mail: web: http:/ 特征提取2table of contents电子信息学院第八章 特征提取38.1 基本概念u特征选择与提取是模式识别中重要而困难的一个环节：分析各种特征的有效性并选出最有代表性的特征是模式识别系统设计的关键步骤。降低特征维数在很多情况下是有效设计分类器的重要课题。 计算上更易实现。 消除特征间的相关性，使新特征更有利于分类。引言数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间x xa第八章 特征提取48.1.1 三大类特征u三大类特征：物理、结构

2、和数学特征物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别。数学特征：易于用机器定量描述和判别，如基于统计的特征。u讨论的重点是根据学习样本来选择和提取数学特征，而物理和结构特征的测量与分析涉及研究对象本身的物理规律。引言第八章 特征提取58.1.2 有关特征的基本概念u特征形成 (acquisition)：信号获取或测量原始测量，其值域称为测量空间：对象表示x x = 测量空间的点原始特征：通过基本计算产生基本特征y yu实例：数字图象中的各像素灰度值人体的各种生理指标u原始测量和原始特征分析：原始测量不能反映对象（类别）本质高维原始特征不利于分类器设计：计算量大

3、，数据冗余，样本分布十分稀疏。引言第八章 特征提取6特征的选择与提取u两类提取有效信息、压缩特征空间的方法：特征提取和特征选择u特征提取 (extraction)：用映射（或变换）的方法把高维原始特征变换为较少的新特征。u特征选择(selection) ：从原始特征中挑选出一些最有代表性、分类性能最好的特征。u特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法。引言第八章 特征提取7特征的选择与提取举例u细胞图像自动分类：原始测量：（正常与异常）细胞的数字图像原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内

4、纹理，核浆比 等等压缩特征：原始特征的维数仍很高，需压缩以便于分类 特征选择：挑选最有分类信息的特征，方法有：专家知识，数学方法 特征提取：数学变换，消除特征之间的相关性。 傅立叶变换或小波变换 用pca方法作特征压缩引言tywx第八章 特征提取88.2 基于类别可分性判据的特征提取u特征提取：用映射（或变换）的方法把高维原始特征变换为较少的新特征。线性变换：u特征有效性=类别可分性 类别可分性判据j：衡量不同特征及其组合对分类是否有效的定量准则u基于可分性判据的特征提取，就是求最优变换w*argm ax()tjwwwxtywx第八章 特征提取9基于距离可分性判据的特征提取1()()ctbii

5、iispmm mm( )( )111()()inciitwikikiikispnxmxm( )tr()tr()dwbtwbjssxwssw样本类间离散度矩阵样本类内离散度矩阵类间可分离性判据可分性判据112,.,wbdd s s设矩阵的本征值为并降序排列，则选前 个本征值对应的本证向量组成变换矩阵w，就是基于该可分性判据的最佳变换。12*,.,dwu uu1(*)(1)ddiijw*argm ax()djwwx第八章 特征提取108.3 主成分分析方法u特征提取：用映射（或变换）的方法把高维原始特征变换为较少的新特征u主成分分析pca (principle component analysis

6、)方法：k. pearson提出，从一组特征中计算出一组按重要性排列的新特征，它们是原特征的线性组合，并且相互之间不相关。*argm ax()tjwwwx第八章 特征提取11第一主成分变换11t x111t特征提取11,.,dxxd记为个 原 始 特 征 ， 想变 换 出 最 重 要 的 一 个 新 特 征11最 佳 的 变 换,是 使 得的 方 差 最 大 的 变 换2211111var()()()tee构造拉格朗日函数：11111()(1)ttlv第八章 特征提取12第一主成分变换11v特征提取11最 佳 的是的 最 大 本 征 值对 应 的 本 证 向 量 ,称 为 第一 主 成 分 ，

7、 它 在 原 始 特 征的 所 有 线 性 组 合 里 方 差 最 大最优解11111var()ttvv第八章 特征提取13推广特征提取121,.,ddddw设协方差矩阵 的本征值为并降序排列，则选前个本征值对应的本证向量组成变换矩阵，就是构造 个主成分,.,的最佳变换。数据中大部分信息集中在较少的几个主成分上11/ddii根据给定的比例，选择适当数目的主成分作为样本的新特征第八章 特征提取148.4 k-l (karhunen-loeve)变换u特征提取：用映射（或变换）的方法把高维原始特征变换为较少的新特征uk-l (karhunen-loeve)变换：特征降维变换后，不能完全地表示原有的

8、对象，信息总会有损失。希望找到一种信息能量最为集中的的变换方法，使降维后信息损失最小。最优正交线性变换。*argm ax()tjwwwx第八章 特征提取15k-l变换（展开）u离散k-l变换：对（随机）向量x用确定的完备正交归一向量组（系）uj展开1jjjyxutijijuutjjy uxxy特征提取组合系数12,.,tyyyy第八章 特征提取16有限项k-l展开的均方误差u用有限项估计x ：1djjjyxuu该估计的均方误差：()()texxxx211ttjjjjdjdeyeuxxue ()tijijrx xe rxx11tttjjjjjdjdeuxxuur utjjy ux特征提取记矩阵则

9、第八章 特征提取17求解最小均方误差正交基u用lagrange乘子法，得到：1if then tjjjjjjdr uuur u 取 得 极 值u结论：以相关矩阵r r的d个本征向量为基向量来展开x x时，其均方误差为：1jjduk-l变换：当取矩阵r r的d个最大本征值对应的本征向量来展开x x时，其截断均方误差，在所有用d维正交坐标系展开中最小。这d个本征向量组成的正交坐标系称作x x所在的d维空间的d维k-l变换坐标系， x x在k-l坐标系上的展开系数向量y y称作x x的k-l变换特征提取第八章 特征提取18k-l变换的表示uk-l变换的向量展开表示：tjjy uxuk-l变换的矩阵表

10、示：12,.,dxuuuyu ytyux1djjjyxu特征提取xy第八章 特征提取19k-l变换的性质uk-l变换是信号的最佳压缩表示，误差最小。uy的相关矩阵是对角矩阵，即各分量互不相关。ttttijijijttijijjiijey yeer uxxuuxxuuuuuttttreeuuuuyy yxxr特征提取第八章 特征提取20k-l坐标系将相关函数矩阵对角化1200dryuk-l坐标系将相关函数矩阵对角化，即通过k-l变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的。特征提取第八章 特征提取21k-l变换图解x1x2u2u112, 12

11、221 12 2( , , , )( )nnij i ji jun nf x xxrxxyyyxyxrxy uruy y y二次曲线方程标准二次曲线方程特征提取等概率密度轨迹第八章 特征提取22k-l变换的数据压缩例解u以2x1变换为例，有两个本证向量，取变换矩阵u=u1，则x的k-l变换y为为： y = utx = u1t x = y1u变换的能量损失为2222221215.9 %41特征提取第八章 特征提取23k-l变换的产生矩阵u数据集kn=xi的k-l变换的产生矩阵由数据的二阶统计量决定，即k-l坐标系的基向量为基于数据x的某种二阶统计量的产生矩阵的本征向量。uk-l变换的产生矩阵可以

12、有多种选择：x的相关函数矩阵r=exxtx的协方差矩阵c=e(x-) (x-)t（当样本类别已知）样本总类内离散度矩阵：1,e()(),ctwiiiiiiispxxx特征提取第八章 特征提取24未知类别样本的k-l变换u常用总体样本的协方差矩阵c=e(x-) (x-)t进行k-l变换，k-l坐标系u=u1,u2,.,ud按照c的本征值的下降次序选择。u例：设一样本集的协方差矩阵是：求最优2x1特征提取器u解答：计算特征值及特征向量v, d=eig(c);特征值d=24.736, 2.263t,特征向量:由于12，故最优2x1特征提取器此时的k-l变换式为：7.5c0.8750.4820.4820.875v10.8750.482uu1120