（计算数学专业论文）图像特征提取方法的研究.pdf

西北工业大学硕士学位论文图像特征提取方法的研究 捅姜 目标的自动识别是最有价值的应用需求之一，但它同时也最具挑战性。过去 几十年中该课题的研究己经取得了较大的进展，但计算机自动识别技术还远没有 达到理想的实际应用需求。自动识别技术涉及到很多方面的研究，如图像的预处 理，图像增强、图像分割、特征提取方法和分类器的设计等等，这其中特征提取 方法的研究尤为关键。一方面，研究者对特征提取的理论作了较多的探索，力求 得出一些针对特定目标的高精度、高效率的特征提取算法与方法。这其中包含 p c a 方法、f i s h e r 鉴别分析方法，以及以核方法为代表的非线性特征提取方法等。 另一方面，在实际应用中算法的效率也是非常重要的。本文的研究集中在特征提 取方法，这其中涉及到线性与非线性特征提取方法。 本文将特征提取方法分为线性和非线性特征提取方法。原始信息经过线性映 射得到的交换后信息称为线性特征，原始信息经过非线性映射得到的变化后的信 息成为非线性特征。对应的映射成为线性特征提取方法和非线性特征提取方法。 主分量分析和f i s h e r 线性鉴别准则是应用最广泛的特征提取算法。本文论 述了2 d p c a 和2 d f l d 等传统特征提取方法，并发展了2 d f l d 特征提取方法，提出 分块的2 d f l d 特征提取方法，分析表明，该方法是2 d f l d 方法的推广，在人脸识 别研究中优于传统的2 d f l d 方法。 核方法是新近发展起来的一种非线性特征提取方法，它的理论基础来自于统 计学习理论。本文详细讨论了核特征提取方法，并结合偏最小二乘理论( p l s ) ， 提出了基于k p l s 的特征融合方法。 本文以构造新的特征提取算法为主要的研究方向，并结合实际应用来验证算 法的优劣，对于算法中部分参数的选择讨论不足，这将在以后的研究工作中予以 关注。 关键词：自动目标识别，特征提取，主分量分析，f i s h e r 线性鉴别，核方法， 偏最小二乘方法 西北工业大学硕士学位论文图像特征提取方法的研究 a b s t r a c t a t ri so n eo ft h em o s ts i g n i f i c a n tr e q u e s t s ，a l t h o u g hi ti sa l s oo n eo ft h em o s t c h a l l e n g i n gt a s k s d u r i n gp a s ts e v e r a ld e c a d e sg r e a tp r o g r e s sh a sb e e nm a d ei n r e s e a r c ho nt h i ss u b j e c t h o w e v e r , i ti sf a ra w a yf r o ms a t i s f a c t o r yr e q u i r e m e n t sf r o m r e a lw o r l d a t ri n v o l v e sm a n yt e c h n i q u e s ，s u c ha si m a g ep r e p r o c e s s i n g ；i m a g e e n h a n c i n g ；i m a g es e g m e n t a t i o n ；f e a t u r ee x t r a c t i o n ；c l a s s i f i e r sd e s i g n i n ga n ds oo n f e a t u r ee x t r a c t i o ni sc r u c i a l o no n eh a n d , r e s e a r c h e r sa t t e m p tt ow o r ko u ta l g o r i t h m s a n dm e t h o d st os o m es p e c i a lt a r g e t s 埘t l lh i g hf i g h tc l a s s i f i c a t i o nr a t ea n dg o o d e f f i c i e n c y a m o n gt h e m ，p r i n c i p a lc o m p o n e n ta n a l y s i s ，f i s h e r sl i n e a rd i s e r i m i n a n t ， n o n l i n e a ra l g o r i t h m sm a i n l ya p p e a r i n ga sk e r n e la p p r o a c h e s ，a n ds oo n o nt h eo t h e r h a n d i nr e a la p p l i c a t i o ne f f i c i e n c yi sa l s oa ni m p o r t a n ti n d i c a t o rt oa s s e s so n e a l g o r i t h m , b e c a u s ei nm a n yc a s e so n l ya l g o r i t h m sw i t hh i 曲e f f i c i e n c yc a l ls a t i s f y r e q u e s to f r e a lt a s k t h i sp a p e ra i m sa td e s i g n i n gf e a t u r ee x t r a c t i o na l g o r i t h m so nf a c e r e c o g n i t i o n , i n c l u d i n gl i n e a rf e a t u r ee x t r a c t i o na n dn o n l i n e a r o n e s f e a t u r ee x t r a c t i o na p p r o a c h e sa r ed i v i d e di n t ot w og r o u p si nt h i sp a p e r , l i n e a r f e a t u r ee x t r a c t i o na n dn o n l i n e a rf e a t u r ee x t r a c t i o n t h ei n f o r m a t i o na f t e rl i n e a r m a p p i n gi sc a l l e dl i n e a rf e a t u r e s ；t h ei n f o r m a t i o na f t e rn o n l i n e a rm a p p i n gi sc a l l e d n o n l i n e a rf e a t u r e s t h em a p p i n g sa r ec a l l e dl i n e a rf e a t u r ee x t r a c t i o na n dn o n l i n e a r f e a t u r ee x t r a c t i o nc o r r e s p o n d i n g l y p r i n c i p a lc o m p o n e n ta n a l y s i sa n df i s h e r s l i n e a rd i s c r i m i n a n ta r et w o m e t h o d sw i d e l yu s e d t h i sp a p e ri n t r o d u c e sf e a t u r ee x t r a c t i o na p p r o a c h e s ，2 d p c a a n d2 d f l d ，r e s p e c t i v e l y w ed e v e l o p st h e2 d f l d ，a n dp r e s e n t san e wf e a t u r e e x t r a c t i o na p p r o a c hc a l l e db l o c k e df l d 2 d f l di st h es p e c i a lc a s eo fb l o c k e df l d t h ee x p e r i m e n t a lr e s u l t si n d i c a t e dt h a tt h er e c o g n i t i o np e r f o r m a n c eo f b l o c k e df l di s s u p e r i o rt ot h a to f 2 d f l d k e m e lm e t h o di sap o w e r f u lm a c h i n el e a r n i n gm e t h o dd e v e l o p e dr e c e n t l y i t b u i l d so nt h es t a t i s t i c a ll e a r n i n gt h e o r y f e a t u r ee x t r a c t i o nb a s e do nk e r n e li s d i s c u s s e di nd e t a i l af e a t u r ef u s i o nm e t h o dc o m b i n e dw i t hk p l si sp r o p o s e d k e y w o r d s ：a u t o m a t i ct a r g e tr e c o g n i t i o n ( a t r ) ，f e a t u r ee x t r a c t i o n , p r i n c i p a l c o m p o n e n t s a n a l y s i s ( p c a ) ，f i s h e r s l i n e a r d i s c r i m i n a n t ( f l d ) ，k e r n e la p p r o a c h e s ， p a r t i a ll e a s ts q u a r e s ( p l s ) 西北工业大学业 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作 的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适用本声明。 学位论文作者签名：j 乏笙多 指导教师签名 叼年弓月矽日q 年9 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他己申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 ， 学位论文作者签名：5 兰弁毫 动司啤弓月万日 西北工业大学硕士学位论文图像特征提取方法的研究 1 1 研究背景 第1 章绪论 随着信息化社会的到来，人们获取的信息已经不是局限在数字、符号、文本 等信息，而是越来越多的处理图像信息。由于图像在各种信息资源中占有十分重 要的地位，研究表明人获取信息的7 0 以上来自于视觉i l l ，因此，研究各种图像 信息来识别图像中的目标是一个重要研究领域。国内外对此开展了许多研究，取 得了可观的成果。 然而这些信息大多数或是具有很高的维数，或是获得的图像数量巨大，比如 高光谱图像的维数高达2 0 0 多维；而对于遥感信息，卫星每天都要向地面发回成 千上万幅图像，虽然它们提供了丰富的信息但同时也给存储和处理带来很大的不 便。对于实时系统来说，无疑是难以实现的。显然在大多数情况下，不能直接在 这些测量空间中进行分类和识别。这一方面是因为测量空间的维数很高，不适宜 分类器和识别方法的设计；更重要的是这样一种描述并不能直接反映测量对象的 本质，并且它随摄像机位置、照度、运动等因素的变化而变化。因此为了进行分 类器和识别方法的设计，需要把图像从测量空间变换到维数大大减少的特征空 间，被研究的图像在这个特征空间中就由一个或几个特征向量来表示四。 综上所述，特征提取f 3 d 0 】技术成为目标分类和识别中的关键技术。本文针对 目标分类和识别的应用需求，研究以图像资源为中心的特征提取技术。 1 2 特征提取研究的内容和现状 在目标分类和识别过程中，首先根据被研究的对象产生出一组基本特征，它 可以是计算出来的，也可以是用仪表或传感器测量出来的，这样产生的特征叫做 原始特，怔【2 1 。原始特征的数量可能很大，或者说样本处于一个高维空间中，这会 给分类器带来沉重的计算负担。人们时常会陷入的一个误区就是认为获取的特征 越多，分类效果就会越好，而w a t a n a b e 的丑小鸭定理( u g l yd u c k l i n gt h e o r e m ) u 说明了特征形成的过程需慎重，因为通过编入充分多的冗余特征，我们可以使得 任意两个模式相似。因此，我们希望选择或提取的特征应具有以下特点： 简约性；在用很少的特征标识目标的条件下。保持信息( 或信息丢失可以 控制) ； 可分性：来自同一类的不同模式的特征非常接近，而不同类的模式的特 西北工业大学硕士学位论文 第1 章绪论 征相距甚远。 可靠性：提取具有鲁棒性( r o b u s t ) 的特征，即对噪声或其它干扰不敏感。 这样获取的特征会使分类器的设计变得简单，从而使分类器运行的更快和更 加可靠。 获取特征的方法有两种：特征选择和特征提取。它们的根本任务就是如何从 许多特征中我出最有效的特征，这里的有效指的是能够区分不同的类别。从一组 特征中挑选出一些最有效的特征，以达到降低特征空间维数的目的，这个过程叫 做特征选择【i ”。通过映射( 或变换) 的方法可以用低维空间来表示图像，映射后 的特征称为二次特征，它们是原始特征的某种变换( 通常是线性变换或是非线性 变换) ，得出数目比原来少的综合性特征，对原始特征进行变换得到的这些有利 于分类、更本质、更少的新特征的过程称为特征提取( 见图1 1 ) 。经特征选择后 的特征保持它们原始的物理意义，而经特征提取产生的新特征( 比如，原始特征 的线性或非线性映射) 则缺乏认知学上的意义。用这些经过特征选择或特征提取 获得的特征代替原始输入特征进行目标分类和识别。 r f ( o ( a ) 特征选择 心而，劫 ( b ) 特征提取 图1 1 ：特征提取与选择示意图 在模式识别中，特征的选择和提取是最关键的问题之一，同时也是最困难的 问题之一。对于不同的目标分类和识别问题，需要采用不同的特征选择与提取方 法。对一类问题很有效的特征，不一定对其它问题也有效，即根据具体的应用领 域选择不同的特征提取方法。我们对特征选择只做以上的简要介绍，不做具体的 展开，本文重点将放在特征提取方法的研究。 1 2 1 特征分类 一般来说，图像特征的分类有很多种，如按提取的区域大小可以分为图像的 2 西北工业大学硕士学位论文 图像特征提取方法的研究 局部特征以及全局特征；按特征在图像上的表现形式分为点特征、线特征和面特 征( 区域特征) ；文献【1 3 】将用于目标图像识别的特征归纳为如下四种： 图像的视觉特征 4 - 7 1 ：例如，图像的边缘、轮廓、形状、纹理和区域等。它 们的物理意义明确，提取比较容易。 图像的统计特征隅，9 ，1 4 】：例如，灰度直方图特征、矩特征，其中矩特征包括均 值、方差、峰度及熵特征等，目前，熵特征作为图像的特征得到了广泛的应用。 变换系数特征 1 0 j s ：对图像进行各种数学变换，如傅立叶变换、离散余弦变 换、小波变换等，可以将变换后的系数作为图像的一种特征。 代数特征【l 8 j ：代数特征反映的是图像的某种属性。由于图像可以表示为矩 阵形式，因此可以对其进行各种代数变换，或者作各种矩阵分解。众所周知的 k - l 变换，实际上就是以协方差矩阵的本征矢量为空间基底的一种代数特征抽 取。研究表明，矩阵的奇异值分解也是一种代数特征。因此也可以作为图像特征。 本文以映射为准则，将能够通过线性映射得到的特征称为线形特征；经过非 线性映射得到的特征称为非线性特征。对应的映射称为线性特征提取方法和非线 性特征提取方法。后续章节我们将利用数学方法对线性特征和非线性特征分别讨 论。 1 2 2 线性特征提取发展现状 传统的线性特征提取方法有主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ， p c a ) 、奇异值分解( s i n g u l a r v a l u e d e c o m p o s i t i o n ，s v d ) 【1 7 1 、投影寻踪( p r o j e c f i o n p u r s u i t , p p ) 1 9 - 2 1 】等。 p c a 方法是统计领域一种常用的线性变换方法，也称k l 变换【1 2 , 1 8 。p c a 方 法是一种最小均方意义上的最优变换，它的目标是去除输入随机向量之问的相关 性，以突出原始数据中的隐含特性。其优势在于数据压缩以及对多维数据进行降 维。但p c a 方法在对数据的处理过程中是根据观测数据的协方差矩阵进行计算 的，只涉及到信号数据协方差矩阵，即二阶统计特性，并未考虑到信号数据的高 阶统计特性，所以变换后的数据间仍有可能存在高阶冗余信息，实际上数据的高 阶统计特性往往包含更重要的特征信息。 p c a 方法处理的数据是将图像矩阵转化为图像向量，然后以该图像向量作为 原始特征进行分析。由于图像向量的维数一般很高，因此会给特征提取造成困难。 同时高维特征向量会造成类内散布矩阵奇异性问题，从而造成计算最优鉴别矢量 集的困难。针对上面的问题，l i u 等人提出了一种线性鉴别分析的新思路1 2 “，基 本思想是利用数字图像矩阵直接构造图像散布矩阵，并在此基础上进行鉴别分 析。y a n g 等人对l i u 的方法进行了改进田，2 4 j 并将该方法称为2 d p c a 。 西北工业大学硕士学位论文 第1 章绪论 文献 2 5 1 将2 d p c a 进一步推广，提出了基于模块的2 d p c a ，其基本思想是 先对图像矩阵进行分块，将分块得到的子图像矩阵直接用于鉴别分析。由于通过 对图像分块，抽取到每个单元块局部特征，这些局部特征与2 d p c a 方法抽取的 全局特征相比更能反映图像的差异，有利于目标识别。 f i s h e r 线性鉴别【2 , 2 3 , 2 4 1 是基于样本类别进行整体特征提取的有效方法。它是在 使用p c a 方法进行降维的基础上，考虑到训练样本的类间信息。p e a 的一个主 要的不足之处在于样本类间离散度增大的同时，会导致样本类内离散度增大，而 f l d 在最大化类间距离的同时最小化类内距离。f l d 的基本原理就是找到一个 最合适的投影轴，使各类样本在该轴上投影之间的距离尽可能远，而每一类内的 样本的投影尽可能紧凑，从而使分类效果达到最佳，它是进行图像整体特征提取 的有效方法i 硼，有着广泛的应用。 对于传统的f i s h e r 线性鉴别方法，由于图像是用向量表示是一个高维的样本， 识别中不可避免地存在着小样本问题，即每个类别可得到的样本数远小于样本特 征维数，这会导致f i s h e r 准则中类内散度阵和类间散度阵均为奇异阵，因此最 优投影方向的求解存在病态问题。文献【2 7 】中提出的二维f i s h e r 鉴别方法，在一 定程度上避免了小样本问题的影响。 投影寻踪( p r o j e c t i o np u r s u i t ，p p ) d 9 - 2 1 】是用来分析和处理高维观测数据，尤 其是处理来自非正态总体的高维数据的一种统计方法。p p 的基本思想是把高维 数据投影到1 3 维子空间上，寻找出能够反映原来高维数据的结构或特征的投 影，以达到研究、分析高维数据的目的。p p 方法的不足之处体现在计算量大和 处理非线性能力弱。 文献【2 8 】给出了利用i c a 提取图像特征的方法。作为p e a 的一种延伸，i c a 着眼于数据间的高阶统计特性，使得变换以后的各分量之间不仅互不相关，而且 还尽可能地统计独立，它是一种新的线性交换技术。虽然，从统计分析的角度看， 简单i c a 和p c a 一样，同属多变量数据分析的线性方法。但与传统的多维信 号分析方法截然不同的是，经i c a 处理得到的各个分量不仅去除了相关性，还 是相互统计独立的，并且是非高斯分布的信号。因此，i c a 能更加全面揭示数据 间的本质结构。 1 2 3 非线性特征提取发展现状 一般的降维方法是建立在正态分布这一假设基础上的线性方法，往往不能满 足现实中的需要【1 2 1 。将传统的降维方法引入核函数推广到非线性领域。其中典型 的集中包括支持向量机( s v m ) 【1 冽、核主成分分析( k p c a ) 3 0 , 3 1 1 核f i s h e r 判别( k f l d ) 【1 筇2 3 3 l 等。 4 西北工业大学硕士学位论文图像特征提取方法的研究 一般的p c a 方法是寻找某种意义下最优的一系列投影方向，进行的是一组 线性变换，因而只适应解决线性问题。为了使p c a 能够处理非线性问题，文献 【1 2 】中引出一种非线性主成分分析方法一最小窗口p c a 方法( m w p c a ) ，其 思路是：首先将大数据空间问题划分成一系列子数据空问，然后分别建立子数据 模型。显然这种方法本质上是用线性去逼近非线性，因而无法从根本上解决非线 性问题。 基于核的p c a ( k p c a ) 方澍3 0 3 1 1 通过非线性映射实现输入空间到特征空间 的转换，然后对映射后的数据进行线性p c a ，因而具有很强的非线性处理能力。 f i s h e r 线性鉴别分析是基于线性变换得到的线性鉴别特征，线性变换的本质 限制了抽取图像更具鉴别力的非线性特征，因此f i s h e r 线性鉴别方法不能满足 处理非线性数据的要求，文献 3 2 ，3 3 提出了基于核的f i s h e r 线性鉴别方法，该方 法类似于基于核的p c a 方法，它通过非线性映射，实现输入空间到特征空间的 转换，然后对映射后的数据再进行f i s h e r 线性鉴别，使数据在特征空间中线性可 分。 文献 3 4 n 用神经网络实现特征提取，实质上是利用输入层到隐含层的非线 性映射功能，与其它特征提取方法相比，基于网络的特征提取方法与分类结合在 一起，因此所提取的特征更有针对性。 曲元分析法是d e m a r t i n e s 【3 5 1 等提出的一种非线性数据降维的映射方法，其最 大特点是无需预先确定输出网络结构，可采用连续输出空间，理论上可逼近任意 复杂的数据结构。c c a 通过将高维数据非线性降维映射到低维空问，能实现高维 数据的降维。 1 3 论文的结构安排 本文从两方面介绍了图像特征提取的方法：线性特征提取和非线性特征提 取。并将这些方法应用于目标识别。取得了比较满意的效果。 本论文的内容分为5 章： 第l 章绪论：介绍了有关背景知识以及特征提取的内容和研究现状。 第2 章特征提取的一般方法：对传统的线性特征和非线性特征的提取方法 进行了简介。 第3 章基于分块2 d f l d 的特征提取方法：详细介绍了2 d p c a 及分块 2 d p c a ，和2 d f l d 及分块2 d f l d 方法，用于特征提取，并通过实验对上述方 法进行了比较。 第4 章基于核p l s 的特征融合算法：介绍了p l s 的特征融合原理，并将核 方法引入到p l s 。 西北工业大学硕士学位论文第1 章绪论 第5 章总结与展望：对线性特征和非线性特征在目标分类和识别中的应用 进行了总结，并对下一步工作做出了展望。 6 西北工业大学硕士学位论文图像特征提取方法的研究 2 1 前言 第2 章图像特征提取的一般方法 在实际应用中，我们所德到的数据不但非常庞大，而且非常复杂，有时甚至 存在各种冗余，因此在选择具体模型进行处理( 如识别或分类) 前，有必要首先对 这些数据进行一定的分析，如进行一定的变换提取数据中的主要特征，以利于后 面的分析与处理。以人脸识别为例，原始输入特征可能很大，如在o r l 数据库 中，每幅图像的分辨率为1 1 2 x 9 2 ，即高达1 0 3 0 4 维。如果把所用的原始输入特 征都作为分类特征送往分类器，不仅使得分类器复杂，分类计算判别量大，而且 分类错误率也不一定小。因此，有必要减少特征数目，以获取一组“少而精”的 分类特征，即获取特征数目少且能使分类错误概率小的特征向量。如前一章所述。 减少特征数目的方法有两种，一种是特征选择，另一种是特征提取。本文主要讨 论的是特征提取。 2 2 特征评价准则 选取什么样的特征才能够有利于分类呢? 特征的好坏要经过特征评价标准 来度量，即类别可分性判据衡量不同特征及其组合对分类是否有效的定量准 则。在理想的情况下，某组特征应使分类器错误概率最小；实际的类别可分性判 据应满足的条件【1 2 】： 度量特性； 与错误率有单调关系； 当特征独立时有可加性； 单调性： 常见类别可分性判据：基于距离、概率分布、熵函数。文献 1 2 1 介绍了几种 常见的类别可分性判据。 ( 一) 基于分类误差的可分性判据 当解决一个模式识别问题时，其最终的目标是设计一个识别系统，此系统能 以最低的误识率分类未知模式。既然分类概率是整个识别系统的设计准则，它自 然也是设计特征选择与提取子系统的理想目标函数。 在一个特征候选集手= 畴，磊】所定义的d 维特征空间中，贝叶斯最小误差 率决策的类概率误差e 由下式给出： 7 西北工业大学硕士学位论文 第2 章图像特征提取的一般方法 e = i 【1 一m a x p ( c o , i f ) 】p ( f ) d f p ( ql 善) 是第f 类后验概率，而p ( 掌) 表示联合概率密度函数。显然能使e 小的特 征是好特征。由于一般情况下误差不容易计算，因此直接用上式评价特征难以实 际进行。1 ( 二) 基于概率距离度量的可分性判据 在二类情况下，分类误差可由下式表示： e = 寺【l j l p ( f i q ) 尸( q ) 一p ( 掌i 吧) p ( 哆) l 劈】 当积分式为0 时，也就是说当密度函数完全重合时，误差最大。而当密度函数不 交叠时，误差为0 。可以认为上式中的积分把两个密度函数间的“概率距离”定 量化了。这个距离愈大，误差愈小，反之则误差愈大。由类似的方法可得两个密 度函数间“距离”的其它度量。可以证明该距离度量与分类误差的上界有着直接 的关系，这也是用概率距离作为特征可分性判据的理由。 ( 三) 基于概率依赖度量的可分性判据 模式识别过程涉及两个随机变量：模式向量和类别功。前者结果的观察值 能作一个关于后者的决策。这两个变量的依赖性体现在条件概率密度函数 p ( 善i q ) ( f = l ，2 ，r a ) 中。如果说f 和珊是独立的，则p ( 掌i q ) = p ( 善) ，也就是说 第f 类条件概率密度函数等同于联合密度。在这种场合。不能通过观察模式向量f 获知它们的类别。显然，变量f 和一个特殊实现q 之问的依赖度能由条件概率密 度p ( 引q ) 和联合概率密度p ( 善) 之间的“距离”来度量 ( 四) 基于熵度量的概率可分性判据 与概率依赖性类似，熵度量也能用来估计模式向量善和类别q 之间的依赖 性：观察善并计算其后验概率p ( qi 善) 以确定从此实验中获得多少信息，如果所 有类有相同的概率，则获得的信息最少或不确定度( 熵) 最小。熵的一般性定义如 下式： c 层= ( 2 “一1 ) 。1 【p i 善) 一l 】p ( f 烤 j _ l a 取不同的值可得不同的熵定义，如口一l 时为s h a n n o n 熵： s 西北工业大学硕士学位论文图像特征提取方法的研究 以= 一侄尸( qi 善) l n p ( c o , l 善咖( 孝v f 口= 2 时得到平方熵： 乇；压p 2 ( q i 伽( 善埘 ( 五) 基于距离的可分性判据 基于距离的可分性判据直接依靠样本计算，直观简洁，物理概念清晰，因此 目前应用较为广泛，但它与错误率没有直接联系。基于距离的可分性判据的出发 点是：各类样本之间的距离越大，类内离散度越小，则类别可分性越好。给定一 组表示联合分布的模式集( 训练集) ，假定每一类的模式向量在观察空间中占据 不同的区域是合理的，类别模式间的距离或平均距离则是模式空间中类别可分离 性的度量。用以蟊，磊) 表示第f 类中第； 个模式和第，类中第，个模式问距离的度 量值，平均距离可定义为 1 cc 、n ，n l 以2 圭善否以q ) p ( r o a 。瓦瓷k - i 1 = 16 魄，易) q 以 厶l l ，1 1o 上式中的距离度量占可采用欧几里德距离 炙( 厶，髟) = 【( 鬈一彩) 】1 ” 由于( 2 1 ) 式计算比较复杂，可将其转化为相应的矩阵来度量和处理。 第f 类类内散布矩阵： 墨= 联( x m ) ( x m ) 7 ) = 总体类内散布矩阵： rr 品= p ( q ) s = 尸( q ) 耳( x m ) ( x m ) 7 ) t = 1 l - l c = p ( q ) 总体类间散布矩阵： & ：艺p ( q ) ( m 一吖) ( m 一肘) f - i 总体散布矩阵： 母= - e ( x - m ) ( x m ) 7 ) = z 9 西北工业大学硕士学位论文 第2 章图像特征提取的一般方法 存在关系： s t = s w + s 8 上面各式中m = 专磊x 为第f 类均值向量，m = 面l 善n i 置= 专善p ( q ) m 为样v j e 璐 v 加 v 。l 本集总的均值向量o z j 2 而1磊( x 一喇x 一彬为第f 类协方差： z 2 丙1 - 磊( 一m ) ( 一肘厂为样本总的协方差。 类内散布矩阵表征各样本点围绕它的均值的散布情况，类间散布均值表征各 类间的距离分布情况，它们依赖于样本类别属性和划分。而总体散布矩阵与样本 划分及类别属性无关。构造准则有迹和行列式两种方法。 ( 1 ) 迹准则：，= 晦= p ( q ) 蚂 c ( 2 ) 行列式准则：，= 陆i = p ( q ) p l ，l 特征提取的一般步骤如图2 1 所示： 特征 图2 1 ，特征提取的一般步骤 2 3 线性特征提取方法 2 3 1 主成分分析方法( p c a ) 主成分分析起源于p e a r s o n ( 1 9 0 1 年1 的工作。主成分分析的目的是将分散在 1 0 硬北工业大学硕士学位论文图像特征提取方法的研究 一组变量上的信息集中到某几个综合变量( 又称为成分) 上，这些新变量是原始 变量的线性组合而且互不相关。由于对变量的综合，将可能克服多重相关性造成 的信息重叠。几何上主成分分析可以认为是坐标轴的旋转，将原始坐标系的坐标 轴旋转成一组新的正交坐标轴，并按他们占原始数据变差的数量排列这些新的坐 标轴【2 8 】。 主成分分析的对象是一幅图像矩阵似) ，。，它的工作目标是对肖总的信息重 新调整组合，从中提取m 个综合变量v l ，以( m g ) ，使这m 个综合变量能最多的 概括原始图像x 中的信息，即在力保数据信息损失最少大的原则下，对高维变量 空间进行降维处理。 在统计学中，说到数据集中的信息，一般指这个数据集中数据变异的情况， 而变异信息可以用全部变量的方差总和来测量，方差越大，数据中包含的信息也 就越多。设x = ( ) ，。，= 【 ，1 经过标准化，即弓= 五；! ，其中弓一i 。厶一x f ， 一= 。标准化的目的是使样本点集合重心与坐标原点重合，而压 缩处理可以消除由量纲不同引起的虚假变异信息，使分析结果更加合理【3 6 】。 现求h ，v _ ( m c g ) ，它们是毛，而，x q 线性组合，e pv l = x a t ，i i q l l = 1 ，因为 v l 带有最多变异信息，所以要求h 方差取最大值，e p v a r ( v 一) = 如= 刍矸x 7 = 辊 记矿：土x r x 是x 的协方差矩阵，即求优化 p 罂群 h i = l 11 采用l a g r a n g e 乘数法得： 魄= q 即要求q 是矩阵矿的最大特征值 对应的标准化特征向量，0 1 称为第一主轴， v l = 弛称为第一主成分。第一主成分带有的变异信息 v 畎v i ) = 彳= q = 。 西北工业大学硕士学位论文第2 章图像特征提取的一般方法 求第二主轴吩，口2 与q 标准正交，即4 ；q = o ，且恢l = 1 。设v 2 = 是带 有变异信息第二大的成分，v 2 的方差为州v 2 ) = 古忆1 1 2 = 吉z x 7 x a 2 = 。则 优化问题 胖a x 口；v a 2 i k ：= l 。 4 ；a i = o 求解得a 2 是矩阵v 的第二大特征值五对应的标准化特征向量，称为第二主轴， v 2 = 称为第二主成分。 类似以上步骤依次有心= 地，k = l ，2 ，m 口) 。这肌个主成分带有的信 息总和为v a r ( v k ) = 五。 成分个数m 的选择：通用的方法是方差的百分比方法，目口保留占方差近9 0 的特征值。另一种方法是保留那些特征值大于平均值的特征值。 综上所述，我们给出主成分分析用于特征提取的一个定理： 定理1 ：原始图像x 在变异信息损失最小的原则下，则能够代表x 的最优特 征向量组为v l ，v 2 ，以，其中唯= 地，k = l ，2 ，m 沏g ) ，吼为x 的协方差矩 阵矿的第k 大特征值屯对应的标准化特征向量。 主分量分析反映了目标类别主要特征信息，在最小均方误差意义下是一种最 佳变换。但它却没有利用类别属性及类别差异信息，因而从分类识别的角度看并 不是一种最优变换。 2 3 2f i s h e r 线性鉴别分析方法( f l d ) f i s h e r 线性判别分析( f l d ) 是由f i s h e r 于1 9 3 6 年提出的用于两类问题特征提 取的一种有效方法，其基本思想是寻找一个投影方向，使训练样本投影到该方向 时尽可能具有最大类间距离和最小类内距离。后来，人们又将两类问题的f l d 方法推广到多类情况，其基本原理是通过寻找一个投影矩阵使得训练样本经投影 变换后尽可能具有最大类间散射和最小类内散射。它是在使用p c a 方法进行降 维的基础上，考虑到训练样本的类间信息。p c a 的一个主要的不足之处在于样 本类间离散度增大的同时，会导致样本类内离散度增大，而f l d 在最大化类间 西北工业大学硕士学位论文 图像特征提取方法的研究 距离的同时最小化类内距离，如图2 2 所示( 两类目标时主分量和线性判别分析 方法差异的示意图) 。如果说主分量分析获德的特征是原始样本的最佳表示特征 集，那么，线性判别分析获得的特征是原始样本的最佳判别特征集，该特征集更 利于提取高可分性的特征。 ，7 、 ( 类别i ) ”一。、 ： 类别2j - 。一一，一 图2 2 t 王分重分析与线形鉴别分析的比较 设模式类别有c 个：q ，哆，q ，每类有训练样本嘿个，z 为拧个训练样 本五，五，以的集合，其中栉= 氇每一类的均值h 及总体样本的均值分 别为： “：五 “= 一乙五 啊而 ：三窆五 胪i 刍以 样本类内离散度矩阵s 。为： s ，- - z s 其中s 为第f 类样本的离散度矩阵； s = ( 瓦一“) ( k 一“) 7 样本的类间离散度矩阵s 为： 旬万影投 卜y。h卜。 - m 西北工业大学硕士学位论文 第2 章图像特征提取的一般方法 s b = ( 毪一m ( “- 2 ) t f i s h e r 鉴别函数定义为： 帕) = 寒 其中w 表示从原始样本空间到f i s h e r 空间变换向量。f i s h e r 准则函数将样本在投 影矢量上的类间离散度和类内离散度结合在一起，用以确定最优投影方向。下面 求使以( w ) 取极大值时的，矿即为f i s h e r 最优投影方向。其物理意义为使样 本集在该方向上投影后，类间离散度和类内离散度之比达到最大。通过l a g r a n g e 乘子法求得，当山( w ) 取得极大值时，w 满足。 1 墨w = 五w a 为l a g r a n g e 乘子。因此，w 的求解转化为求矩阵1 瓦的单位特征向量。 综上所述，我们给出线性鉴别分析用于特征提取的一个定理： 定理2 ： 图像样本集x 在最小类内散布和最大类间散布的原则下，最优投 影方向矿为1 墨的最大特征值a 对应的标准化特征向量，且提取的特征为 ，= 矿7 x 。在样本类别较多的情况下( 这时单一的最优投影方向是不够的，需 要寻找一组满足标准正交条件且极大化f i s h e r 准则函数的最优投影向量组 w l ，嘲) ，最优投影向量组可以取为1 最的d 个最大特征值对应的标准正 交特征向量，且提取的特征为】，= w 7 x ，其中w = 【w i ，w a 】。 2 4 非线性特征提取方法 2 4 1 核方法的基本思想 无论是前面介绍的主成分分析还是线性鉴别方法都是线性特征提取方法，它 们一般只适用于线性可分的模式。但实际应用中，许多模式并非线性可分，因此， 线性特征提取方法并不理想。为了解决非线性模式的有效特征提取问题，一种可 行的办法是对一些线性方法进行相应的非线性扩展。近年来，随着统计学习理论， 特别是支持向量机s v m 方法的问世，通过再生核理论对一些线性算法进行非线 1 4 西北工业大学硕士学位论文 图像特征提取方法的研究 性扩展已成为研究非线性特征提取方法的一种非常重要的手段。 非线性特征指经过非线性映射后得到的特征。核方法是一系列先进非线性数 据处理技术的总称，其共同特征是这些数据处理方法都应用了核映射【1 2 1 。下面具 体介绍核方法的原理。 从具体操作过程上看，核方法首先采用非线性映射将原始数据由数据空间映 射到特征空间，进而在特征空间进行对应的线性操作。由于运用了非线性映射， 且这种非线性映射往往是非常复杂的，从而大大增强了非线性数据处理的能力。 例如f ：r 2 寸r s , f ( 而，屯) = ( 砰，置而，) ，显然，平面上的二次曲线 砰+ b x i x 2 + = d 被f 变换成f 的平面畅+ + 吃= d 。 从本质上讲，核方法实现了数据空间、特征空间和类别空间的非线性变换。 设t 和工，为空间中的样本点，数据空间到特征空间的映射函数为o ，核方法的 基础是实现向量的内积变换 ( 五，) x ( 五，) = o ( t ) 。中( ) 通常，非线性变换函数m ( 相当复杂，而运算过程中实际用到的核函数k ( ，) 则相对简单的多，这也是核方法的优点。上式必须满足m e r c e r 条件1 , 2 1 ：对于任 意给定的对称函数k ( x ，力，它是某个特征空间中的内积运算的充分必要条件是 对于任意的不恒为0 的函数g ( 功，且f g ( x ) 2 d x ，y y 7 = 是内积形式，用k = 代替7 ， 墨= 代替y y r ，即可从( 4 2 ) 和( 4 3 ) 式推出k p l s 关于t 和”的估计 麟2 刀 ( 甜= k l r 类似于p l s 方法，假定使用零均值的非线性k p l s 模型，为此需要中心化特征空 间的元素，方法如下： k = ( 厶一1 疗1 。l ：) 足( 厶一1 珂1 。l ：) ( 4 - 6 )疗珂 其中：l 是刀维单位矩阵，l 。是元素全为1 的n x l 列向量。置的中心化方法类似 定理4 2 ：观测矩阵x 和l ，分别为n x n 和n x m 零均值矩阵，经过偏核最小 二乘算法，提取的特征分别为r = 【f l ，f 2 。，】和u _ 【，坞，蚱】，其中和虬由 ( 4 - 5 ) 式求得。p l s 特征抽取分量的个数r 最多等于r a n k ( k ) 。 4 3 2k p l s 特征融合原理与算法 设q ，吐，q 为c 个模式类，模式t 为n 维实矢量，训练样本空间为 = t i t e r ”) 。令u = 缸b r ，v f f i y y r 9 ) 工与y 分别表示运用不同的 方式提取的同一模式r 的两组特征矢量，令x 和y 分别表示训练样本空间u 和矿 构成的经标准化的样本矩阵。 利用4 3 i 节提供的核偏最小二乘方法提取x 和y 的z ( ，) 个非线性特 征r = 【，l ，r 2 ，】。，和u = 【q ，“：，砷】m 。令 = i t , 1 ，2 ，t a 7 = ，# 。，r 将 西北工业大学硕士学位论文 第4 章基于核p l s 的特征融合算法 毛= 睇，y j 】 作为融合后第i 个模式的特征用于分类。 4 4 实验结果与分析 ( 4 7 )