（模式识别与智能系统专业论文）特征提取中的子空间分析方法研究及其应用.pdf

摘要 摘要 特征提取是统计模式识别中的关键问题。至今已经提出了许多方法用来提 取特征。其中，子空间分析方法是最有效的方法之一。子空间分析方法的本质 就是把原始的高维样本投影到一个更有利于分类的低维特征子空间。本文讨论 并提出了几个新的的子空间分析方法。论文的主要贡献归纳如下： ( 1 ) 作为主成份分析方法( p c a ) 的一种推广，独立成份分析( i c a ) 方法已 经被证明是一种有效的特征提取方法。本文详细地回顾了独立成份分析方 法和介绍了几种常用的算法，并且给出了这些算法的优缺点评价。 ( 2 ) 当i c a 被应用到一些高维模式识别问题，如人脸识别，常常会遇到两个问 题：小样本问题和基函数( 独立成份) 的选择问题。这两个问题使i c a 分 类器变得不稳定和发生偏差。本文采用集成学习的途径，提出了一个增强 型的i c a 算法：随机独立子空间( r i s ) 方法。人脸识别实验表明该方法 能有效地改善i c a 的性能。 ( 3 ) i c a 本质上是一种线性的方法，因此不能描述数据中复杂的非线性关系， 比如由光照、扭曲等原因产生的非线性变量。核技巧是一种能有效描述 数据间非线性关系的方法。在本文中，把核技巧引入到i c a 方法中，从而 得到一种能有效描述非线性变量的非线性i c a 方法：核独立成份分析，简 称k i c a 。 ( 4 ) 近年来，因为能够得到高维数据的近似本质子空间而使流形学习方法倍受 关注。基于局部保留的思想，本文提出了一种新的子空间分析方法：监督 的核局部保留投影( s k l p p ) 方法。由于采用了非线性核映射，因此该 方法能较好地描述非线性变量。同时，由于采用监督的形式使得数据在子 空间中能够更好地保留类内的几何结构。 ( j 1 传统的直方图只能表示全局的颜色统计信息。本文提出一个新的加权直 方图方法：空间加权颜色直方图( s w c h ) 。首先，把h s v 颜色空间量化 成9 个子空间，用一个有9 级( b i n ) 的直方图表示：然后，根据这些子空 间的一阶中心矩赋予每个级一个权值：最后，任意一个彩色图像都用一 个这样的9 级加权直方图表示。这种新的直方图不仅能够表示颜色统计信 息，而且包含颜色的分布信息。 关键词：特征提取，子空划分析方法，独立成份分析，流形学习，核技巧，颜 色直方图。 第i 页 英文摘要 s u b s p a c ea n a i y s i sm e t h o da n di t sa p p l i c a t i o nf o r f e a t u r ee x t r a c t i o n a u t h o r ：j i a nc h e n g s u p e r v i s o r ：h a n q i n gl u a b s t r a c t f e a t u r ee x t r a c t i o ni sak e vs t e pi ns t a t i s t i c a lp a t t e r nr e c o g n i t i o n m a n ym e t h o d sh a v eb e e nd e v e l o p e dt oe x t r a c tf b a t u r e s s u b s p a c ea n a l y s i sm e t h o di so n eo f w h i c ha r et h em 0 8 te 矗b c t i v ea p p r o a c h e s t h ee s s e n c eo fs u b s p a c ea n a l v s i sm e t h o d i st or e d u c eah j g h d i m e n s i o n a lo r i g i n a ls a m p l es p a c et oal o w d i m e n s i o n a lf e a t u r e s u b s d a c et h a ti sb e n e 6 tt oc l a s s i f i c a t i o n i nt h i sd i s s e r t a t i o n w ed i s c u s ss e v e r a l i m p o r t a n ts u b s p a c ea n a i v s i sm e t h o d sa t t e m p t i n gt of j n dt h ei n t r i n s i cs u b s p a c e s i nr e c o g n i t i o na n dr e t r i e v a lt h em a i nc o n t r i b u t i o n so ft h i sd i s s e r t a t i o nc a nb e i n c l u d e da sf 0 1 l o w s ： ( 1 ) a sag e n e r a l i z a t i o no fp “n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) i n d e p e n d e n t c o m p o n e n ta n a l y s i s ( i c a ) h a sb e e nd e m o n s t r a t e dt ob ea ne f f b c t i v en l e t h o d f o rf e a t u r ee x t r a c t i o n w ed r a wab r i e fr e v i e wo ni c aa n di t sa p p h c a t i o nt o f a c er e c o g n i t i o n a f t e rt h a t ，t h em e r i t sa n dd e f l c i e n c i e sa r ea l s od i s c u s s e d ( 2 ) t h ea p p l i c a b i l i t yo fi c at oh i g h d i m e n s i o n a lp a t t e r nr e c o g n i t i o nt a s k ss u c h a sf a c er e c o g n i t i o no f t e ns u 舵r sf r o mt w op r o b l e m s o n ei st h es m a l ls a m p l e s i z ep r o b l e m t h eo t h e ri st h ec h o i c eo fb a s i sf u n c t i o n s ( o ri n d e p e n d e n t c o m p o n e n t s ) b o t hp r o b i e m sm a k ei c ac l a s s i 矗e ru n s t a b l ea n db i a s e d i t h i sd i s s e r t 8 t i o n ，w ep r o p o s ea ne n h a n c e di c aa l g o r i t h mu s i n ge n s e m b l e i e a r n i n g ，n a m e da sr a n d o mi n d e p e n d e n ts u b s p a c e ( r i s ) ，t od e a lw i t ht h e t w od r o b l e m s ( 3 ) i c ai sal i n e a rm e t h o di nn a t u r e ，s oi ti si n a d e q u a t et od e s c r i b ec o m p l e x n o n l i n e a rr e l a t i o n so fr e a li m a 只e sd u et oi 1 1 u m i n a 七i o n ，d i s t o r t i o n ，a n do t h e r v a r i a t i o n s t h ek e r n e lt r i c kh a sb e e nd e m o n s t r a t e dt ob ea b l et oe 征b c t i v e l v d e s c r i b et h en o n l i n e a rr e l a t i o n so fi n p u td a t a i nt h i sd i s s e r t a t i o n w e 口r 0 p o s et oc o m b i n et h ek e r n e it “c kt oi m p r o v et h ep e r f o r m a n c eo fi c af o r i m a g er e p r e s e n t a t i o n ，n o t e da sk e r n e li c ao rk i c a ( 4 )r e c e n t l y ，m a i l i f o l dl e a r n i n gm e t h o d sa t t r a c t e dm u c ha t t e n t i o nf o rt h a tt h e y c a no b t a i nt h es u b s p a c en e a rw h i e ht h ed a t aw o u l dl i e l o c a l i t yp r e s e r v i n g b a s e d w ep r o p o s e dan o v e ls u b s p a c ea n a l y s i sm e t h o d ，n a m e ds u d e r v i s e d k e r n e ll o c a l i t yp r e s e r v i n gp r o j e c t i o n s ( s k l p p ) ，i nw h i c hg e o m e t r i cr e l a - t i o n sa r ep r e s e r v e da c c o r d i n gt op r i o rc l a s s l a b e l i n f o r m a t i o na n dc o m p l e x n o n l i n e a rv a r i a t i o n so fr e di m a g e sa r er e p r e s e n t e db vn o n l i n e a rl 【e r n e lm a d 一 第i i i 页 英文摘要 ( 5 ) t h et r a d i t i o n a lh i 8 t o g r a mo n l vr e p r e s e n t st h eg l o b a is t a t i s t i c a lc 0 1 0 ri r 卜 f o r m a t i o n w ep r o p o s ean e wm e t h o d ，s p a t i a l 咯遮h t e dc 0 1 0 rh i s t o g r a m f s w c h ) w h i c hc a nn o t0 1 1 l vr e p r e s e n ts t a t i s t i c a lc o l o ri n f o r m a t i o n ，b u ta l s o c o n t a i nc o l o rd i s t r i b u t i o ni n f b r m a t i o n f i r s t l y s w c hq u a n t i f i e st h eh s v c o l o rs d a c ei n t on i n es u b s e t s 、w h i c ha t ed e s c r i b e db yac o l o rh i s t o g r a mw i t h n i n eb i n s t h e n ，e a c hb i ni sa t t a c h e daw e i g h tr e p r e s e n t i n gc o l o rd i s t r i b u t i o ni n f b r m a t i o n f i n a l l y ，ac o l o ri m a g ei sd e s c r i b e db yaw e i g h t e dc o l o r h i s t o g r a mw i t hn i i l eb i n s k e yw | o r d s ：f e a t u r ee x t r a c t i o i l ，s u b s p a c ea n a l y s i sm e t h o d i n d e p e n d e n tc o m - p o n e n ta n a l y s i s m a n i f o l dl e a r n i n g k e r n e l n i c k ，c 0 1 0 rh i s t o g r a m 第i v 页 插图目录 插图目录 l l 统计模式识别系统模型， 1 2 p c a 得到的一维子空间 2 1 l a p l a c i a n ( 左) ，正态分布( 中) 和一致分布( 右) 的密度函数 6 0 l 。 2 2 上图是用p c a 和i c a 方法得到的三维数据的新坐标轴，下图足在一二维子空矧的 投影【l l 】 9 3 图像分析中i c a 的两种结构1 1 1 2 4 上图是i c a l ，b = h ，幻一，6 。】是系数，是独立的基图像：下图 是i c a 2 u = 【u 1 u 2 一u 。】足系数，o 。足基图像【1 1 1 3 一l b a g g i n g 算法 3 2b o o s t i n g 算法， 3 3r s m 算法 3 4r a n d o mi n d e p e n d e n ts u b s p a c e 孝毫 呈图， 3 5r i s l 算法， 3 6r i s 2 算法， ， 3 7r i s 3 算法 3 8f e r e t 人脸图像。上行是原始图像，下行是均衡化后的图像 3 9r i s l 及其组成分类器v si c a ， 3 - 1 0 分类器个数的影响 3 1 1r i s 2 及其组成分类器v s i c a 3 一】2r i sv s ，i c a， 4 1 图中虚线是等值线。左边是p c a 的结果，右边k p c a 的结果 1 0 l 】 4 2f e r e t 人脸图像。上行是原始图像，下行是均衡化后的图像 4 3k i c a 与k p c a ，i c a l ，i c a 2 的最近邻比较实验结果 4 4 币同阶数的多项式核对k i c a 的影响 4 5 4 i 同阶数的多项式核对k p c a 的影响 4 6 k i c a 与k p c a ，i c a l ，i c a 2 的k 近邻比较实验结果 4 7d = 2 ，3 4 时，k i c a 的识别率 4 8 合成纹理图像 4 9g a b o r 的分类结果 4 1 0i c a 的分类结果， 4 1 1k i c a 的分类结果 5 1 i s o m a p 在s w i s sr o l l 数据集上如何寻找测地路径。( a ) 虚线足在非线性流形上 任意两点的欧氏距，实线是沿低维流形上的测地距；( b ) 利用近邻图构造的近 似测地距的最短路径：( c ) 由i s o m a p 得到的二维嵌入，红线是真实的测地路 释，蓝线足对比连线 第v i i 页 ，0 h 竹 孔卯卯勰嚣四加孔弛 ”如甜舵们“必蛎i。 插图目录 5 2 5 3 5 4 5 5 6 1 6 2 6 3 6 4 6 5 l l e 算法步骤j ：意图 ， 上行足y a l e 人脸库的样本，下行足o r l 人脸库的样本 y a l e 库上的实验结果。上边是不同方法比较f 边是两种核函数的比较结果 o r l 库上的实验结果。上边是不同方法比较，下边是两种核函数的比较结果 左边是h s v 颜色模型右边足色彩与饱和度 h s v 空问量化算法 h s v 空问是化流程图 最化对比结果。上两行是用非线性阂值量化的结果：下两行是甩线性闲值量化 的结果：从左至右、从上至下分别是原始图像和表6 - l 中的9 个子集 老虎图像的检索结果。( a ) 线性闽值最化的直方图算法；( b ) 非线性闽值量 化的直方图方法；( c ) 传统直方图( 1 2 5 个b i n ) 方法；( d ) 加权直方图方法 ( s w c h )， 6 6r e c a l lv sp r e c i s i o n 第v i i i 页 7 0 7 l n 弱w 弱 盯 船 表格目录 表格目录 4 1 不同大小块的分类结果( ) 5 一l 六种方法在y a l e 库上识别的综合比较 5 2 六种方法在o r l 库上识别的综合比较 6 一l 9 个颜色分量 第i x 页 4 2 5 6 5 9 6 6 独创性声明 本人声明所递交的论文是我个人在导师指导下进行的研 究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确地说明并表示了谢意。 回年。子1 6 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用 学位论文的规定，即：中国科学院自动化研究所有权保留送 交论文的复印件，允许论文被查阅和借阅；可以公布论文的 全部或部分内容，可以采用影印、缩印或其他复制手段保存 论文。 签名： 垒查一导师签名：幽日期：立型 特征提取中的子空间分析方法研究及其应用 第一章绪论 1 1 研究背景及其意义 自从计算机诞生以来，人们就一直在想如何让计算机像人一样能听说读 写，最终像人一样思考和创造。几岁的小孩就能认出爸爸妈妈，就能认识少量 的字，这在人类看来是基本的能力对计算机却是很难。要让计算机掌握这些基 本能力，首先要让计算机“懂得”这些东西，然后再“分辨”它们。这就是模 式识别所要解决的问题。 什么是模式呢? w i t a n a b e 1 2 3 定义模式为“a s 卵p 0 5 “eo ，oc o d 5 i 甜拈 口ne n 谢， 0 9 缸e 冶d 币礼ed - 舰fc o “f d 妇9 西e 住口n n m e ”模式识别就是对模式进 行分类。模式识别最早诞生于2 0 世纪2 0 年代。随着计算机的普及和互联网的推 广，模式识别已经扩展到越来越多的应用领域，如：文本识别、语音识别、图 像检索、数据挖掘、生物认证、生物信息学、遥感、军事等等。模式识别有四 种基本方法：模板匹配、统计分类、句法匹配和神经网络6 6 1 。统计分类方法 是其中最流行的方法，基于统计分类的模式识别系统模型如图1 1 ： 图1 1 统讣模式识别系统模型 扎非 打燮 在这个系统中，特征的提取是至关重要的一步，它直接影响分类器的设计 和性能。特征提取的基本任务是如何从大量的特征信息中找出最有效的特征。 它包括特征的形成、变换、选择和学习的过程。个有个自由度的样本可以 第l 页 第一章绪论 看成一个维向量的模式，也就是维空间中的一个样本点。模式识别的研究 目标就是对维空间中的这些样本进行分类和识别。对两个n 维的向量进行比 较通常可以用它们之间的相似性( s i m i l a r i t y ) 或不相似性( d i s s i m i l a r i t v ) 作 为度量。然而，当很大即样本空间的维数很高的时候，对样本进行分类和识 别需要很大的计算量，而且这些特征中很多是对于分类没有太大用处的，甚至 对分类是有副作用的特征。特征提取就是通过变换、选择或学习的方式从中挑 选出一些最有效的特征以达到降低特征维数的目的。比如：在基于内容的图像 检索中，如果用原始图像直接匹配会使整个计算量非常大，实际上是不可行 的，所以必须提取图像的一些重要特征，如：颜色、纹理、形状等。在人脸识 别中，一幅2 5 6 2 5 6 的人脸图像，表示成向量就是一个6 5 5 3 6 维的向量，直接用 来做识别是很困难的，现在一般的方法是先把这些高维向量投影到低维子空间 中，然后再做识别。 目前已经有很多特征抽取的方法，而且有些方法在很多实际问题中取得了 比较好的效果。但是，这些方法都或多或少地存在一些缺陷，有些方法对训练 样本有很强的先验假设，有些方法的解不唯一或不稳定。子空间分析方法是统 计方法中的一种。它的思想就是把高维空间中松散分布的样本，通过线性或非 线性变换压缩到一个低维的子空间中，在低维的子空间中使样本的分布更紧 凑，更利于分类，同时使计算复杂度减小。现在的子空间分析方法很多，同 个问题用不同的子空间分析方法得到不同的子空间；不同的问题用同一种方法 得到的子空间也不相同。怎样的一个子空间才是样本的本质子空间? 又如何去 得到这个子空间呢? 这些都是研究子窄间分析方法时所必须考虑的问题，也是 我已经做和将要做的研究课题的指航灯塔。 1 2 研究现状 子空间分析方法的思想是把高维的样本空间压缩到一个低维的特征子空 间。不同的问题需要不同的子空问方法，本文主要讨论了图像识别与分类 中的一些子空问分析方法。子空间分析方法一般可分为线性方法和非线性方 法。线性方法中最为著名的方法莫过于主成份分析( p c a ，p r i n c i p a lc o m p o n e n t a n a l y s i s ) ，也被称为k a r h u n e n l 0 6 v e ( k l ) 变换，是一个非常经典的子空间 分析方法。p c a 的主要思想是找到一个投影映射p ，使得样本从维空间降 第2 页 特征提取中的子空问分析方法研究及其应用 到m 维子空间，同时保留尽可能多的方差( 能量) 。 - 匕 。? ，一 。! 菇萨 套 专罐 、 。1 t j ， ， t 匕 ， ，。 ， p 。、 x 1 j ， ， 图1 2p c a 得到的维子守问 假设，x = b ，z 。，z 。l 是训练样本矩阵，p = ：。z t 是样本均值。这 个投影映射可以通过训练样本矩阵的协方差矩阵的特征值分解获得： 伽( x ) ：；妻( 矿肋( 刊t t ，j = l c o u ( x ) 饥= 九让i = 1 ，n ( 1 一1 ) ( 1 2 ) 这里a ；是协方差矩阵c o 口( x ) 的特征值：是对应的的特征向量，也称为主 轴( p r i n c i p a la x e s ) 。把特征值按从大到小的顺序排列a l a 2 a 。，取最 大的前m 个特征值对应的特征向量组成投影映射p = p ，u 2 ， ，这个投影 映射尸就是我们所求。样本集从维降到m 维保留的方差( 能量) 比例： 墨。九 墨。九 除了保留最大方差外，p c a 还有以下两个特点 ( 1 3 ) ( 1 ) 去相关( d e c o r r e l a t i o n ) 。投影后的样本y = p 丁x 是不相关的。 e ( y y r ) = e ( ( p 7 x ) ( p r x ) 丁) = p t e ( x x7 ) p = 尸矿c f x l p = a ( 1 4 ) 这里a 是特征值矩阵，是对角阵。我们可以看出投影后的样本之间的相关 系数为零，即不相关。 第3 页 第一章绪论 ( 2 ) 重构误差最小( 1 e a s ts q u a r e sr e c o n s t r u c t i o n ) 。 对于样本戤投影系 数玑= p 丁( z 。一p ) ，由于p 是正交基，所以在原空间里的重构磊= j p 玑。那 么由p c a 重构到误差为： e = 一p ) 一叠。1 1 2 = fa ， ( 1 5 ) j = m + l 从式l 一5 可以看出p c a 在最小重构误差的意义上是最优投影。 独立成份分析( i c a ，i n d e p e n d e n tc o m p o n e n ta n a i y s i s ) 5 5 ，6 8 ，3 4 ，1 6 6 2 】是 另一种重要的子空间分析方法。独立成份分析是基于消除或减少各分量间的相 关性，使它们尽可能独立的思想。主成份分析方法主要适用于高斯分布的样本 模型，而独立成份分析方法适用于非高斯分布的模型。主成份分析和独立成份 分析都是线性非监督的方法。由于独立成份分析是本文的重点之一，后面有专 门章节介绍，在此就不多费笔墨。 在很多情况下，我们可以事先知道训练样本的类别信息，这些信息对于 特征提取和分类器设计有重要帮助。线性判别分析( l d a ，“n e a rd i s c “m i n a n t a n a l v s i s ) 是一种线性的监督方法。它是基于f i s h e r 判别原则：类内方差最小 和类间方差最大。假设有c 类样本，m 是第i 类样本的个数，地是第i 类样本的均 值。优化问题的目标函数定义为： 啦) _ a r g 警绷 这里类间方差如和类内方差s w 定义如下： ( 1 6 ) 岛2 志善善t ) ( 肌广 ( 1 一) 1 o 1 眦 s w = ；嘉( z ；柏) ( z ；叫) t ( 1 培) 。# 1 j = 1 其中o ：是第i 类中的第j 个样本。 在数学上，求解线性判别的目标函数等价于求解s 矽岛的特征值问题。由 于训练样本个数有限和样本维数很高，导致在计算蹄时出现奇异。针对这 一问题w z h a o 等人提出主成份判别分析( d i s c r i m i n a n ta n a l y s i so fp r i n c i p a l c o m p o n e n t s ) f 1 3 1 l ，即先用主成份分析降到低维空间再做判别分析。另一种 办法是先去掉s 日的零空间，再使& f 最小化，该方法称为直接线性判别分析 第4 页 特征提取中的予空间分析方法研究及其应用 ( d i r e c tl d a d l d a ) f 1 2 7 ，1 2 8 。l fc h e u 直接利用s 阿的零空间来寻找最佳 判别向量集的方法，被称为零空间法f 2 7 1 。黄锐等 5 8 ，1 3 3 提出了一种简化零空 间方法，他们先去掉总体离散度矩阵的零空间，然后再求解降维后的s 。v 的零空 间。 其它的线性子空间方法有因子分析( f a c t o ra n a l y s j s ) 、投影追踪 ( p r o j e c t i o np u r s u i t ) 4 7 1 、非负矩阵分解( n m f ，n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ) f 7 4 1 等。多维尺度法( m d s ，m u l t i d i m e n s i o n “s c a l i n g ) 3 6 1 是另一 类线性子空间方法。m d s 的目标是在一个2 维或3 维的低维子空间里描述一个高 维数据集，使得在原始空间的样本间距离得到尽可能多地保留。 非线性的子空间分析方法很多，基于核技巧( k e r n e lt r i c k ) f 8 8 ，1 0 3 1 的途 径是其中之一。这类方法有核主成份分析( k p c a ，k e r n e lp r i n c i p a lc o m p o n e n t a n a 】y s j s )f 1 0 0 ，8 4 ，1 0 1 1 、核线性判别方法( k l d a ，k e r n e ll i n e a rd j s c r j m i n a n t a n a l y s i s ) 8 4 ，8 5 ，9 6 ，1 2 l 、核独立成份分析方法( k i c a ，k e r n e li n d e p e n d e n t c o m p o n e n ta n a l y s i s ) 5 等。这类方法基本上都是通过一个隐函数把样本映射 到一个高维的特征空间，然后在特征空间里用线性的方法提取特征。在具体计 算过程中，不需要知道隐函数的显式表达，只要计算两两之间的点积即可。基 于核的方法虽然中间过程在高维特征空间，但是最终还是为了寻找子空间，整 个过程是从原始空间到高维空闻，再到子空间。所以基于核的方法也属于子空 间方法。基于核的子空间方法是本文的重点之一，后面章节有详细介绍。 在m d s 的基础上，t e n e n b a u m 等人用测地距代替欧氏距得到一种新的非 线性方法：i s o m a p ( i s o m e t r i cm a p p i n g ) 1 1 5 】。i s o m a p 的目标是在子空 间里尽可能地保留原始空间中样本问的测地距。此外，l l e ( l o c “t yl j n e a r e m b e d d i n g ) 算法( 97 强调在数据集结构不满足全局线性结构时，观测空间与 内在低维空间之问在局部意义下的结构可以用线性空间近似。因此可以通 过近邻法柬获得各个数据点在近邻内的关系，并用最小二乘思想来得到邻 域内数据集的权值。与l l e 算法类似，l a p l a c i a ne i g e n m a p s 1 5 1 也是基于局部 保留的思想。假设g = ( 矿e ) 是一个加权图，矿是节点集合，e 是连接节点的 边。l a p l a c i a ne i g e n m a p s 的主要思想是希望找到加权图到某一直线的映射使得 连接的节点映射后尽可能地靠近。这些非线性方法有一个共同的缺点，它们没 有给出一个显式的映射函数，所以无法提取新样本的特征。何晓飞等人给出了 第5 页 第一章绪论 一个l a p l a c i a ne i g e n m a p s 的线性近似方法：l o c a l i t yp r e s e r v i n gp r o j e c t i o n ，简 称l p p 5 3 ，5 4 1 ，从而得到显式的投影映射。本文第五章有专门讨论。 神经网络也可以被直接用来提取特征子空间。o j a 发现可以用一个三层 结构的神经网络得到p c a 子空间f 9 0 1 。他还发现自联想神经网络( a a n n ， a u t o a s s o c i a t i v en e u r a ln e t w o r k s ) 可以用作独立成份分析9 1 1 ，同时也可以描述 非线性子空间f 7 5 1 。可以提取非线性特，征子空间的神经网络工具还有自组织映 射( s o m s e l f _ o r g a n i z i n gm 印) 7 1 】等等。 目前，关于子空间分析方法研究非常活跃。每年都有许多国际会议讨 论交流相关问题，如：国际计算机视觉大会( i c c v ) ，计算机视觉与模式 识别大会( c v p r ) ，国际机器学习大会( i c m l ) ，神经信息处理系统进展 ( n i p s ) ，国际独立成份分析与盲信号分离大会( i c a ) ，国际模式识别大 会( i c p r ) ，国际图像处理大会( i c i p ) ，亚洲计算机视觉大会( a c c v ) 等。还有许多重要的国际刊物，如：i e e e 协会会刊中的模式分析与机器 智能( o np a m i ) 和图像处理( o ni m a g ep r o c e s s i h g ) ，模式识别( p a t t e m r e c o g n i t i o n ) ，机器学习研究杂志( j o u r n a lo fm a c h i n el e a r n i n gr e s e a r c h ) ， 神经计算( n e u r 以c o m p u t a t i o n ) 等。 1 3 本文的主要贡献 本文主要探讨了特征提取中的子空间分析方法，提出和改进了几个子空间 方法并应用在识别和检索中。 针对i c a 在识别实验中经常遇到的两个问题：小样本问题和基函数选择问 题，在论文第三章，我们对特征空间随机采样得到一批子集，在每个子集上设 计一个i c a 分类器，然后把这些分类器集成成一个更强的分类器，从而得到一 种增强的i c a 方法：随机独立予空间( r i s ) 方法。人脸识别实验表明该方法能 有效地提高人脸识别的准确率。论文第四章，针对传统i c a 方法是线性方法的 不足，我们结合核技巧提出了一种非线性的i c a 方法：k i c a 。人脸识别和纹理 分类实验表明k i c a 比i c a 更好地描述复杂的人脸和纹理。在本文第五章，提出 了一个基于监督加权图的非线性局部保留投影方法：s k l p p 方法。该方法试图 找到一个紧凑的子空间( 流形) ，使得样本在这个子空间里的投影尽可能保留 在原空间的类内几何结构。人脸识别实验证明s k l p p 找到的子空问对识别是更 第6 页 特征提取中的子空间分析方法研究及其应用 加有效的。 本文最后，提出了种加权的颜色直方图方法。先把颜色变换到更符台视 觉特性的h s v 空间；然后把整个颜色空间量化成9 个不相交子集；再利用一个非 线性闽值函数，把每个像素归到9 个子集中的一个：每个像素根据它到图像几何 中心的矩大小赋予一个权值表示它的重要性，这样就得到一个只有9 个分量的加 权颜色直方图。这个加权直方图大大减少了存储空间，同时包含了颜色分布的 空间信息，能更好地描述图像的内容。基于这个加权直方图的图像检索实验表 明此方法是有效的。 1 4 本文的组织结构 本文后面各章内容如下： 第二章，详细介绍了独立成份分析方法，并回顾和分析了现有的各利- 算法 及其优缺点。 第三章，用集成学习的方法得到一个增强的独立成份分析方法：随机独立 子空间( r i s ) 方法。 第四章，结合核技巧提出了种非线性的独立成份分析方法：核独立成份 分析( k i c a ) 。 第五章，提出了一个基于监督加权图的非线性局部保留投影方 法：s k l p p 方法。 第六章，提出了一种加权的颜色直方图方法。 第七章，归纳总结全文和展望下一步的研究。 第7 页 特征提取中的子空间分析万法研究及其应用 第二章独立成份提取方法 2 1 引言 在模式识别与计算机视觉巾，常常用一个高维向量描述一幅图像。例如， 基于表像( a p p e a r a n c e _ b a s e d ) 的模式识别方法就是把图像的每一个像素看作一个 变量，整幅图像就用= 训维的向量z 来表示，这里 和训分别是图像的高和 宽。通常都是很大的数，这样直接用z 来描述图像会带来很大的计算量，甚至 是不可行的。在这样一个高维的特征空间里，我们所研究的图像样本点只分布 在非常小的子空间里，大部分空间里没有或只有稀疏的分布。在模式识别与计 算机视觉问题中，我们研究的对象往往都是有限的且相关的。它们在特征空间 里一般分布在相邻的区域，而且，它们之间是高度相关的。也就是我们所考虑 的特征空间要远大于实际所需要的空间。针对这些问题，往往需要先把高维数 据降到低维的子空间分析。人们提出了很多方法，主成份分析方法就是其中的 一种。 主成份分析方法就是通过一个线性的投影变换，把样本从高维的原始特征 空间变换到一个低维的子空间，使样本在这个予空间里的投影保留尽可能多的 方差，从信号处理的角度看，样本的方差代表信息和能量。所以，主成份分析 的根本目的就是既要降低样本特征空间的维数，同时又要使损失的能量最少。 这样的最优问题可以通过求解样本的协方差矩阵的特征分解来实现，通过选取 协方差矩阵的特征向量就可以构成一个低维子空间的正交基。样本在这组正交 基上的分量之间是不相关的。 生理学家和心理学家对人类的视觉研究发现：人类视觉系统对信息的编码 处理总是使得它们之间相互信息最少8 1 。主成份分析使得样本在新的子空间里 投影系数是不相关的，也即投影系数之间的二阶相关被去除。在样本符合高斯 分布时，不相关等价于独立。然而，当样本不是高斯分布的时候( 事实上，绝 大部分情况下样本都是非高斯分布) ，投影系数之间还存在大量的高阶相关信 息、也就是说还有高阶的冗余存在。 为了尽可能去掉冗余，2 0 世纪八十年代，人们在盲信号分离领域 第9 页 第二章独立成份提取方法 采用了盲源分离( b s s ，b 1 i n ds o u r c es e p a r a t i o n ) 的方法 5 5 ，6 8 1 。在此基础 上，1 9 9 4 年，p c o m o nf 3 4 1 第一次提出了独立成份分析( i c a ，i n d e p e n d e n tc o m p o n e n ta n a l v s i s ) 。i c a 的思想就是从去除信息之间相关的角度分析数据，使 得变换以后的变量之间是相互独立的。十几年来，人们提出了很多不同的 求解方法，比较成功的有：( 1 ) b e l la n dse i n o w s k i 1 6 1 从信息最大化的原则 导出的i n f 0 m a x 算法。( 2 ) h y v 扒n e nf 6 2 1 从非负熵的原则导出了一个固定点算 法：f b t i c a 。从最初i c a 的思想被成功地应用在盲信号分离上之后，i c a 已经 得到了广泛的应用。b a r t l e t t 9 1 0 1 第一次把它引入到人脸识别中，她把人脸图 像看成是一组独立基图像的线性叠加结果。m c k e o w n 8 1 1 用i c a 分析f m r i 图像 得到得到了很好的结果。在独立成份分析中有两种模型，一种是空域独立成份 分析( s p a t i a li c a ) 把样本图像看作是变量，每个像素是观察；另一种是时域 独立成份分析( t e m p o r a l i c a ) ，把像素看作变量，而每个样本图像是一个观 察。 2 2 独立成份分析 在给出独立成份分析的定义之前，我们先讨论一个著名的“鸡尾酒会”问 题( c o c k t a i l 一p a r t yp r o b l e m ) 。假设在一问房子里有三个人在交谈，恰好有三个 麦克风放在房间的三个不同角落并实时地记录下他们的声音，“鸡尾酒会” 问题就是如何仅用这三个麦克风纪录的声音信号估计出这三个人各自的声音 信号。我们可以把这个问题用公式表示，可以设z l ( 如茁：( t ) 、z 3 ( t ) 分别是这三个 麦克风纪录的声音信号，s l ( t ) ，s 2 ( ) ，s 3 ( ) 是三个谈话者的声音信号，是时间变 量。我们不妨假定麦克风纪录的声音信号是这三个谈话者的声音信号的加权 和： z l ( ) = o l l s l ( ) + n 1 2 s 2 ( t ) + 。1 3 s 3 ( t ) z 2 ( t ) = 2 i s l ( t ) + a 2 2 s 2 ( t ) + 0 2 3 s 3 ( t )( 2 1 ) z 3 0 ) = a 3 l s l ( t ) + n 3 2 s 2 ( f ) + 0 3 3 s 3 ( t ) 其中，o 巧( t ) 是未知的权值。问题变为已知z t ( t ) ，。2 ( f ) ，z 3 ( ) ，如何估计 出s l ( t ) s 2 ( ) ，s 3 ( t ) 。如果知道权值。玎( ) ，这个问题是个简单的线性方程组求 解问题。遗憾的是我们既不知道sz ( ) ，s 2 ( t ) ，s 。( t ) ，也不知道权值n “( t ) 。但是， 我们可以做一些先验假设，尽管这些假设很强，对问题的求解却是很有帮助 第1 0 页 特征提取中的子空间分析方法研究及其应用 的。我们假设s ( t ) ，s 2 ( t ) s 3 ( t ) 对于