（控制科学与工程专业论文）流形学习理论与方法研究及在人脸识别中的应用.pdf

国防科学技术大学研究生院博士学位论文 摘要 机器学习与数据分析的主要任务是获取高维数据中的内在规律。传统的分析 方法一般假设数据集存在全局线性结构，即构成数据集的各变量之间是独立无关 的。但是，面对现有数据的高数据量、高维数、高增长率以及非结构化等特点， 传统方法很难发现数据集的真实结构。为此，研究人员将目光投向了流形学习。 流形学习算法的研究是涉及拓扑学、图论、机器学习、模式识别、信号处理、 计算机视觉等多学科多领域交叉的结果，可以有效地发现高维数据分布的内在几 何结构，挖掘隐藏在高维数据中的本征信息与内在规律，甚至找出产生数据集的 隐藏变量。作为一种新兴的机器学习与高维数据分析方法，流形学习已逐渐成为 国内外诸多领域的研究热点，并同益广泛应用于生物特征识别、信号处理、高维 数据分析等。 论文以黎曼几何与拓扑理论为基础，对流形的学习理论、流形的几何与拓扑 结构、流形的噪声学习、流形的重构与增量学习以及流形的半监督学习等关键问 题进行了深入的研究，弥补了现有流形学习理论中存在的缺陷和不足，并将流形 学习理论成功引入人脸识别与高维图像数据的处理中。主要工作及创新点如下： 1 提出了生长型局部线性嵌入算法流形学习方法存在一个严重的不足就是 需要事先估计低维目标空间的维数，并且由于稠密性假设，算法具有很高的计算 量，严重降低了算法的适用性。论文在局部线性嵌a ( l l e ) 算法的基础上引入了生 长型神经气( g n g ) 模型，结合竞争h e b b 规则构建覆盖整个流形的稀疏图，提出了 新的生长型局部线性嵌a ( g l l e ) 算法，解决了原始l l e 算法的三个缺陷，可以自 动估计出流形的本征维数，实现节点邻域的动态选择，并显著降低算法复杂度， 提高算法的自适应性，实现了流形的非参数学习。仿真结果验证了g l l e 算法在 流形展开、高维数据可视化与生物特征识别中的有效应用。 2 解决流形学习的噪声干扰问题流形学习算法大都基于局部几何结构( 包 括i s o m a p 算法，其在计算测地距离时仍然使用的是局部晟近邻) ，这一特点使得 流形学习方法很容易受噪声影响。论文针对现有流形学习算法对噪声敏感的特点， 结合局部主曲面算法，提出了一种新的噪声流形学习算法邻域平滑嵌入算法 ( n s e ) ，有效的解决了噪声流形学习问题，也给出鲁棒流形学习的一个新思路。 3 提出新的流形学习统一框架在样本泛化与图嵌理论的基础上，提出了更 一般的流形学习统一框架，这一框架包含了图的建立、张量学习、增量学习和有 监督学习。同时，在对流形学习深入研究的基础上，论文综述了现有流形学习算 法的特点，为流形学习的进一步研究指出了方向。 第1 页 国防科学技术大学研究生院博十学位论文 4 有监督流形学习目前流形学爿方法大都是尤监督学习，可以很好地实现 数据的降维和可视化。如何有效地利用己知的类别信息进行特征提取并分类，是 流形学习切入应用的重要突破口。论文在提出的统一框架下，依据训练集中已知 的类别信息建立g r a p h ，对空问进行有监督划分，再对测试集进行分类与可视化。 对人脸表情识别的仿真试验证明了有监督流形学习的有效性。 5 增量流形学习流形学习基于光滑连续性假设和稠密性假设，这就要求流 形学习初始化时具有很多的样本，此外，满足局部保距假设令流形学习对新的样 本点无能为力，必须重新计算几何或拓扑结构矩阵，这就严重降低了算法的适应 性。论文从重构出发，利用求导法和子流形分析法给出基于l a p l a c i a ne i g e n m a p s 的类内增量学习算法，算法具有一阶最优解。 6 流形结构下的度量现有流形学习中寻找邻域都是基于欧氏距离，因为在 无穷小范围内黎曼空间等价于欧氏空问。但是流形的采样密度很难达到这一要求， 所以论文根据黎曼流形以及流形学习保持局部几何结构的特点，结合前期提出的 一氧化氮州i t r i co x i d e ，n o ) 时空动态扩散模型，提出了新的适用于统一框架下流形 学习算法的距离度量扩散距离。扩散距离的引入，为流形学习中图的建立提 供了一个新的思路，提高了流形学习的鲁棒性，同时可以解决多连通、环状等流 形的映射问题。 7 建立具有东方特征的人脸数据库算法的有效应用是一种算法得以生存发 展的重要依据，流形学习算法经过这几年的发展，逐渐在高维数据处理与模式识 别等领域找到了成功的应用，也推动了流形学习研究更进一步的发展和深入。但 是国内绝大部分研究仍然是基于网上所获取的已知数据，特别是人脸识别研究中， 基本上没有适合东方人脸特征的数据集，使得研究有些偏离应用。论文基于已有 条件不断设计改良采集环境，建立了多姿态表情光照单c a m e r a 的人脸采集系统， 并初步建立了一个小型的东方人脸数据库。 主题词：机器学习，流形，流形学习，生物特征识别，生长型局部线性嵌入， 邻域平滑嵌入，图嵌理论，增量学习，扩散距离度量 第1 i 页 国防科学技术大学研究生院博十学 i ) ：论文 a b s t r a c t t h em a i ng o a lo fm a c h i n el e a r n i n ga n dd a t aa n a l y s i si st of i n dt h ei n t r i n s i cl a w so f h i g hd i m e n s i o n a ld a t as e t t r a d i t i o n a la n a l y s i sm e t h o d ss u p p o s et h a tt h es t r u c t u r eo fa d a t as e ti su s u a l l yl i n e a r e g t h eh i d d e nv a i l a b l e so ft h ed a t as e ta r ei n d e p e n d e n ta n d i n c o r r e l a t e h o w e v e r t h et r a d i t i o n a lm e t h o d sc a nh a r d l yf i n dt h et r u es t r u c t u r eo ft h e d a t as e tb e c a u s eo f i t sl a r g ea m o u n t ，h i g hd i m e n s i o n ，q u i c kg r o w i n gr a t e ，a n dn o n l i n e a r c h a r a c t e r i s t i c s t h u s ，m a n i f o l dl e a r n i n gh a sa p p e a r e di nr e s e a r c h e r s s i g h t s m a n i f o l dl e a r n i n gr e s e a r c h i n v o l v e st o p o l o g y ，g r a p ht h e o r y ，m a c h i n el e a r n i n g ， p a t t e r nr e c o g n i t i o n ，s i g n a lp r e c e s s i n g ，c o m p u t e rv i s i o n ，a n de t c m a n i f o l dl e a r n i n g m e t h o d sc a ne f f e c t i v e l yf i n dt h ei n t r i n s i cg e o m e t r i cs t r u c t u r ei nh i g hd i m e n s i o n a ld a t a ， a n dd i go u tt h ef e a t u r ei n f o r m a t i o na n dt h ei n h e r e n tl a w s a san o v e lm a c h i n el e a r n i n g a n dh i 曲d i m e n s i o n a ld a t aa n a l y z i n gt o o l ，m a n i f o l dl e a r n i n gh a sb e e nah o tr e s e a r c h s p o t ，a n dg r a d u a l l ya p p l i e di nb i o m e t r i c s ，h i g h d i m e n s i o n a ld a t aa n a l y s i s ，a n d e t c t h et h e s i sh a sc o n d u c t e ds o m ed e e dt h e o r e t i c a li n v e s t i g a t i o ni nm a n i f o l dl e a m i n g m e t h o d s ，i n c l u d i n gl o c a l l yl i n e a re m b e d d i n g ，i s o m a pa n dl a p l a c i a ne i g e n m a p s t o o v e r c o m es e v e r a ll i m i t a t i o n si nm a n i f o l dl e a m i n g ，w eh a v ep r e s e n t e ds o m ei m p r o v i n g v e r s i o n s i na d d i t i o n ，s o m ea p p l i c a t i o n so nf a c er e c o g n i t i o na n dh i 曲d i m e n s i o n a ld a t a a r ep r o p o s e db a s e do nt h ep r e s e n t e da l g o r i t h m s 1 1 1 em a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： 1 p r e s e n t i n gg r o w i n gl o c a l l yl i n e a re m b e d d i n g t h ei n t r i n s i cd i m e n s i o n e s t i m a t a t i o no ft h ed a t ai sak e yi s s u ei nm a n i f o l dl e a r n i n g a c c o r d i n gt od e n s e n e s s h y p o t h e s i s ，m a n i f o l dl e a r n i n ga l g o r i t h m sh a v et ob u r d e nah i g hc o m p u t a t i o n a l c o m p l e x i t y ，w h i c hr e d u c et h ea p p l i c a b i l i t ys e r i o u s l y t h i st h e s i si n t r o d u c e sg r o w i n g n e u r a lg a sm o d e li n t ol o c a l l yl i n e a re m b e d d i n g ( l l e ) ，c o n s t r u c t e sas p a r s eg r a p h w h i c hc o v e r sm a n i f o l dw i t ht h ec o m p e t i t i v eh e b bl e a r n i n gr u l e ，a n dp r e s e n t sg r o w l n g l o c a l l y l i n e a r e m b e d d i n g ( g l l e ) t h e n o v e la l g o r i t h mh a ss o l v e dt h r e e s h o r t c o m i n g so ft h eo r i g i n a ll l e g l l ec a ne s t i n a a t e t h ei n t r i n s i cd i m e n s i o n a d a p t i v e l y ，s e l e c tt h en e i g h b o r h o o d s i z ed y n a m i c a l l y ，a n dr e d u c et h ec o m p l i x i t y o b v i o u s l y ，s i m u l a t i o nr e s u l t sh a v es h o w nt h ee f f e c t i v ea p p l i c a t i o n so fg l l ei n n l a n i f o l du n f o l d i n g v i s u a l i z a t i o no f h i g hd i m e n s i o n a ld a t aa n db i o m e t r i c s 2 s o l v i n gt h en o i s ep e r t u r b a t i o ni nm a n i f o l dl e a r n i n g m a n i f o l dl e a r n i n g a l g o r i t h m sc a nf i n dt h ei n t r i n s i ci n f o r m a t i o no f h i g hd i m e n s i o n a ld a t ab a s e do nt h el o c a l g e o m e t r i cs t r u c t u r ep r e s e r v a t i o n t l l i sc h a r a c t e r i s t i cm a k e sm a n i f o l dl e a r n i n gm e t h o d s s e n t i t i v et on o i s eb e c a u s en o i s ep e r t u r b a t i o nm a yc h a n g et 1 1 el e t a ls t r u c t u r eo fd a t a t h i s t h e s i sp r e s e n t san o v e lm a n i f o l dl e a r n i n ga l g o r i t h mf o rn o i s ym a n i f o l d ，n a m e l y n e i g h b o r h o o ds m o o t h i n ge m b e d d i n gm s e ) ，b a s e do r l t h el o c a ll i n e a rs u r f a c e e s t i m a t o r ( l l s e ) t h ea l g o r i t h mp r o p o s e sa ne f f e c t i v es o l u t i o nt on o i s ym a n i f o l d ，a n d 第1 i i 页 国防科学技术大学研究生院博+ 学位论文 an e w p e r s p e c t i v eo nr o b u s tm a n i f o l dl e a r n i n g 3 g e n e r a l i z i n gac o m m o nf r a m e w o r kf o rm a n i f o i dl e a r n i n g b a s e do nt 1 1 e o u t o f - s a m p l ef r a m e w o r ka n dt h eg r a p he m b e d d i n gf r a m e w o r k ，t h et h e s i sp r e s e n t sa m o r eg e n e r a lc o m m o nf r a m e w o r kf o rm a n i f o l dl e a r n i n g t h en e wf r a m e w o r ke m b o d i e s g r a p hc o n s t r u c t i o n ，t e n s o rl e a r n i n g ，i n c r e m e n t a ll e a r n i n ga n ds u p e r v i s e dl e a r n i n g f u r t h e r m o r e ，t h et h e s i sg i v e sas u r v e y0 nt h ec h a r a c t e r i s t i c so fm a n i f o l dl e a r n i n g a l g o r i t h m s ，a n di n d i c a t e st h ef u t u r er e s e a r c hd i r e c t i o n s 4 s u p e r v i s e dm a n i f o l dl e a r n i n g m a n i f o l dl e a r n i n ga l g o r i t h m sa r em o s t l y t m s u p e r v i s e dm e t h o d s t h e yc a ne f f e c t i v e l yp e r f o r md i m e n s i o n a l i t yr e d u c t i o na n dd a t a v i s u a l i z a t i o n h o w e v e r , h o wt oe x t r a c td a t af e a t u r e sa n dc l a s s i f yu s i n gl a b l ei n f o r m a t i o n i sak e yp o i n ti nm a n i f o l dl e a r n i n ga p p l i c a t i o n s 1 1 1 et h e s i se m b e d st h es u p e r v i s e d m a n i f o l dl e a r n i n gi n t ot h ec o m m o nf r a m e w o r k t h u st h es u p e r v i s e dm a n i f o l dl e a r n i n g w i l lc o n s t r u c tt h eg r a p ha c c o r d i n gt ot h el a b l ei n f o r m a t i o n ，p a r t i t i o nt h et r a i n i n gd a t a s p a c e ，a n dc l a s s i f yt h et e s td a t a n ee x p e r i m e n t so nf a c ee x p r e s s i o nr e c o g n i t i o nh a v e s h o w nt h e e f f e c t i v e n e s so fs u p e r v i s e dm a n i f o l dl e a r n i n g 5 1 n c r e m e n t a lm a n i f o i d l e a r n i n g m a n i f u l dl e a r n i n gr e q u i r e sm a n yd a t a s a m p l e sf o rl e a r n i n ga c c o r d i n gt os m o o t h i n gc o n t i n u o u sh y p o t h e s i sa n dd e n s e n e s s h y p o t h e s i s w h a t sm o r e l o c a l i t yp r e s e r v a t i o nh y p o t h e s i sm a k e sm a n i f o l dl e a r n i n g a l g o r i t h m si n c a p a b l eo fr e p r e s e n t i n gn e ws a m p l e s m a n i f o l dl e a r n i n ga l g o r i t h m sh a v e t or e c o m p u t et h ec o n s t r u c t i v e ( g e o m e t r i co rt o p o l o g i c a l ) m a t r i x ，w h i c hr e d u c et h e a p p l i c a b i l i t yo ft h ea l g o r i t h m ss e r i o u s l y i nt h et h e s i sw ei n t r o d u c ed i f f e r e n t i a la n d s u b m a n i f o l da n a l y s i si n t ol a p l a c i a ne i g e n m a p s ，a n dp r e s e n ta r ti n c r e m e n t a lm a n i f o l d l e a r n i n gm e t h o d ，w h i c hh a sa no p t i m a ls o l u t i o n 6 m e t r i eo fm a n i f o i ds t r u c t u r e n e i g h b o r h o o ds e a r c h i n gi nm a n i f o l dl e a r n i n g i sb a s e do nt h ee u c l i d e a nd i s t a n c e b e c a u s er i e m a n ns p a c ei se q u i v a l e n tt oe c l i d e a n s p a c ei ni n f m i t e s i m a lr a n g e h o w e v e r , s a m p l i n gd e n s i t yc a n n o tr e a c ht h i sr e q u i r e m e n t t h i st h e s i sp r e s e n t san e wd i s t a n c em e t r i c 一i f f u s i o nd i s t a n c e b a s e do nt h el o c a l i t y p r e s e r v a t i o nc h a r a c t e r i s t i ca n dn i t i l e0 x i d em o ) d y n a m i cd i f f u s i o nm o d e l d i f f u s i o n d i s t a n c ei n c r e a s e st h er o b u s t n e s so fm a n i f o i dl e a r n i n g a n dc a nm a pc i r c u l a rm a n i f o l d 7 b u i l d i n ga na s i a nf a c ed a t a b a s e i nt h ef i e l do ff a c er e c o g n i t i o n ，m o s tf a c e d a t as e t sa r ec a p t u r e df r o ma b r o a dv o l u n t e e r s t l i sm a k e sr e c o g n i t i o nm e t h o d sn o t s u i t a b l ef u rt h eo r i e n t a lf a c ef e a t u r e s t h u si ti si m p o r t a n ta n dn e c e s s a r yt ob u i l do a r l a r g e s c a l ea s i a nf a c ed a t as e t w eh a v ed e s i g n e das i n g l ec a m e r af a c ea c q u i s i t i o n s y s t e m b a s e do nt h i ss y s t e mw eh a v eb u i l tas m a l l s c a l ec h i n e s ev a r i a n tp i e sf a c e d a t a s e t ，a n dt h ed a t as e tw i l lb ee x p a n d e di nt h ef u t u r ew o r k k e yw o r d s ：m a c h i n el e a r n i n g ，m a n i f o l d m a n i f o l dl e a r n i n g 。b i o m e t r i c s g r o w i n gl o c a l l yl i n e a re m b e d d i n g ，n e i g h b o r h o o ds m o o t h i n ge m b e d d i n g ，g r a p h e m b e d d i n g ，i n c r e m e n t a ll e a r n i n g ，d i f f u s i o nd i s t a n c em e t r i c 第1 v 页 国防科学技术人学研究生院搏十学位论文 l l e i s o m a p l e l p p p c a 2 d p c a l d a i c a f a m d s g n g s o m s v m p i e n m f e g m h m m n p p o n p p d s o m d g s o m h l l e a l t t n g g n g g c s c h l g l l e l t s a l l s e r l l e n s e m d t n p p s l l e 主要算法英文缩略语的中英文对照 l o c a l l yl i n e a re m b e d d i n g i s o m e t r i cm a p p i n g s l a p l a c i a ne i g e n m a p s l o c a l i t yp r e s e r v i n gp r o j e c t i o n p r i n c i p a lc o m p o n e n ta n a l y s i s t w od i m e n s i o n a lp c a l i n e a rd i s c r i m i n a n ta n a l y s i s i n d e p e n d e n tc o m p o n e n ta n a l y s i s f a c t o ra n a l y s i s m u l t i d i m e n s i o n a ls c a l i n g g r o w i n gn e u r a lg a s s e l f - o r g a n i z i n gm a p s s u p p o r tv e c t o rm a c h i n e p o s e ，i l l u m i n a t i o n ，e x p r e s s i o n n o n n e g a t i v em a t r i xf a c t o r i z a t i o n e l a s t i c - b u n c hg r a p hm a t c h i n g h i d d e nm a r k o vm o d e l n e i g h b o r h o o dp r e s e r v i n gp r o j e c t i o n o r t h o g o n a ln e i g h b o r h o o dp r e s e r v i n gp r o j e c t i o n d i f f u s i n gs o m d i f f u s i o na n dg r o w i n gs o m h e s s i a nl l e a d a p t i v er e s o n a n c et h e o r y n e u r a lg a s g r o w i n gn e u r a lg a s g r o w i n gc e l ls t r u c t u r e c o m p e t i t i v eh e b bl e a r n i n g g r o w i n gl l e l o c a lt a n g e n ts p a c ea l i g n m e n t l o c a ll i n e a rs m o o t h i n ge m b e d d i n g r o b u s tl l e n e i g h b o r h o o ds m o o t h i n ge m b e d d i n g m a n i f o l dd e n o i s i n g t o p o l o g yn e i g h b o r h o o dp r e s e r v a t i o np r o j e c t i o n s u p e r v i s e dl l e 局部线性嵌入 等度规映射 l a p l a c i a n 特征映射 局部保持投影 主成分分析 二维主成分分析 现行判别分析 独立成分分析 因子分析 多维尺度规划 生欧型神经气 白组织映射 支撑向量机 姿态光照表情 非负矩阵因子 弹性图匹配 隐马尔可夫模犁 邻域保持投影 正交邻域保持投影 扩散型自组织映射 扩散生k 型自组织映射 h e s s i a n 局部线性嵌入 自适应共振理论 神经气模型 生长型神经气模型 生长胞元结构 竞争h e b b 学习 生长型局部线性嵌入 局部切空间排列 局部线性平滑嵌入 鲁棒局部线性嵌入 邻域平滑嵌入 流形去噪 拓扑邻域保持投影 监督局部线性嵌入 第i v 页 国防科学技术大学研究生院博十学位论文 图目录 图1 1受光照影响的多姿态人脸图像及其在低维中的表示2 图1 2 生物特征识别系统框架4 图1 3 论文的组织结构一1 7 图2 1 流形学习的根源2 0 图2 2 几种表面均是同胚的凸多面体模型2 1 图2 _ 3 从左到右环柄数分别为1 ，2 ，3 的同伦等价示例2 1 图2 4 高维空间中的低维流形2 2 图2 5 流形在视觉感知中的作用示意图2 3 图2 6 对s w i s sr o l l 和s - c u r v e 数据的线性投影3 4 图2 7i s o m a p 中维数与残差曲线图3 4 图2 8网络平均连接节点数目与输入空间维数的关系曲线3 5 图2 9 训练集嵌入变异性与泛化误差关系3 7 图2 1 0 手写数字图像“1 ”和“7 ”在2 d 空间中的映射，3 7 图2 1 1加入噪声后的s - c u r v e 映射结果3 8 图2 1 2 带孔洞s w i s si b i l 数据集的展开4 0 图3 1 不同邻域下s w i s sr o l l 的l l e 展开结果( 样本量为1 0 0 0 ) 一4 2 图3 2 s w i s sr o l l 不同采样数据下的l l e 展开结果( 庐1 1 ) 4 2 图3 3n g 模型对环形输入分布的映射结果4 5 图3 4 使用c h l 规则环形输入分布中的节点建立拓扑连接4 7 图3 5 改进的g n g 模型中节点之问拓扑联接更新示意图4 7 图3 6g n g 模型的生长过程及对环形输入分布的映射结果4 8 图3 7 没有拓扑联接与带拓扑联接的g n g 映射结果比较4 8 图3 8生长型神经气模型对s w i s sr o n 的映射结果4 9 图3 9 数据点石与邻域点蜀及其局部线性重构己r y e l 5 0 图3 1 0 原始l l e 算法实现示意图5 1 图3 1 ll l e 用于手旋杯图像序列5 2 图3 1 2 网络节点联接与输入空闯维数的关系5 6 图3 1 3 不同邻域残差曲线及最优残差值5 6 图3 1 4 两种算法的时间代价比较5 7 图3 1 5 三维空问中s w i s sr o l l 与s c u r v e 的l l e 展开结果( n = 2 0 0 0 ) 5 8 图3 1 6 随机选取初始样本的g l l e 展开结果5 8 图3 1 7 小样本条件下s w i s sr o l l 与s 曲面的l l e 展开结果( = 5 0 0 ) 5 9 第v 页 国防科学技术大学研究生院博十学位论文 图3 1 8 图3 1 9 图3 2 0 图3 2 1 图3 2 2 图 图 图 图 2 3 2 4 2 5 2 6 图3 2 7 图3 2 8 图3 2 9 图3 3 0 图3 3 1 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图4 1 2 图4 1 3 图4 1 4 图4 1 5 图4 1 6 图4 1 7 图4 1 8 图4 1 9 图4 2 0 图3 7 中s w i s sr o l l 展j l ：结果的拓扑结构图和v o r o n o i 区域5 9 f r e yf a c e 典型人脸数据6 0 f r e y 人脸图像的l l e 与g l l e 算法展开结果一6 0 噪声背景下移动百合花图像的二维拓扑展开6 0 部分手写数字样本6 1 数字分类的二维空洲划分6 l 各算法时间消耗对比6 2 各算法平均误识率比较6 2 部分o r l 人脸数据样本6 3 五种算法的错误识别率对比曲线6 4 各算法时间消耗对比6 4 i s o m a p 中测地线示意图6 5 l - i s o m a p 对s w i s sr o l l 数据的展开结果( 七= 8 ) 6 5 改进的l i s o m a p 在数据s w i s sr o l l 上的映射结果6 5 加入噪声s 曲面的l l e 二维展开图( k = - 8 ) 6 8 不同噪声水平下的s 曲面展开结果一6 9 不同噪声水平下的s w i s sr o l l 展开结果6 9 s w i s sr o l l 的邻域连接图6 9 l t s a 对石膏头像数据的展开结果( 扣1 2 ) 7 4 原始与含0 均值方差为0 0 5 d 噪声的双峰曲面的降维7 5 局部线性平滑用于去除奇异值7 6 加入奇异点( o u t l i e r ) 的流形展开结果7 7 加入奇异值干扰的数字“8 ”的展开结果7 8 乳腺癌数据在二维空问中的展丌结果7 9 局部线性曲面估计8 2 邻域平滑嵌入算法的平滑原理图8 3 噪声数据的l l e n s e 展开结果8 3 部分f r e y f a c e 图像和加入噪声后的图像8 5 f r e y f a c e 与加入噪声后的数据集的二维空间可视化( k = - 1 2 ) 8 7 手旋杯数据样本8 7 三维空间中手旋杯数据的l l e n s e 展开结果( k = - 1 2 ) 8 8 一些o r l 人脸和添加g a u s s i a n 噪声后的图像。8 9 噪声o r l 人脸识别误差率。9 0 m n i s t 数据库中的手写数字图像样本9 0 笫v i 页 国防科学技术大学研究生院博士学位论文 幽4 2 1 噪卢m n l s t 数据集的误差率9 l 图5 1 数据集的低维映射与高维重构9 5 图5 2 s w i s sr o l l 数据集的展开结果9 9 图5 3 s w i s sr o l l 数据集的t n p p 展开结果1 0 1 图5 4f r e y f a c e 人脸数据集的可视化结果1 0 1 图5 5 流形学习的统一框架1 0 4 图5 6 无监督与有监督情况下的邻域选择与映射结果( s w i s sr o l l ) 1 0 6 图5 7 采用不同方法把i r i s 数据降n - - 维，并用s v m 分类器分类1 0 8 图5 8 采用不同方法把i r i s 数据降维后使用s v m 分类的误差柱状图一1 0 9 图5 9i r i s 数据每类样本数逐渐增加时不同方法对应的误差曲线10 9 图5 1 0 表情识别的系统框图11 0 图5 1 1 六种表情在3 d 空间中的分布1 1 0 图5 1 2f r e y f a e e s 人脸表情的有监督可视化结果1 11 图5 1 3 应用求导法对s w i s sr o l l 数据进行降维的增量学习1 1 4 图5 1 4 应用子流形分析法对s w i s sr o l l 数据进行降维的增量学习11 4 图5 1 5 新输入点轴l 与已有样本点距离过大示意图“1 1 5 图5 1 6s c u r v e 类问样