（计算机应用技术专业论文）稀疏编码算法中的自适应问题研究.pdf

摘要 摘要 稀疏编码算法最初是作为自然图像的神经编码模型而提出的，主要用于模拟 哺乳类生物视觉系统初级视皮层v 1 区简单细胞的视觉加工过程。稀疏编码算法的 基本原理可描述为：对于一个给定的自然图像刺激，仅有- - + 部分简单细胞被激 活。同时，稀疏编码算法的基本思想也可理解为：在不同的图像刺激下，一个给 定的简单细胞是很少被激活的。由于稀疏编码算法不但能够成功模拟初级视皮层 v l 区简单细胞的神经响应特性，而且可以根据输入图像自身的特点学习基函数， 因此是一种自适应的神经编码方法，应用前景十分宽广。例如，稀疏编码算法已 经在图像编码、图像消噪、图像检索、盲源分离、特征提取以及模式识别等诸多 领域都有重要的应用。然而，因为神经生理学家对初级视皮层v 1 区信息加工机制 的了解尚不全面，所以稀疏编码算法目前仍处于发展阶段，其在理论和应用方面 的研究还有待于进一步的深化和完善。 本文首先介绍了与稀疏编码算法相关的神经生理学背景，接着给出了稀疏编 码算法的数学描述，然后阐述了稀疏编码算法的发展历史、研究现状和存在问题， 最后主要针对稀疏编码算法中的自适应问题进行了深入研究，提出了三种有效的 自适应改进方法，旨在提高稀疏编码算法在预处理阶段和学习阶段的自适应能力， 并在自然图像特征提取、人脸识别和盲源分离等实际应用中加以验证分析。 全文的主要研究工作可以概括如下： 第一，提出了一种基于自然图像能量谱特性的自适应白化低通滤波预处理方 法。在该项研究工作中，本文首先指出现有的固定白化滤波器的不足，其次在分 析自然图像能量谱的幂率特性基础上，构建了一个参数可调的白化滤波器，然后 通过探讨自然图像像素点间的二阶去相关过程与白化滤波预处理之间的等价关 系，提出了一种有效且可靠的白化参数自适应学习方法。由于白化参数可根据输 入图像学习得到，因此与固定的白化滤波器相比，本文提出的自适应白化滤波器 的适用范围更广。同时，考虑到白化滤波器具有噪声放大效应，因此本文又进一 步地将低通滤波器与白化滤波器相结合，构造了一个白适应白化低通滤波器。它 不但能使输入图像中的边缘、线段等有效高频成分得到增强，而且可以降低噪声 污染，因此对基于高阶统计特性的稀疏编码算法而言是十分有利的。例如，在自 然图像特征提取的仿真实验中发现，自适应白化低通滤波预处理能够加快稀疏编 码算法的学习速度：在人脸图像i c a ( 由于i c a 与稀疏编码算法存在特殊的等价 关系，因此本文亦将i c a 纳入稀疏编码算法框架内) 特征识别的仿真实验中则发 现，自适应白化低通滤波预处理能显著增强i c a 人脸特征的识别率。 北京交通大学博士学位论文 第二，提出了一种基于l o r e n t z 自适应先验概率模型的稀疏编码算法。在该项 研究工作中，本文通过分析稀疏编码算法的b a y e s 内涵指出，现有的稀疏编码算 法由于通常事先假定基函数系数服从某个统一且固定的超高斯分布，因此在实际 应用中具有一定的局限性，且与y d 孚- l 类生物视觉系统中普遍具有的自适应学习机 制是不相符的。为了解决这个问题，本文首先从方法论的角度指出应将基函数系 数的先验概率分布也看作是稀疏编码算法的学习目标之一，即应通过自适应学习 的方式来确定基函数系数的先验概率分布。接着，从理论分析的角度论证了将标 准c a u c h y 分布的单参数推广形式一一l o r e n t z 分布作为基函数系数先验概率 模型的可行性。然后，推导了基于l o r e n t z 自适应先验概率模型的稀疏编码算法。 与现有的稀疏编码算法的主要不同之处在于，后者需在稀疏编码交替迭代的外部 循环阶段增加除基函数学习之外有关l o r e n t z 先验概率密度参数估计的学习任务。 由于先验概率的密度参数能够根据输入数据自动更新，因此与现有的稀疏编码算 法相比，本文提出的基于l o r e n t z 自适应先验概率模型的稀疏编码算法的编码效率 更高。同时，这一结论在自然图像特征提取的仿真实验中得到了充分验证。 第三，提出了一种基于p e a r s o nv i i 型自适应先验概率模型的稀疏编码算法。 在该项研究工作中，本文首先通过分析l o r e n t z 密度函数的尾部特征指出，l o r e n t z 分布的尾部指数等于且始终等于2 。亦即，虽然l o r e n t z 稀疏先验概率模型中包含 一个可灵活调节的尺度参数，但是从稀疏分布的重尾性角度来看，l o r e n t z 分布的 灵活性仍然有待提高。因此，本文提出应在l o r e n t z 分布的密度函数中再增加一个 能够反映分布函数尾部特征的形状参数，希望通过该参数的可调节性进一步改善 稀疏编码算法的自适应性。实际地，这个含双参数的c a u c h y 分布推广形式就是 p e a r s o nv 1 1 分布。由于形状参数的引入，与仅含尺度参数的l o r e n t z 先验概率模型 相比，p e a r s o nv i i 型先验概率模型的灵活性更高，能够更精确地捕捉输入信号的 高阶统计特征，从而可以更好地揭示输入信号的本质属性，因此与基于l o r e n t z 自 适应先验概率模型的稀疏编码算法相比，基于p e a r s o nv i i 型自适应先验概率模型 的稀疏编码算法的编码效率得到了进一步的提高。同样地，这一结论在自然图像 特征提取的仿真实验中得到了充分验证。 第四，将本文提出的两种广义c a u c h y 先验概率模型与特殊的稀疏编码算法， 即i c a 算法相结合，一方面希望能够提高传统i c a 算法的盲源分离性能，另一方 面则希望能够进一步验证两种稀疏先验模型的有效性。由于在i c a 盲源分离算法 中，非线性对比函数的合理选择是确保能从混合信号中正确分离出源信号的关键， 因此解决非线性对比函数的自适应学习问题对于提高分离性能具有重要意义。本 文通过揭示非线性对比函数与源信号的先验概率分布之间的密切关系指出，非线 性对比函数的自适应学习过程可通过在分离过程中不断调整源信号的先验概率分 摘要 布形式的方式实现，同时推导出先验概率模型分别采用自适应的l o r e n t z 概率分布 和p e a r s o nv i i 型概率分布时的i c a 盲源分离算法，并在实际应用中亦发现：与采 用固定对比函数的i c a 算法相比，本文探讨的两种先验概率自适应的i c a 分离算 法的分离性能明显提高；同时，后者比前者的分离性能又有所改善。 关键词：有效编码；b a y e s 理论；稀疏编码；独立分量分析：人脸识别；盲源分离 分类号：t p 3 9 1 a b s t r a c t a bs t r a c t t h es p a r s e c o d i n ga l g o r i t h mw a so r i g i n a l l yd e v e l o p e da san e u r a lm o d e lf o r n a t u r a li m a g e s ，i no r d e rt os i m u l a t et h ev i s u a lp r o c e s s i n go fs i m p l ec e l l si nt h ep r i m a r y v i s u a lc o r t e x ( a r e av 1 ) o fm a m m a l s t h ep r i n c i p l eo fs p a r s ec o d i n gc o u l db ee x p r e s s e d t h a to n l yas m a l ln u m b e ro fs i m p l ec e l l sa r es i g n i f i c a n t l ya c t i v a t e df o ra g i v e ni m a g e s i g n a l e q u i v a l e n t l y , t h ei d e ao fs p a r s ec o d i n gi st h a tag i v e ns i m p l ec e l li so n l yr a r e l y s i g n i f i c a n t l ya c t i v ef o ras e r i e so fd i f f e r e n ti m a g es i g n a l s b e c a u s ei tc a ns u c c e s s f u l l y m o d e lt h er e s p o n s ep r o p e r t i e so fs i m p l ec e l l si nt h ep r i m a r yv i s u a lc o d e xo fm a m m a l s ， a n dc a nl e a r nt h ec h a r a c t e r i s t i cb a s i sf u n c t i o n sf r o mt h es t a t i s t i c so ft h ei n p u ti m a g e s ， t h es p a r s ec o d i n ga l g o r i t h mi sr e g a r d e da sa ne f f e c t i v en e u r a lc o d i n gm e t h o dw i t ha n a d a p t i v el e a m i n gm e c h a n i s m ，w h i c hc e r t a i n l yh a sap r o m i s i n gf e a t u r e a c t u a l l y ，t h e s p a r s ec o d i n ga l g o r i t h mh a sb e e na p p l i e di ni m a g ec o d i n g ，i m a g ed e n o i s i n g ，i m a g e r e t r i e v a l ，b l i n ds o u r c es e p a r a t i o n ，f e a t u r ee x t r a c t i o na n dp a t t e r nr e c o g n i t i o n ，e t c ， h o w e v e r ，t h es p a r s ec o d i n ga l g o r i t h mi ss t i l la tad e v e l o p i n gs t a g e ，f o rt h e r er e m a i n sa g r e a td e a lt h a ti ss t i l lu n k n o w na b o u th o wt h ep r i m a r yv i s u a lc o d e xw o r k s t h e r e f o r e ， t h et h e o r ya n da p p l i c a t i o ns t u d yo fs p a r s ec o d i n gs h o u l db ee n h a n c e da n di m p r o v e d f u r t h e r i nt h i sd i s s e r t a t i o n ，a f t e rab r i e fi n t r o d u c t i o nt ot h en e u r o b i o l o g i cb a c k g r o u n do f s p a r s ec o d i n g ，as i m p l em a t h e m a t i cd e s c r i p t i o no fs p a r s ec o d i n gw a sg i v e n ，a n dt h e nt h e d e v e l o p m e n th i s t o r y , t h ec u r r e n tr e s e a r c hs t a t u sa n dt h es h o r t c o m i n g so fs p a r s ec o d i n g w e r ei n t r o d u c e d i nt h ef o l l o w i n g ，s o m eu n r e s o l v e da d a p t i v ep r o b l e m si nt h es p a r s e c o d i n ga l g o r i t h mw e r ei n v e s t i g a t e da tl a r g e ，a n dt h r e ee f f e c t i v es o l u t i o n sw e r ep r o p o s e d t os o l v es u c hp r o b l e m s a sar e s u l t ，n o to n l ya tt h ep r e p r o c e s s i n gs t a g e ，b u ta l s oa tt h e l e a r n i n gs t a g e ，t h ea d a p t i v ea b i l i t yo fs p a r s ec o d i n gw a si m p r o v e d ，w h i c hw a st e s t i f i e d s e p a r a t e l yi nt h ee x p e r i m e n t so ff e a t u r ee x t r a c t i o n ，f a c er e c o g n i t i o na n ds o u r c eb l i n d s e p a r a t i o n t h em a i nw o r k si nt h i sd i s s e r t a t i o nc a l lb ec o n c l u d e da sf o l l o w s ： f i r s t ，a na d a p t i v ew h i t e n i n g l o w - p a s sp r e p r o c e s s i n gm e t h o d ，b a s e do nt h ep o w e r s p e c t r u mp r o p e r t i e so fn a t u r a li m a g e s ，w a sp r o p o s e d i nt h i ss t u d y , t h ed i s a d v a n t a g e so f t h ef i x e dw h i t e n i n gf i l t e ru s e di nt h ec u r r e n ts p a r s ec o d i n ga l g o r i t h mw e r ef i r s t l y a n a l y z e d t oa v o i ds u c hd r a w b a c k s ，b yd e e p l yi n v e s t i g a t i n gt h ec h a r a c t e r i s t i c so ft h e p o w e rs p e c t r u mo fn a t u r a li m a g e s ，t h i sd i s s e r t a t i o nc o n s t r u c t e daf l e x i b l ew h i t e n i n g v l l f i l t e r t h ef l e x i b i l i t yo fw h i c hw a sc o n t r o l l e db ya v a r i a b l ew h i t e n i n gp a r a m e t e r b e c a u s e t h eo p t i m a lv a l u eo ft h ew h i t e n i n gp a r a m e t e rw a sd e t e r m i n e db yt h ep r o p e r t i e so ft h e i n p u ti m a g e s ，t h ef l e x i b l ew h i t e n i n g f il t e rw a sa d a p t i v et ot h ed a t aa n dt h u sw a ss u i t a b l e f o rm o r ei m a g e st h a nt h ef i x e do n e f u r t h e r m o r e ，c o n s i d e r i n gt h a tt h ew h i t e n i n gf i l t e r d o e sn o td i s t i n g u i s hn o i s ef r o mu s e f u ls i g n a l s ，t h i sd i s s e r t a t i o nc o m b i n e dal o w p a s s f i l t e rw i t ht h ep r o p o s e da d a p t i v ew h i t e n i n go n e t h e nw h e nt h ei n p u ti m a g e sw e r e p r e p r o c e s s e db yt h ec o m b i n e da d a p t i v ew h i t e n i n g l o w p a s sf i l t e r , n o to n l yt h eu s e f u l h i g hf r e q u e n c yc o m p o n e n t s ，s u c ha se d g e sa n dl i n e s ，i nt h er a wd a t aw e r es i g n i f i c a n t l y e n h m c e d b u ta l s on os i g n i f i c a n tn o i s ew a sa l l o w e dt op a s s o b v i o u s l y ，s u c ha r e s u l t w a sh e l p f u lt ot h es p a r s ec o d i n ga l g o r i t h mw h i c hw a ss e n s i t i v et ot h eh i g h e r - o r d e r s t a t i s t i c so ft h ei n p u td a t a f o re x a m p l e ，i nt h ee x p e r i m e n to ff e a t u r ee x t r a c t i o nf r o m n a t u r a li m a g e s 。i tt u m e do u tt h a tt h ew h i t e n i n g l o w - p a s sp r e p r o c e s s m gc o u l dp i c ku p t h ec o n v e r - g e n c es p e e do fs p a r s ec o d i n g ；i nt h ee x p e r i m e n to ff a c er e c o g n i t i o nb y i n d e p e n d e n tc o m p o n e n t a n a l y s i s ，i t t u r n e d o u tt h a tt h e w h i t e n i n g l o w 。p a s s p r e p r o c e s s i n gc o u l di m p r o v et h er e c o g n i t i o nr a t e ( n o t et h a tt h ei n d e p e n d e n tc o m p o n e n t a n a l y s i si se q u i v a l e n tt ot h es p a r s ec o d i n gi nt h ec a s eo fn o n o i s ea n das q u a r es y s t e m ， a n dt h e r e f o r ei nt h i sd i s s e r t a t i o n ，t h ei c a m e t h o dw a sr e g a r d e da sas p e c i a lc a s eo f s p a r s ec o d i n g ) s e c o n d ，as p a r s ec o d i n ga l g o r i t h mw i t hl o r e n t za d a p t i v ep r i o r sw a sp r o p o s e d i n t h i ss t u d y , a f t e ri l l u s t r a t i n gt h eb a y e se x p l o r a t i o no fs p a r s ec o d i n g ，i tw a ss u g g e s t e d t h a t b e c a u s et h ec o e f f i c i e n tp r i o r sw e r eo f t e nu n i f o r m e da n df i x e dd u r i n gt h el e a r n i n g ，t h e c u n e n ts p a r s ec o d i n ga l g o r i t h mw a sn o to n l ye a s i l yl i m i t e di na p p l i c a t i o n s ，b u ta l s o t o o kd e p a r t u r ef r o mt h ea d a p t i v el e a r n i n gm e c h a n i s mw h i c hi sp o p u l a ri nt h ev i s u a l s v s t e mo fm 锄m a l s t os o l v es u c hp r o b l e m s ，i nt h i sd i s s e r t a t i o n ，i tw a s f i r s ti n d i c a t e d t h a tt h e r ew a san e e df o rt h ec o e f f i c i e n tp r i o r st ob em o r ef l e x i b l e ，a n dt h ef l e x i b i l i t y c o u l db eo b t a i n e db ya d ju s t i n gt h ec o e f f i c i e n tp r i o r sa d a p t i v e l yf r o mt h ei n p u td a t a t h e ni tw a sd e e p l yd i s c u s s e dt h a to n eo ft h eg e n e r a l i z e dc a u c h yd i s t r i b u t i o n s ，a l s o c a l l e dl o r e n t zd i s t r i b u t i o n ，c o u l db eu s e dt om o d e lt h ec o e f f i c i e n tp r i o r si n t h es p a r s e c o d i n gf r a i i l e w o r k i nt h ef o l l o w i n g ，t h es p e c i f i cl e a r n i n gr u l e sf o rt h es p a r s ec o d i n g a l g o r i t h mw i t hl o r e n t za d a p t i v ep r i o r sw e r ei n f e r r e d t h em a i nd i f f e r e n c eo ft h en e w a l g o r i t 胁f r o mt h ec o n v e n t i o n a lo n e w i t hu n i f o r m e da n df i x e dp r i o r sw a st h a ta te a c h i t e r a ：t i v el e 锄j n gs t e p ，t h en e ws p a r s ec o d i n ga l g o r i t h mn e e d e dt oe s t i m a t et h el o r e n t z s c a l ep a r a m e t e rf o re v e r yc o e f f i c i e n t j u s tb e c a u s et h ec o e f f i c i e n tp r i o r sc a n b ea d j u s t m g a d a p t i v e l yf r o m t h ei n p u td a t a ，t h ec o d i n ge f f i c i e n c yo ft h es p a r s ec o d i n ga l g o n t h m 、糯 一 垒呈兰! 坠曼! i m p r o v e d ，w h i c hw a st e s t i f i e di nt h ee x p e r i m e n to ff e a t u r ee x t r a c t i o nf r o mn a t u r a l i m a g e s t h i r d ，as p a r s ec o d i n ga l g o r i t h mw i t hp e a r s o nv i ia d a p t i v ep r i o r sw a s p r o p o s e d i n t h i ss t u d y , t h et a i lp r o p e r t i e so ft h el o r e n t zd e n s i t yw e r ea n a l y z e df i r s t i tt u r n e do u tt h a t t h et a i li n d e xo ft h el o r e n t zd e n s i t yi se q u i v a l e n ta n do n l ye q u i v a l e n tt o2 t h a tw a s t o s a yt h a ta l t h o u g ht h el o r e n t zp r i o rm o d e lc o u l db ea d a p t i v et ot h ed a t af o rav a r i a b l e s c a l ep a r a m e t e r , t h ef l e x i b i l i t yo fw h i c hw a ss t i l ll i m i t e df o rt h ef i x e dt a i li n d e x t o s o l v es u c hap r o b l e m ，i nt h i sd i s s e r t a t i o n ，i tw a sf u r t h e rs u g g e s t e dt h a to n e p o s s i b i l i t yt o i m p r o v et h ef l e x i b i l i t yw a st oi n t r o d u c ei n t ot h el o r e n t zd e n s i t yf u n c t i o nas h a p e p a r a m e t e rw h i c hc o u l dd e s c r i b et h et a i lp r o p e r t i e so ft h ed i s t r i b u t i o nf u n c t i o n a c t u a l l y , s u c hag e n e r a l i z e dc a u c h yd i s t r i b u t i o nw a st h ep e a r s o nv i ip r o b a b i l i t yd i s t r i b u t i o n i n t h i s d i s s e r t a t i o n ，t h el o r e n t zd i s t r i b u t i o nw a sr e g a r d e da sa g e n e r a l i z e dc a u c h y d i s t r i b u t i o nw i t ho n l yo n es c a l ep a r a m e t e r ；w h i l et h ep e a r s o nv i id i s t r i b u t i o nw a s r e g a r d e da sag e n e r a l i z e dc a u c h yd i s t r i b u t i o nw i t has c a l ea n das h a p ep a r a m e t e rb o t h f o rt h es a k eo ft h ea d d e ds h a p e p a r a m e t e r , t h ef l e x i b i l i t yo ft h ep e a r s o nv i id i s t r i b u t i o n w a ss t r o n g e rt h a nt h a to ft h el o r e n t zo n e n a t u r a l l y , i nt h es p a r s ec o d i n gf r a m e w o r k ， t h ep e a r s o nv i ia d a p t i v ep r i o rm o d e lc a nc a p t u r et h eh i g h e r - o r d e rs t a t i s t i c sf r o mt h e i n p u td a t at ot h eb e t t e rd e t a i l t h e r e f o r e ，c o m p a r e dt ot h es p a r s ec o d i n ga l g o r i t h mw i t h l o r e n t za d a p t i v ep r i o r s ，t h es p a r s ec o d i n ga l g o r i t h mw i t hp e a r s o nv i ia d a p t i v ep r i o r s c o u l da c h i e v eab e t t e rc o d i n ge f f i c i e n c y , w h i c hw a st e s t i f i e da g a i ni nt h ee x p e r i m e n to f f e a t u r ee x t r a c t i o nf r o mn a t u r a li m a g e s f o u r t h ，t oa p p l yt h et w og e n e r a l i z e dc a u c h yp r i o rm o d e l si n t ot h es p e c i a ls p a r s e c o d i n ga l g o r i t h m ，t h a ti si c a ，t os e p a r a t eb l i n ds o u r c e s t h eg o a lo ft h i ss t u d yw a s t w o f o l d ：o n ew a st o i m p r o v et h es e p a r a t i o np e r f o r m a n c eo ft h ec o n v e n t i o n a li c a m e t h o d ；t h eo t h e rw a st of u r t h e rt e s t i f yt h ee f f e c t i v e n e s so ft h e s et w op r i o rm o d e l s i t w a sw e l lk n o w nt h a ta l la p p r o p r i a t es e l e c t i o no ft h en o n l i n e a rc o n t r a s tf u n c t i o nw a st h e k e yf o ra c h i e v i n gs u c c e s s f u ls e p a r a t i o n t h e r e f o r e ，i ft h en o n l i n e a rc o n t r a s tf u n c t i o n c o u l db ee s t i m a t e da d a p t i v e l yf r o mt h ei n p u td a t a ，t h es e p a r a t i o np e r f o r m a n c ec o u l db e e n h a n c e df o rs u r e i nt h i sd i s s e r t a t i o n ，i tw a sf i r s ts u g g e s t e dt h a tt h ea d a p t i v ee s t i m a t i o n o ft h en o n l i n e a rc o n t r a s tf u n c t i o nc o u l db ei m p l e m e n t e db yt h ew a yo fa d j u s t i n gt h e p r i o rd e n s i t i e so ft h es o u r c e sa d a p t i v e l yf r o mt h ed a t a ；i tw a st h e nd i s c u s s e dh o wt o a p p l yt h et w og e n e r a l i z e dc a u c h yp r i o rm o d e l s ，t h a tw e r et h el o r e n t za n dt h ep e a r s o n v i ia d a p t i v ep r i o r s ，i n t ot h ei c a a l g o r i t h m i nt h es i m u l a t i o ne x p e r i m e n t s ，t h et w oi c a a l g o r i t h m sw i t hl o r e n t za n dp e a r s o nv i ia d a p t i v ep r i o r sh a dp r o v e dm o r ee f f e c t i v et h a n 北京交通大学博士学位论文 t h ec o n v e n t i o n a li c am e t h o dw i t hf i x e dp r i o r s ；w h i l et h es e p a r a t i o np e r f o r m a n c eo ft h e i c aa l g o r i t h mw i t hp e a r s o nv i ia d a p t i v ep r i o r sw a sb e t t e rt h a nt h a to ft h eo n ew i t h l o r e n t za d a p t i v ep r i o r s k e y w o r d s ：e f f i c e n t c o d i n g ，b a y e st h e o r y ，s p a r s ec o d i n g ，i n d e p e n d e n t c o m p o n e n ta n a l y s i s ，f a c er e c o g n i t i o n ，b l i n ds o u r c es e p a r a t i o n c l a s s n o ：t p 3 9 1 x 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：触芝一 导师签名： 伙 独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： 程t 签字日期：加孝年岁月孑。日 1 4 1 致谢 值此论文完成之际，谨向多年来一直精心指导和培养我的导师罗四维教授致 以衷心的感谢! 在此论文的选题、修改直至定稿的一系列过程中，罗老师不但投入了大量的 时间和精力，给予了耐心细致的指导，而且不断地为我创造良好的工作条件和研 究环境。在此，对罗老师的悉心指导和亲切关怀表示最诚挚的谢意。同时，罗老 师渊博的知识、严谨的治学态度、敏锐的学术目光、活跃并富有哲理的思维方式、 诲人不倦的敬业精神、：忘我的工作热情和对科学永无止境的追求精神，都给我了 潜移默化的影响，对我今后的工作和学习将有非常大的影响和推动作用。在此， 对罗老师的辛勤栽培再次表示最诚挚的谢意! 感谢黄雅平副教授、尹辉副教授、赵嘉莉副教授、刘蕴辉老师、黄华老师和 李清勇老师等人的细心指导，以及中国科学研究院计算所山世光副研究员和美国 加州大学伯克利分校b a o l s h a u s e n 副教授等人的无私帮助，在此向他们表示衷 心的感谢。 感谢齐英剑博士、杨坚博士、赵连伟博士、邹琪博士和田媚博士。他们曾经 给了我很多建议和帮助，使我受益匪浅。 感谢钟晶晶、王娇、李燕、曾宪华、郑宇、吕子昂和美国卡内基梅隆大学y k a r k l i n 等博士生同学的热情帮助。 感谢我至亲至爱的父母、兄嫂、姐姐和姐夫，感谢我的朋友娄伟以及他的父 母，是他们的爱和奉献让我能够不断战胜学习和生活中的重重困难。 感谢我纯真可爱的侄子和外甥，两个小宝贝给我带来了无与伦比的快乐和幸 福，同时也时刻提醒着我应不断奋斗，努力为祖国的下一代做出更多的贡献。 千言万语表达不了我的感激之情。我只能说，我已铭记在心。 1 绪论 1 绪论 1 1 研究背景及意义 稀疏编码算法1 1 3 j 最初是作为自然图像的神经编码模型而提出的，主要用于模 拟哺乳类生物视觉系统初级视皮层v 1 区简单细胞的视觉加工过程【4 0 们。因此，从 研究方向来看，稀疏编码算法应属于神经计算科学的范畴。我们知道，神经计算 科学是一门运用数学计算的方法模拟生物神经系统信息加工机制的学科，从开始 到现在一直受到人们的广泛关注和研究。由于视觉系统是生物神经系统的重要组 成部分，因此作为模拟生物视觉系统信息加工机制的重要方法，稀疏编码算法已 经成为神经计算科学领域内的重要研究课题之一。 从历史的角度看，稀疏编码算法的形成和发展与神经生物学中有关生物视觉 系统的研究发现是密切相关的。在整个2 0 世纪，人和各种动物的眼睛、视神经元， 以及与视觉信息相关的脑部组织都得到了广泛的研究，并尤以诺贝尔生理学一医学 奖获得者美国神经生物学家d 。h h u b e l 和瑞典神经生物学家t n 。w i e s e l ，对 生物视觉系统信息处理机制的研究1 4 ，6 ，8 1 1 _ 3 j 为突出代表。h u b e l 和w i e s e l 以猴子和 猫为实验对象，经过大量的科学实验发现：哺乳类生物视觉系统初级视皮层v 1 区 的视神经元按照所完成功能的复杂性可以分为简单细胞、复杂细胞和超复杂细胞 三大类。它们的共同特点是对大面积弥散光不产生反应而对特定朝向的亮暗对比 边界产生选择性反应。特别地，对于简单细胞而言，它对视觉信号刺激感受野的 位置要求极为严格，同时对视觉信号的频率特征也极为敏感。亦即，初级视皮层 v 1 区简单细胞的感受野具有朝向选择性、局部位置选择性和频率选择性。同时， h u b e l 和w i e s e l 还发现，在上述三个特征的共同作用下，简单细胞对外界视觉刺激 的响应活动表现出稀