（计算机软件与理论专业论文）视觉感知的稀疏编码理论及其应用研究.pdf

视觉感知的稀疏编码理论及其戊用研究t摘要 摘要 在大脑接收的来自外部世界的感知信息中，8 0 以上是通过视觉系统进行加工处理 的最近二十多年来，视觉信息加工的机制是心理学、神经科学、计算机科学等学科研 究的重大课题之一人们广泛认为，生物视觉系统在长期进化和发展中，自适应于自然 环境中输入刺激的统计特性，但是生物视觉系统是怎样对外界环境的刺激模式做出响 应? a u n c a v e ，b a r l o w 和o l s h a u s c n & f i e l d 等从信息论出发，发展了稀疏编码理论，认 为在视觉系统v l 区神经细胞的处理过程中，一个重要的约束就是编码的稀疏性，从而 利用较少的资源尽可能有效地编码更多的信息稀疏编码理论在视神经细胞的响应特性 和外部环境刺激的统计特性之间建立一种科学的数量联系，逐渐成为了一种有效理解人 类神经系统信息加工机制的理论工具，是国际神经计算，神经网络和人工智能方面的一 个研究热点 本论文以稀疏编码模型和理论为基础，从模拟大脑信息处理方式出发，在理论上进行 创新性的探索，并将模型和理论成功地应用于计算机视觉的图像检索领域中取得的主 要成果包括： 第一，面向知觉任务的稀疏编码模型最近的心理学和生理学研究成果表明，简单细 胞的信息处理过程并不仅仅是一个数据驱动的过程，它还受知觉任务的影响，本文在 o l s h a u s e n 和f i e l d 提出的数据驱动的稀疏编码模型基础上，设计了面向知觉任务的稀疏 编码模型( 简称t o s c ) ，t d s c 模型探索了什么信息应该被编码的问题，也就是矾a l - 问题在从输入空阔到系数空间的编码过程中，为了提高编码系数空间的可分性，我们 引入了模式分类任务的监督信息一判别距离，结合稀疏编码的约束条件形成新的代价函 数( c o s tf u n c t i o n ) ，然后，优化学习得到面向模式分类任务的稀疏编码模型；通过二分 类任务( 自然风景和建筑物的分类) 的实验，我们验证了面向知觉任务稀疏编码模型的 有效性。 第二，双层反馈稀疏编码模型最近的研究成果表明，初级视皮层的加工过程远非简 单的局部特征抽取，相反，它的加工是动态的、交互的和可塑的，它的加工过程受高级 皮层的视觉推理和任务以及行为经验的影响。本文扩展了单层的基于i c a 算法的稀疏编 码模型，在多层感知机的基础上，我们提出了一个带反馈机制的双层稀疏编码模型( 简称 t l f - s c ) ，在t l f - s c 模型中，神经细胞的响应除了受稀疏编码准则的影响，即保持神 经细胞响应的统计独立性，同时它还受到反馈信号的调节，使得神经细胞的编码能更加 适应于高层的知觉任务我们的仿真结果表明，t l f - s c 模型的i c l 神经元既表现出类 似v l 区简单细胞感受野的特性，也表现出对知觉任务的自适应性，同时t l f - s c 模型 还能取得比较好的分类性能。 第三，基于注意机制的稀疏编码模型我们研究发现对作用于同一个输入刺激的简单 中周科学院博士学位论文视觉感知的稀琉编码理论及其应用研究 细胞群来说，激活的简单细胞的比例仍然比较高，约占7 0 另外，神经系统计算资源 有限，外部输入刺激也不是同等重要，所以我们在有效编码框架中引入了数据驱动的注 意选择机制，提出了基于注意机制的稀疏编码模型( a g s c 模型) 我们对a g s c 模型 进行了仿真和验证，实验结果表明，a g s c 能进一步的提高稀疏编码模型的稀疏性，减 少对神经系统资源的需求，同时，它能过滤输入刺激中的次要信息，而保留输入刺激中 的主要信息。 第四，i c a 系数纹理特征纹理特征是基于内容的图像检索( 简称c b i r ) 中应用最 视觉感知的稀疏编码理论及其应用研究，a b s t r a c t s p a r s ec o d i n gt h e o r yo f v i s u a lp e r c e p t i o na n di t sa p p l i c a t i o n l iq i n g y o n g ( c o m p u t e rs o f t w a r e & t h e o r y l d i r e c t e db ys h iz h o n g z h i a b s t r a c t t h e r ea r e8 0 s t i m u l iw h i c ha r ep r o c e s s e db yv i s u a ls y s t e ma m o n gt h eh u m a nb r a i n s e n s o r yi n f o r m a t i o n v 1 s l m li n f o r m a t i o np r o c e s s i n gm e c h a n i s m sh a v eb e c , o m ea r li n t e n s es t u d y i np s y c h o l o g y , n e u r o s c i e u c e ，a n dc o m p u t e rs c i e n c ef o rr e c e n tt w od e c a d e s i th a sl o n gb e e n h y p o t h e s i z e dt h a tt h ee a r l yv i s u a ls y s t e mi sa d a p t e dt ot h ei n p u tg a t i g i c s s u c ha ba d a p t a t i o ni s t h o u g h tt ob et h er e s u l to ft h ec o m b i n e df o r c e so fe v o l u t i o na n dn e u r a li c a m i n gd u r i n g d e v e l o p m e n t b u tw ed on o tk n o wh o wt h eb i o l o g i cv i s u a ls y s t e mr e s p o n d st oi n p u tv i s u a l p a t t e r n s ? f r o mt h ev i e w p o i n to fi n f o r m a t i o nt h e o r y , a t m e a v e ，b a r l o wa n do l s h a u s e n & f i e l d p u tf o r w a r ds p a r s ec o d et h e o r y 1 蛔a r g a e dt h a ti tw a sa ni m p o r t a n tc o n s t r a i n tt os p a r s e l y c o d et h ei 珥) ms t i m u l if o rt h en e u r o n si np i 呻v i s u a lc o r t e x ( v 1 ) s os u c hn e u i o n sc o u l d e f f e c t i v e l yc o d ea sm u c hi n f o r m a t i o na sp o s s i b l eu n d e rt h ec o n d i t i o no fl i m i t e da v a i a b l e c o m p u t i n gr e s o u r c e s s p a r s ec o d et h e o r ye s t a b l i s h e sas c i e n t i f i cq u a n t i t a t i v el i n kb e t w e e nt h e i n f o r m a t i o n p r o c e s s i n g m e c h a n i s m so f v i s u a l n a o n sa n d t h es t a t i s t i c s o f i n p u t v i s u a ls t i m u l i , a n dp r o v i d sa ne f f i c i e mt o o l t ou n d e r s l a n dt h en e u r a li n f o r m a t i o np r o c e s s i n gm e c h a n i s m s s oi t a t 缸a c t si n c r e a s i n gi n t e r e s ti nt h ef i e l do f n e u r o s c i e n c e n e u r a ln e t w o r ka n da r t i f i c a li n t e l l i g e n c e b a s e do nt h es p a r s ec o d em o d e la n dt h e o r y , t h i st h e s i sp r o b e sn e we f f i c i e n tc o l d i n gm o d e l s a n dt h e o r i e sm o t i v a t e db yi n f o r m a t i o np r o c e s s i n gm e c h a n i s m so fh u m a nb r a i l la n da p p l i e s t h e mi ni m a g er e t r i e v a lt a s k n 圯m a i nc o n t r i b u t i o n so f t h i sd i s s e r t a t i o na r ea sf o l l o w s ： f i r s t , t a s k - o r i e n t e ds p a r s ec o d i n gm o d e l r e c e n tr e s e a r c hr e s u l t si np s y c h o l o g ya n d n e u r o s c i e u c es h o w e d t h a t i n f o r m a t i o n p r o c e s s i n g p r o c e d u r e o f s i m p l ec e l l i n v l w a s n o t j a s t a d 缸a 抽e n p r o c e d u r e , f u l t h c t n l o l , i tw a s a l s oi n f l u e n c e db yp e r e e p t i o nt a s k s s ow ed e s i g na t a s k - o r i e n t e d s p a r s ec o d i n gm o d e l ( r o s c ) , b a s e do n t h es p a r s e c o d i n gm o d e l o f o i s h a u s e n & f i e l d t o s cp r o b e si n t ow h a ti n f o r m a t i o nv i s u a ln o i r o n ss h o u l dc o d e ，t h a ti s c a l l e d w h a tp r o b l e m i no r d e rt oi m p r o v et h ed i s c r i m i n a b f l i t yo f c o d i n gc o e f t i c i e n ts p a c e , w e c o m b i n et h es u p e r v i s e di n f o n n a t i o n - d i s c r i m i m n td i s t a n c ei n t ot h ec o s tf u n c t i o no fs p a r s e c o d i n gm o d e l t h e r e f o r e 。w ec a ng e tt h e1 d s cm o d e la f t e ro p t i m i z a t i o nl e a r n i n gf o rt h en e w c o s tf u n 商o mo u re x p e r i m e n t so nc l a s s i f i c a t i o np r o b l e m ( c l a s s i f y i n gn a t u r a ls c e n a yi m a g e s a n db u i l d i n gi m a g e s ) v 嘶t h ee f f i c i e n c yo f t o s c s e c o n d , t w o - l a y e rf e e d b a c ks p a r s ec o d i n gm o d e l r e c e n tr e s e a r c hr e s u l t sd e m o n s t r a t e d t h a ti n f o r m a t i o np r o c e s s i n gp r o c e d u r eo fp r i m a r yv i s u a lc o r t e xw a sn o tj u s tl o c a lf e a t u i e e x t r a c t i o n , o nt h ec o n t r a r y , i tw a sd y n a m i c , i n t e r a c t i v ea n dp l a s t i c i ti sa d j u s t e da c c o r d i n gt o v i s u a lr 随s o n i n ga n dp e 唧在t a s k s n l i st h e s i se x t e n d st h es i n g l el a y e r , f c e d f o r w a r ds p a r s e i l l 中国科学院博t 学位论文视觉痘知的稀琉编码理论及其应用研究 c o d i n gm o d e l ，a n dp u t sf o r w a r dat w o - l a y e rf e e d b a c ks p a r s ec o d i n gm o d e lf r l f - s c ) b a s e do n t h em u l t i - l a y e rp e r c e p t i o nn e t w o r k i n1 f i j - s cm o d e l , n e u r o nr e s l ) 0 n s e $ a r en o to n l y i m a u e n e e db ys p a r s ec o d i n gr u l e ，t h a ti st ok e e pt h e i rr e s p o n s e ss t a t i s t i c l yi n d e p e n d e n t , b u ta l s o t u n e db yh i g h e r l a y e rp e r c e p t i o nt a s lo u r s i m u l a t i o nr e s u l t ss h o wt h a ti c ln 锄n si nt l f - s c m o d e lr e s e m b l et h es i m p l ec e l li nv 1 ，a tt h es a n l et i m e , t h e ye m e r g et h ea d j u s t a b i l i t yt ot h e p e r c e p t i o nt a s lf u r t h e r r l l o r e , t l f - s cm o d e ls h o w sg o o dc l a s s i f i c a t i o np e r f o r m a n c e t h i r d , a t t e n t i o n - g u i d e ds p a r s ec o d i n gm o d e l w ef o u n dt h a tt h ep e r c e n to fa c t i v a t e d s i m p l ec e l li ns p a r s ec o d h gm o d e lw a $ s t i l lh i g l l m o r et h a n7 0 a m o n gas i m p l ec e l lg r o u p r e s p o n d i n gt ot h es a n l es t i m u l u s h o w e v e r , t h ec o m p u d n gi s o u i g c si nn e u r a ls y s t e mi s l i m i t e ( 1 , a tt h es 锄et i m e ，t h ei n p u ts t i m u l ia r en o te q u a l l yi m p o r t a n t s ow ei n t e g r a t et h e a t t e n t i o nm e c h a n i s mw i t hs p a r s ec o d i n gm o d e la n d b r i n gf o r w a r dt h ea t t e n t i o w g u i d e ds p a r s e 蛐m o d e l ( a o s c ) o u rs i m u l a t i o ne x p e r i m e n t ss h o wt h a ta g s cm o d e lc a nf u r t h e r i m p r o v et h es p a r s e n e s sc h a r a c t e r i s t i c , m o r e o v e r , i tc a n f i l t e rt h en o n s i g n i f i c a n ti n f o r m a t i o na n d r e s e r v et h em a i ni n f o r m a t i o n f o u r t h , i c ac o e 街c i e n tt e x t u r ef e a t u r e t e x t u r ef e a t u r ei st h em o s tp o p u l a rl o w - l e v e l v i s u a lf e a t u r ei nc o n t e n t - b a s e di m a g er e u i e v a l ( c b i r ) t h i sp a p e rp u t sf o r w a r da na p p r o a c h w h i c hl e a r n st h es t a t i s t i c a lt e x t u r eb 船i m sf r o mt h et e x t u r ei m a g es e tb a s e do rs p a r s ec o d i n g m o d e lt h e s et e x t u r eb a s i s c sh a v et h es a m er e s p o n s ec h a r a c t e r i s t i c sa sg a b o r f i l t e r , m o r e o v e r , t h e i rr e s p o n s ec o e f f i c i e n t sh a v eg o o ds t a t i s d c a li n d e p e n d e n c e b a s e do nt h ec o e f f i c i e n t so f s u c hb a s i s e s ，w e 晰1 1 9f o r w a r dr e p r e s e n t a t i o ns c h e m ea n de x 喇o n a l g o r i t h ma b o u ti c a c o e f f i c i e n tt e x t u r ef e a t u r e 。o u re x p e r i m e n t s0 1 1b r o d a t zs e ta n d 矗露搿s e ts h o wt h a ti c a e o e 伍c i e n tt e x t u r ef e a t u r eh a st w oc h a r a c t e r i s t i c s ：l o w - r e d u n d a n c ef o rd i m e n s i o n sa n d h i g h - p e r t i n e n c ew i t hi m a g es e t , c o n s e q u e n t l y , i to u t p e r f o r m st h eg a b o rt e x - r n f e a t u r ef o r t e x t u r ei m a g er c t d c v a l k e y w o r d ：s p a r s ec o c l i t g ，e f f i c i e n tc o d i n gh y p o t h e s i s , p e r c e p t i o nl e a r n i n g , a t t e n t i o n , n a t u r a li m a g e , p r i n c i p l ec o m p o n e n ta n a l y s i s ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s , s i m p l e c e l l , c o m e n t - b a s e di m a g er e t r i e v a l , t e x t u r ef e a t u r e ，c c d b o rf f l t e r i v 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 本 构送交 论文的 其它复 1 1 研究背景与意义 第一章引言 大脑皮层是一个极其复杂的系统。认知神经科学和脑科学的研究成果表明，脑的感 知部分，包括视觉、听觉、运动等，不仅具有输入输出通道的功能，而且直接与思维活 动有关。一个智能系统，不仅要由推理机和知识库组成，而且要研究感知通道的作用， 从机理上模拟人脑的功能2 0 世纪末，美国推出“脑的十年计划”和欧盟“脑的十年计 划日本则推出雄心勃勃的。脑科学时代”计划，总预算高达2 0 0 亿美元。在“脑科学 时代”计划中，脑的认知功能及其信息处理的研究是重中之重2 0 0 2 年美国d a r p a 提出 了认知信息处理技术计划，主要研究内容包括( 1 ) 计算感知( 2 ) 表示和推理( 3 ) 学习( 4 ) 通信和人机交互技术( 5 ) 认知系统结构和集成认知主体( a g e n t ) ( 6 ) 鲁棒软件和硬件( 7 ) 认知团队( 8 ) 基础研究。 随着脑计划的开展，脑科学和神经信息学得到飞速发展。2 0 0 3 年美国的 m i n d - m a c h i n e m e r g e r p l a n 研制出能够代替海马体功能的脑芯片( b r a i n c h i p ) ，并且在活 体白鼠上实验成功，证明了用电子芯片能够代替大脑中的部分区域完成其部分高级功能 b e r g e r2 0 0 1 。g r e g o r y2 0 0 3 。脑芯片的成功在科学界引起了极大的反响，被中国科学界 选为2 0 0 3 年世界十大科技进展之一2 0 0 5 年6 月m i t 出版了有关大脑芯片的专著 ( t o w a r dr e p l a c e m e n tp a r t sf o rt h eb r a i n - i m p l a n t a b l eb i o m i m e f i ce l e c t r o n i c sa sn e u r a l p r o s t h e s e s ) 。对脑科学的前景进行了积极的展望。我们还必须提及的是半电半机器人实 验，2 0 0 2 年英国雷丁( r e a d i i 培) 大学教授k w a r 、i c k 把1 0 0 个电极组移植到左手臂， 并且跟神经纤维相连，用以研究神经系统的信息处理机制，w a r w i c k 成功地通过这种神 经界面方便的控制机械手的运动 w a r w i c k 2 0 0 3 。脑科学和神经科学的发展，极大地推动 了人们对生物智能行为的了解，也帮助了人们更加细微地了解和探索生物智能信息处理 的机理。 在大脑接收的来自外部世界的大量信息中，绝大部分是通过视觉系统进行加工处理 的。视觉信息加工的机制是心理学、神经科学、计算机科学等学科研究的重大课题之一 呐r r1 9 8 2 。生物视觉系统是长期在自然环境中进化和发展起来的，生物视觉系统的形 成无时无刻不受外界环境的影响，但是生物视觉系统和外界环境有什么样的联系? 或者 说生物视觉系统是怎样对外界环境的刺激模式做出响应? a t t n e a v e 最先提出：视觉感知 的目标就是产生一个外部输入信号的有效表示 a t t n e a v e1 9 5 4 】。在神经生物学领域， b a r l o w 基于信息论提出了“有效编码假设”，认为初级视皮层神经细胞的主要功能就是 去除输入刺激的统计相关性 b a r l o w1 9 6 1 1 o l s h a u s e n 和f i e l d 进一步提出了稀疏编码模 型 o l s h a u s e n a n d f i e i d1 9 9 6 ，稀疏编码理论表明，通过寻找自然图像的稀疏编码表示， l 中国科学院博士学位论文视觉感知的稀疏编码理论及其应用研究 该神经网络可以学习得到类似于简单细胞感受野的结构，这种简单细胞广泛存在于初级 视皮层中 稀疏编码理论和模型是神经生物学、计算机科学和心理学的交叉研究领域随着对 生物视觉系统研究的进一步细致，以及计算机技术的飞速发展，近年来，稀疏编码假设 理论成为了人们研究的一个热点，人们从神经生物学机理模型和计算机科学可计算模型 等角度进行了广泛的研究，很多重大的成果对生物肌器视觉，乃至脑科学的发展产生了 重要的影响 n i r e n b e r g2 0 0 1 ，v m j e2 0 0 0 , o l s h a u s e n1 9 9 6 ，它也成为多个会议的核心议题 c o n f e r e n c e 。研究人类感知系统的有效编码机制，并将其原理和理论应用到人工智能、 计算机视觉和模式识别等领域中，为计算机具备类似人类的智能和解决问题的能力提供 一种有效的研究手段，这对于人工智能、模式识别等领域的发展具有重要的意义。同时， 稀疏编码模型也在仿真和验证神经生理学和认知心理学的理论等方面具有重要的意义 本文正是以稀疏编码理论为基础，从模拟人脑解决复杂问题的信息处理机制出发，从理 论上进行创新性的探索，并将稀疏编码模型应用予图像检索中，验证和推广稀疏编码模 型和理论。 1 2 研究现状概述 尽管人们一致认为，初级视皮层的视觉处理过程受环境统计特性的影响，但是怎样 在两者之间建立准确的数字联结一直是一个难题。a t t n e a v e 最先提出：视觉感知的目标 就是产生一个外部输入信号的有效表示 a t m e a v e1 9 5 4 在神经生物学领域，b a r l o w 基 于信息论提出了“有效编码假设”，认为初级视皮层神经细胞的主要功能就是去除输入刺 激的统计相关性 b a r l o w1 9 6 1 s h a n n o n 提出的信息论是神经系统理解和建模的基础。如果一个神经细胞表示一个 可能遇到的视觉模式，那么怎样表达纷繁的复杂的外界对象所需要的神经细胞总数就会 “组合爆炸”。神经科学研究者一直都被这个问题所困扰。b a r l o w 最先认识到信息论在 神经科学中的重要性。他提出神经处理过程的一个重要约束就是信息或者编码的有效性 也就是说，为了充分利用神经系统的可计算资源，一组神经细胞必须尽可能多的编码外 界信息 o l s h a u s e n a n d f i e l d1 9 9 6 进一步提出了稀疏编码模型 o l s h a u s e n a n d f i e l d1 9 9 6 1 ，稀疏 编码模型是一个线性叠加模型，它通过定义稀疏性约束来优化学习得到类似于简单细胞 响应特性的基函数我们可以从两方面来解释稀疏编码原理。 1 ) 对作用于同一刺激的神经元群来说，稀疏编码指在作用于同一刺激的神经元群中， 并不是所有的神经元都被激活，相反，只有极少数的神经元被激活如图l1 所示， 大黑斑表示神经元群中被激活的神经元。生物学的研究成果表明，稀疏编码是一种 新陈代谢能量较少的信息处理策略 o i s h a u s e na n df i e l d2 0 0 4 。 2 第一章引言 s p a r s er e p r e s e n t a t i o n h 戳壮 图1 1 神经元群稀疏编码示意图q 代表编码输入图像的神经元，对作用于同一输入图像的神经元群来 说，并不是所有的神经元都会披激活，相反只有极少数的神经元被激活，图中大黑斑表示激活的神经元 2 ) 对作用于输入刺激集合的单个神经元来说，稀疏编码指该神经元响应的分布具有稀 疏特性根据以上所述，一个神经元群中的神经元在大部分时间都是不激活的，很 自然地，单个神经元响应的概率分布将在0 附近有一个蜂，而尾部很扁平，如图1 2 中的实线所示，正态分布的曲线与之相比要平滑得多从信息论的角度看，在具有 相同均值和方差的概率分布中，正态分布具有最大的熵，而稀疏分布的熵则少的多。 p 蚀0 一夕 髻 吣 图1 2 单个神经元稀疏编码示意图。图中实线表示神经元响应的概率分布，而虚线是具有相l 司均值和方 差的正态分布 从方法论上，稀疏编码研究主要可以分为两条路线；直接的方法是从生物机理上， 在自然图像刺激条件下检测神经细胞的响应特性，我们这里叫做祝堙：删；另外一个替 代的方法是利用自然图像的统计特性，建立模型模拟早期视觉系统的处理机制，这里叫 j 蚊模型伤真。 1 ) 机理测试 近年来，有很多实验检测了在自然图像或者图像序列刺激下，视神经细胞的响应特 性，这些研究用不同的方法测试视神经细胞编码的有效性，绝大部分的实验结果验证了 稀疏编码假设。 b a d d e x e y 等在猫的v 1 区细胞和猴子的r r 区细胞进行实验，发现在自然图像刺激下 这些神经细胞的发放率( 丘r i l l gr a t e ) 的分布服从指数分布，这跟我们单个神经细胞有效 3 -i-，7。-_-_- 中国科学院博 ：学位论文税觉痘知的稀疏编码理论及其戍用研究 编码的准则一致，即在固定平均发放率的条件下，指数分布传送的信息最耋； b a d d e l e y 1 9 9 8 1 。n i r e n b e r g 等2 0 0 1 年在n a t u r e 上发表的研究结果表明，在冗余性测度和自然刺激 条件下，一组视网膜神经节对外界刺激独立编码 n i r e n b e r g2 0 0 1 1 。v i n j e2 0 0 1 年在s c i e n c e 上发表了类似的成果 v m j e2 0 0 0 ：通过记录短尾猿v l 区神经细胞在开放的自然场景和 模拟自然场景条件下的神经细胞响应，验证了视皮层( v l 区) 神经细胞用稀疏编码准则 表示自然场景，稀疏编码用最小冗余度传递信息，因此，稀疏编码从信息论和新陈代谢 上比集中编码( d e n s ee x x l e s ) 更加有效 神经生理学的研究表明，每个神经细胞都携带统计无关的信息成分在视网膜和侧 膝状体神经元之间，在神经束的有限带宽条件下，视觉系统最优化地传输外部信息；然 后，v l 区的神经细胞把传入的最优化刺激转换为稀疏编码，而且这些神经细胞表示着自 然场景的t r u e 信息成分这种稀疏编码将促进对视觉系统高级视觉区域的理解，也能增 加模式识别的有效性 2 ) 模型仿真 这种方法中，研究者首先考察外部环境刺激的统计特性，根据特定的统计优化准则 建立响应模型，然后与初级视皮层中神经细胞的响应特性( 神经生理学) 进行比较 这方面的研究成果很多如：o l s b 扭u s e n 和f i e l d ，b e l l 和s e j n o w s l d 。s i m o c e u i 和 s c h w a r t z 等都提出了各自的模型来试图解释视觉感知系统的信息处理过程 o l s h a u s e n & f i e l d , b e l l1 9 9 7 ，s i m o c e l l i1 9 9 9 ，这些模型通过线性变换来模拟神经元细胞的相互作用 为了克服线性交换的局限，最近很多学者提出了用非线性变换来模拟视皮层中神经细胞 的功能 m a l o2 0 0 1 ，s c h w a r 晓2 0 0 1 ，s i m o n c e l l i1 9 9 9 。有关这些模型的详细论述请参阅第二 章有效编码研究进展章节 有效编码假设理论在外界刺激的统计特性和神经细胞的响应之问建立一个相对准确 的数量联系，这种联系无论从生物神经学角度还是可计算模型角度都有广泛的应用最 近研究者利用稀疏编码模型来产生具有高阶自然统计特性的人工合成图像，实验结果表 明这些模型和结果都可以改进神经生物学实验 h e e g e r1 9 9 5 ，p o r t i l l a2 0 0 0 。稀疏编码理论 研究怎样把外界刺激模式转换为有效的内部表示，从模式识别的角度看，它实现了一个 特征抽取的过程稀疏编码从信息论的角度指导怎样提取外部刺激模式的特征，用尽可 能精简有效的特征表示外部模式h y v a r i n e n 等提出了利用稀疏编码和独立成分分析提取 图像特征的框架 h y v a r i n e n1 9 9 8 。c h e 咯i 1 1 1 1l i u 等用稀疏编码方式提取人脸特征，大大 提高了人脸识别的准确率 c h e 嚼u n 2 0 0 0 ，c h e n 西u n 2 0 0 3 。这些成功的应用都大大地推动 了稀疏编码理论的研究 1 3 本文的主要贡献 本文的工作是中国自然科学基金重点项目“基于感知学习和语言认知的智能计算模 型”的一部分。 4 第一章引言 本论文正是以稀疏编码模型和理论为基础，从模拟大脑信息处理方式出发，在理论 上进行创新性的探索，并将模型和理论应用于计算机视觉的图像检索领域中。本文的主 要研究内容分为两部分；第部分以理论探索为主，从广度和深度上扩展了稀疏编码模 型在最新的神经生理学和认知心理学的研究成果上，结合信息科学的方法和手段，我 们提出了面向知觉任务的稀疏编码模型和双层反馈稀疏编码模型，把单层的数据驱动的 稀疏编码模型扩展为双层的任务监督的信息处理模型，使得新模型更加符合生理学的机 制，同时也有利于解决信息科学中的具体问题。另外，我们还提出了结合注意选择机制 的稀疏编码模型，大大提高了稀疏编码模型的效率。第二部分以实际应用为主，从信息 处理的角度，稀疏编码模型可以看到是一个数据转换模型，它完成了对感官信号的特征 抽取过程，因此，稀疏编码模型在模式识别和信息检索方面有着潜在的优势，我们设计 了基于稀疏编码模型的i c a 系数纹理特征，并且应用于图像检索中，我们的实验结果证 明它的有效性。 本文的主要工作包括以下四方面的内容： 1 ) 厨砣奶牙窿务膨掰霏掰玛模型最近的心理学和生理学研究成果表明，简单细胞 的加工过程并不仅仅是一个数据驱动的过程，它还受知觉任务的影响 v 蝎ea n dg a l l a n t 2 0 0 2 。m a r t i n2 0 0 2 ，我们在o l s h a u s e n 和f i e l d 提出的数据驱动的稀疏编码模型基础上 o l s h a u s e na n df i e l d1 9 9 6 1 ，设计了面向知觉任务的稀疏编码模型( t a s k - o f f e n t e c ls p a r s e c o d e 简称t d s c ) ，t o s c 模型探索了什么信息应该被编码的问题，也就是w h a t - 问题。 在从输入空间到编码系数空间的编码过程中，为了提高编码系数空间的可分性，我们引 入了模式分类任务的监督信息一判别距离，结合稀疏编码的约束条件形成新的代价函数 ( c o s tf u a c t i o n ) ，通过优化算法学习得到面向模式分类任务的稀疏编码模型；通过在二 分类任务( 自然风景和建筑物的分类) 的实验，我们验证了面向知觉任务稀疏编码模型 的有效性t o s c 模型的主要贡献在于： t o s c 模型探索了什么信息应该被编码的问题，也就是w h a t - 问题，为研究初级视皮 层神经细胞的特征抽取，以及反馈机制提供了可行的计算理论和模型； 与数据驱动的稀疏编码模型相比，t o s c 模型是一个新型的有监督的稀疏编码模型， 在知觉任务的指导下，t o s c 模型的编码系数特征表现出明显的偏好，涌现出对知 觉任务的自适应性 2 ) 死爱反须嬲玩弱刃赞型在传统的视觉信息处理理论中，视觉系统是串行的、模 块化的。也就是说，初级视皮层( v l 区，v 2 区) 模块主要完成局部特征的抽取，而高 级视皮层则完成视觉推理，目标识别等复杂任务。但是l e 培等人最近的研究成果表明， 初级视皮层的加工过程远非简单的局部特征抽取，相反，它的加工是动态的、交互的和 可塑的，它的加工过程受高级皮层的视觉推理和任务以及行为经验的影响阶e2 0 0 3a l e e2 0 0 3c 】。因此，本文扩展了单层的基于i c a 算法的稀疏编码模型，在多层感知机的 基础上，我们提出了一个带反馈机制的双层稀疏编码模型( 简称t l f - s c ) ，在t l f - s c 模 型中，神经细胞的响应除了受稀疏编码准则的影响，即保持神经细胞响应的统计独立性， 5 中周科学院博士学位论文一视觉感知的稀疏编码理论及其应用研究 同时它还受到反馈信号的调节，使得神经细胞的编码能更加适应于高层的知觉任务我 们的仿真结果表明，t l f - s c 模型的i c l 神经元( 对应多层感知机的隐含层) 也能得到 类似于简单细胞感受野特性的响应模式，而且，它又与稀疏编码模型的基函数不尽相同， 它的部分基函数能编码与类别相关的特征。仿真结果表明，t l f - s c 模型取得比较好的 分类性能。1 i b s c 具有以下两方面的特点： 符合大脑初级视皮层视觉信息处理的稀疏编码特性和反馈特性； 和单层的稀疏编码模型相比 o l s h a n s e na n df i e l d1 9 9 6 ，b e l l1 9 9 7 】，t l f - s c 模型扩展 了这种单层的、前馈的网络模型，构造了一个双层的、反馈的稀疏编码模型，而且 我们的仿真实验验证了这种模型的有效性 3 ) 基手注意祝砌功搦硫弱玛横型在外部信号的统计特性和内部神经系统信息处理 机制之问，有效编码假设提供了一种数量的联系 b a r l o w1 9 6 1 ，0 1 s h a u s e na n df i e l d1 9 9 6 1 。 但是我们研究发现对作用于同一个输入刺激的简单细胞群来说，激活的简单细胞的比例 仍然比较高，约占7 0 另外，神经系统计算资源是有限的，外部输入刺激也不是同等 重要，所以我们在有效编码的框架中引入了注意机制，提出了基于注意机制的稀疏编码 模型( a g s c 模型) 我们对a g s c 模型进行了仿真和验证，我们的实验结果表明，a g s c 能进一步提高编码模型的稀疏性，减少对神经系统资源的需求，同时，它能过滤输入刺 激中的次要信息，而保留输入刺激中的主要信息a g s c 模型在以下两方面作出了一定 的贡献： a g s c 提出了一个数据驱动的基于注意机制的稀疏编码模型，稀疏编码框架中 有机集成了串行的两个注意选择模块：非均匀采样模块和基于响应显著性值的 选择模块： a g s c 模型设计和开发了一种主动的，有效的方法去适应神经系统有限的计算 资源的限制，提高了神经编码的效率 4 ) 基亨狒硫笏孵蕉彰织纺醒掰荭在基于内容的图像检索( 简称c b 取) 中，怎样 抽取有效的低层视觉特征去表示图像内容是c b l r 的核心问题稀疏编码模型能有效地 模拟哺乳动物视觉系统v l 区简单细胞的响应机制，从计算机视觉的角度看，它能有效 地抽取输入刺激的局部特征，它在图像特征