（计算机软件与理论专业论文）视觉感知模型与编码算法研究.pdf

视觉感知模型与编码算法研究 摘要 视觉感知与编码是神经计算科学研究的基本问题之一，其主要任务 是以神经生理学和认知科学的研究成果为基础，模拟人类视觉信息处理 的神经模式，从计算的角度研究新的计算原理和视觉信息处理系统。视 觉信息处理机制和计算原理的研究不仅对揭示神经计算原理、建立新型 计算模型具有重要的理论意义，而且对推动新型信息技术的发展，如人 工视觉系统、失明患者的视觉功能修复、机器认知、新型人机交互模式 等也具有重要而积极的作用。另外，在模式识别、身份验证、安全监 控、智能的人机交互界面等领域也有广泛的应用前景。 本文从稀疏编码的思想出发，以自然图像或序列作为训练数据，学 习初级视皮层中简单细胞和复杂细胞的时空感受野及其自组织拓扑图， 进而在较高级视皮层层次构建视觉感知模型来感知外界图像刺激中的内 容信息、平移、旋转、缩放等运动和变换信息。本文的主要贡献和创新 点体现在以下几个方面： 为表征自然图像的统计特性，引入独立分量分析方法，以线性生成 模型作为表征模型，从自然图像中学习图像基函数，这些基函数具有局 部化、朝向性及带通滤波性，与神经生理实验发现的初级视皮层简单细 胞和复杂细胞的感受野特征类似。由此得到的独立分量系数可作为神经 元的响应，其概率分布满足稀疏性和超高斯分布，通过引入相邻神经元 响应的二阶相关性，推导出基于自然梯度的自组织学习算法n g t i c a ， 从自然图像中学习得到简单细胞感受野的空间拓扑结构。 针对提取时空特征问题，提出一个基于视皮层不变性表示的时空特 征提取模型。对n g t i c a 学习算法进行扩展，得到适用于该模型的时空 基函数学习算法s t i c a 。该模型可从具有时空结构的自然图像序列和视 频序列中提取相应的平移、旋转、尺度变化、视角变化等时空特征。进 一步研究了以这些时空特征作为复杂细胞感受野时，神经元的响应具有 稀疏性和超高斯性。 为感知外界刺激中的内容和平移运动信息，我们对视觉系统中 的w h a t 和w h e r e 通路建模，提出了一个三层的内容与平移运动感知模型， 上海交通大学博上学位论文 并给出内容感知算法o p a 和平移感知算法t p a 。初步的实验结果表明， 用理想刺激加入不同噪声生成外界刺激，该模型可以感知到其中的朝向 信息及平移运动方向和运动速度等。提出的感知模型及感知算法具有良 好的鲁棒性。 提出一个旋转运动感知模型，用于解决刺激序列中的旋转变换信息 感知问题。以神经元响应的相关度作为不变性衡量指标，提出了旋转运 动感知算法r p a 。通过深入研究，我们把该模型提升为一个运动感知的 泛化模型。当给定不同的运动时空基函数作为神经元的感受野，该泛化 模型就可以特化为感知某种运动信息的模型。 人脸视角估计是入脸识别任务中的一个重要预处理步骤。为解决人 脸视角估计问题，我们从视觉感知机理出发，提出一个全新的基于独立 分量分析的人脸视角感知模型。首先将s t i c a 学习算法应用到多视角人 脸数据集，得到多视角人脸基函数，作为神经元感受野。应用神经元发 放率统计方法，提出入脸视角感知算法，并得到较好的感知实验结果。 对神经元的响应进一步分析发现，对不同视角的人脸刺激，神经元的响 应在高维空间中具有流形结构。这一结果为感知算法的成功应用奠定了 良好的理论基础。考虑到人脸图像受光照、表情、视角、年龄等多种因 素的影响，我们用张量分解方法同时提取人脸图像中的多因子表征，进 而构建一个基于张量分解的人脸视角感知模型。以张量基空间表征与视 角因子的相关性作为度量指标，提出了相应的人脸视角估计算法，得到 的结果优于基于独立分量分析的方法。 关键词：视觉感知，神经编码，时空特征提取、内容和运动感知、人脸 视角感知、独立分量分析、张量分解、自然梯度，视觉皮层，感受野 一珏一 r e s e a r c ho nv i s u a lp e r c e p t i o nm o d e l sa n dc o d i n ga l g o r i t h m s a bs t r a c t v i s u a lp e r c e p t i o na n dc o d i n gi so n eo fb a s i cp r o b l e m si nt h ef i e l do fc o m p u t a t i o n a l n e u r o s c i e n c e i t so b j e c t i v ef o c u s e so nd e v e l o p i n gn o v e lp r i n c i p l e so fn e u r o c o m p u t i n ga n d s y s t e m so fv i s u a li n f o r m a t i o np r o c e s s i n g ，b yu s i n gt h em e c h a n i s mo fv i s u a lc o r t e xb a s e d o nt h ea c h i e v e m e n t sf r o mn e u r o p h y s i o l o g ya n dc o g n i t i o ns c i e n c e s t u d yo nm e c h a n i s mo f v i s u a li n f o r m a t i o np r o c e s s i n ga n dc o m p u t a t i o n a lp r i n c i p l ei so ft h e o r e t i c a ls i g n i f i c a n c ei n n o to n l yr e v e a l i n gn e u r a lc o m p u t i n gm e c h a n i s ma n dd e v e l o p i n gn o v e lc o m p u t i n gm o d e l s ， b u ta l s op r o m o t i n gd e v e l o p m e n to fn e wa r c h i t e c t u r e sf o ri n f o r m a t i o nt e c h n o l o g y ，s u c ha s a r t i f i c i a lv i s i o ns y s t e m ，v i s i o nr e h a b i l i t a t i o n ，m a c h i n ec o g n i t i o n ，a n dn o v e lh u m a n - c o m p u t e r i n t e r f a c e m o r e o v e r , i th a saw i d er a n g eo fa p p l i c a t i o n sf r o mp a t t e r nr e c o g n i t i o n ，i d e n t i t y v a l i d a t i o n ，s a f e t ys u r v e i l l a n c e ，t oi n t e l l i g e n th u m a n c o m p u t e r i n t e r f a c e s 。 b a s e do ns p a r s ec o d i n gs t r a t e g y , t h i sp a p e ri n v e s t i g a t e sg e n e r a lc o m p u t a t i o n a lf l a m e w o r kf o rv i s u a lp e r c e p t i o n ，i n c l u d i n gl e a r n i n gf r o mi m a g es e q u e n c e st h es e l f - o r g a n i z e dm a p s o fr e c e p t i v ef i e l d so fs i m p l ea n dc o m p l e xc e l l si nt h ep r i m a r yv i s u a lc o r t e x ，c o n s t r u c t i n g h i e r a c h i c a l l yp e r c e p t u a lm o d e l sf o rp e r c e i v i n go b j e c t si ns t i m u l i ，t r a n s f o r m a t i o n ss u c ha s t r a n s l a t i o n ，r o t a t i o n ，s c a l i n g ，a n dm o t i o n s m a i nc o n t r i b u t i o n so ft h i sd i s s e r t a t i o na l el i s t e d a sf o l l o w s i no r d e rt or e p r e s e n ts t a t i s t i c a lc h a r a c t e r i s t i c so fn a t u r a ls c e n e s ，w ea p p l yi n d e p e n d e n t c o m p o n e n ta n a l y s i s ( i c a ) a l g o r i t h mo nt h en a t u r a li m a g et r a i n i n gd a t at ob a s i sf u n c t i o n s ， w h i c ha r el o c a l i z e d ，o r i e n t e d ，a n db a n d p a s s ，r e s e m b l i n gt h er e c e p t i v ef i l e d so fs i m p l ec e l l si n t h ep r i m a r yv i s u a lc o r t e xf o u n d e di nt h en e u r o p h y s i o l o g i c a le x p e r i m e n t s t h ec o r r e s p o n d - i n gc o e f f i c i e n t so fi n d e p e n d e n tc o m p o n e n t sa r ec o n s i d e r e da st h en e u r o n a lr e s p o n s e st h a t a r ec o n s o n a n tw i t hs p a r s ea n ds u p e r g a u s s i a np r o b a b i l i t yd i s t r i b u t i o n b yt h es e c o n d 。o r d e r c o r r e l a t i o nb e t w e e nn e i g h b o r i n gr e s p o n s e s ，w ed e r i v et h es e l f - o r g a n i z e dl e a r n i n ga l g o r i t h m b a s e do nn a t u r a lg r a d i e n t ，c a l l e dn g t i c a ，w h i c hi sa b l et ol e a r ns p a t i o t o p o l o g i c a lm a p s o fr e c e p t i v ef i e l d so fs i m p l ec e l l sf r o mn a t u r a ls c e n e s t oe x t r a c ts p a t i o - t e m p o r a lf e a t u r e s ，w ep r o p o s eam o d e lb a s e do ni n v a r i a n c er e p r e s e n - t a t i o ni nt h ev i s u a lc o r t e x b ye x t e n d i n gt h en g t i c aa l g o r i t h m , w eo b t a i ns t i c aa l g o r i t h ma d a p t e dt ot h em o d e lf o re x t r a c t i n gs p a t i o t e m p o r a lf e a t u r e sf r o mi m a g es e q u e n c e s l 狂。 上海交通大学博士学位论文 a n dv i d e o s t h e s ef e a t u r e sr e f l e c tc e r t a i ni n v a r i a n e ep r o p e r t i e s ，s u c ha st r a n s l a t i o n ，r o t a t i o n ， s c a l i n g ，a n dv i e wa n g l e m o r e o v e r , w ee l u c i d a t et h es p a r s ea n ds u p e r g a u s sd i s t r i b u t i o no f r e s p o n s e so fc o m p l e xc e l l sw h e nt h e s es p a t i o t e m p o r a lf e a t u r e sa c ta st h er e c e p t i v ef i e l d so f n e u r o n s f o rp e r c e i v i n go b j e c t sa n dt r a n s l a t i o n a lm o t i o no fs t i m u l i ，w em o d e lt h ev i s u a lp a t h w a y so f w h a t a n d w h e r e w ep r o p o s eat h r e e l a y e rp e r c e p t u a ln e t w o r k sa n dt w oc o l - r e s p o n d i n ga l g o r i t h m s ，o p aa n dt p a ，a r ed e v e l o p e df o ro b j e c t sa n dt r a n s l a t i o n a lm o t i o n p e r c e p t i o nr e s p e c t i v e l y t h ec o m p u t e re x p e r i m e n t ss h o wt h a tt h ep r o p o s e dm o d e la n dp e r - c e p t i o na l g o r i t h m sa r ea b l et op e r c e i v eo b j e c t sa n dt r a n s l a t i o n a lm o t i o n sw i t hah i g ha c c u r a c y a n ds t r o n gr o b u s t n e s sa g a i n s ta d d i t i v en o i s e w ep r o p o s ear o t a t i o np e r c e p t i o nm o d e lf o rp e r c e i v i n gr o t a t i o n a lt r a n s f o r m a t i o nf r o m s e q u e n c e so fs t i m u l ia n da na l g o r i t h m ，c a l l e dr p a ，i sd e v e l o p e db yt a k i n gt h ec o r r e l a t i o n b e t w e e nr e s p o n s e sa sa ni n v a r i a n tm e a s u r e f u r t h e r , w ep r o p o s eag e n e r a l i z e dm o d e lw h i c h c a nb eu s e dt op e r c e i v ec e r t a i nt y p eo fm o t i o nb yu s i n gt h ec o r r e s p o n d i n g r e c e p t i v ef i e l d si n t h em o d e l f o rt h eh e a dp o s ee s t i m a t i o np r o b l e m ，o n eo fi m p o r t a n tp r e p r o c e s s i n gi nf a c er e c o g n i t i o n ，w ep r o p o s ean o v e li c a b a s e dm o d e li n s p i r e db yt h em e c h a n i s mo fv i s u a lp e r c e p t i o n t h e r e c e p t i v ef i e l d so fn e u r o n sa r el e a r n e df r o mm u l t i - v i e wf a c i a li m a g e sb ys t i c a w e f u r t h e rp r o p o s eac o r r e s p o n d i n gp e r c e p t i o na l g o r i t h mb a s e do nn e u r o n a lf i r i n gr a t e c o r n - p u t e re x p e r i m e n t sa r eg i v e nt ov e r i f yt h ep e r f o r m a n c eo ft h ep r o p o s e da l g o r i t h m f u r t h e r e x p e r i m e n td a t aa n a l y s i ss h o w st h a tr e s p o n s e sa l ed e s c r i b e da sam a n i f o l di nt h eh i g h - d i m e n s i o n a l i t ys u b s p a c es p a n n e db yt h em u l t i v i e wb a s e sw h e nn e u r o n sa l es t i m u l a t e db y d i f f e r e n tv i e wf a c i a li m a g e s t h i se x c i t i n gr e s u l te s t a b l i s h e st h er e a s o n a b l ef u n d a m e n t a lf o r t h ep e r c e p t i o na l g o r i t h m 。t a k i n gi n t oa c c o u n tf a c i a li m a g e si n f l u e n c e db yl i g h t i n g ，e x p r e s s i o n ，v i e w , a n da g e ，w ea p p l yt e n s o rf a c t o r i z a t i o nt oe x t r a c t i n gm u l t i f a c t o rr e p r e s e n t a t i o n f o rf a c e sa n dp r o p o s eat f - b a s e dm o d e lf o rf a c i a lv i e we s t i m a t i o na n da l la l g o r i t h mw i t ht h e m e a s u r eo fc o r r e l a t i o nb e t w e e nt e n s o rr e p r e s e n t a t i o na n dv i e wf a c t o r c o m p u t e rs i m u l a t i o n r e s u l t sv e r i f yt h a tt h e 羽f - b a s e dm o d e lp r o v i d e sb e t t e rr e s u l t st h a nt h ei c a - b a s e do n e 。 k e yw o r d s ： v i s u a lp e r c e p t i o n ，n e u r a lc o d i n g ，s p a t i o - t e m p o r a lf e a t u r e ，o b j e c ta n d m o t i o np e r c e p t i o n ，h e 越p o s ep e r c e p t i o n ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，t e n s o rf a c t o r i z a t i o n ，n a t u r a lg r a d i e n t ，v i s u a lc o r t e x ，r e c e p t i v ef i e l d s 一一 p c a i c a n m f l l e t f s v m n m w f l s m m i k l d m l m a p 主要符号对照表 主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ) 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 非负矩阵分解( n o n n e g a t i v em a t r i xf a c t o r i z a t i o n ) 局部线性嵌入( l o c a l l yl i n e a re m b e d d i n g ) 张量分解( t e n s o rf a c t o r i z a t i o n ) 支持向量机( s u p p o r tv e c t o rm a c h i n e ) 非负多模式分解( n o n n e g a t i v em u l t i - w a yf a c t o r i z a t i o n ) 最t j 、z 乘法( l e a s ts q u a r e ) 互信息最小化( m i n i m u mo fm u t u a li n f o r m a t i o n ) k l 散度( k u l l b a c k l e i b l e rd i v e r g e n c e ) 极大似然( m a x i m u ml i k e l i h o o d ) 极大后验( m a x i m u map o s t e r i o r i ) 一x 一 上海交通大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何他个人或集体 已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在 文中以明确方式标明。本文完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 上海交通大学学位论文版权使用授权书 本学位论文作者完全了解上海交通大学有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 ( 保密的论文在解密后应遵守此规定) 学位论文作者签名 日期：溥 指导教师签名：球 日期：跫缉土月竺日 第一章绪论 视觉感知与编码是神经计算科学研究的基本问题之一，其主要任务是以神经生 理学和认知科学的研究成果为基础，模拟人类视觉信息处理的神经模式，研究新的 计算原理和视觉信息处理系统。本文将根据视网膜和视觉皮层功能结构，从视觉系 统层次建立神经计算模型。在本章，首先介绍视觉感知与编码问题的研究背景及意 义，提出其研究目标，并针对该问题综述当今国内外研究成果及研究进展，最后给 出全文的研究内容介绍以及组织结构安排。 1 1 研究背景及意义 被誉为“万物之灵”的人类，具有高度发达的大脑。有了它，我们可以看到千 姿百态、色彩缤纷的世界，才能“会当凌绝顶，一览众山小”；有了它，我们可以 听到悦耳啼啭的鸟鸣，动人心弦的音律，才能“余音绕梁，三日不绝”：有了它， 我们可以感受到扑面而来的芬芳袭人，才能赏月于“八月桂花香”；有了它，我们 才能感受到满汉全席中的酸甜苦辣咸；有了它，我们才能感受到春暖花开、秋去冬 来；有了它，我们才会“心有灵犀 ，配合默契。正因为我们人类具有如此发达的 大脑，我们才会感知人间冷暖，才会梦见我们的亲人，才会知道父母之爱的博大与 无私，才会记录我们几千年的历史与文明，才会发明计算机与人工智能，才会让人 类走上月球，探索火星，。而不幸的是，有人却没有健全的身体和大脑。他们 或生活在黑暗之中，可能正在经历失明的痛苦；他们或生活在极度的宁静世界里， 失聪中的死寂正慢慢吞噬着他们向往音乐圣殿的心灵；。所有这一切，都是因 为我们的身体和大脑时刻在进行着少为人知的活动。我们需要理解并找到这些谜一 般的现象与问题的答案，让盲人重见光明，让聋人重听到美妙的音乐，让哑巴开口 说话，。 从总体上来说，人类大脑是世界上最复杂、最巧妙、最高级的信息处理系统， 破解大脑之谜可以说是科学家梦寐以求的目标。我们的大脑整天究竟在干什么? 是 如何工作的? 我们的意识从何而来? 我们的精神如何产生? 为什么我们会有喜怒哀 乐、爱恨情仇? 这些普通人十分关心的自然之谜，亦是科学家们穷毕生精力研究的 重大问题。随着人类科技的进步，用先进的设备与技术研究大脑越来越成为可能， 亦呈现了大量的研究成果，这里给出几个近期的研究成果示例。 2 0 0 2 年3 月2 1 日，英国雷丁大学控制论系主任凯文沃威克接受了一次颇受争议的 手术，在自己的左手腕中植入一块3 毫米见方的芯片，芯片上有1 0 0 个像头发那样细 的电极，和他的中枢神经连接起来，连接在前臂皮肤下送入，并从皮肤中的一个小 孔穿出然后将伤口缝合。这些衔接线与一个发射机胺受装置连接起来，该装置能够 上海交通大学博士学位论文 把人体神经信息，以无线电信号方式从雷丁大学的实验室发送到计算机。通过这个 手术，沃威克把自己变成了一个“电子人 。随后一个多星期的试验中，沃威克带 着体内的这个芯片在控制论系办公大楼进进出出，所有由电脑控制的房间都能认出 他，自动开灯、开门。所有这一切都在一念之间，无需动手。在哥伦比亚广播公司 的节目中，主持人采访了盲人j e n sn a u m a n n 。他应用了植入式视觉b c i ，手术后，他 虽未完全恢复视力，但却可以驾车沿着研究所的停车场四周慢速行进。使用人造装 置代替受伤的神经系统或者感觉器官，应用最广泛的是人工耳蜗。截至2 0 0 6 年，已 经有大约1 0 万人实施了耳蜗植入手术。还有的设备是为了修复人类的视力，如人造 视网膜，但它只能把视觉信号直接传输给大脑。2 0 0 7 年7 月中旬在美国科学杂志 上发表的研究文章中，安德森给出了一个惊人的事实，他们训练的猴子已经能够通 过精神控制计算机屏幕上的光标，并把这个光标移到目标区域。 作为人类“心灵的窗口的眼睛及相连的视觉系统，在人类获取自然界信息的 活动中占了极为重要的地位，俗语说“百闻不如一见 ，即反映出视觉对人类的重 要性。人类通过视觉系统获取的信息占人类从外界获取信息的6 0 以上。视觉系统 之所以能够在感知外界信息的过程中具有重要地位，是由其结构和功能决定的。从 信息处理的角度看，视觉系统通过视网膜接收外界客观环境的信息，经视神经束、 外膝体( l g n ) 传入初级视皮层( v 1 区) ，然后v 2 ，v 3 ，一直到高级脑区，反映出视 觉信息的处理是一个由粗糙到精细，由多到少，多层次多通路并行处理的超复杂过 程。尽管已有很多生理实验结果表明这一重要现象，但对其神经机制的理解尚未清 楚。视觉信息如何在视网膜与大脑各皮层之间进行编码与传递，是国际神经生物学 的前沿研究难题之一，也是当今视觉感知信息处理领域研究的一个热点所在。它一 方面充分体现了神经生物学、数学、物理学、认知科学、计算科学、信息科学、系 统科学、工程的综合交叉；另一方面，研究其信息处理机制和计算原理不仅对揭示 神经计算原理、建立新型计算模型具有重要的理论意义，而且对推动新型信息技术 的发展，如机器认知、新型人机交互模式等也具有重要作用，对人工视觉系统，以 及通过人工替代系统，对失明患者进行视觉功能修复，都将产生积极的作用。在模 式识别、身份验证、安全监控、智能的人机交互界面也有广泛的应用前景。大脑皮 层对视觉信息的分析、编码、加工和整合是视觉感知功能实现所必须的关键阶段之 一，对该阶段信息处理的神经基础和机制的研究对于深入认识视觉功能的机理具有 十分重要的意义，也是视觉功能修复的基础理论问题之一。 1 2 国内外研究进展综述 近年来，国际上对视网膜和视觉皮层系统有许多研究成果，取得了重要的进 展。下面将从视觉系统的生理基础、视觉理论、视觉感知模型及神经信息编码技术 等方面进行综述。 一2 一 第一章绪论 12 1 视觉系统的神经生理基础 许多研究者分别用人造条形和光栅、静态自然图像和自然风景视频对被麻醉或 清醒的动物的视觉进行刺激，通过记录视觉通路中视网膜、外膝体及大脑视皮层神 经元活动情况，得到许多很重要的结论。 视网膜中的多数神经节细胞具有同心圆式的中心周边感受野结构 1 3 】。神经节 细胞的感受野可分为“给光”和“撤光”中心两种主要类型 6 2 ，1 2 3 ，分别对照射感 受野中心区的光点和暗点有最佳反应。 外膝体神经元的感受野亦可分为中心周边两个拮抗区域，有给光中心和撤光中 心两类，周边抑制作用比视网膜神经节细胞更强。其作用常被归结为提高对比敏感 度和减小对弥散光的反应 1 2 5 。r o d i e c k 9 2 于1 9 6 5 年提出了描述视网膜和外膝体上 同心圆感受野的d o g 数学模型。 初级视皮层中有两类主要的细胞：简单细胞与复杂细胞 5 1 】。简单细胞对有特殊 朝向的射暗刺激很敏感，而复杂细胞对运动方向的刺激条形有较强的感应。视觉初 始皮层( v 1 区) 中的简单细胞和复杂细胞通过感受野对视觉信息进行感知。 视觉系统具有分层结构 1 2 3 1 ，每一层完成不同的功能，由简单信息感知到复杂 概念的形成，揭示出视觉信息的等级性传递。高级神经信息整合通过腹侧和背侧两 个功能通路进行，腹侧通路完成对物体形状、颜色和纹理特征的响应，而背侧响 应运动的速度和方向。视觉信息的传递与处理过程在视觉系统的高层存在两条通 路，其分类方法主要有两类：( 1 ) “w h a t 通路和“w h e r e 通路：( 2 ) “w h a t ”通路 和“h o w ”通路。更详细的介绍将在第二章给出。 在神经元突触学习方面发现了突触长效增强( l t p ) 和长效抑$ 1 j ( l t d ) 现 象。p o o 并1 b i 2 l 】通过对神经元突触可塑性进行系统的实验，提出了神经突触调 节的非对称时窗的学习理论，描述了神经突触调节的长效增强与长效抑制非对称时 窗性质。 1 2 2 视觉理论 在认知科学领域中，“视知觉从哪里开始”是本源性问题。目前，国际上在视 知觉研究领域中占主导地位的理论是以m a r r 为代表的特征分析理论 1 2 1 。该理论认 为视知觉过程是由局部性质到整体性质进行的，首先感知到的是局部几何特征。与 之相反，g e s t a l t 理论则认为视知觉过程是由大范围整体性质到局部性质进行的，首 先感知到的是大范围拓扑特征。本节简单综述这两种理论目前的研究现状。 1 2 2 1m a r r 的特征分析理论 m a r r 的视觉计算理论要点：( 1 ) 视觉系统是一种复杂的信息加工系统。表象和处 理是两个重要问题。( 2 ) 复杂的信息系统需要从三个不同层次上加以描述：计算理论 一气一 上海交通大学博士学位论文 层次，算法层次和硬件层次。( 3 ) 视觉过程从视网膜上成像开始，经过三个阶段的加 工，得到物体的三维结构。( 4 ) 功能模块是结构上形成的专门快速处理某一视觉特性 的模块，是进优和发育过程中形成的功能，是“软件硬化”在神经系统中的结构。 早期视觉的功能模块( 边框、光流、体视等) 已获充分研究，并在理论上取得重大进 展。 特征分析理论是m a n 计算视觉理论的一部分，该理论认为视觉信息处理是靠三 级结构“要素图一2 5 维图一三维模型表象”来加| 以处理的。表达外部信息的基本要素 是点、边缘、面等局部几何特征。 基于相同的思想，主要有三类计算理论。第一，b a r l o w 依据单细胞的电生理记 录，提出了“神经还原论”【11 】。该理论从研究大脑皮层结构开始，模拟神经系统的 细胞分布及细胞间的动态连接。因此，从模拟生物视觉机理的角度来看，它是与生 物视觉的特征提取过程最为接近酶理论。第二，m a r r 和n i s h i h a r a 7 2 】提出了结构分 解理论。相应的模型假设一个由若干个基本形状特征组成的集合，这些特征为大多 数样本共鸯，新目标可分解成这些特征的组合。第三类为特征空间论，该理论认为 原始数据可用统计学的方式获得一组特征向量，从而构成特征空间。最有代表性的 特征提取方法有p c a 、i c a 和n m f 等，以及特征空间的近似方法u 。e 和i s o m a p 。更 迸一步的介绍将在第二章给嫩。 1 2 2 2p o g g i o 正贝j j 化理论 m a 嚣的同事p o g g i o 8 5 发展出一种视觉的正剃化理论，饱把初级视觉的许多功 能，如光流、边缘检测、运动等，用统一的数学理论加以概括。在理论上相当完 美，但是在动物视觉系统中是否按这种方式进行，以及高层次上静知识与初级模块 上如何相互作用等问题，都值得深入探讨。 1 2 。2 。3g e s t a l t 拓扑知觉理论 从视觉感知的观点，自然界的许多复合刺激是由相对独立的局部图像组成的整 体图像。例如，一幅人脸图像中的各关键部分( 如眼睛、鼻子和嘴等) 都有独立的局 部特征，只有当它们满足一定的拓扑关系时，才能作为一个整体唯一地标识一张入 脸。这种重视知觉组织，淡化局部特征，强调对象之间的拓扑关系和整体意义的理 论被称为拓扑知觉理论。n a v o n 提出类似的整体优先性理论【7 7 】。陈霖设计昀蜜蜂瓣 别图形的实验方案获得认知界认可，说明拓扑知觉理论更符合生理视觉的规律【2 4 】。 作为拓扑知觉理论的主流学派，g e s t a l t 学派的心理学家遣过大量的生理物理 实验，对许多视觉现象做出了解释，尤其对知觉分割和知觉组成进行了系统的 研究。该学派提出了一些知觉组织的规律，反映了环境信息以何种方式组合成 能被感絮的单元整体，这些规律包括：邻接律、相似律、封闭律、连续律震协变 律 8 3 1 。g e s t a l t 理论用相似性、邻接性和连接性来表示视觉信息，并作为压缩信息的 一4 一 第章绪论 准则。该学派的初期研究者提出的各种知觉整合原则是依据自底向上的方式来进行 知觉组织的，并作出知觉元素的整合发生在视觉加工的早期的论断。丽较新的研究 成果表明【8 3 】：基于邻接性原则的整合应该发生在深度知觉之后，即发生在视觉加工 的中期。 1 2 3 神经信息编码与视觉感知模型 。2 。3 。1 毒枣续缡码 神经系统的功能在于处理和存储信息，那么外界信息在神经系统中是如何编码 和处理的昵? 这是囱神经科学面世以来就有的问题。许多研究者对这一阅题给趱了 不同的解释。 诺贝尔奖获得者a d r i a n 2 提出了第一个神经编码的假说，称为同构编码假说。 认为神经脉冲的发放( 平均) 频率编码了外界环境刺激的强度，简单地说，每秒钟发放 脉冲频率数正比于刺激的强度值。但该假说没有考虑到外界刺激的空间分布和时间 分布。 h e b b 4 6 1 推测神经系统编码信息是“细胞集群组装式的。他认为：动物个体 经验中如果皮质有群细胞霪复遗被激发，而且当这个事件不在同一时闻出现时， 这群细胞中总有一部分称为“核心 细胞的被兴奋，这群核心细胞趋于联成一个系 统，这个系统称为“细胞集群组装。该假说提出时，关于学习记忆，编码和表象 等方面的电生理资料还没有大量发表，他作出这样的大胆而正确的假设是极有远见 的。 b a r l o w 在神经编码方面提出“老祖母细胞假说。b a r l o w 认为，视觉系统中层 次分明，信息进行逐级加工，初级视皮层神经细胞对条形或边边形感兴趣，颞叶皮 层的神经维胞对复杂图形敏感。高爱次上的神经细胞像老祖母一样高离在上，负责 一些比较抽象比较复杂的图像识别任务。 a b e l e s 提出同步发放( s y n f i r e ) 假说【l 】。绝认为一个神经元的兴奋与否取决于突触 前到达的脉冲数，信息在神经网络中运行按同步发放方式进行。这个假说比电生理 学上发现的4 0 h z 同步振荡要早些，包含h e b b 的细胞集群组装的思想，也很重视时间 过程，有其合理之处。 2 0 世缈o 年代末，视觉电生理研究中发现4 0 h z 同步振荡现蒙，日本f u j i 等【3 8 】等 人的文章发表，关于神经编码的问题进入大家公认的“时空编码阶段。他们的动 态细胞集群假说是针对大脑皮质中的神经编码而言的，个细胞集群是由解剖结构 和输入脉冲麓时空结构自发和动态地组织起来。其优点之一就是在一堆神经元中多 个细胞集群可以同时工作，因此存在多种表象的可能性。 一5 一 上海交通大学博士学位论文 1 2 3 2 有效编码 神经系统中有限的神经元如何表达外界环境的巨量信息是长期困扰研究者的一 个问题。许多研究者对此进行做了大量的研究工作。a t t n e a v e 7 】矛h b a r l o w 【1 0 】提出 了有效编码假说，并逐渐得到了理论和实验的证明。a t t n e a v e 提出视觉感知系统的 作用是产生输入信号的有效表示。b a r l o w 将信息论 2 9 】应用于神经信息处理中，提 出神经处理的一个重要约束：有效编码。她认为神经元群联合对同一外界刺激的响 应，一方面可以充分利用单个神经元的响应能力，另一方面也考虑到神经元之间的 信息编码应尽可能统计独立，充分利用它们之间可能的响应组合。有效编码假说为 计算机模拟大脑来完成各种复杂的任务提供了一种有效的研究手段，对于计算智能 的发展具有重要的意义。 基于有效编码假说，主要有两类主要思路。第一种思路称为直接法，是 直接在自然刺激的条件下测试神经元响应的统计特性。如n i e 并n g a l l a n t 发表 在s c i e n c e 1 0 9 的文章称，从神经生理学实验中发现：对于自然环境中的刺激，视 皮层细胞的响应满足稀疏分布。第二种思路是推测法，推测感知系统信息处理 的模型。这种方法，首先分析外界信号的统计特性，然后根据最优理论推导一 个转换工具，从而能够给出感知系统对外界刺激响应的最佳描述。如，f i e l d 3 7 】 和d a u g m a n 3 1 】证明自然图像的高阶统计特性满足非高斯分布。即，大部分神经元 对外界信号的响应很弱，只有少部分神经元对外界信号有较强的响应，f i e l d 把这 种性质称为稀疏性( s p a r s e n e s s ) 。根据稀疏性进行自然图像的有效编码，称为稀疏编 码( s p a r s ec o d i n g ) 。o l s h a u s e n 和f i e l d 7 9 ，8 0 认为每幅图像都可以看成多个基函数的 线性组合，而这些基函数可以从多幅度图像中学习得到。b e l l 和s e j n o w s k i 1 8 。v a n h a t e r e n 和v a nd e rs c h a a f 10 7 ，l e w i c k i 和o l s h a u s e n 6 6 ，h y v l , - i n e n 和h o y e r 5 4 采用独 立分量分析的方法也取得了相似的结果。 这些模型通过线性变换来模拟神经元的相互作用，其缺点在于与大脑神经系统 的实际工作机理不一致，因为复杂细胞并不是以线性方式从刺激中抽取相位和位移 的不变特征的。 上述研究方法本质上都需要一个特征提取的过程。通过模拟人类神经系统的信 息处理方式提取不变特征 2 0 】来解决有效编码问题的研究方法可以归纳