（控制科学与工程专业论文）基于生物视觉的运动检测模型.pdf

国防科学技术大学研究生院学位论文 摘要 生物视觉的脑机制极其复杂，运动感知是生物视觉脑机制的重要组成部分之一。本文 的工作就是在现有生物视觉运动感知模型的基础上，建立一个可用于真实运场景下的运动 方向和运动形状检测模型。 人的大脑对运动方向和运动形状的感知涉及到大脑视皮层的v 1 、v 2 、v 3 、m t 和m s t 区，其中v 1 v 2 是静态图像处理通道，m t - m s t 是运动图像处理通道。目前所建立的运动 感知生物视觉模型主要有运动边界轮廓系统( m b c s ：m o t i o nb o u n d a r yc o n t o u rs y s t e m ) 和 形状运动边界轮廓系统( f o r m o t i o nb c s ) 等，这些模型对结构化场景下的运动感知效果 较好，其中m b c s 对真实场景下动态序列的运动感知效果较差，而f o r m o t i o nb c s 侧重于 视觉心理现象的分析，不能直接用于真实场景下的运动形状与运动方向检测。本文在深入 分析这两个模型的基础上，结合它们各自的优点，建立了一个可用于真实场景下的运动形 状与运动方向检测模型。 该模型的设计思想是先提取出运动对象在各个偏好方向上面的角点或终端等特征跟 踪信号，然后再通过运动双极细胞的边界重组与分割作用结合静态边界与特征信号来获得 最终的运动形状输出。 该模型由静态边界预处理、暂态网络、空间滤波、竞争网络、方向间抑制网络及边界 重组与分割( 运动双极细胞) 等处理阶段组成，其中暂态网络、空间滤波、竞争网络和方 向间抑制网络的结合可以得到运动对象的特征信号，由此确定特征跟踪信号的各个有机组 成阶段；静态边界预处理阶段为暂态网络和运动双极细胞提供静态边界信息。 文中利用该模型对几何场景和真实场景下的动态图像序列进行了计算机仿真，并详细 分析了影响运动形状与运动方向检测效果的因素。仿真结果说明，本文改进的模型不但可 用于几何场景下对象的运动形状和运动方向检测，还可用于真实场景下运动对象的运动形 状和运动方向检测。 主题词：生物视觉运动视觉运动双极细胞运动形状方向检测特征跟踪信号 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t t h eb r a i n _ m e c h a n i s mo fb i o l o g i c a lv i s i o ni sm u c hc o m p l e xa n dt h em o t i o np e r c e p t i o ni so n e o f t h e i m p o r t a n t p a r t o f i t b a s e d o n t h ee s t a b l i s h e d m o t i o n p e r c e p t i o n m o d e lo f b i o l o g i c a lv i s i o n , i ti st h eg o a lo ft h i sp a p e rt ob u i l dad y n a m i c sn e u r a lm o d e lw h i c hc a nb eu s e dt od e t e c tt h e m o t i o nd i r e c t i o na n dm o t i o nf i g u r ei nt h er e a ls c e n eo f t h em o v i n gt a r g e t t h ev i s u a lc o r t e xo f h u m a nb r a i nr e l a t e dt om o t i o np e r c e p t i o na sw ek n o ws of a ri n v o l v e sa r e a v 1 ，v 2 ，v 3 ，m ta n dm s t e s p e c i a l l yt h ep a t ho fv l - v 2i sf o rs t a t i cf i g u r ep r o c e s s i n ga n dt h e p a t ho fm t - m s ti sf o rm o t i o np r o c e s s i n g a tp r e s e n t ，m o t i o nb o u n d a r yc o n t o u rs y s t e ma n d f o r m o t i o nb c sa r et w oo f t h ee s t a b l i s h e dm o t i o np e r c e p t i o nm o d e lb a s e do nb i o l o g i c a lv i s i o n ， a n dt h em o t i o np e r c e p t i o ne f f e c t sa r eg o o dt ou s et h e mi nt h es t r u c t u r e ds c e n e b u tt h e p e r c e p t i o ne f f e c t st ou s em b c s i nt h er e a ls c e n ea l ew o r s e ，a n df o r m o t i o nb c sl a i das t r o n g e m p h a s i so nt h ea n a l y s i so fv i s i o np s y c h o l o g yp h e n o m e n o na n dc o u l dn o tt ob eu s e dt od e t e c t t h em o t i o nf i g u r ea n dm o t i o nd i r e c t i o ni nt h er e a ls c e n ed i r e c t l y b a s e do na n a l y z i n gt h o s e m o t i o np e r c e p t i o nm o d e li nd e t a i l ，ad y n a m i c sn e u r a lm o d e lw h i c hi su s e dt od e t e c tt h em o t i o n f i g u r ea n dm o t i o nd i r e c t i o ni nr e a ls c e n eh a sb e e nb u i l tt h o u g h tc o m b i n e dt h e i ra d v a n t a g ei nt h i s p a p e r i ti st h ei d e ao f t h i sm o d e lt h a tf e a t u r es i g n a l si ne a c hp r e f e r r e dd i r e c t i o no f t h em o t i o nt a r g e t ， s u c ha sc o m e r s ，l i n et e r m i n a t o r so rl i n ei n t e r s e c t i o n sa r ee x t r a c t e da tf i r s t , a n dt h e n ，v i at h e b o u n d a r yr e g r o u p i n ga n ds e g m e n t a t i o nf u n c t i o no ft h em o t i o nb i p o l ec e l l st h a ts y n t h e s i z es t a t i c b o u n d a r ys i g n a l sa n df e a t u r es i g n a l s ，t h ef i n a lm o t i o nb o u n d a r yi so u t p u t n l em o d e li n c l u d e st h ef o l l o w i n gs t e p s ：s t a t i cb o u n d a r yp r o c e s s i n g ，t r a n s i e n tn e t w o r k p r o c e s s i n g ，s p a c ef i l t e rp r o c e s s i n g ，c o m p e t i t i o n n e t w o r kp r o c e s s i n g ,i n h i b i t i o nn e t w o r k p r o c e s s i n ga n db o u n d a r yr e g r o u p i n ga n ds e g m e n t a t i o n ( m o t i o nb i p o l ec e i l s ) f e a t u r es i g n a l so f t h em o t i o nt a r g e tc a nb eg a i n e dt h r o u g ht h ec o m b i n a t i o no ft r a n s i e n tn e t w o r k , s p a c ef i l t e r , c o m p e t i t i o nn e t w o r ka n di n h i b i t i o nn e t w o r k s ，w h i c hc o n s t i t u t et h ep r o c e s s i n gs t a g e st oc o n f i r m f e a t u r e t r a c k i n gs i g n a l s ，a n dt h es t a t i cb o u n d a r yp r e p r o c e s s i n gp r o v i d e st h es t a t i cb o u n d a r y i n f o r m a t i o nf o rm et r a n s i e n tn e t w o r ka n dt h em o t i o nb i p o l ec e l l s t h ed y n a m i ci m a g e s e q u e n c e i nt h es t r u c t u r e da n dr e a ls c e n eh a v eb e e ns i m u l a t e d s u c c e s s f u l l yb yu s i n gt h em o d e li nt h i sp a p e r , a n dt h ef a c t o r st h a ti n f l u e n c e dt h ep e r c e p t i o n e f f e c t sh a v eb e e na n a l y z e di nd e t a i la l s o s i m u l a t i o nr e s u l t si n d i c a t e dt h a tt h i sm o d e lc o u l db e u s e dt od e t e c tt h em o t i o nf i g u r ea n dm o t i o nd i r e c t i o no ft h em o v i n gt a r g e ti nr e a ls c e n ea sw e l l a si nt h es t r u c t u r e ds c e n e 第1 i 页 k e y w o r d s ：b i o l o g i c a lv i s i o n ，m o t i o nv i s i o n ，m o t i o nb i p o l ec e l l s m o t i o nf i g u r e ，d i r e c t i o n d e t e c t i o n ，f e a t u r e - t r a c k i n gs i g n a l 第1 i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：基王生堑塑鲎盟重边拴型搓型 学位论文作者签名： 蒸。莹四日期：。6 年1 j 月) ) 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题昏基王生塑塑鲎鳗垂盈捡到搓型 学位论文作者签名： 作者指导教师签名： 毙t 茗j 引 童熬氏 日期：如r 6 午f7 月) 9 日 日期加6 年j 月2 7 日 f 国防科学技术大学研究生院学位论文 第一章绪论 1 1 问题提出 在臼常生活中或是电视上，我们时常可以看到，流星从天上划过、鸟儿从空中掠过， 或是马群在草原上奔驰、一只凶猛的猎豹在从林中穿越，等许多生动的景象。当我们在领 略大自然给我们的天然艺术的同时，也许从没有经意地感叹过我们的眼睛，它们在感知和 捕捉目标运动的时候，是那么的迅捷和敏锐，却又准确，几乎没有感到什么困难。即使是 在复杂的背景中，不管目标运动的速度快慢，运动物体自身的形状又是多么复杂，这些对 于感知也都没有什么影响 人们对人类视觉系统、视觉环境的研究一方面是为了探索自然奥秘，另一方面也是为 了人类自身生存和发展的需要现代医学、神经生理学等学科的发展使得医治视觉神经系 统的某些疾病成为可能。 对于许多智能生命而言，与其生活在其中的环境进行交互的能力是天生成就的。这种 交互是通过不断的感知与动作而实现的在所有的感知类型中，生物视觉感知是比较复杂 的生物视觉感知具有相当强的适应性和稳定性。人们从两个方面入手研究生物视觉感知： 一方面是研究视觉系统对外界环境的总体反映；另一方面是研究视觉系统的具体机制，其 着重于详细分析视觉系统是如何组成的、视觉系统的各个部分是如何响应视觉刺激以及视 觉系统中各个部分是如何相互作用的。其中，前一方面的研究始于古代哲学家对视觉心理 现象的研究，后一个方面的研究始于生理解剖方法的出现 在军事和工程应用中，机器视觉经常遇到的是动态图像，动态图像的处理要比静态图 像的处理困难得多动态图像中的由光流计算运动是一个病态问题，需要增加人为的约束 才能求解：动态图像中的孔径问题，使得光流表现局部运动不能直接反映物体的实际运动； 运动物体的感知和认知，更是十分困难。这些难点都是动态图像处理中最基本的难点计 算机视觉得到了广泛的应用，但同时也面临着很大的困难：它往往是从工程的角度出发， 就事论事地提出各种算法，而缺少统一有效的算法，无法解决复杂场景中的分割和认知问 题当人们观察实际景物时，大脑能够很快地组合各种局部信息，产生总体协调的感觉 所以要提高机器视觉的水平，一种思路就是要从生物视觉机制中吸取营养 在视觉研究的工程应用领域中，2 0 世纪7 0 年代，m a r t 提出“视觉计算理论”，奠定 了计算机视觉理论的基础【1 1 1 3 1 。“视觉计算理论”依照“初始信号图一要素图一2 5 维图一 三维结构”的流程进行视觉信号处理，希望达到三维重建的目的。上世纪8 0 年代至今， 世界各国的研究者们按照m a r t 提出的基本理论框架，对计算机视觉系统的各个研究层次 及各个阶段的各个模块，进行了大量的研究，并提出了相应的解决方法，但总的来讲，这 些方法都存在着一些问题，或缺乏通用性，或抗干扰能力差，或存在多解性，究其因，不 外乎两点：一是计算机视觉是一个逆问题，即输入图像为二维图像的灰度。它是三维物体 第1 页 国防科学技术大学研究生院学位论文 几何特征、光照、物体材料表面性质、物体的颜色、摄像机参数等许多因素的函数，由灰 度反推以上各种参数是逆问题，而这些问题大都是非线形的，问题的解不具有唯一性；另 一个原因是m a r t 的视觉系统框架是一个自上而下的、模块的、单向的、数据驱动型的结 构。神经生理学的深入研究表明，这种结构与人的视觉系统还有很大差距，人的视觉系统 上下各层次之间、各模块之间存在着更为复杂的相互作用，并且生物视觉系统的认知过程 是一种与外界交互作用的有目的、主动性过程，而不仅仅是一种被动式的反应 2 1 近些年，科研人员相继发展了计算机视觉的几个方向：以l o w e 为领导进行的特征群 集感知的计算机视觉理论；以b r o o k s 为领导进行的“行为一目的”引导的计算机主动视觉 理论；基于多传感器信息融合的计算机视觉集成理论这些以场景结构特征( 如角点、边 线、几何形体等) 为分析要素的框架计算机视觉方法，目前仅能较好地处理结构化环境t 3 h s i 生物视觉系统在复杂的视觉环境中能毫不费力的处理自然景物图像。这使得人们希望 用生物视觉领域的研究成果来指导，启发和促进计算机视觉技术的研究，用计算机模拟生 物视觉功能。 在生物视觉系统的构成中，运动视觉系统是自然界中非常重要的一种视觉信息获取和 处理的配置方式运动视觉系统中利用连续运动图像序列中的特征跟踪信息来同时进行物 体运动的组群和分割一直是个重点和难点。 在结构化场景下的运动方向检测中，由于场景结构特征比较简单，检测对象的运动方 向相对于比较容易。而对于真实场景下的动态运动序列，由于背景复杂、观察条件不限定 存在噪声干扰、运动对象的形状复杂以及边界轮廓模糊等原因，真实场景下对象运动形状 与运动方向的检测难度较大。 本文的工作就是根据生物视觉的运动感知机制，建立一个一致有效的可用于不同运动 场景及运动对象的运动方向和运动形状检测模型，以解决真实场景下不同运动对象的运动 方向检测和运动形状分割 1 2 国内外研究现状 很早以前，人们就开展了针对视觉心理现象的研究但是直到近两个世纪，随着解割 学和生理学的发展，人们对生物视觉系统的研究才步入神经元细胞级阶段上世纪以来， 脑科学研究的火热，吸引了大量的人员从神经构成和总体功能模拟两个方面来探索生物视 觉系统的作用机制，至今取得了不少成果但是在这众多的研究成果中，多数偏重于对某 种神经元细胞对刺激响应的数据纪录并由此得到简单的统计结论，少数对某些神经元细胞 对刺激的响应机制建立了模型1 6 1 【7 1 ，而很少有从整体视觉系统的高度来分析视觉信息动力 学的规律 s l g l 。 近四十年来，自从h u b e l 和w i e s c l 发现视皮层功能结构后，神经生理学家对视网膜、 视神经通道和大脑视皮层的研究不断深化对于视网膜、侧膝体核、视皮层各层和各区的 构造和功能，有了较为深入的了解。在前注意视觉中，存在三条通道：( 1 ) 视网膜一侧膝 第2 页 国防科学技术犬学研究生院学位论文 = = 篇= = = = = 篇= = = = = 搿篁= = i i 篇i = = = = 篇= = = = = 拳= = = = = 盘鬻= = = = = 篇= = = = = 篙= = = = 毒嚣= = = = 篇掌= = = = = = 篇 俸菝靛小编赡层一视受屡v l 嚣静色斑区一v 2 嚣豹细条绞区一v 4 区；( 2 ) 视网膜一鬣膝 体核的小细胞层一视皮层v l 区的色斑问区一v 2 的条纹阅区一v 4 区；( 3 ) 视网膜一侧膝 俗孩戆大缨藏瑟一税疫屡v l 区熬4 b 蒺一v 2 区豹翟条纹嚣一鬏奸串区+ 第二遴遴产生静 止图像边界轮廓的突发分割；第通道则是对上述边界轮廓进彳亍特征填充第一通道和第 二透遴共翔箨曩瓣予静态辫缳送符凌觉处理。瑟第三逶邀楚专门瓣予运动场景孛戆运动雾 运动形状谶行感知的通道。 在魏纂破上，续会携熬心理学窝认躲学，c r r o s s l 跫r g 提出tb c s f c s o r s ( b o u n d a r y c o 咖l l rs y s t e m f e a t u r ec o n t o u rs y s t e m 0 b j e c tr e c o g n i t i o ns y s t e m ) 理论。认为在视觉过程 中，黄先蠢毒自感受野梭测特征，秀用短程竞争秘长距会终翦多级处理采克服鸯囱感受努 局部信息不足引起的不确定性，得到突发分割然后通过亮度和颜色填充过程获得感鳃 最后由曩标识别系统根据液意学习移选择帆胄4 将以上过程稳定化并且褥劐认知上述理论 能够解释丈量的视觉感知和视觉心理现象，从而得到了学术界的广泛重视。我们可以认为 上述理论为十分复杂的生物视觉过程建立丁初步的模型樵架。近十五年来，g r o s s b e r g 和蚀 的褥事们一直在从事上述框架下建立视觉神经瞬络的具体数学模凝的研究工作，并且在髑 形状颜色深度( f a c a d e ：f o r m a n dc o l o r a n dd e p t h ) 理论建立b c s f c s 的数学模型方瓤 载得了重藜逢展，是迄今为止畿够在原理上解释视觉心璞现象最多静一个生耪撬觉系统模 型 1 0 1 l 】，并且已为很多机器视觉研究者所接受。 在运麓翟觉藏躲方蟊熬研究还，疑是巯于惹始除段，各番学者专家都猩努秀繇究攻关遮 一课题，并提出了一些运动感知璁论，但是，目前还没有一个统一的理论模型能够对绝大 多数运番瑷象敲爨完美戆瓣释。 实现遮动综合的i o c ( i n t e r s e c t i o no f c o n s t r a i n t s ) 模飘解释了栅格的运动方向感知e 2 i o c 认菇，爱察老看一个运动熬攘捂，瓒感强到瓣裁是冀囊实豹运动方趣。毽是越来越多 的证据表明，现实情形并不总是遮样。点、线条终端、角点以及栅格交叉点等的特征都能 最终决定援辏图像期l 撵辏多强经匿像戆金犀运凌方彝。 传统的特征躐踪计算模型遇捌了两个闯题：( 1 ) 魑什么组成了特被? 如何检测图像 中的特征? 点、线条终端、物体角点和羁接交叉点都是一魑缀容翳能够投灏到鲍特征实铡 但是主观轮廓所形成的物体角点也能组成特征，并且这皴是相娄的难检测。( 2 ) 即使我 们可以可纛的检测到图像巾的特征，那么我们又如何将运动序歹蚝中一帧图像的特征同下一 帧阉像中羽特征遴行匹配昵? 在o r o s s b e r g 等人的研究中，他们通过短程滤波器和长程滤波器积累运动信息，并通 过j 辔翻性竞争税嗣可靠遗计算了特征跟踪信号。对于一个给定空蠲位誊t 的由特征点运渤 产生的运动信号，只要这烘信号怒一致的，并且沿相同奎间位置t 的方向和具有相似方向 僖号静空麓都只有乡数浆竞争者，只要滚足这些簸足够了。接下来，模瀣豹动态特往又保 证了让这烂特征信号变得足够强，从而支配了最终的运动感知。这些机制成功地绕过了传 统理论搂凝劳i 要解决熬特征搀取精特征嚣酝静难惩。 g r o s s b e r g 和r u d d ( 1 9 8 9 ，1 9 9 2 ) 提出了运动边界轮廓系统( m b c s ：m o t i o n b o u n d a r y _ _ _ - _ _ l l l _ _ _ _ _ _ _ _ _ _ _ _ - _ - _ - _ - _ _ 。- _ _ _ _ _ _ _ 一i i i i i i i _ _ _ _ _ _ l - _ _ _ _ _ - - _ - _ _ _ _ _ - _ _ _ 一 第3 页 国防科学技术大学研究生院学位论文 c o n t o u rs y s t e m ) 模型f 1 3 1 ，实现了对b e t a 、g a m m a 、d e l t a 、t e m u s 等一些运动现象的仿真； g r o s s b e r g ( 1 9 9 1 ，1 9 9 8 ) 扩展了这一模型，解释了视觉系统如何跟踪被间歇性遮挡的运动 目标1 1 4 1 1 5 】；1 9 9 3 年，g r o s s b e r g 和m i n g o l l a 进一步扩展了这一模型，提出了一个解决全局 孔径问题的方案f 阍后来c , - r o s s b e r g 等综合了m b c s 模型和f a c a d e 边界形成机制。形 成了第一个形状运动边界轮廓系统( f o r m o f i o nb c s ) 模型【1 7 】【i 。】，成功地解释了一些依赖 于形状与运动相互作用的运动现象数据。 1 9 9 7 年，c h e y ，g r o s s b e r g 和m i n g o l l a 扩展了这一模型，对运动综合的数据进行了仿 真1 1 9 1 ，解释了理发柱现象中的全局运动方向感知，同时也说明了运动特征信号在决定全局 运动感知中的时间动态特性；g r o s s b c r g 等( 1 9 9 8 ) 在模型中引进了暂态细胞的作用和多尺 度动态特性鲫，成功地解释了感受野尺度大小与速度之间的关系，以及刺激对比度、持续 时间、空间频率等是如何影响视觉系统的速度感知2 0 0 1 年，o r o s s b e r g 、m i n g o l l a 和 v i s 岳a a a t h a a 提出孔径内及跨孔径的运动分割与集成的f o r m o t i o n b c s 模型口，成功地对理 发柱幻觉、运动捕获、规则运动点的理发柱的运动、三理发柱、可视遮挡的正方形运动、 运动幻灯片和筷子幻觉等一些视觉心理学现象成功地进行了计算机仿真。 每一模型都有它解释运动现象的局限性，但是在模型扩展过程中，都是根据生物视觉 现象的数据，不断的对原模型引进一些新特性，从而不断完善模型，使模型能够更好地解 释更多的运动现象。 我们实验室从2 0 世纪9 0 年代初开始了对生物视觉的研究工作，并取得了一些进展 在静态视觉处理方面，我们实验室在国家自然基金项目的支持下，通过对在视觉研究 的一系列生理学发现和g r o s s 6 盯g 的f a l ：舭) e 理论框架的跟踪和研究上，研制了g k d - i 生理 视觉计算机图像处理系统，利用该系统对c t 、超声波等医学图片以及阴影道路等图像的处 理，显示了非常好的效果圆。在此基础上，我们实验室进一步对双目生物静态视觉进行了 研究，将g r o s s b c r g 等人发展的双目视觉f a c a d e 理论应用于3 d 表面感知、3 d 深度感知等 方面 在视觉系统运动感知方面，我们实验室在国家自然基金项目韵支持下，也进行了研究。 针对g r o s s b e r g 等提出的m b c s 模型，没有具体给出在长程合作阶段起关键作用的运动双 极细胞的数学模型，课题组提出了运动双极细胞模型的具体数学表达式。描写了运动双极 细胞把静态边界按照局部运动信号的合作机制重新分割组群成为运动形状的边界的过程 对几何图形对象运动方向和运动形状的检测进行了计算机仿真，成功地将不同的几何图形 对象分配到其真实的运动方向上面，但是对于自然场景下运动对象的方向检测和运动形状 的分割，处理效果仍不够理想本文的工作就是试图通过对g r o s s b e r g 等提出的运动感知 模型进行改进，进一步研究运动对象在真实运动场景下的运动方向检测与运动形状感知。 第4 页 鬻防科学援术夭学研究生院学经论文 1 3 论文的内容和组织结构 基予生耪貔囊系统鹃藤耀，本论文瑟会静态边赛谂癣( v i v 2 一v 4 ) 楚趱视稍和运 动处理机制( v l m r m s t ) ，得到一个可用于真实场景运动序列的运动方向檎测，并对 几何运动序列和真实场景运动序列进行了仿真 论文冬章豹主要内骞秘缀织蘩掏兵铬翔下： 第一章主簧提出了本文需要解决的随题和阿述了豳内外生物视徽研究的进展情况。在 生物运动视觉戆知方面，目前还没有一个统一的理论对绝大多数的运动现象做出完美的解 释，本文缒工艨是搬据生物运动视觉的枫制，建立一个一致有效盼髓l 予感知不瞬褥景下对 象运动形获与矮动方彝静攀鞲神经魂力学摸型。， 第二章主鼹介绍了视觉系统运动感知所涉及到的一些基本概念朔相关知识。首先讲述 了生物视觉系统的生理解剖结构，建立了对生物视觉系统的形象了解；其次介绍了生物视 赞系统瓣殛戆缝 奄，终生物撬觉系统戆燮壤终舞与功缝滚程对应起寒 再次瓣强径现象嚣 缀典理发桂瑰象以及从中! 目纳出豹一个鬟簧盼运动感辆特性进行了介绍；然后澍运动感知 模烈m b c s 和f o r m o t i o nb c s 进行了介绍并对其进行丁定性的分析。最后介绍了神经元细 胞活性动力学方程，它提供y 对神经元细胞实现视觉髅息处理进行分辑的基础。 第三章蔽獍觉系统豹运动感魏特毪溺发，全瑟分辑了本文改逡豹模鍪l 惑艇运动方是与 遥动形状的处瓒机制。整个模型系统包括；s b c s ( s t a t i cb o u n d a r yc o n t o u rs y s t e m ) 的静 态边界预处理、暂态细胞方向检测、空间滤波网络、竞争网络、方向问抑制网络及边晃重 终奄分割网终( 运动双投缨魏) 。该摸登戆思想是：兔提取出运动辩象在各令臻好方是上 掰的角点或终端等特征跟踪信号，然后褥通过运动双檄细胞的边界薰组与分裁作用结合静 态边界与特征跟踪信号来获得最终的运幼边界输出 第四章根据第三章中建藏的模型对多对象几何逡动序列秘不闭真实场景的运动序烈 滋行了萤囊，劳辩蒋囊结莱浚行了详缨分褥，霹影噙攘整藏霹嚷盛天运魂速度魏弱瓣主要 因索也进行了分析。所有仿真中，除暂态细胞中间神缀元处理阶段的参数( 表示能够同 时谶行响应的最大运动速度) 取值不同以外，对于不同的运动场景，其他参数的取值都是 一致的。 第五章豳颁了论文静主溪研究工作，惑绩了主要研究结论，并矮望了需要邂一步进行 的研究工作 第5 页 国防科学技术大学研究生院学位论文 第二章基于生物视觉的运动感知模型 2 1 引言 当一只猎豹在树丛中奔跑，我们可以清楚地分辨出猎豹的整体运动。对于猎豹身上的 斑斑点点，经过丛林遮挡后，如猎豹静立其中，要分辨出它恐怕有很大的困难。但是一旦 它运动起来，人眼马上就很容易感知出隐藏在树丛中的猎豹。这究竟是什么原因2 仔细想 来，即便猎豹在运动，我们所见的也只是一些斑点或局部块的含糊位移。我们之所以能够 方便地看出丛林中奔跑的是一只猎豹，是因为我们的视觉系统能够方便地从这些局部块的 含糊位移信息中处理出运动时猎豹的整体形状。我们可以这样认为：生物视觉对于动态图 像主要是感知物体各部分的运动形状，并将这些部分组织成一个可能的运动整体。 在研究生物视觉特别是人的视觉并试图给予仿真的时候，我们不禁要问，生物的眼睛 为什么具有运动感知的能力呢? 从局部的运动感知到整仝运动目标的捕获，它们又是如何 把运动目标各部分的微小运动信号组合起来，成为协调一致的整体运动信号呢? 2 2 人体视觉系统的生理解剖结构 人体对于外界事物的感知，总是通过人的眼 睛接受光信号，刺激视网膜转换为电信号然后 通过视神经传向视觉中枢，并在大脑形成知觉 这一过程包含多个子步骤，在生理结构上也包含 很多个具有不同功能却又相互联系、相互合作的 子系统从大的方面看，包括眼睛、视神经通路、 大脑皮层三部分。在视神经通路中，比较重要的 一个结构是外侧膝状体核，而大脑视皮层又可分 为v i v 5 若干视区，如图2 1 所示。 眼睛、外膝体和视皮层构成了对视觉处理的 三个基本层次进一步的分析还表明，外膝体与 视皮层，尤其是视皮层还具有更为复杂的分块和 分层结构。分块表明了视觉信号处理的并行性质； 图2 - l 卡图磊上国；澡高焘上剖开的 分层表明了处理过程的串行性质因此，从视觉猴脑切面图，显示了大脑视皮层中由初级到纹 生理学角度来说，生物的视觉系统是一个串行与状前区的若干视区( v l 州5 ) 并行处理相结合的复杂系统 2 3 2 4 1 。， 第6 页 国防科学技术太学研究生院学位论文 2 3 嫩物视激系统的功畿结构 视觉信息不怒由单一滋次结构静系统进行楚壤豹， 孬是按熊锘惠静类鍪进行并行传送 和处理的l i v i n g s t o n e 和h u b e l 的研究表明，视徽信息至少是通过3 个并行系统( 或称通 遭 露夭瓣送嚣投赫兹：一令系绕处理形援薅悫；另一令系统笼灌彩色获亮凌傣患；第三 个系统处耀有关运动、位鬣及空间结构的信息口甜 瑗我裤经生壤学秘神经耘理学等学毒萼戆发袋已箍暴了视觉系统懿各蘩努瓣童要葫缝 以及各部分之间的一些联系。图2 - 2 给出了视神经系统的解剖结梅，图2 - 3 表示的是前期 撬疫层豹壤号楚璞过程，它瀵明了援觉秘经逶黢爨孽痿怠建理豹势磐毪羁事霉性。 从图2 - 3 中可以看到蠢条并行的视觉神经通路闭，它们是； 通路l ：l ( 烈( 侧膝状俸核) 参缨胞一v l 色褒区一v 2 缨祭纹区一w ； 通路2 - l g n 小细胞- v 1 色斑问区- v 2 中间条纹醒一v 4 ； 通路3 ：l g n 大细臌一v l 盼4 b 区一v 2 犍条纹区一v 3 区、m t 区( 或不经v 2 区， 盥接到v 3 区、m r 区) 嘲2 - 2 秘神经系统中各功能遇道的解剿结构蹦示 这些视觉通路分剃对感受到的场景信号中的颜色与彤状，静止与运动，单嗣与双目等 不同的信鼍特征馋出晚应靼处理，并将处理结果送戮大麟皮层的专门区域以进符更高层处 理，同时，它们还接受大脑的更高层处璎阶段反馈回来酌校正或指导信号 第7 夏 国防科学技术大学研究生院学位论文 从图中各通路的主要功能反映可以看 出，通路i 处理颜色和亮度信息，而不处理 运动、形状和深度信息；通路2 处理形状、 深度和颜色信息，而对运动信息不敏感；通 路3 处理形状、深度和运动信息，而对颜色 和亮度信息不敏感。虽然这三条通路完成各 自的主要功能，但它们在功能上存在部分重 叠，在视觉信息处理过程中也有相互作用 ( 图中的虚线表示了这三条通路中的相互 联系) 依据各通路的主要功能，通路i 称 为特征轮廓系统( f c s ) ，通路2 称为边界轮 廓系统( b c s ) ，通路3 称为运动轮廓系统 ( m b c s ) 其中，b c s 产生突发的组合了 边界、纹理、阴影和立体信息的三维边界分 割；f c s 减少了照明影响并在b c s f c s 的 相互作用下进行亮度和颜色的填充。尽管这 两个视觉通路的模型在概念上很简单，在处 理上也不复杂，但由于这些通路之问在多个 处理阶段上存在相互作用，因而它们能表现 出很强的感知特性 图2 - 3 前注意视觉通路功能示意图 图中符号说明：。厶”表示该皮层区域对方位 敏感，“盘”表示该皮层区域对色彩和亮度敏感， “一”表示该皮层区域对运动敏感，“”表示该皮 层区域对双目信息敏感 我们知道，外界进入生物视觉系统的仅是从不同方向而来的含有各种频率的光信号 从这些无序的光信号，到由其组成的点、线、边框、以及纹理、颜色、尺寸、明暗、材质、 形状等等物体的特征，再到物体各个组成部分、整个物体的识别，物体运动的捕获，运动 物体的跟踪等一系列的感知过程，它们在我们的头脑中是如何得以完成的呢? 要进行研 究，我们所关心的是，各功能部分次序是如何组织的? 它们与前面所讲的解剖结构是如何 对应的呢? 视觉过程有简单与复杂、低级与高级之分简单的过程，包括对点、线、角、纹路等 物体形状基本要素的感受，对颜色的梯度信息感受，对光流强度变化的感受，对物体深度 信息的感受稍高层次，可以完成物体局部轮廓到整体边界、形状的感知，可以从物体颜 色与形状的结合感知到总体亮度特征，可以通过光流变化感知到运动，可以把形状与深度 信息结合感知到立体形状等等。高级的感知过程具有一定的知觉特性，它可以将所感知到 的视野中的各种信息按不同的特征归属于不同的目标，与头脑中的知识库连接，进行目标 的辨识、特征的组合等等这些描述可以设想为如图2 - 4 的结构来表示。 第8 页 国防科学技术犬学研究生院学位论文 图2 4 人体税觉系统的功能结构图 在篷2 4 中，每个特蓰处理模块可以支持多项袁级特短处璞任务。裁注意褫鲎功裁攘 块提取形状、色彩亮度特征和运幼整体特征，供商层视觉功能模块进行目标辨谈、知识推 理秘联想记忆。藤高级视觉功能模块除了与其它大脑部分提互作用以产生高级智能法嚣蓼 井，还将反馈信鼍传到前注意视激功能模块中，以校正、指导j ；簪注意视觉功能横块的处理 过程而实现目标的追踪和细节的注意等过程。 2 4 孔径现象和理发柱幻：澈现象 a 孔径现象 翔整2 - 5 ，姿我纛透过一个赣形懿夺魏看一条 直线式的格栅运动，不管格栅的真实运动方向如何， 我裁看弱熬慧是格据翡运动方囊跨线条羹蹇，这便 魑我们所说的孔径现象冽嗍但魑，通过小孔看两 令叠在一起嚣捂掇运动孵，疑嚣一令葶独戆方鑫都 不再显示，我们餐到的惑它们的含运动方向。 b ，经典理发柱幻觉瑷象 囝 一 圈2 - 5 孔径现象。从小：扎照看单个格 撵黪运动，箍是显示出与壹线撩直鹩方淘 两个叠在一超时，显看亳出交叉点的合运幼 我们时常可以看到，在许多理发馆的门口，立有个红绿麓多 包条纹并摊斜放盼转簿，如图2 西所示。当它水平自左转动的黠候， 我们看起来却总鼹向上遥动的。 从以上这鼹个现象我们可以嚣到，人能够感知到运幼与物体憋 粪襄运动有时并不一致，甚至有时感受捌螅仅仪是一种幻觉不光 在对运动的感知中，还有例如图片中三缎立体的出现等等都可以说 髓，入豹橇觉在缀多方蟊都存在幻觉。辩予这些运动中豹幻觉瑗象， 稠2 - 6 理发柱幻觉 能带给我们什么启发呢2 姨孔径现象霹鲡，税赞系统辩局部运动边养豹感翔舆有模猢往l 擂，在没有角点或终端 等运动信号时，无论局部运动边界的真实运动方向是什么，感知到的运动方向总是垂直予 第9 页 国防科学技术犬学研究生院学能论文 = 篇誊= = = = 拳嚣= = = = = 篇昔= = = = = 拳= = = = = = 嚣= = = = = 拳= = = = = ；拳= = = = = = 拳= = = = = 拳= = = = ；= 黑= = = = = = 誊誊= = = i m l l l i i 绷胞的对比度方位，而对于角点运动方向的感知却没有豳难；程孔径内矮有角点或终端等 黪薤熹豹绩嚣下，蜀罄运动边雾瞧显示辫与角纛运动方内一致黪方彝。魏径瑗象滋鹱了撬 擞系统对局部特征点( 角点或终端等) 的运动信号具有徽强的感知能力 大黢疆踅是慕于纲黩豹感受掰实瑗约，辩予理发撞太瑟豹鼹纹，视觉系统农感知的潜 候不可避免地会碰到孔径问题，斜纹终端的运动可以被难确地检测出来，而斜纹边界内部 熊运动傣号模糊。在o r o s s b e r g 等提出豹f o r m o t i o n b c s 模懋中对缀典理发桂幻觉现象进行了 详细的解释1 2 n ，认为是线条终端为全局逡动感知提供了确定的运动特征信号，然后视懿系 统将检测到确定运动信号向全局扩散，幽于长边上的终端信号较多，最终感知到全局运动 方向与滚筒的长边一致。除此以外，f o r m o t i o nb c s 还对带随梳点的理发柱幻觉现象和带不 规则点的理发柱幻觉现壤以及其它的一贱运动幻觉现象进行了仿真。对理发柱幻觉现袋的 解释告诉我们，税觉系统在进行全局酶运动感翔时具煮把确定信号两麓俸扩散的处瑷稚 制。这样，视觉系统彳寻到了运动形状的躲知。人类视觉系统对于运动对象的感觚，很大程 度上是辩子运动形状的感躲。视嚣系统瓣于运动形袄豹慧知，使得天翻霹浚翔遥是箨么黪 体向我们逼近，什么物体离我们而去，也使得我们可以欣赏优荧的舞姿和惊险的杂技 瓢怼琵径现象寝经癸理发接嬲黧等线象瓣辩释孛霹淤爨绫溺一个繁要骛特性，帮；壤 定的特征信号夜视觉系统的运动感知中舆有决定性的作用。 2 5 运动感知模型 实现运动感知的生物视觉模型主要肖运动边界轮廓系统讲l ( m b c s ) 模型、形状邂动 边界轮壤系统f 2 l 】( f o r m o t i o nb c s ) 以及基于绕计理论的视觉模型刚等。m b c $ 模型窝 f o r m o f i o nb c s 模型不需要先骏知识，对视觉运动感知的处理肖着更大的适用范磁，其中 m b c s 模型用予检测对象的运动方囱与运动形状，对几能运动序列的黪知效果较好，但对 粪实场荣下动态序列的遮动感翔效果较麓，丽f o r m o f i o nb c s 侧重予视觉心理现象静分析， 不能直接用于真实场景下的运动形状与运动方阿i 佥测。 2 s m b c s 模型 在图2 3 与篷2 _ 4 中，我们w 以看 到辑条对称的神经通路。它们农图2 - 3 中分掰怒从小细胞色斑闻区淡条纹区 遁路和从大细臌4 b 区搬条纹聪通路， 黼在图2 4 中辩表示为反对院度边界 轮廓立体形状的静态通路和从光强变 化局部运动运动整体瓣动态遥路。其 中，前者称为s b c s ( 静态边界轮廓系 嬲2 - 7s 轴e s 、f c s 、m b c s 的功能框图。 第1 0 页 国防科学技术大学研究生院学位论文 统) ，后者称为m b c s ( 运动边界轮廓系统) 。与这两条并行的还有一条称为f c s ( 特征轮 廓系统) ，它代表从小细胞色斑区细条纹区也就是完成颜色( 亮度) 带征功能的通路。 它们三者的功能划分结构如图2 7 所示图2 - 7 中的两条横线，体现了包含于图2 - 2 生理 结构中的两条虚线以及从v 4 到m t 的横线的功能作用 皮层系统在处理静态形状与动态形状时，作了不同的计算体现在神经结构上，是小 细胞v i v 2 w 和大细胞v 1 - m t 两条并行通路。基于静态通路的s b c s 模