（控制科学与工程专业论文）基于生物视觉的运动感知模型研究与仿真.pdf

国防科学技术大学研究生院学位论文 摘要 运动生物视觉的处理机制是极其复杂的。本论文在国际上生物视觉的新近研究成果的 基础上，对运动生物视觉机制进行了神经动力学建模和计算机仿真的研究。 本论文研究的主要问题是：生物视觉系统如何进行运动和运动形状感知。目前己知的 运动和运动形状感知涉及到视皮层的v 1 、v 2 、v 3 、m t 和m s t 区，其中v 1 v 2 是静态 图像处理视路，m t m s t 是运动图像处理视路。 本论文在g r o s s b e r g 的形状运动边界轮廓系统( f o n l l o t i o nb c s ) 的基本模型框架下， 综合了f a c a d e 模型和m b c s 模型，对原模型进行了深入的研究分析，并进行了扩展： l 、研究分析了模型系统各阶段的运动处理机制。通过短程滤波网络，实现了特征跟 踪信号的提取；在长程方向组群和前注意反馈网络中，通过前注意形式的特征扩散机制， 实现了由特征跟踪信号引发的运动俘获；基于长程方向组群和前注意反馈的特征扩散机制 克服了孔径问题，从而实现了图像运动分割与运动综合处理。 2 、在m s t 的竞争输出处理中引入多尺度间的方向竞争和注意增强机制，从而解释了 运动幻灯片现象和筷子幻觉现象中由运动引起的目标轮廓在空间上分离的感知结果。 模型的计算机仿真是本论文的另一个重点。论文中对一些典型运动现象进行了计算机 仿真，并从模型处理机制的角度分析了产生这些运动视觉感知的生理视觉处理机制。通过 这些运动现象的仿真，从某种程度上也说明了该模型是符合生物视觉系统的运动处理机制 的。 主题词：运动生物视觉、特征跟踪信号、运动综合、运动分割、运动俘获、孔径现象 第l 页 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加l ；i 标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育 机构的学位或证书两使用过的材料与我一同工作的同志对本研究所敛的任何贡 献均已在论文中作了明确的说明并表示了谢意。 学位论文题目：基王生堑翅鲎煎重越盛色搓型珏究生鱼套 学位论文作者签名： 查】丝丝 丑 期： 冽厂年，月 p 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定，本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阕；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等其他复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权) 学位论文题目：基王生擅煎堂煎鎏叠盛包搓型巫盔生盆真 学位论文作者签名：垂l 丝丝 日 期：面年f 月；口日 作者指导老师签名 下嚣乇 日期：l 曲年1 月扣日 国防科学技术大学研究生院学位论文 第一章绪论 1 1 问题提出 对于许多智能生命而言，与其生活在其中的环境进行交互的能力是天生成就的。这种 交_ 互是通过不断的感知与动作而实现的。在所有的感知类型中，视觉感知是最复杂的。生 物视觉感知具有相当强的适应性和稳定性。人们从两个方面入手研究视觉感知：一个方面 是研究视觉环境及视觉系统对视觉环境的总体反映；另一方面研究视觉系统的具体机制， 其着重于详细分析视觉系统是如何组成的、视觉系统的各个部分是如何响应视觉刺激以及 况觉系统中各个部分是如何相互作用的。其中，前一个方面的研究始于古代哲学家对视觉 心理现象的研究，后一个方面的研究始于生理解剖方法的出现。 人们对视觉系统、视觉环境的研究一方面是为了探索自然奥秘，另一方面也是为了人 类自身生存和发展。现代医学、神经生理学等学科的发展使得医治视觉神经系统的某些疾 寅成为可能。 在军事和工程应用中，机器视觉经常遇到的是动态图像，但是动态图像的处理要比静 蠡图像的处理困难得多。动态图像中的由光流计算运动是一个病态问题，需要增加人为的 约束才能求解；动态图像中的孔径问题，使得光流表现局部运动不能直接反映物体的实际 垂动；运动物体的感知和认知，更是十分困难。这些难点都是动态图像处理中最基本的难 点。计算机视觉得到了广泛的应用，僵同时也面临着很大的困难：它往往是从工程的角度 出发，就事论事地提出各种算法，而缺少统一有效的算法，无法解决复杂场景中的分割和 人知问题。相反地，当人们观察实际景物时，大脑能够很快地组合各种局部信息，产生总 本协调的感觉。所以要提高机器视觉的水平，就必须从生物视觉机制中吸取营养。 在视觉研究的工程应用领域中，本世纪7 0 年代，m a r r 提出“视觉计算理论”，奠定了 十算机视觉理论的基础【l h ”。“视觉计算理论”依照“初始信号图一要素图一2 5 维图一三 牲结构”的流程进行视觉信号处理，希望达到三维重建的目的。近些年，科研人员相继发 琵了计算机视觉的几个方向：以l o w e 为领导进行的特征群集感知的计算机视觉理论；以 j r o o k s 为领导进行的“行为目的”引导的计算机主动视觉理论；基于多传感器信息融合的 十算机视觉集成理论。这些以场景结构特征( 如角点、边线、几何形体等) 为分析要素的 匡架的计算机视觉方法，目前仅能较好地处理结构化环境【2 卜【5 1 。但总的来讲，这些方法都 字在着一些问题，或缺乏通用性，或抗干扰能力差，或存在多解性，究其因，不外乎两点： 一是计算机视觉是一个逆问题，即输人图像为二维图像的灰度它是三维物体几何特征、 七照、物体材料表面性质、物体的颜色、摄像机参数等许多因素的函数，由灰度反推以上 孓种参数是逆问题，而这些问题大都是非线形的，问题的解不具有唯一性，而且对噪声或 葛散化引起的误差都极其敏感；另一个原因是m a r r 的视觉系统框架是一个自上而下的、 奠块的、单向的、数据驱动型的结构。神经生理学的深入研究表明，这种结构与人的视觉 国防科学技术大学研究生院学位论文 系统还有很大差距，人的视觉系统上下各层次之间、各模块之间存在着更为复杂的相互作 用，并且由眼动等现象可知，生物视觉系统的认知过程是一种与外界交互作用的有目的、 主动性过程，而不仅仅是一种被动式的反应，这些发展都突破了m a r r 的视觉理论框架。 生物视觉系统在复杂的视觉环境中能毫不费力的处理自然景物图像。这使得人们希望 用生物视觉领域的研究成果来指导、启发和促进计算机视觉技术的研究，用计算机模拟生 物视觉功能。 在生物视觉系统的构成中，运动视觉系统是自然界中非常重要的一种视觉信息获取和 处理的配置方式。运动视觉系统中由连续运动图像序列中的特征跟踪信息来同时进行物体 运动的组群和分割一直是个重点和难点。这样，运动生物视觉系统的神经动力学研究不但 探索了一条计算机视觉研究的新途径，而且也有助于实现利用具有相应功能的生物芯片替 代视残人员部分视神经通路这一宏伟目标。 1 2 国内外研究现状 很早以前，人们就开展了针对视觉心理现象的研究。但是直到近两个世纪，随着解剖 学和生理学的发展，人们对生物视觉系统的研究才步入神经元细胞级阶段。本世纪以来， 脑科学研究的火热，吸引了大量的人员从神经构成和总体功能模拟两个方面来探索生物视 觉系统的作用机制，至今取得了不少成果。但是在这众多的研究成果中，多数偏重于对某 种神经元细胞对刺激响应的数据纪录并由此得到简单的统计结论，少数对某些神经元细胞 对刺激的响应机制建立了模型【6 】【7 】，而很少有从整体视觉系统的高度来分析视觉信息动力 学规律的1 8 】【9 1 。 近四十年来，自从h u b e l 和w i e s e l 发现视皮层功能结构后，神经生理学家对视网膜、 视神经通道和大脑视皮层的研究不断深化。对于视网膜、侧膝体核、视皮层各层和各区的 构造和功能，有了较为深入的了解。在前注意视觉中，存在三条通道：( 1 ) 视网膜斗侧膝 体核的小细胞层斗视皮层v 1 区的色斑区一v 2 区的细条纹区寸v 4 区：( 2 ) 视网膜_ 侧膝 体核的小细胞层_ 视皮层v 1 区的色斑间区专v 2 的条纹间区斗v 4 区；( 3 ) 视网膜哼侧膝 体核的大细胞层一视皮层v 1 区的4 b 层_ v 2 区的粗条纹区斗颞叶中区。第二通道产生静 止图像边界轮廓的突发分割；第一通道则是对上述边界轮廓进行特征填充。第一通道和第 二通道共同作用对于静态图像进行视觉处理。而第三通道是专门对于运动场景中的运动和 运动形状进行感知的通道。 在此基础上，结合视觉心理学和认知学，g r o s s b e 唱提出了b c s f c s o r s 理论。认为 在视觉过程中，首先由有向感受野检测特征，再用短程竞争和长距合作的多级处理来克服 有向感受野局部信息不足引起的不确定性，得到突发分割。然后通过亮度和颜色填充过程 获得感知。最后由目标识别系统根据注意学习和选择机制将以上过程稳定化并且得到认 知。上述理论能够解释大量的视觉感知和视觉心理现象，从而得到了学术界的广泛重视。 我们可以认为上述理论为十分复杂的生物视觉过程建立了初步的模型框架。近十五年来， 第2 页 国防科学技术大学研究生院学位论文 g m s s b e 唱和他的雾醴髅聪豫孵职则旺瓤 驴帅i 臻琵辣蟾娥刘刊瓣瓢豁l 篓譬蠢冀蠢薹引新营拿量耋；湛蘑型里箩影矧罐罡毪礤锚碧膝状 体核；蜃嵩蓟饫预蓐幕灞滴x 豫堞崩溃璀僖燃溜蜷喽尚一省臻复司新碍境涵嗣蚕彝，踣 弼t 出喾鬈曼霄番和电酵衣打巍瓣； 甄丈嘶t 骶毯瓣喝谮汨晰壤珞锩讲 ， 生物视觉系统分为眼睛、视神经通路和大脑皮层三个部分。在视神经通路中，比较重要的 结构是外侧膝状体核和大脑视皮层，而大脑视皮层( s u a lc o r t e x ) 又可分为v l v 5 若干视 区( 图2 2 ) 。其中主要的视觉功能是在大脑皮层中得以完成。 眼睛、外膝体和视皮层构成了对视觉处理的三个基本层次。进一步的分析还表明，外 膝体与视皮层，尤其是视皮层还具有更为复杂的分块和分层结构。分块表明了视觉信号处 理的并行性质：分层表明了处理过程的串行性质。因此，从视觉生理学角度来说，生物的 视觉系统是一个串行与并行处理相结合的复杂系统。 2 3 生物视觉系统的功能结构 视觉信息不是由单一层次结构的系统进行处理的，而是按照信息的类型进行并行传送 和处理的。l i v i n g s t o n e 和h u b e l 的研究表明，视觉信息至少是通过3 个并行系统( 或称通 道) 向大脑进行投射的：一个系统处理形状信息；另一个系统处理彩色及亮度信息；第三 个系统处理有关运动、位置及空间结构的信息【2 。 现代神经生理学和神经物理学等学科的发展已揭示了视觉系统的各部分的主要功能 以及各部分之间的一些联系。图2 4 表示的是前期视皮层的信号处理过程，它说明了视觉 神经通路的信息处理的并行性和串行性，图2 3 是其对应的解剖结构。 图2 3 视低持懈鞴芡赖慕馄式峁雇际第6 厦 x 里堕型兰垫查盔兰翌窒圭堕兰堡笙奎 第二章生物视觉原理与基础 2 1 引言 在日常生活中或是电视上，我们时常可以看到，流星从天上划过、鸟儿从空中掠过， 或是马群在草原上奔驰、一只凶猛的猎豹在从林中穿越，等等，还有许多生动的景象。当 我们在领略大自然给我们的天然艺术的同时，也许从没有经意地感叹过我们的眼睛，它们 在感知和捕捉目标运动的时候，是那么的迅捷和敏锐，却又准确，几乎没有感到什么困难。 即使是在复杂的背景中，不管目标运动的速度快或者慢，运动物体自身的形状又是多么复 杂，这些对于感知也都没有什么影响。 在研究生物视觉特别是人的视觉并试图给予仿真的时候，我们不禁要问，生物的眼睛 为什么具有运动感知的能力呢? 从局部的运动感知到整个运动目标的捕获，它们又是如何 把运动目标的各部分的微小运动信号组合起来，成为协调一致的整体运动信号的呢? 从生 物解剖结构上说，支持这种能力的生理学特性是怎样的昵? 用计算机来模拟仿真人的运动 感知过程，我们应当设计一种什么样的结构，才能使计算机具备相应的能力呢? 要实现人 对运动的感知仿真，最基本的几个特征又是什么呢? 2 2 人体视觉系统的生理解剖结构 图2 一1 人体视觉系统的几个通路。从视网 膜、视神经、外膝状体核到大脑皮层。其中大 脑视皮层又可分为第一到第五多个视区( v 1 图2 2 大脑皮层的视觉分区 v 5 ) 。 第5 页 国防科学技术大学研究生院学位论文 从图2 4 中可以看到三条并行的视 觉神经通路【2 3 】，它们是： 通路1 ：l g n ( 侧膝状体核) 小细胞 斗v 1 色斑区斗v 2 细条纹区寸v 4 ： 通路2 ：l g n 小细胞_ v l 色斑闯区 斗v 2 中间条纹区哼v 4 ： 通路3 ：l g n 大细胞寸v 1 的4 b 区 一v 2 粗条纹区_ v 3 区、m t 区( 或不经 v 2 区，直接到v 3 区、m t 区) 。 这些视觉通路分别对感受到的场景 信号中的颜色与形状，静止与运动，单 目与双目等不同的信号特征作出响应和 处理，并将处理结果送到大脑皮层的专 门区域以进行更高层处理，同时，它们 还接受大脑的更高层处理阶段反馈回来 的校正或指导信号。 从图中各通路的主要功能反映可以 看出，通路l 处理颜色和亮度信息，而 不处理运动、形状和深度信息；通路2 处理形状、深度和颜色信息，而对运动 图2 4 前注意视觉通路功能示意图 图中符号说明：“上”表示该皮层区域对方位敏感， “”表示该皮层区域对色彩和亮度敏感，“一”表 示该皮层区域对运动敏感，“”表示该皮层区域对 双目信息敏感。 信息不敏感；通路3 处理形状、深度和运动信息，而对颜色和亮度信息不敏感。虽然这三 条通路完成各自的主要功能，但它们在功能上存在部分重叠，在视觉信息处理过程中也有 相互作用( 图中的虚线表示了这三条通路中的相互联系) 。依据各通路的主要功能，通路1 称为特征轮廓系统( f c s ：f e a t u r ec o n t o l l rs y s t e m ) ，通路2 称为边界轮廓系统( b c s ： b o u n d a r yc o n t o u rs y s t e m ) ，通路3 称为运动轮廓系统( m b c s ：m 嘶o nb o u n d a r yc o n t o u r s y s t e m ) 。其中，b c s 产生突发的组合了边界、纹理、阴影和立体信息的三维边界分割； f c s 减少了照明影响并在b c s f c s 的相互作用下进行亮度和颜色的填充。尽管这两个视 觉通路的模型在概念上很简单，在处理上也不复杂，但由于这些通路之间在多个处理阶段 上存在相互作用，因而它们能表现出很强的感知特性。 我们知道，外界进入生物视觉系统的仅是从不同方向而来的含有各种频率的光信号。 从这些无序的光信号，到由其组成的点、线、边框、以及纹理、颜色、尺寸、明暗、材质、 形状等等物体的特征，再到物体各个组成部分、整个物体的识别，物体运动的捕获，运动 物体的跟踪等等序列的感知过程，它们在我们的头脑中是如何得以完成的呢? 要进行研 究，我们所关心的是，各功能部分次序是如何组织的? 它们与前面所讲的解剖结构是如何 对应的呢? 第7 页 国防科学技术大学研究生院学位论文 视觉过程有简单与复杂、低级与高级之分。简单的过程，包括对点、线、角、纹路等 物体形状基本要素的感受，对颜色的梯度信息感受，对光流强度变化的感受，对物体深度 信息的感受。稍高层次，可以完成物体局部轮廓到整体边界、形状的感知，可以从物体颜 色与形状的结合感知到总体亮度特征，可以通过光流变化感知到运动，可以把形状与深度 信息结合感知到立体形状等等。高级的感知过程具有一定的知觉特性，它可以将所感知到 的视野中的各种信息按不同的特征归属于不同的目标，与头脑中的知识库连接，进行目标 的辩识、特征的组合等等。这些描述可以设想为如图2 5 的结构来表示。 在图2 5 中，每个特征处理模块可以支持多项高级特征处理任务。前注意视觉功能模 图2 5 人体视觉的功能结构图。其中左下角的虚框内显示了从光信号到目标的捕获过 程，右上角虚框内显示了更高级的视觉功能。这一结构是本文根据目前视觉研究成果 所作的扩充、综合。 块提取形状、色彩亮度特征和运动整体特征，供高层视觉功能模块进行目标辨识、知识推 理和联想记忆。而高级视觉功能模块除了与其它大脑部分相互作用以产生高级智能活动 外，还将反馈信号传到前注意视觉功能模块中，以校正、指导前注意视觉功能模块的处理 过程而实现目标的追踪和细节的注意等过程。 而一些更高级的视觉功能，需要与大脑其他部分协作完成，如右上虚框所示。这些高 级功能，除了与其他大脑部位合作形成超予感觉的知觉外，同时反向决定低级视觉部位的 对目标的转移、注意程度等等，并要求低级部位根据高级部位的需要对视觉信号进行取舍。 这种指导作用可以通过神经传递反馈信号得以实现。 2 4 运动生物视觉系统的感知特性 在视觉世界中，我们时常可以看到一些运动幻觉现象，这些现象是如何产生的? 从这 些现象的研究中，我们可以发现运动生物视觉系统具有哪些基本特征，以及这些特征是如 何实现的。 第8 页 国防科学技术大学研究生院学位论文 2 4 1 运动幻觉现象 a 孔径现象 如图2 - 6 ，当我们透过一个圆形的小孔看一条 直线式的格栅运动，不管格栅的真实运动方向如 何，我们看到的总是格栅的运动方向与线条垂直， 这便是我们所说的i l 径现象。但是，通过小孔看 图2 6 孔径现象。从小孔里看单个格栅 两个叠在一起的格栅运动时，任何一个单独的方 的运动，总是显示出与直线垂直的方向。两 向都不再显示，我们看到的是它们的合运动方向。 个叠在一起时，显示出交叉点的合运动。 b 理发柱幻觉现象 我们时常可以看到，在许多理发馆的门口，立有一个红绿蓝多色条 纹并排斜放的转筒，如图2 7 。当它水平向左转动的时候，我们看起来 却总是向上运动的。 从以上这两个现象我们可以看到，人能够感知到运动与物体的真实 运动有时并不一致，甚至有时感受到的仅仅是一种幻觉。不光在对运动 的感知中，还有例如图片中三维立体的出现等等都可以说明，人的视觉 在很多方面都存在幻觉。 对于这些运动中的幻觉现象，能带给我们什么启发呢? 我们可以从 中总结出点什么规律来呢? 又怎样对这些现象给出一个合理的解释呢? 2 4 2 局部优势 图2 7 理发 柱幻觉 a d e l s o n 和m o v s h o n ( 1 9 8 2 ) 在“速度空间”的讨论中，引入了类似图2 - 8 a 来解释孔 径现象中的局部运动方向和速度的模糊性【1 2 】。图中，当直线边界移动到虚线所示位置时， 箭头所指位置为移动前边界上一点在移动后的可能位置，箭头方向也就代表了可能的运动 轨迹，它们是应当与被考虑细胞所检测的随时间变化的对比度的变化相一致。由于这个原 因，往往说明细胞仅敏感于速度的法向分量，因为细胞对于在与其对比度方位垂直方向上 分量一致的运动是不能够分辨的。 图2 8 a 细胞总是敏感于运动在与 对比度方位垂直的方向上的分量 图2 8 b 局部运动信号调谐到各个方 位细胞的分布，有利于垂直边缘的方向 第9 页 国防科学技术大学研究生院学位论文 与此相补充的另一种思考方法如图2 8 b 。把变化的刺激解释为在若干方向之一上发生， 其中箭头长度表示在各个方向上的“先验概率”，垂直于细胞对比度方位的方向是局部优 势的。以此观点，具有有向感受野的细胞，可以由与它对比度方位并不完全共线的运动边 缘共同激发。但是，若在相同位置的其他细胞，比之与对比度方位更为共线，则会受到更 大的刺激。 这两种思考方法，都体现了偏好方位与运动边缘垂直的细胞具有局部优势。前一种以 一个法向分量来表示可能运动方向，它是一种合效应；后一种以运动对各个方位的刺激来 体现这种可能性的空间分布。总的来说，检测运动方向的局部信号总是含糊的、具有法向 优势的信号。 我们说直线边界上的运动信号总是含糊和法向优 势的，那么为什么在图2 6 孔径中通过两条边界相交 就能得到确定信号呢? 含糊的运动信号在交点处变为确定信号，这是两 个运动相合作用的结果。研究发现这种相合作用在存 在两种可能情况，一种是矢量和，一种是交叉约束 ( i o c ) 。矢量和就是根据平行四边形法则作出对角 线；交叉约束即是通过相交两边法向分量末端的垂直 图2 9 角点运动信号的确定 线的交点，确定出终点的位置。示意图如图2 9 所示。至于哪一种作用能更好地解释运动 感知方向，目前还没有一致的定论。但是对于两线交叉点和物体拐角等，感受到的则是交 叉约束方向。事实上，我们将在后面的方向汇合部分描述中看到，视觉系统确定角点的运 动信号并不需要如此复杂的计算。它主要通过具有短程空间滤波作用的细胞，自动地从边 缘含糊信号中，把确定的角点运动信号分离出来，汇合成确定的局部运动信号。 由此我们可以看到，物体的运动感知正是从这些确定的局部运动信号引发的，我们称 这些局部确定信号为特征跟踪信号，相应的线条终端、线交叉点、物体拐角等都可以作为 运动感知的特征。那么它们是又通过什么样的机制而在感知过程中取决定性作用的? 2 4 3 方向竞争 由上节分析可知，最终的运动感知是由确定的特征跟踪 信号决定的，但是在实际的大多数情形中，从线端、交点、 角点来的确定运动信号与线内、轮廓边界上的不确定运动信 号相比往往要少的多，那么运动视觉系统是通过什么机制来 确定角点或终端信号的主导作用的呢? 这是通过细胞之间的中心激励周边抑制的竞争机制实现 的。其实质是邻近细胞之间存在相互抑制作用。首先是同方 位细胞之间的相互抑制作用保证了终端角点信号的优势，如 o00 图2 1 0 同方位细胞相互间 抑制 第1 0 页 兰弋i 么 国防科学技术大学研究生院学位论文 图2 1 0 所示，若细胞各向同性地对周围产生抑制作用，那么在沿某一方位对称轴共线的线 端( 角点为两条线端的共同端点) 处，由于周围在同方位上有响应的细胞较少，所阻受抑 制的总和比线段内部点要少，因而较内部具有优势。但是这种侧抑制作用并不是强到以至 于使线内的信号变得非常微弱，导致在缺少特征跟踪信号的情况下线内信号不能沿孔径间 进行组群。其次，敏感于相反运动方向的细胞之间也存在着相互抑制作用，这就保证了同 一位置上敏感于两相反运动方向的细胞不会同时被激活。由此就基本上确定了局部优势信 号。 2 4 4 从局部到整体的协调 我们解决了局部优势方向的确定，那么运动视觉系统又是如何从这些局部的优势方向 得到运动目标整体的运动感知? 这主要是通过特征信号扩散机制实现的。 专门处理运动信号的m t 、m s t 之间存在一个反馈网络。首先，m t 细胞能够会聚线 端、角点等特征跟踪信号，尽管它具有很强的方向敏感性，但是对于其敏感方向邻近一定 角度范围内的运动信号也能做出一定的响应。而后输入到m s t 区，激励相应的m s t 细胞， 经过上节所述的方向竞争机制，确定了局部优势信号，这个优势方向信号通过向下匹配和 前注意机制反馈到m t 区。敏感于局部优势信号的m s t 细胞的反馈信号对m t 细胞并不 是纯粹的抑制作用，对相应位置上具有相同敏感方向的m t 细胞同样具有兴奋性的作用， 因此，对于局部优胜方向来说，兴奋作用抵消了抑制作用，优胜方向信号的自上而下的匹 配处理得以继续进行，甚至有可能被放大。但是对于其他竞争失败的所有方向信号而言， m s t 细胞对相应的m t 细胞并没有兴奋性作用，这些m t 细胞都被抑制了。这种匹配处理 导致了获胜细胞周围区域中除了获胜方向外的所有方向m t 细胞都受到净抑制。如果获胜 的细胞正好对应于特征运动信号，在自上而下的匹配信号的作用下，便选择该信号为该空 间区域的特征运动信号。这种选择也可以说是运动俘获处理过程中形成了一个由特征方向 信号占优势的扩大区域。然后，在该区域中，m t 到m s t 的前馈作用又使得特征运动方向 信号在m s t 的竞争中进一步获胜。而接下来，从m s t 到m t 的反馈再通过自上而下的匹 配信号使得特征运动方向信号抑制了更多的m t 相邻区域中的不确定运动信号。因此，特 征跟踪信号能够通过m t 与m s t 之间的这种前馈和反馈的信息交流方式逐步向物体内部 扩散，最终形成一致的整体运动感知。 总之，含糊的运动信号在角点处确定运动信号的导向作用下变为确定信号。合作的进 一步扩散，角点的确定信号又迫使细胞在含糊信号中选择与被确定信号一致的方向。后一 过程是确定运动信号对边界进行分割组群、在整个物体中分配运动信号的过程，这主要是 靠运动双极细胞的长距合作实现。对理发柱幻觉的分析如图2 1 1 所示，竞争获胜的水平终 端确定信号向内扩散，使得整个滚筒显示出具有长边形状优势的运动方向。在比较放大的 角点处，仍然还有一些合作的特征。当滚筒的长短比例大于一定值后整体就只能感受到 长边的运动了。 第1 l 页 国防科学技术大学研究生院学位论文 - - 图2 一1 1理发馆幻觉。终端( 或角点) 处确定信号向内扩散， 迫使内部含糊信号选择与终端信号一致的方向，最后整体显示出具有 形状优势的运动方向。 2 4 5 运动感知特性的归结 前面我们说到局部优势、含糊到确定信号的转变、从局部到整体的协调。事实上，我 们可以从中归结出一个重要的结论，即运动信号的金角银边一草肚皮特性；局部运动信号 总在角点处毒现为确定、边界点表现为含糊、内部没有表现。 桊峡嘹 a 内部点b 边点c 用点 图2 1 2 局部运动信号在内部点、边点、角点的不同表现 上述特性我们可以根据图1 3 直观地看到。在内部点、边点、角点，局部运动信号所可 能的速度轨迹之合( 非相加和) ，分别为任意方向、等法向分量矢量蔟、确定方向( 两矢 量蔟的交集) 。此特性决定了这几种类型的点在感知过程中所起的作用，其中角点具有决 定性意义。 2 5 本章小结 本章介绍了对运动生物视觉模型进行动力学分析所涉及到的一些基本概念和相关知 识。生物视觉系统的生理解剖结构与视觉系统的功能结构是对应的。生物视觉的功能主要 是在大脑皮层中实现，其对视觉信息的处理主要由3 个通道加以承担。各个通道重点处理 不同的视觉特征。 由于直接提取生物视觉系统对视觉刺激的响应信号是非常困难的，因此，对生物视觉 系统的动力学建模必须考虑到生物视觉系统对场景输入的心理感知。2 4 节从视觉心理感 知现象出发分析运动视觉系统应该具有的一些特征机制，即滤波网络、抑制性竞争和运动 组群与分割。同时这些视觉心理感知现象对于模型的检验是非常重要的。 第1 2 更 国防科学技术大学研究生院学位论文 第三章运动生物视觉系统的神经模型与处理机制 3 1 引言 当一只猎豹在树丛中奔驰，我们可以清楚地分辨出猎豹的整体运动。猎豹身上的斑斑 点点，经过丛林遮挡，它若是静立其中，要分辨出它恐怕有很大的困难。但是一旦它运动 起来，人眼马上就很容易感知出隐藏在树丛中的猎豹。这究竟是什么原因? 仔细想来，即 便猎豹在运动，我们所见的也只是一些斑点或局部块的含糊位移。我们之所以能够方便地 看出丛林中奔跑的是一只猎豹，是因为我们的视觉系统能够方便地从这些局部块地含糊位 移信息中处理出运动时猎豹的整体形状。我们可以这样认为：生物视觉对于动态图像主要 是感知物体各部分的运动形状，并将这些部分组织成一个可能的运动整体。这就是运动视 觉感知要解决的两个核心问题：运动综合与运动分割。 w a l l a c h ( 1 9 3 5 ) 首先指出，我们看圆形孔径后面的无特征性运动目标，不管其真实的 运动方向如何，我们都将感受到其运动于与线条垂直的方向上【2 4 l 。后来m a 玎和u l l m a n ( 1 9 8 1 ) 称这种现象为孔径现象【2 5 j 。由于视神经元网络连接的特点，生理视觉的信息处理是 基于感受野实现的，在处理过程的前些阶段，神经元感受野都呈较小尺度的孔径状，这些 神经元感受器只能响应于运动的局部轮廓，也就不可避免地会碰到所谓的孔径问题。只有 当孔径范围内含有较强特征信息，诸如线条终端、物体角点、高对比度的点等，此时局部 运动检测器才能精确测量到运动的方向和速度。实际上，随着处理阶段的逐级上升，感受 野也是逐渐变大，这些局部信号之间就会发生相互作用，从而得到一个更大区域的整体运 动信息。 因此，为解决运动综合与运动分割问题，视觉系统就必须从运动图像中提取尽可能多 的运动特征信息，用以抑制从轮廓内部产生的更多的不确定运动信号。甚至在缺少这些局 部运动特征信息的情况下，要能够从相邻的区域中综合提取相对一致的运动信息，从而获 得整体的运动感知。 本章给出了一个具体的框架模型：首先检测图像中的轮廓信息，并将各区域的边界归 属到各自的深度平面上，然后将形成这些轮廓边界的的运动图像序列输入到运动处理系统 m t m s t ，最终形成运动综合或运动分割的运动感知。f a c a d e 理论已经详细阐述了从皮 层v 1 区到v 2 区的3 d 边界形成。那么这些边界是如何作用于运动视觉系统的呢? 第1 3 页 国防科学技术大学研究生院学位论文 g r o s s b e r g ( 1 9 9 1 ) 提出从皮层v 2 区到m t 区 的作用可以实现在v 2 区完成的3 d 边界及特征背 景分离结果来调制敏感于运动的m t 区细胞i 硎， 如图3 2 所示。这种调制作用给m t 区提供了完 整的物体边界以便于运动系统的目标运动跟踪， 同时也提供了所跟踪运动物体的更敏锐的深度估 计。 c h e y ，g r o s s b e r g 和m i n g o l l a ( 1 9 9 7 ，1 9 9 8 ) 进一 步扩展了生物运动感知的神经模型，即皮层区 v 1 一m t - m s t ，如图3 一l 所示。该模型称为运动边 界轮廓系统( m o t i o nb o u n d a r yc o m o u rs v s t e r n ) 。 v 2 殳 ： v l 图3 1 静态边界系统与运动系统的 神经通路 该模型仿真了刺激图像的对比度和持续时间、点密度、空间频率及其他因素对运动感知的 影响，对理发柱幻觉现象，以及对比度如何影响感知到的运动速度和方向的问题也做出了 很好的解释。因为本论文的模型把形状信息也融合到运动感知系统中，故也称之为形状运 动边界轮廓系统( f o 姗o t i o nb c s ) 模型。接下来我们将详细描述f o r n l o t i o nb c s 模型结构 的设计原理，以及每一阶段所进行的动态特性计算及其功能意义。 根据上述分析和2 4 节中关于运动特性的叙述，f o n o t i o nb c s 模型的运动信息处理流 程如图3 - 2 所示。为了更好地说明运动视觉模型的处理机制，在每一处理阶段都给出了一 个对单线条运动的仿真结果。 第1 4 页 国防科学技术大学研究生院学位论文 l e v e l 6 m 汀 l e v e l 5 ；氲艇 l e 珊空洞方阎竞争 l e v e l 灸麟钽潘 l e v e 警羹蒲向渊 l e v e h 输入 图3 2f o r m o t i o nb c s 模型的运动信息处理流程 3 2f a e a d e 边界的处理 如图3 3 的一个二维图像的视觉遮 挡现象。我们从图3 3 a 中“看”到水平 灰色线条浮于表面，从中间部分遮挡了 后面的竖直线条；当把3 3 a 中的水平线 条染成与背景一样的白色，如图3 3 b 所 示，此时我们所感知到的就仅仅是两段 单独的线条了，所不同的是它们之间的 距离似乎变近了一些。那么，两者之间 图3 3 第1 5 页 国防科学技术大学研究生院学位论文 为什么会有这么大的变化? 这说明了几何形状和对比度都会影响到图像中物体之间遮挡 关系的感知结果。这样的遮挡关系就使得竖直线条与水平线条的交叉边界归属于水平线条 的，从而完成了各个物体的轮廓分离。在本论文的模型中，为了实现这一功能，使用了在 模型皮层v 2 区形成的f a c a d e 边界表示。然后再通过从v 2 到m t 的形状运动之间的作 用，把这些分离的特征背景边界输入到皮层m t 区。 f a e a d e 模型的边界完成是基于方位双极细胞的功能实现的。g r o s s b e r g 等在1 9 8 4 年 预言了这种具有边界完成功能特征的双极细胞的存在【2 7 】，同年v o nd e rh e y d t 等报道了具 有这种性质的细胞存在的现象。 边界完成过程是指在感知作用范围内，近似共线的边界特征相互合作，生成中间边界， 使得各零星边界组成完整边界的过程。这个合作过程有助于从带有噪声的局部小段边界的 集合中构造出一致的全局边乔。 一个值得注意的问题是双极细胞应该具有什么样的感受野形状才能胜任其承担的实 现边界合作的功能呢? 为此，双极细胞感受野由两个有方位选择性的纺锤形瓣组成，每个 瓣接收沿此瓣的有向轴的一定范围内的位置和方位的活性输入。双极细胞仅在下述两个条 件之一得到满足时被激活：1 ) 双极细胞的两个瓣( 即此细胞本身) 都接收到了足够大的 输入；( 2 ) 双极细胞从同一位置处的高阶超复杂细胞接收到足够大的活性激励，并且双 极细胞有任意一个瓣接收到足够大的活性激励。对双极细胞的激活加以上述限制保证了双 极细胞不会将边界扩展出线的末端( 除非有足够的证据激励表明允许边界扩展出线的末 端，例如，在两个共线的线段之间可以发生这种边界扩展事件) ，而且，这样做有一个好 处，那便是线的末端仍能接受到从双极细胞来的反馈。 a ) 双极细胞掩模的3 维显示b ) 双极细胞掩模的等高线图显示 图3 - 4 双极细胞掩模图示 双极细胞的边界完成过程实现了一个统计“与”门，其感受野形状如图3 4 所示。 双极细胞实现实现的是在一个方位带中的边界完成过程。这个方位带包括了垂直其诱 导线端的那个方位，以及并不垂直其诱导方位的那些临近方位。这样一个可能方位带增加 了将各分离的边界线端组群成一个全局一致的边界的可能性。方位带方便了这个控制边界 完成的感知组群过程。然而，如果不进行后续的补偿处理的话，这个方位不定性可能会引 国防科学技术大学研究生院学位论文 起锐度的严重丧失。如果每个方位带中所有的方位都与邻近方位带中所有近似共线的方位 进行合作的话，会出现一个模糊的完成了边界带，蔼不是一条锐化了的边界。为此，b c s 系统中引入了由双极细胞处理阶段经过高阶超复杂细胞和超复杂细胞而到超复杂细胞前 向处理阶段的合作反馈。这个合作反馈为某个特定的方位组群提供了优于其它所有可能的 方位组群的反馈支持。 在双极细胞输出的反馈通路中，双极细胞的输出首先经过相同位置上的方位竞争以确 定哪个方位获得最大的合作支持。而下一级的位置竞争发生在临近位置之间以选择突发边 界的最优空间位置。通过这些竞争性相互作用取选择和锐化双极细胞宽感受野造成的多个 边界组群中最好的边界组群。 双极细胞计算了在每个方位上一条边界特征存在的支持度后，在高阶超复杂细胞反向 处理阶段中，每个细胞与对应同一图象位置却不同方位的其它细胞进行短程方位竞争。许 多方位由于接收到双极反馈信号而被激活，这个竞争过程选择那些接收双极合作反馈的最 好的方位，以使完成的边界尽可能的平滑。 我们知道，在双极细胞的边界完成过程中，合作诱因越强，则合作出的边界信号也越 强，这是由双极细胞的特性所决定的。视觉心理学的一些发现，促使人们深入思考边界完 成的整个前馈一反馈过程。 轮廓诱 ， t ，j 一 j c 、勺 oo 囝 囝国 p j 图3 5 轮廓诱导的强度与边界明储对比强度之间的关系 图3 5 给出了生物视觉系统对“幻觉正方形”的感知规律，从中我们发现，生物视觉 系统对“幻觉正方形”的感知效果并没有随边界诱导信号强度的增强或数量的增加而改善， 而在双极合作过程中，边界诱导数量的增加必然加强双极合作的边界。二者之间的矛盾性 正好说明了在双极合作细胞处理阶段到超复杂细胞前向处理阶段之间存在一个“短程位置 竞争”这个过程。 反馈回路上的“短程位置竞争”平衡了长程双极合作的作用，即“短程位置竞争”产 生了如“终端停止”的效果。这种“位置竞争”相互作用相对于增强那些在位置和方位总 国防科学技术大学研究生院学位论文 体一致的组群的响应，并抑制那些相对弱的或不一致的组群、噪声和背景信号。 通过上述分析可知，这个竞争合作回路中的合作反馈使得网络具有对比增强特性，即 它能通过短程竞争性相互作用而从一个可能的边界带中选择出单个锐化了的边界，并使细 胞的活性快速收敛于一个最终的边界分割，它完成了统计意义上最受支持的边界，同时抑 制了那些统计意义上不受支持的边界，从而将图像中特征的正确组合绑定下来。正是通过 c c 回路，生物视觉系统才完善边界，进而获得封闭边界。 针对图3 - 6 的t 形交叉，水平双极细胞的两端感受野受到t 形水平杆的联合刺激，而 竖直双极细胞的感受野只有一端被t 形的竖直杆部分激活。结果使得水平双极细胞被强烈 激活，从而在空间竞争中取得胜利。这种相互协作竞争机制最终结果是使得竖直杆与水平 杆从它们的交叉边界上分离开来，而形成了一道端缝，如图3 6 c 所示。于是，由这道端 缝开始了如下处理：把t 形水平杆显现到遮挡平面上。 图3 6 水平双极细胞的两极( + ) 被充分激活，通过水平双极细胞的抑制性中间神 经元( 一) 的抑制作用，最大限度地抑翱了竖直双极细胞的响应。 双极细胞的这一机制是通过具有长程兴奋性水平连接和短程抑制性作用的中间神经 元实现的【2 1 】【2 8 】。大量的实验数据和理论都支持了双极细胞的这一目标背景分离机制。 f a c a d e 理论通常产生表l 所示的两种边界表示类型：在较远的空间深度上的部分被 遮挡的线和不被遮挡的线。当不存在遮挡物时，原先感知到被遮挡的线此时呈现不被遮挡 的情形。这些从运动序列中的每一帧图像计算出来的边界就作为模型的输入。 表1遮挡情形与无遮挡情形的f a c a d e 边界 在g r o s s b e r g 的s b c s 模型中已嵌入方位双极细胞的这一机制【2 9 l ，因此，本论文中的 仿真均采用g r o s s b e r g 的s b c s 模型输出的边界作为这个模型的输入。附录一给出了s b c s 的详细数学模型。 第1 8 页 国防科学技术大学研究生院学位论文 3 。3 暂态细胞的方向检测 模型的第二层由无方向性暂态细胞、方向性中间神经元和方向性暂态细胞三部分组 成。无方向性暂态细胞只响应于图像的暂态特性，例如亮度的增减变化，而不关心图像目 标是否朝某一特定方向运动，这种特性与视网膜的y细胞非常相似f30】。方向性选择中间神经元对于沿其感蒋妖钕堑趸藜孤荔着又全点籁鞋朱叁甚稼鞴。喵露豫m 强理臻翟磊 茹噶点渤潍嚏曝谤；征用艘运动幻妻稚弱笮笳簖等，疆鞠鬲瓤衄亓摧精誉磊裂棼g 廷型器 裂銎，猁烈婴巨鸯掣魁觅j 氛是因为我们矫磁缅剥酾廷垂筵朵士翟皇基其实! 自h ! 姿彗 魏堆逸涠饫浏臻l 斟灞罂誓嘈擤划峨渤篙d 臻m ；毳i 辫毵瀚拍i 婴 艘裂锊萎裂糯转 矍g 置碥铺茹粥戮茹栉彭割割晕懿喜养! 1 2 i 象的心攫置犁嘉登if 函鹜影罂辫判篓囊 珥 。 上一章的内容给出了一个运动视觉系统模型，详细分析了每一阶段的处理机制，并给 出了相应的计算机仿真数学模型。在本章里，我们将根据这个模型对一些典型的运动幻觉 现象进行计算机仿真，并从模型机制的角度出发对这些生理视觉现象进行分析，同时也分 析了物体的形状、对比度以及物体间的遮挡关系会对运动感知结果造成哪些影响。 4 2 理发柱幻觉现象 国防科学技术大学研究生院学位论文 如图3 7 a ，当输入到达最左端的无方向性暂态细胞输入l ，其对应的位置上的中 间神经元，包括左向调谐和右向调谐的，都被激活。接着，该右向调谐的中间神经元同时 又抑制了下一单元的左向调谐中间神经元和上一层方向选择细胞。当输入达到如图3 7 b 所示的输入2 位置，该位置对应单元上的己经被抑制的左向调谐的方向选择暂态细胞不再 能被激活，只有与向右运动方向一致的右向调谐细胞被激活。此外，中间神经元间的相互 抑制保证了方向性暂态细胞对于一个较大范围速度的响应都是一致的。因此，方向性暂态 细胞才能很好地响应于低速和高速的情形。 抑制性方向选择中间神经元不仅仅是生物激发的需要它同样还有其他重要的功能作 用。因为仅仅存在相邻暂态细胞间的抑制性作用是不足够的，因为被抑制的暂态细胞就不 能够再进一步抑制它们的相邻细胞。有了抑制性中间神经元，这个问题便迎刃而解，这种 中间神经元的特性就是能够独立地保持它们所抑制的暂态细胞的活性。此外，该中间神经 元还能够在与暂态细胞不同的时间尺度上操作。因此，它能够在一定的大范围速度下执行 有效的抑靠4 机制。总之，要使暂态细胞能够偏好响应于某一运动方向范围，并且其响应基 本上跟随输入速度的变化，并将短程空间滤波器在更高刺激速度上的速度调谐保持下来， 中间神经元之间的相互抑制作用是必不可少的。 由前面所述无方向性暂态细胞的特性，其细胞活性6 。计算如下： 6 p = x f = f ( 3 1 ) 这里简单细胞活性x f 是对前面f a c a d e 边界输入，f 的综合响应，其活性方程如下： 鲁枷b + ( 2 喃) ，。】 z 。表示一适应性传输门，定义如下： ( 3 - 2 ) 鲁0 0 3 h 堋舻# 】 ( 3 _ 3 ) 方程3 2 和3 3 中方括号外的常数1 0 和0 0 3 分别描述了简单细胞活性和传输门。f 的 变化率。方程3 2 中，常数2 表示简单细胞活性能够达到的最大值。方程3 3 中1 一z 。表示 传输门2 口能够达到最大值l ，一1 0 0 x 口。 说明传输器适应性与通过门信号的强度里比例关 系，1 0 0 即比例常数。因此，z 。以一常数率累积到一个有限的最大值，并且以一个比例于 信号x ，强度的速率发生适应或者说是失活。实际上，方程3 1 中的无方向性暂态细胞响应 6 。就是方程3 - 3 的门限信号。这些细胞活动对应于图3 - 7 中最底层的细胞。 第2 0 页 国防科学技术大学研究生院学位论文 黟j i 雏驵姐嚣髓酗薹像娜催萎 鎏莩：羹鋈i 囊荔蠹鍪 璺掣嚣躺棼缝鋈些罂骂驰黼繇耋担谓通堪。型声_ 墼掣毛占囊餮“酮鹄i 同的 焉! 准馐翌澎臻强岗毪油谶澎；f 。；觐孵鲥到鏊需苦旃罕搀符轷藁讲诮眷荏哺霎壶答 孺 碥；隔稽托菊囊鲁着蓟