（电路与系统专业论文）基于生物视觉学习机制的神经网络及其在机器人视觉上的应用[电路与系统专业优秀论文].pdf

摘要 摘要 机器人发展经历几十年，从早期实现机械控制到现在已具有简单识别能力的 智能机器人，但机器人的视觉与人的视觉依然相差很远，大多数带摄像系统的机 器人只能识别颜色。虽然目前图像的处理技术，如编码、压缩、分割、降噪等方 面的研究已有了长足的进步，但图像的智能处理技术仍然进展缓慢，已有的图像 识别、匹配算法的性能远不能达到“类人”的性能。因此，各个发达国家都进行具 有真正视觉和智能的机器人研究。如果希望图像识别技术能有较大程度地提高， 仿生学是一个很好的捷径。由于生物视觉系统的复杂性以及对图像处理、图像识 别的高效性，很多研究者着力于研究动物甚至人类大脑的视觉系统。 针对以上问题，本文在以下几个方面进行了工作与创新性的探索。 ( 1 ) 对自主发育机器人进行了带有实时视觉特征学习的探索，在研究了增最 获取图像特征和自主发育算法的基础上，把视觉特征抽驳和自主发育结合在一 起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学 习的机器人视觉发育的简化系统。 ( 2 ) 提出一种具有实时特征学习的、模拟生物视觉多尺度交叠感受野的神经 网络( n e u r a ln e t w o r ks i m u l a t i n gm u l t i - s c a l eo v e r l a p p i n gr e c e i l o t f i e l d ， n n s m o r ) ，通过无监督的学习获得对外界图像的视觉特征，对不同位置和尺度 的感兴趣目标，都可找到它在场景中的位簧。 ( 3 ) 把n n s m o r 网络的视觉学习结合有监督学习的识别分类算法，实现机 器人剥目标的识别和认知，把它应用在机器人视觉上，工程上实现了机器人对感 兴趣的目标进行实时跟踪。 ( 4 ) 引入基于显著性特征的注意力选择( s a l i e n c y b a s e dv i s u a la t t e n t i o n ) 机 制，作为多尺度交叠神经网络学习和观察的预处理模块，并在此基础上对原有的 n n s m o r 网络结构作了进一步改进，在实验中证明改进后的模型比原有视觉学 习、认知网络模型比有更大的优越性。 ( 5 ) 把基于显著性特征的注意力选择和n n s m o r 网络的特征提取结合，在 两阶段学习的基础上提出了一种带有学习认知的机器人自主注意力选择 ( s a l i e n c y b a s e d a u t o n o m o u s r e c o g n i t i o n ，s b a r ) ，为自下而上和自上而下相结 合的两元注意力选择构架的研究提供了一个新的探索方向。 提融的方法中的( 1 ) ，( 2 ) ，( 3 ) 部分已编成c 十+ 在复旦一号机器人和实验室中 简单机器人上应用，第( 4 ) ，( 5 ) 部分也有m a t l a b 的演示 塑茎 关键字：计算机视觉、人工智能、自主心智发育、目标识别、注意力选择 图书分类号：t n 9 1 1 7 3 a b s t r a c t a b s t r a c t t h r o u g ht h e d e c a d e sr o b o t i c sh a sb e e nd e v e l o p i n g ，f r o m r e a l i z i n ge a r l y m e c h a n i c a lc o n t r o l st ot h ed e s i g n i n go fr o b o t sw i t hr u d i m e n t a lc o g n i t i v ei n t e l l i g e n c e h o w e v e rt h er o b o tv i s i o ni sy e tf a ri n f e r i o rt oh u m a nv i s i o n ；m o s tr o b o t sw i t hc a m e r a s u p p o r te q u i p m e n ta r ea b l et oi d e n t i f yc o l o r so n l y , t h o u g hi ng r a p h i ct e c h n o l o g i e s ， n a m e l y , e n e o d i n g ，c o m p r e s s i o n ，s e g m e n t a t i o n ，n o i s er e d u c t i o n ，e t c t h e r eh a v eb e e n c o n s i d e r a b l ea d v a n c e m e n t s ，t h ep r o g r e s so fi n t e l l i g e n tt e c h n o l o g yr e m a i n ss l o w ；t h e i m a g er e c o g n i t i o na n dm a t c h i n ga l g o r i t h m sa v a i l a b l en o w a r es t i l lf a rf r o ma c h i e v i n g q u a s i - h u m a nl e v e l t h e r e f o r e ，m o s t o fd e v e l o p e dc o u n t r i e sh a v e b e e nm a k i n g r e s e a r c hp r o g r a m so nc r e a t i n gr o b o t sw i t ha u t h e n t i cv i s i o na n di n t e l l i g e n c e i fa r e m a r k a b l e s t e pf o r w a r di s t ob ee x p e c t e di n g r a p h i ci d e n t i f i c a t i o nt e c h n o l o g i e s ， b i o n i c sw o u l db eaf a v o r a b l em e a s u r et ot a k e d u et ot h ec o m p l e x i t yo ft h ea n i m a l v i s u a ls y s t e ma n di t sh i g he f f i c i e n c yi ng r a p h i cp r o c e s s i n ga n dr e c o g n i t i o n ，an u m b e r o fr e s e a r c h e r su s et h e i rw a yt os t u d y i n gt h ev i s u a ls y s t e mo fa n i m a l sa n de v e nh u m a n b e i n g s ， f o c u s i n g o nt h ea b o v e m e n t i o n e dp r o b l e m s ，t h et h e s i ss t a r t sac r e a t i v e e x p l o r a t i o n ，w o r k i n gf r o mt h e s ef o l l o w i n ga s p e c t s ： ( 1 ) a ne x p l o r a t i o no fa u t o n o m o u sd e v e l o p m e n tr o b o t 撕t hr e a lt i m ev i s i o n l e a r n i n gi se n g a g e da tf i r s t b a s e do ni n c r e m e n t a ll e a r n i n ga n da u t o n o m o u sm e n t a l d e v e l o p m e n tt h e o r y , i tc o m b i n e st h ev i s i o nl e a r n i n gw i t ha u t o n o m o u sd e v e l o p m e n t a l g o r i t h mt oe s t a b l i s has i m p l e rs y s t e m ( 2 ) an e u r a ln e t w o r ks i m u l a t i n gm u l t i s i z e o v e r l a p p i n gr e c e i p t f i e l d ( n n s m o r li sp r o p o s e d i tc a ne x t r a c tf e a t u r e so ft h ei m a g e sb yu n s u p e r v i s e d l e a r n i n ga n dc a nd e t e c ta n dr e c o g n i z es o m ei n t e r e s t e dt a r g e t w h a t e v e rt h et a r g e t c h a n g e so ni t sl o c a t i o na n ds i z e ( 3 ) w i 也t h ec o m b i n a t i o no f n n s m o ra n ds u p e r v i s e dl e a r n i n gf o rc o g n i t i o na n d c l a s s i f i c a t i o n ，t h er o b o tc a l lr e c o g n i z ed i f f e r e n to b j e c t s w h e na p p l i e do nr o b o tv i s i o n ， i tc a nt r a c ka n yi n t e r e s t e dt a r g e ti nr e a lt i m e ( 4 ) as a l i e n c y - b a s e dv i s u a la t t e n t i o ns e l e c t i o nm e c h a n i s mi si n t r o d u c e d ，a sa p r e t r e a t m e n tm o d u l ef o rt h em u l t i s c a l eo v e r l a p p i n gn e u r a ln e t w o r k sf o rl e a r n i n g a n do b s e r v a t i o n ；a n do nt h eb a s i so fw h i c ht h ef o r m e rn n s m o rh a sb e e nf u r t h e r i m p r o v e d i t sb e e np r o v e dt h r o u g he x p e r i m e n t st h a tt h ei m p r o v e dm o d u l eh a sg r e a t e r a d v a n t a g e st h a nt h ef o r m e rv i s u a ll e a r n i n ga n dr e c o g n i t i o nn e t w o r k s 5 一 垒型翌璺 ( 5 ) c h a r a c t e r i s t i c so fb o t hs a l i e n c y - b a s e dv i s u a la t t e n t i o ns e l e c t i o na n dt h e n n s m o ra r ei n t e g r a t e d ，s oa st oc o n s t r u c tad o u b l e - p h a s el e a r n i n gm o d e ，w h e r e o n a n e wk i n do fv i s u a ls e l e c t i o nc a l l e ds a l i e n c y b a s e da u t o n o m o u sr e c o g n i t i o n ( s b a r ) i sp r o p o s e d ，s oa st o p r o v i d ean e wr e s e a r c hd i m e n s i o nf o rt h e “t o p d o w n a n d b o t t o m u p ”t w o c o m p o n e n tf r a m e w o r kf o ra t t e n t i o ns e l e c t i o n t h ea l g o r i t h mp r o p o s e di np a r t ( 1 ) ，( 2 ) ，( 3 ) h a sb e e nd e v e l o p e dw i t hc + + w h i c h i s a p p l i e do n “f u d a ni r o b o ta n dt h e “b r a i n l i k e ”r o b o ti no u rl a b t h e r ei sa l s oa m a t l a bd e m of o rt h ea l g o r i t h mi np a r t ( 4 ) a n d ( 5 ) k e y w o r d s ：c o m p u t e r v i s i o n ， a r t i f i c i a l i n t e l l i g e n c e ， a u t o n o m o u sm e n t n d e v e l o p m e n t ，o b j e c tr e c o g n i t i o n ，a t t e n t i o ns e l e c t i o n 6 第一章绪论 第一章绪论 1 1 机器人及人工智能的发展历史和研究现状 1 1 1 机器人的发展历史1 1 】 人类对于自动化机器的追求和试验由来已久，这在两千多年前的文献中都有 记载，但真正意义上的机器人是2 0 世纪中期科学技术高度发展的产物。机器人 这个英文单词来源于捷克语“r o b o t a ”，意思是“工作”。韦氏词典把机器人定义 为“一种自动装置，完成通常由人做的工作”。这个定义不太准确，因为根据这 个定义，洗衣机也可被认为是机器人。美国机器人学会在1 9 8 3 年1 月对工业机 器人给出了一个比较准确的描述：“机器人是种可编程的多功能操作机，用各 种编程的动作完成多种作业，用于搬运材料、零件、工具和和专用设备。”根据 这种定义，机器人必须具有一定适应工作环境的“智能”，这种“智能”通常指 同控制和传感系统有关的计算机算法。 自从2 0 世纪6 0 年代初美国万向自动公司( u n i m a t i o n ) 和美国机械铸造公 司( a f m ) 分别研究成功第一代机器人“u n i t ”和“v e r s a t r a n ”以来，机器人的 发展按照“智能”由低到高划分，经历了三代。 第一代机器人是具有记忆、存储能力的示教再现机器人，它无感觉器官，没 有周围环境的反馈控制。它是通过一个计算机，来控制一个多自由度的机械，示 教存储程序和信息，这样机器人可以重复的根据人当时示教的结果，再现出这种 动作。例如汽车的点焊机器人，只要把这个点焊的过程示教完以后，总是重复这 样一种工作，它对于外界的环境没有感知。目前国际上商品化实用化的机器人大 部分是这种机器人。 第二代机器人能够使用传感技术获取作业环境和操作对象的简单信息，使机 器人能以柔性方式适应环境的需要。这和预编程操作是不同的。机器人传感器可 分两大类，一是内部传感器，如检测马达位置的传感器；一是外部传感器，负责 测量对目标的接近程度和接触程度，通过计算机对这些信息进行分析处理，对机 器人的动作进行控制，表现出了低级的智能。由于传感器信息处理系统增加了机 器人的造价和复杂性，第二代机器人目前只有少量得以应用。 第三代机器人是指具有高度适应性的自治机器入即智能机器人。它具有多种 感知功能，可进行复杂的逻辑思维，判断决策，在作业环境中独立行动。第三代 机器人与智能计算机关系密切，目前机器人人工智能的研究尚处于实验探索阶 第一章绻论 段。 1 1 2 现有机器人智能开发方法 第三代机器人智能开发方法可分为以下几种： 1 “基于知识”的智能开发方法，它直接对机器人编程完成一定任务，通常 需要一个预先定义的问题领域，同时已经有完备的知识层次的理论和方法，并已 经编成可执行的程序或者通过硬件实现 2 。这种方法可以实现个能够完成某 些复杂的运算或任务的系统。但它的局限性在于需要大量的人力劳动来对各种特 定的复杂任务进行建模和编程，而现实世界各种复杂情况无法使用有限的人力来 对无限的可能性进行建模和编程。 2 “基于行为”的智能开发方法，面对复杂的环境，机器人通过与环境相互 作用来完善其智能。这种方法无需对现实世界进行建模，而是对机器人的行为进 行建模。b r o o k s 于1 9 8 6 年提出一种基于这种方法的包孕构架【3 ：每一子层的行 为都比它上一层的行为更为复杂。每一子层都是一个有限的状态机，而对应的状 态和名称都通过编程人员定义。同时编程人员必须负责编程实现每一子层中机器 的状态对应的所需要的行为。这种方法的特点可以概括为“行为的手动建模和行 为的手动编程实现”。 3 “基于学习”的智能开发方法，通过特定目标学习让机器人完成对应任务； 这一类方法包括所有的需要学习的方法，比如有监督的学习和增强学习。这些学 习的方法在完成各种很具挑战性的认知任务中取得了瞩目的效果，例如视觉识别 5 【6 ，语音识别【7 】，视觉引导的机器人导航等等【8 。但当任务越普遍化，规模 越大，难度越高，训练和学习的时候耗费的人力就越大。主要原因在于这种机器 学习过程不是自主实现的。 4 1 9 9 8 年t g o m i 提出人工生命的概念，利用“进化”的群体模型 4 1 ，遵 循生物的演化规律，从十分简单的自主系统渐渐构筑更复杂的智能系统，这给机 器人的发展提供了新概念，但它只能对群体系统进行进化。同时，这种基于进化 的方法和基于“学习”的方法相比效率比较低，而对特定任务方向进行学习的方 法比的普通进化方法更为有效。因为，系统学习的方法是通过编程人员手动编程 实现，而基于进化的方法无法直接手动编程实现或者需要通过反复的“试验选 择”的过程。 以上方法中，前三种都有共同的局限：基于特定任务，一旦任务目标改变， 就必须对机器人重新编程来适应新的任务。第四种方法中“进化”的群体模型也 只能对群体系统进行进化而没有实现个体的进化。而在实际应用中，外界因素难 以估计，只能完成特定任务的系统无法面对永不确定的外界环境。如何实现“类 第一常绪论 人”的智能机器人，使它拥有人的思维推理方式、综合处理各种感觉信息的能力， 是目前尚未解决的问题。 为了能使机器人能像人一样进行思考、学习，在复杂环境中完成各种非特定 任务。因此近年来j w e n g 等人提出机器人智能自主“发育”的思想 3 l 】。考虑到人 从出生的第一天开始，就和周围环境接触和沟通，渐渐发育出认知和行为的能力。 如果婴儿在早期“智能发育的关键时期”缺乏与环境交互，那么将会出现明显的 治理缺陷。在发育心理学的启发下，如果机器人也能模仿人从婴儿阶段心智的成 长和发育过程，通过与环境的交互逐渐实现自己对外部世界的理解和认知，而不 是仅仅只是完成特定任务模式。这种思想为机器人的智能研究提供个新的方 向。 1 2 人工智能与视觉仿生学 1 2 1 人工智能与视觉模型 人工智能是人类对“智慧”根源的探索，人们希望计算机在一定程度代替人 脑，“智能”地帮助我们完成些繁琐或者危险的工作。严格地讲，人工智能是 计算机科学中涉及研究、设计和应用智能机器的一个分支，其近期主要目标在于 研究用机器来模仿和执行人脑的某些智力活动，并开发相关的理论和技术。 目前人工智能对人脑的模拟大体可分为功能模拟方法和结构模拟方法。基 于现代形式逻辑为基础的功能模拟在博弈、机器定理证明、自动推理、问题求解、 专家系统等方面取得了很大成果。但是在语音识别、人脸识别、图像理解等领域 却遇到了问题，这表明功能模拟方法有着无法克服的局限性。因此近年来人工智 能的结构模拟方法得到了较大的发展。结构模拟方法的关键在于对脑的模型及其 工作原理的研究，例如人工神经网络对人的大脑基本结构的模拟。人脑是宇宙中 已知的最复杂的系统，神经系统特别脑的发达程度是区别动物( 包括人类) 进化 程度的主要标志。而其中的视觉系统在动物和人类生命活动中具有极其重要意 义，广大神经科学家们在视觉系统上已展开了的全面、深入的研究。科学家对视 觉信息处理的脑机制的研究相对其他感知器官要深入得多，这就使得我们在工程 上利用计算机来模拟视觉系统成为可能。我们希望利用已有的生物学上的科研成 果，联系信号处理及信息论知识，通过对视觉系统进行计算机建模，使计算机能 在一定程度上模拟人的视觉系统，以解决人工智能在图像识别领域碰到的难题。 下面介绍一下动物( 人类) 视觉系统的概况。 第一章绪论 1 2 2 生物视觉系统简介 从形态学的角度来分析，哺乳动物视觉系统中主要的视觉通路由视网膜、外 膝体和视觉皮层构成【9 】。粗略地讲，视网膜的主要作用在于接收光刺激，外膝 体则能提高对比敏感度和减少对弥散光的反应。而数量最多的视觉皮层细胞则能 提取图像的边缘、形状、颜色等信息，并把这些信息会聚起来形成复杂的视觉认 知。 图卜1 视觉系统的主要视觉通路 视觉系统是一个十分复杂的图像处理加工系统，视网膜每时每刻都在接收大 量的信息，但最后能到达视觉皮层神经细胞的有效信息却不多。1 9 6 1 年b a r l o w 指出去除信息的冗余是视觉信息处理的主要目的【1 0 。生物学的研究显示，人脑 并非直接在空间域内处理图像信息的。从视网膜上接收到光刺激作为输入图像开 始，视觉系统利用一套完整的信息处理机制对该图像进行处理。 对于视觉的信息处理机制目前也有不同的观点，h u b e l 和w i s e l 提出了下级 神经元有序地会聚形成高一级神经元的分级假说【1 1 】，分级假说在一定程度上能 解释不少视觉皮层信息处理的过程，但也令人提出这样的疑问：在等级处理的终 端是否存在着一个特殊的超复杂细胞或细胞群来处理一个特定的物体，即所谓的 “祖母细胞”。但是迄今为止尚未发生一个单独的皮层区域只接收所有的其他视 觉皮层区域来的信息，这就说明原假设著不合理。另一种可能的视觉处理机制是 平行处理过程【9 】。可能在视中枢各级存在着许多平行的视区，它们分别能对外 界图形的各个特殊方面进行编码，虽然单一的特征并不能给出最后结论，但是当 它们同时存在时就能对复杂的图像作为识别。目前已有很多的实验支持平行假 说。 对外界图像的编码工作过程中，视觉皮层的神经细胞起着重要作用。视觉皮 层按其感受野的特征可划分为简单细胞、复杂细胞和超复杂细胞等( 任何视觉细 胞的视野在视网膜上的对应区域就是该细胞的视觉感受野) 。简单细胞主要分布 在视觉皮层v 1 区。简单细胞感受野较小，呈长形，用闪烁的小光点可以测定其 感受野中心区为一狭长型，在其一侧或双侧有一个与之平行的拮抗区【9 。同时， 简单细胞对大面积的弥散光无反应，而比较适合于检测具有明暗对比的边缘，并 对边缘的位置和方位有严格的选择性。对于每一个简单细胞都有一个最优方位， 第一奄绪论 在此最优方位上细胞反应最强烈 9 】。从图像处理的角度来讲，这样的感受野空 间结构相当于一个边缘滤波器，只有当输入图像在相应的位置和方位上存在一个 较强的边缘时，该滤波器才会产生较大的输出。与简单细胞关心感受野中某一特 定位置的方位信息不同，复杂细胞是与位罱无关的，只处理关于方位的抽象概念。 而超复杂细胞的最优刺激是一定方位的端点、角隅和拐角。此外在初级视觉皮层 罩还有对颜色敏感的简单、复杂和超复杂细胞。根据平行假说，在初级视觉皮层 中分别获得图像的形状、颜色、运行和深度等初级视觉信息后，这些信息将被会 聚到更高一级的视觉皮层区域进行进一步的分析。 科学家还发现，简单细胞感受野的空间结构并不是动物与生俱来的。实验 表明，在哺乳动物出生后，视觉系统( 特别是视觉皮层) 相当的一段时间内仍处于 发育过程，无论从解剖学还是从生理学方面来说均未成熟，所以表现出很大程度 的可变性或可塑性。视觉环境对于幼年动物的发育影响较大，每种动物都有其特 别敏感的发育阶段关键期，在关键期内视觉环境对脑的视觉通路和视觉功能 发育有不可逆的影响9 1 。 我们只是简单介绍了相关的生物背景，事实上动物的视觉系统要远比这复 杂。随着科学技术的发展，生物学家会对视觉系统的工作机制有越来越清楚的认 识。目静生物学家还不能回答大自然为什么会如此“设计”哺乳动物的视觉系统， 但有一点是毫无疑问，这个系统比已有的任何人工的图像处理系统工做得好。因 此，如果希望图像识别技术能有较大程度地提高，仿生学是一个很好的捷径。用 计算机来模拟哺乳动物的视觉系统是一个非常有现实意义也非常艰巨的课题。不 但能对图像识别技术提出新的研究方向，对动物的视觉系统的深入研究也很有帮 助。 我们的工作并非要完整无误地模拟整个生物视觉系统信息处理，而是利用已 有的信号处理领域的科研成果对视觉系统进行分析而建立一个可以工程实现的 图像识别和智能认知相结合的机器人视觉模型。并希望利用该视觉模型作为指 导，提高实际应用中计算机对图像的识别和自主认知能力。 1 2 3 视觉学习和智能发育相结合的视觉认知过程 无监督学习之后在幼年动物视觉皮层简单细胞上训练出一组能有效地提取 图像特征的滤波器，即简单细胞的感受野响应特性。新生的幼儿并没有能力从他 们的父母那儿获得知识，当他 f f 1 1 , 1 7 1 1 1 睁开的眼睛接受外界信息时，使用的就是无 监督学习方式。 在利用无监督学习训练得到的视觉滤波器( 简单细胞感受野响应特性) 提取 了图像的初级特征之后，视觉系统需要一个特征整合的过程，这个过程是有监督 第一章绪论 的。由此，我们提出一个类似于动物视觉系统信息处理过程的学习和认知相结合 的模型。该模型把图像认知过程分为两个阶段：第一阶段为婴儿阶段，这个阶段 时婴儿的脑中几乎没有先验知识，只能被动地接受外界刺激而无法辨别眼睛所获 取图像的内容。但正是这个阶段视觉系统利用无监督学习方式，在外界刺激的作 用下遵循尽可能地去除信息冗余的原则来训练视觉细胞的响应特性。通过一定时 间的学习，婴儿的简单视觉细胞形成了感受野的响应特性，实现对输入刺激的初 步处理，并对于不同的输入图像利用已获得的响应特性进行特征提取。认知阶段 是有监督学习认知阶段，根据特征输入和“教师”引导对各个特征进行整合，得 到特征集和实际物体的对应关系。 视觉根本的功能是对物体的认知，同时有了对物体的认知后如何和机器人智 能发展结合，我们在此问题上作了定的探索，提出了可以自主提取视觉特征的 多尺度交叠神经网络，并且和认知阶段的机器智能发育相结合实现了机器人视觉 学习、认知的智能发育过程，并在机器人上得到了应用。 几十年来，机器人的机械研究和实现已经获得了巨大成果，但机器人的智能 和视觉方面的研究成果依然不能满足人们的需要。我们希望利用两阶段视觉模型 界和自主发育机器人理论，模拟人从婴儿阶段开始的视觉发育，实现视觉和认知 系统相结合的学习、识别过程，为机器人的智能和视觉发展找到一种新的研究方 向。 1 3 机器人视觉的注意力选择研究现状 1 3 1 模仿生物注意力选择的机器视觉 生物和机器人的认知系统都存在个常见问题，对于源源不断地外部输入信 息，用于计算、处理这些信息的资源却是十分有限，因此需要对输入信息有所侧 重和选择。注意力选择就是希望能够把有限的资源集中在相对比较重要和相关的 输入信息中，而去除其他冗余的、不相关的信息，使得机器视觉在实际复杂多变 的环境中能够在计算资源、运算耗时和性能表现之间取得合理的平衡【1 8 】。注意 力选择可以驱动和引导眼睛的运动，在观察过程中保证眼睛能始终保证对有效信 息的获取【1 3 】，【1 4 】，【1 5 】，或者无需眼睛运动而把注意力的集中点一个地方转移 到另一个地方f 1 6 1 ，【1 7 。 在人类的心理物理学研究中，注意力选择通常经过两层处理：预处理和后处 理，而注意力选择相当于一个门槛，是对大量的输入信息进行处理和筛选的过程 1 2 1 。注意力的预处理系统的计算相对比较简单，在对外界的各种感知通道都是 并行处理的，例如视网膜对视觉信息输入的处理或者听觉对整个音频谱段输入的 第一审绪论 处理。这种预处理过程是自动的并且不受主观意识监控，但高层的理解处理过程 会在一些有限的方面对其进行影响。注意力的后处理过程是对内存、计算能力或 者电动机响应等有限的资源进行合理应用。因为提供资源有限，后处理过程只能 进行串行操作。注意力后处理过程是有意识的行动而且受主观意识的驱动和监 控。注意力机制就是把注意力预处理的影响综合起来对注意力后处理过程进行指 导。所有的这些机制都是为了解决一个显著的问题：对整个场景的感知输入进行 取决，选取最感兴趣和最值得进一步关注的地方。 1 3 2 注意力选择研究概况 有了注意力选择能提高对有限运算资源的台理分配，并提高搜索速度和效 率，因此，人们一直致力于研究在机器视觉上实现模仿生物注意力选择机制。 机器视觉中的注意力处理最早开始使用的是“基于显著性”的模型，输出响 应的强弱是通过特征监测器对候选的区域进行匹配决定的 1 9 】。近年来i t t i 等人 提出了更为精细的注意力选择搜索模型【2 l 】， 2 2 】，把多尺度图像特征综合到一 个拓扑特征映射图中。在这些注意力选择模型中，都应用了一个动态的神经网络， 通过纯粹的自下而上的方式，选取特征映射图中的神经元通过相互竞争最后获胜 的区域作为注意力区域。 模仿人类的物理心理学提出的注意力的预处理和后处理两个阶段，一般认为 注意力的分配是一种两元的构架。这种注意力的构架认为注意力对目标进行选择 时同时受到自下而上、基于图像特征的线索和自上而下基于任务的线索的结合， “下”指的是由底层的视觉信息输入，“上”指的是高层的认知和价值系统 2 0 1 。 大脑成像的研究中也提供了一些证据证明这两部分神经网络是部分独立的 2 3 】， 2 4 】。比如在观察场景中，总有一些非常显著的区域或物体总能比较容易得引起 注意。比如雪白墙上一个黑色的挂钟，茫茫草原上忽然凸现的一棵树，这种突出 于周围背景的目标总能让注意力不自觉地转移到该目标上。注意力对这种显著性 的分配主要是通过“自下而上”的方式驱动的，在注意力的预处理过程中就能在 整个视野内凸现出来。而第二种注意力则是更主观和更有决定性的注意力选择因 素，取决于观察时刻所需完成的任务( 例如找一个红色，方形的目标) 。这种“自 上而下”的注意力表达很有可能是通过高层控制区域，包括和底层视觉皮层以及 初期视觉区域相连的额叶( f r o n t a ll o b e s ) 产生的。因此，视觉区域中一些特征 显著的地方会自发地受到关注，但同时随后注意力会由于主观的目标或者需要转 向别的需要关注的区域或者目标。 在1 9 9 4 年，由w o l f 壤早提出了一个自下而上和自下而上结合的两元的注意 力选择模型 2 9 1 ，在此基础上b r e a z e a l 等人在1 9 9 9 年对此模型作了一定的改进 第一章绪论 3 0 ，并在机器人上进行了简单的实现了。对比之下t s o t s o s 等人 2 5 】实现了一种 基于选择性谐振( s e l e c t i v et u n i n g ) 概念的视觉注意力的模型，同样把自下而上 ( 前馈) 的特征提取和自上而下( 反馈) 的处理过程相结合。在这个模型中，使 用了一个传统的神经网络，注意力的应用加快了其在视觉任务中的内在搜索速度 2 6 。人们也提出了更多的其他的模型，例如在i t t i 和k o c h 提出的“基于显著性” 模型的基础上的进一步扩展 2 7 】或者根据已选择的目标作出反馈 2 8 。 在两元的注意力选择研究中，相比自下而上注意力处理过程的逐步完善，自 上而下实现对注意力的影响研究尚处于比较初级的阶段，尽管在生物学领域已经 提出一些注意力选择和目标认知的模型 1 5 1 6 】，但在人工智能领域，机器人自 主的自上而下的影响注意力选择并没有真正实现，基本上都是人为的制定特定领 域的特定任务来实现，比如通过简单的目的驱动影响底层特征映射 6 、通过自 上而下的知识、或颜色线索作为对自下而上的输入信息的限制 7 】 8 】。这些自上 而下的注意力选择过程都是简单的基于特定任务，未能和机器智能认知、学习相 结合，也无法实现机器人在较长时间内通过自主的主观意愿来决定视觉的注意 力。因此我们希望把两元的注意力选择模型的和两阶段视觉模型相结合，利用已 有的相对完善的自下而上的注意力选择作为机器人自主学习的基础，并在此过程 实现视觉系统的学习、识别过程，并提高识别准确率和算法的普适性，为机器人 视觉学习和智能发展找到一种新的研究方向。 1 4 论文的思路和创新点 ( 1 1 对自主发育机器人进行的带有实时视觉特征学习的探索，在研究了增量 获取图像特征和自主发育算法的基础上，把视觉特征抽取和自主发育结台在一 起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学 习的机器人视觉发育的简化系统。而j w e n g 等人提出的自主发育机器人并未实 现对视觉的实时特征抽取。经实验模拟证实该系统能够实时抽取视频图像的特征 并实现移动机器人对环境的主动辨别和认知。 ( 2 ) 提出一种具有实时特征学习的、模拟生物视觉多尺度交叠感受野的神经 网络( n e u r a ln e t w o r ks i m u l a t i n gm u l t i s c a l eo v e r l a p p i n gr e c e i p t - f i e l d ， n n s m o r ) ，通过无监督的学习获得对外界图像的视觉特征，对不同位置和尺度 的感兴趣目标，都可找到它在场景中的位置。 f 3 1 把n n s m o r 网络的视觉学习结合有监督学习的识别分类算法，实现机 器人对目标的识别和认知，把它应用在机器人视觉上，工程上实现了机器人对感 兴趣的目标进行实时跟踪。 f 4 1 引入基于显著性特征的注意力选择( s a l i e n c y b a s e dv i s u a la c t e n i o n ) 第一章绪论 机制，作为多尺度交叠神经网络学习和观察的预处理模块，并在此基础上对原有 的n n s m o r 网络结构作了进一步改进，在实验中证明改进后的模型比原有视觉 学习、认知网络模型比有更大的优越性。 ( 5 ) 把基于显著性特征的注意力选择和n n s m o r 网络的特征提取结合，在 两阶段学习的基础上提出了一种带有学习认知的机器人自主注意力选择 ( s a l i e n c y - b a s e d a u t o n o m o u s r e c o g n i t i o n ，s b a r ) ，为自下而上和自上而下相结 合的两元注意力选择构架的研究提供了一个新的探索方向。 1 5 论文的内容安排 论文根据生物视觉的模型和对机器人视觉和智能发育的理论研究，结合在 机器人上的具体实现将其内容安排在以下几章： 第一章绪论 简单介绍了机器人及人工智能的发展历史和研究现状，动物视觉系统以及注 意力选择研究概况。 第二章带有实时视觉特征学习的自主发育机器人探索 介绍自主心智发育机器人的思想，研究把视觉特征抽取和自主发育结合在一 起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学 习的机器人视觉发育的简化系统。 第三章具有快速学习的模拟多尺度交叠感受野神经网络 介绍了已有的基于仿生学的注意力视觉学习机制方法并对其缺陷进行分析。 提出一种模拟多尺度交叠感受野的神经网络结构，并把浚网络和认知映射结合， 实现了机器人视觉的学习、认知系统。 第四章带有学习认知的机器人自主注意力选择 对现有的机器视觉的注意力选择的研究的缺陷进行了分析，介绍了基于显著 性特征的注意力选择模型原理。提出一种自底向上分析和自上而下控制相结合的 带有学习认知的机器人自主注意力选择模型，并对第三章的视觉模型作进一步改 进。 第五章注意力选择应用系统的开发 ( 1 ) 在机器人平台上，把模仿生物视觉学习机制的注意力选择的研究结果在 机器人平台上实现，形成具有注意力选择以及可自主导航的自主发育机器人。 ( 2 ) 介绍了论文作者编制的多层交叠神经网络和自主发育理论相结合的机器 人视觉学习认知的演示系统。 ( 3 ) 注意力选择系统在“复旦i 号”机器人研究平台上的应用。 第六章总结和展望 塑一堕堡 总结硕士研究生阶段做的工作，以及今后仍需改进之处。 第二章带有实时 ；! l ! 觉特征学习的自土发育机器 探索 第二章带有实时视觉特征学习的自主发育机器人探索 能根据实时的环境如人一样进行自主发育学习是近年刚刚提出的、根据生物 和认知的原理的个新思想，因提出的方法复杂度高，所需的机器人平台的要求 也比较高，本章介绍了对自主发育机器人进行的带有实时视觉特征学习的探索， 在研究了增量获取图像特征和自主发育算法的基础上，把视觉特征抽取和自主发 育结合在一起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时 视觉特征学习的机器人视觉发育的简化系统。经实验模拟证实该系统能够实时抽 取视频图像的特征并实现移动机器人对环境的主动辨别和认知。 本章的内容安排如下： 第一节介绍自主智能发育机器人原理和理论模型。 第二节介绍能实时进行的快速壹观、无协方差计算的增量主元分析( c c i p c a l 方法和实验仿真结果。 第三节介绍基于分级判别回归树( h d r ) 的机器人视觉认知发育。 第四节介绍视觉特征抽取和自主发育相结合的视觉发育系统及仿真实现。本 节的结果发表于复旦学报上。 第五节是本章小结。 2 1自主发育机器人理论模型 2 1 1 机器人智能自主发育思想 人从出生的第天开始，就和周围环境接触和沟通，渐渐发育出认知和行为 的能力。发育心理学的研究成果表明，如果婴孩在早期在智能发育的关键时期缺 乏与环境交互，那么将会出现明显的智力缺陷。发育心理学对于机器智能研究有 这样的启示作用：人脑的智能发育过程具有普遍性和可塑性，机器智能发育的程 序也应该是如此；人脑的智能发育过程是实时和在线的，环境中发生的事件能被 人的感觉器官实时感知到，机器人也应该是实时和在线的；人脑的智能发育是渐 进的，过去学会的技能有助于将来学习更复杂的技能，机器人智能的发育也应是 渐进式的，人的思考技能是在发育过程时从环境中学习与练习而获得的，思考过 程是自我意识到的自主过程。 在人类发育心理学研究的启示下，1 9 9 6 年美国密歇根州立大学j w e n g 首先 提出机器人智能自主“发育”的思想 3 2 1 ，并在“导航号”机器人上进行了一定初步 第二章带有实时视觉特征学习的自主发育机_ ： 人探索 实验，其结果2 0 0 1 年发表在国际著名杂志科学( s c i e n c e ) f 3 1 上。其届他 的研究小组发展了分级树的自主发育算法( h i e r a r c h i c a ld i s c r i m i n a n tr e g r e s s i o n ， h d r ) 3 3 币u 能用于特征抽取的增量学习算法( c a n d i dc o v a r i a n c ef l e ei n c r e m e n t a l p r i n c i p l ec o m p o n e n ta n a l y s i s ，c c i p c a ) 3 4 。自主发育的思想在于模仿人的智能 发育过程，让机器人主动辨认周围世界，形成自己真正的内在知识，它与前人研 究的最大区别在于“非特定任务”，只要给机器人编写好一套自主发育程序，随后 机器人完全在外界影响下自主学习，适应各种复杂环境，最终能完成各种非特定 任务。 传统的智能机器人构建方法，也就是机器智能的手工设计范例，其主要过程 如下： 1 ) 给定任务：例如研制汽车的自动驾驶系统： 2 ) 理解任务：没计师理解自动驾驶任务的具体要求： 3 ) 表示任务：设计师应考虑任务的表示，例如汽车、道路、行人、交通信 号等； 4 ) 设计方法：基于任务表示，设计师应研究自动驾驶算法，例如应付道路 转弯方法： 5 ) 编写程序：程序员用编程方法实现已经确定的标是和方法； 6 ) 改进试验：程序员通过反复试验调试程序。 上述过程最终创造的智能机器人的执行过程虽然是自动的，并能完成特定 的任务，但它不过是运行程序员人工编制的程序而已。很显然，这种手工设计范 例是不能解决现实世界中许多实际问题的，例如视觉、听觉和自然语言理解等任 务。 自主心智发育理论对传统人工智能方法进行了改变，其基本过程如下： 1 ) 肢体设计：按照机器人工作的一般生态条件，设计者首先确定机器人需 要的传感器、效应器和计算资源等，然后设计和制造机器人的肢体； 2 ) 发育程序：程序员为机器人设计心智发育程序； 3 ) 出生：程序员打开机器人的电源开关，机器人开始运行发育程序 4 ) 心智发育：机器人通过与周围环境实施在线交互发育其心智。一般来晚， 训练机器人的“老师”可通过话音、姿态或触摸等于机器人沟通