[硕士论文精品]神经网络及其在机器人视觉上的应用

摘要摘要机器人发展经历几十年，从早期实现机械控制到现在已具有简单识别能力的智能机器人，但机器人的视觉与人的视觉依然相差很远，大多数带摄像系统的机器人只能识别颜色。虽然目前图像的处理技术，如编码、压缩、分割、降噪等方面的研究已有了长足的进步，但图像的智能处理技术仍然进展缓慢，已有的图像识别、匹配算法的性能远不能达到“类人”的性能。因此，各个发达国家都进行具有真正视觉和智能的机器人研究。如果希望图像识别技术能有较大程度地提高，仿生学是一个很好的捷径。由于生物视觉系统的复杂性以及对图像处理、图像识别的高效性，很多研究者着力于研究动物甚至人类大脑的视觉系统。针对以上问题，本文在以下几个方面进行了工作与创新性的探索。1对自主发育机器人进行了带有实时视觉特征学习的探索，在研究了增最获取图像特征和自主发育算法的基础上，把视觉特征抽驳和自主发育结合在一起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学习的机器人视觉发育的简化系统。2提出一种具有实时特征学习的、模拟生物视觉多尺度交叠感受野的神经网络NEURALNETWORKSIMULATINGMULTISCALEOVERLAPPINGRECEILOTFIELD，NNSMOR，通过无监督的学习获得对外界图像的视觉特征，对不同位置和尺度的感兴趣目标，都可找到它在场景中的位簧。3把NNSMOR网络的视觉学习结合有监督学习的识别分类算法，实现机器人剥目标的识别和认知，把它应用在机器人视觉上，工程上实现了机器人对感兴趣的目标进行实时跟踪。4引入基于显著性特征的注意力选择SALIENCYBASEDVISUALATTENTION机制，作为多尺度交叠神经网络学习和观察的预处理模块，并在此基础上对原有的NNSMOR网络结构作了进一步改进，在实验中证明改进后的模型比原有视觉学习、认知网络模型比有更大的优越性。5把基于显著性特征的注意力选择和NNSMOR网络的特征提取结合，在两阶段学习的基础上提出了一种带有学习认知的机器人自主注意力选择SALIENCYBASEDAUTONOMOUSRECOGNITION，SBAR，为自下而上和自上而下相结合的两元注意力选择构架的研究提供了一个新的探索方向。提融的方法中的1，2，3部分已编成C十在复旦一号机器人和实验室中简单机器人上应用，第4，5部分也有MATLAB的演示塑茎关键字计算机视觉、人工智能、自主心智发育、目标识别、注意力选择图书分类号TN91173ABSTRACTABSTRACTTHROUGHTHEDECADESROBOTICSHASBEENDEVELOPING，FROMREALIZINGEARLYMECHANICALCONTROLSTOTHEDESIGNINGOFROBOTSWITHRUDIMENTALCOGNITIVEINTELLIGENCEHOWEVERTHEROBOTVISIONISYETFARINFERIORTOHUMANVISION；MOSTROBOTSWITHCAMERASUPPORTEQUIPMENTAREABLETOIDENTIFYCOLORSONLY,THOUGHINGRAPHICTECHNOLOGIES，NAMELY,ENEODING，COMPRESSION，SEGMENTATION，NOISEREDUCTION，ETCTHEREHAVEBEENCONSIDERABLEADVANCEMENTS，THEPROGRESSOFINTELLIGENTTECHNOLOGYREMAINSSLOW；THEIMAGERECOGNITIONANDMATCHINGALGORITHMSAVAILABLENOWARESTILLFARFROMACHIEVINGQUASIHUMANLEVELTHEREFORE，MOSTOFDEVELOPEDCOUNTRIESHAVEBEENMAKINGRESEARCHPROGRAMSONCREATINGROBOTSWITHAUTHENTICVISIONANDINTELLIGENCEIFAREMARKABLESTEPFORWARDISTOBEEXPECTEDINGRAPHICIDENTIFICATIONTECHNOLOGIES，BIONICSWOULDBEAFAVORABLEMEASURETOTAKEDUETOTHECOMPLEXITYOFTHEANIMALVISUALSYSTEMANDITSHIGHEFFICIENCYINGRAPHICPROCESSINGANDRECOGNITION，ANUMBEROFRESEARCHERSUSETHEIRWAYTOSTUDYINGTHEVISUALSYSTEMOFANIMALSANDEVENHUMANBEINGS，FOCUSINGONTHEABOVEMENTIONEDPROBLEMS，THETHESISSTARTSACREATIVEEXPLORATION，WORKINGFROMTHESEFOLLOWINGASPECTS1ANEXPLORATIONOFAUTONOMOUSDEVELOPMENTROBOT撕THREALTIMEVISIONLEARNINGISENGAGEDATFIRSTBASEDONINCREMENTALLEARNINGANDAUTONOMOUSMENTALDEVELOPMENTTHEORY,ITCOMBINESTHEVISIONLEARNINGWITHAUTONOMOUSDEVELOPMENTALGORITHMTOESTABLISHASIMPLERSYSTEM2ANEURALNETWORKSIMULATINGMULTISIZEOVERLAPPINGRECEIPTFIELDNNSMORLISPROPOSEDITCANEXTRACTFEATURESOFTHEIMAGESBYUNSUPERVISEDLEARNINGANDCANDETECTANDRECOGNIZESOMEINTERESTEDTARGETWHATEVERTHETARGETCHANGESONITSLOCATIONANDSIZE3WI也THECOMBINATIONOFNNSMORANDSUPERVISEDLEARNINGFORCOGNITIONANDCLASSIFICATION，THEROBOTCALLRECOGNIZEDIFFERENTOBJECTSWHENAPPLIEDONROBOTVISION，ITCANTRACKANYINTERESTEDTARGETINREALTIME4ASALIENCYBASEDVISUALATTENTIONSELECTIONMECHANISMISINTRODUCED，ASAPRETREATMENTMODULEFORTHEMULTISCALEOVERLAPPINGNEURALNETWORKSFORLEARNINGANDOBSERVATION；ANDONTHEBASISOFWHICHTHEFORMERNNSMORHASBEENFURTHERIMPROVEDITSBEENPROVEDTHROUGHEXPERIMENTSTHATTHEIMPROVEDMODULEHASGREATERADVANTAGESTHANTHEFORMERVISUALLEARNINGANDRECOGNITIONNETWORKS5一垒型翌璺5CHARACTERISTICSOFBOTHSALIENCYBASEDVISUALATTENTIONSELECTIONANDTHENNSMORAREINTEGRATED，SOASTOCONSTRUCTADOUBLEPHASELEARNINGMODE，WHEREONANEWKINDOFVISUALSELECTIONCALLEDSALIENCYBASEDAUTONOMOUSRECOGNITIONSBARISPROPOSED，SOASTOPROVIDEANEWRESEARCHDIMENSIONFORTHE“TOPDOWNANDBOTTOMUP”TWOCOMPONENTFRAMEWORKFORATTENTIONSELECTIONTHEALGORITHMPROPOSEDINPART1，2，3HASBEENDEVELOPEDWITHCWHICHISAPPLIEDON“FUDANIROBOTANDTHE“BRAINLIKE”ROBOTINOURLABTHEREISALSOAMATLABDEMOFORTHEALGORITHMINPART4AND5KEYWORDSCOMPUTERVISION，ARTIFICIALINTELLIGENCE，AUTONOMOUSMENTNDEVELOPMENT，OBJECTRECOGNITION，ATTENTIONSELECTION6第一章绪论第一章绪论11机器人及人工智能的发展历史和研究现状111机器人的发展历史11】人类对于自动化机器的追求和试验由来已久，这在两千多年前的文献中都有记载，但真正意义上的机器人是20世纪中期科学技术高度发展的产物。机器人这个英文单词来源于捷克语“ROBOTA”，意思是“工作”。韦氏词典把机器人定义为“一种自动装置，完成通常由人做的工作”。这个定义不太准确，因为根据这个定义，洗衣机也可被认为是机器人。美国机器人学会在1983年1月对工业机器人给出了一个比较准确的描述“机器人是种可编程的多功能操作机，用各种编程的动作完成多种作业，用于搬运材料、零件、工具和和专用设备。”根据这种定义，机器人必须具有一定适应工作环境的“智能”，这种“智能”通常指同控制和传感系统有关的计算机算法。自从20世纪60年代初美国万向自动公司UNIMATION和美国机械铸造公司AFM分别研究成功第一代机器人“UNIT”和“VERSATRAN”以来，机器人的发展按照“智能”由低到高划分，经历了三代。第一代机器人是具有记忆、存储能力的示教再现机器人，它无感觉器官，没有周围环境的反馈控制。它是通过一个计算机，来控制一个多自由度的机械，示教存储程序和信息，这样机器人可以重复的根据人当时示教的结果，再现出这种动作。例如汽车的点焊机器人，只要把这个点焊的过程示教完以后，总是重复这样一种工作，它对于外界的环境没有感知。目前国际上商品化实用化的机器人大部分是这种机器人。第二代机器人能够使用传感技术获取作业环境和操作对象的简单信息，使机器人能以柔性方式适应环境的需要。这和预编程操作是不同的。机器人传感器可分两大类，一是内部传感器，如检测马达位置的传感器；一是外部传感器，负责测量对目标的接近程度和接触程度，通过计算机对这些信息进行分析处理，对机器人的动作进行控制，表现出了低级的智能。由于传感器信息处理系统增加了机器人的造价和复杂性，第二代机器人目前只有少量得以应用。第三代机器人是指具有高度适应性的自治机器入即智能机器人。它具有多种感知功能，可进行复杂的逻辑思维，判断决策，在作业环境中独立行动。第三代机器人与智能计算机关系密切，目前机器人人工智能的研究尚处于实验探索阶第一章绻论段。112现有机器人智能开发方法第三代机器人智能开发方法可分为以下几种1“基于知识”的智能开发方法，它直接对机器人编程完成一定任务，通常需要一个预先定义的问题领域，同时已经有完备的知识层次的理论和方法，并已经编成可执行的程序或者通过硬件实现2。这种方法可以实现个能够完成某些复杂的运算或任务的系统。但它的局限性在于需要大量的人力劳动来对各种特定的复杂任务进行建模和编程，而现实世界各种复杂情况无法使用有限的人力来对无限的可能性进行建模和编程。2“基于行为”的智能开发方法，面对复杂的环境，机器人通过与环境相互作用来完善其智能。这种方法无需对现实世界进行建模，而是对机器人的行为进行建模。BROOKS于1986年提出一种基于这种方法的包孕构架【3每一子层的行为都比它上一层的行为更为复杂。每一子层都是一个有限的状态机，而对应的状态和名称都通过编程人员定义。同时编程人员必须负责编程实现每一子层中机器的状态对应的所需要的行为。这种方法的特点可以概括为“行为的手动建模和行为的手动编程实现”。3“基于学习”的智能开发方法，通过特定目标学习让机器人完成对应任务；这一类方法包括所有的需要学习的方法，比如有监督的学习和增强学习。这些学习的方法在完成各种很具挑战性的认知任务中取得了瞩目的效果，例如视觉识别5【6，语音识别【7】，视觉引导的机器人导航等等【8。但当任务越普遍化，规模越大，难度越高，训练和学习的时候耗费的人力就越大。主要原因在于这种机器学习过程不是自主实现的。41998年TGOMI提出人工生命的概念，利用“进化”的群体模型41，遵循生物的演化规律，从十分简单的自主系统渐渐构筑更复杂的智能系统，这给机器人的发展提供了新概念，但它只能对群体系统进行进化。同时，这种基于进化的方法和基于“学习”的方法相比效率比较低，而对特定任务方向进行学习的方法比的普通进化方法更为有效。因为，系统学习的方法是通过编程人员手动编程实现，而基于进化的方法无法直接手动编程实现或者需要通过反复的“试验选择”的过程。以上方法中，前三种都有共同的局限基于特定任务，一旦任务目标改变，就必须对机器人重新编程来适应新的任务。第四种方法中“进化”的群体模型也只能对群体系统进行进化而没有实现个体的进化。而在实际应用中，外界因素难以估计，只能完成特定任务的系统无法面对永不确定的外界环境。如何实现“类第一常绪论人”的智能机器人，使它拥有人的思维推理方式、综合处理各种感觉信息的能力，是目前尚未解决的问题。为了能使机器人能像人一样进行思考、学习，在复杂环境中完成各种非特定任务。因此近年来JWENG等人提出机器人智能自主“发育”的思想3L】。考虑到人从出生的第一天开始，就和周围环境接触和沟通，渐渐发育出认知和行为的能力。如果婴儿在早期“智能发育的关键时期”缺乏与环境交互，那么将会出现明显的治理缺陷。在发育心理学的启发下，如果机器人也能模仿人从婴儿阶段心智的成长和发育过程，通过与环境的交互逐渐实现自己对外部世界的理解和认知，而不是仅仅只是完成特定任务模式。这种思想为机器人的智能研究提供个新的方向。12人工智能与视觉仿生学121人工智能与视觉模型人工智能是人类对“智慧”根源的探索，人们希望计算机在一定程度代替人脑，“智能”地帮助我们完成些繁琐或者危险的工作。严格地讲，人工智能是计算机科学中涉及研究、设计和应用智能机器的一个分支，其近期主要目标在于研究用机器来模仿和执行人脑的某些智力活动，并开发相关的理论和技术。目前人工智能对人脑的模拟大体可分为功能模拟方法和结构模拟方法。基于现代形式逻辑为基础的功能模拟在博弈、机器定理证明、自动推理、问题求解、专家系统等方面取得了很大成果。但是在语音识别、人脸识别、图像理解等领域却遇到了问题，这表明功能模拟方法有着无法克服的局限性。因此近年来人工智能的结构模拟方法得到了较大的发展。结构模拟方法的关键在于对脑的模型及其工作原理的研究，例如人工神经网络对人的大脑基本结构的模拟。人脑是宇宙中已知的最复杂的系统，神经系统特别脑的发达程度是区别动物包括人类进化程度的主要标志。而其中的视觉系统在动物和人类生命活动中具有极其重要意义，广大神经科学家们在视觉系统上已展开了的全面、深入的研究。科学家对视觉信息处理的脑机制的研究相对其他感知器官要深入得多，这就使得我们在工程上利用计算机来模拟视觉系统成为可能。我们希望利用已有的生物学上的科研成果，联系信号处理及信息论知识，通过对视觉系统进行计算机建模，使计算机能在一定程度上模拟人的视觉系统，以解决人工智能在图像识别领域碰到的难题。下面介绍一下动物人类视觉系统的概况。第一章绪论122生物视觉系统简介从形态学的角度来分析，哺乳动物视觉系统中主要的视觉通路由视网膜、外膝体和视觉皮层构成【9】。粗略地讲，视网膜的主要作用在于接收光刺激，外膝体则能提高对比敏感度和减少对弥散光的反应。而数量最多的视觉皮层细胞则能提取图像的边缘、形状、颜色等信息，并把这些信息会聚起来形成复杂的视觉认知。图卜1视觉系统的主要视觉通路视觉系统是一个十分复杂的图像处理加工系统，视网膜每时每刻都在接收大量的信息，但最后能到达视觉皮层神经细胞的有效信息却不多。1961年BARLOW指出去除信息的冗余是视觉信息处理的主要目的【10。生物学的研究显示，人脑并非直接在空间域内处理图像信息的。从视网膜上接收到光刺激作为输入图像开始，视觉系统利用一套完整的信息处理机制对该图像进行处理。对于视觉的信息处理机制目前也有不同的观点，HUBEL和WISEL提出了下级神经元有序地会聚形成高一级神经元的分级假说【11】，分级假说在一定程度上能解释不少视觉皮层信息处理的过程，但也令人提出这样的疑问在等级处理的终端是否存在着一个特殊的超复杂细胞或细胞群来处理一个特定的物体，即所谓的“祖母细胞”。但是迄今为止尚未发生一个单独的皮层区域只接收所有的其他视觉皮层区域来的信息，这就说明原假设著不合理。另一种可能的视觉处理机制是平行处理过程【9】。可能在视中枢各级存在着许多平行的视区，它们分别能对外界图形的各个特殊方面进行编码，虽然单一的特征并不能给出最后结论，但是当它们同时存在时就能对复杂的图像作为识别。目前已有很多的实验支持平行假说。对外界图像的编码工作过程中，视觉皮层的神经细胞起着重要作用。视觉皮层按其感受野的特征可划分为简单细胞、复杂细胞和超复杂细胞等任何视觉细胞的视野在视网膜上的对应区域就是该细胞的视觉感受野。简单细胞主要分布在视觉皮层V1区。简单细胞感受野较小，呈长形，用闪烁的小光点可以测定其感受野中心区为一狭长型，在其一侧或双侧有一个与之平行的拮抗区【9。同时，简单细胞对大面积的弥散光无反应，而比较适合于检测具有明暗对比的边缘，并对边缘的位置和方位有严格的选择性。对于每一个简单细胞都有一个最优方位，第一奄绪论在此最优方位上细胞反应最强烈9】。从图像处理的角度来讲，这样的感受野空间结构相当于一个边缘滤波器，只有当输入图像在相应的位置和方位上存在一个较强的边缘时，该滤波器才会产生较大的输出。与简单细胞关心感受野中某一特定位置的方位信息不同，复杂细胞是与位罱无关的，只处理关于方位的抽象概念。而超复杂细胞的最优刺激是一定方位的端点、角隅和拐角。此外在初级视觉皮层罩还有对颜色敏感的简单、复杂和超复杂细胞。根据平行假说，在初级视觉皮层中分别获得图像的形状、颜色、运行和深度等初级视觉信息后，这些信息将被会聚到更高一级的视觉皮层区域进行进一步的分析。科学家还发现，简单细胞感受野的空间结构并不是动物与生俱来的。实验表明，在哺乳动物出生后，视觉系统特别是视觉皮层相当的一段时间内仍处于发育过程，无论从解剖学还是从生理学方面来说均未成熟，所以表现出很大程度的可变性或可塑性。视觉环境对于幼年动物的发育影响较大，每种动物都有其特别敏感的发育阶段关键期，在关键期内视觉环境对脑的视觉通路和视觉功能发育有不可逆的影响91。我们只是简单介绍了相关的生物背景，事实上动物的视觉系统要远比这复杂。随着科学技术的发展，生物学家会对视觉系统的工作机制有越来越清楚的认识。目静生物学家还不能回答大自然为什么会如此“设计”哺乳动物的视觉系统，但有一点是毫无疑问，这个系统比已有的任何人工的图像处理系统工做得好。因此，如果希望图像识别技术能有较大程度地提高，仿生学是一个很好的捷径。用计算机来模拟哺乳动物的视觉系统是一个非常有现实意义也非常艰巨的课题。不但能对图像识别技术提出新的研究方向，对动物的视觉系统的深入研究也很有帮助。我们的工作并非要完整无误地模拟整个生物视觉系统信息处理，而是利用已有的信号处理领域的科研成果对视觉系统进行分析而建立一个可以工程实现的图像识别和智能认知相结合的机器人视觉模型。并希望利用该视觉模型作为指导，提高实际应用中计算机对图像的识别和自主认知能力。123视觉学习和智能发育相结合的视觉认知过程无监督学习之后在幼年动物视觉皮层简单细胞上训练出一组能有效地提取图像特征的滤波器，即简单细胞的感受野响应特性。新生的幼儿并没有能力从他们的父母那儿获得知识，当他“FF11,17111睁开的眼睛接受外界信息时，使用的就是无监督学习方式。在利用无监督学习训练得到的视觉滤波器简单细胞感受野响应特性提取了图像的初级特征之后，视觉系统需要一个特征整合的过程，这个过程是有监督第一章绪论的。由此，我们提出一个类似于动物视觉系统信息处理过程的学习和认知相结合的模型。该模型把图像认知过程分为两个阶段第一阶段为婴儿阶段，这个阶段时婴儿的脑中几乎没有先验知识，只能被动地接受外界刺激而无法辨别眼睛所获取图像的内容。但正是这个阶段视觉系统利用无监督学习方式，在外界刺激的作用下遵循尽可能地去除信息冗余的原则来训练视觉细胞的响应特性。通过一定时间的学习，婴儿的简单视觉细胞形成了感受野的响应特性，实现对输入刺激的初步处理，并对于不同的输入图像利用已获得的响应特性进行特征提取。认知阶段是有监督学习认知阶段，根据特征输入和“教师”引导对各个特征进行整合，得到特征集和实际物体的对应关系。视觉根本的功能是对物体的认知，同时有了对物体的认知后如何和机器人智能发展结合，我们在此问题上作了定的探索，提出了可以自主提取视觉特征的多尺度交叠神经网络，并且和认知阶段的机器智能发育相结合实现了机器人视觉学习、认知的智能发育过程，并在机器人上得到了应用。几十年来，机器人的机械研究和实现已经获得了巨大成果，但机器人的智能和视觉方面的研究成果依然不能满足人们的需要。我们希望利用两阶段视觉模型界和自主发育机器人理论，模拟人从婴儿阶段开始的视觉发育，实现视觉和认知系统相结合的学习、识别过程，为机器人的智能和视觉发展找到一种新的研究方向。13机器人视觉的注意力选择研究现状131模仿生物注意力选择的机器视觉生物和机器人的认知系统都存在个常见问题，对于源源不断地外部输入信息，用于计算、处理这些信息的资源却是十分有限，因此需要对输入信息有所侧重和选择。注意力选择就是希望能够把有限的资源集中在相对比较重要和相关的输入信息中，而去除其他冗余的、不相关的信息，使得机器视觉在实际复杂多变的环境中能够在计算资源、运算耗时和性能表现之间取得合理的平衡【18】。注意力选择可以驱动和引导眼睛的运动，在观察过程中保证眼睛能始终保证对有效信息的获取【13】，【14】，【15】，或者无需眼睛运动而把注意力的集中点一个地方转移到另一个地方F161，【17。在人类的心理物理学研究中，注意力选择通常经过两层处理预处理和后处理，而注意力选择相当于一个门槛，是对大量的输入信息进行处理和筛选的过程121。注意力的预处理系统的计算相对比较简单，在对外界的各种感知通道都是并行处理的，例如视网膜对视觉信息输入的处理或者听觉对整个音频谱段输入的第一审绪论处理。这种预处理过程是自动的并且不受主观意识监控，但高层的理解处理过程会在一些有限的方面对其进行影响。注意力的后处理过程是对内存、计算能力或者电动机响应等有限的资源进行合理应用。因为提供资源有限，后处理过程只能进行串行操作。注意力后处理过程是有意识的行动而且受主观意识的驱动和监控。注意力机制就是把注意力预处理的影响综合起来对注意力后处理过程进行指导。所有的这些机制都是为了解决一个显著的问题对整个场景的感知输入进行取决，选取最感兴趣和最值得进一步关注的地方。132注意力选择研究概况有了注意力选择能提高对有限运算资源的台理分配，并提高搜索速度和效率，因此，人们一直致力于研究在机器视觉上实现模仿生物注意力选择机制。机器视觉中的注意力处理最早开始使用的是“基于显著性”的模型，输出响应的强弱是通过特征监测器对候选的区域进行匹配决定的19】。近年来ITTI等人提出了更为精细的注意力选择搜索模型【2L】，22】，把多尺度图像特征综合到一个拓扑特征映射图中。在这些注意力选择模型中，都应用了一个动态的神经网络，通过纯粹的自下而上的方式，选取特征映射图中的神经元通过相互竞争最后获胜的区域作为注意力区域。模仿人类的物理心理学提出的注意力的预处理和后处理两个阶段，一般认为注意力的分配是一种两元的构架。这种注意力的构架认为注意力对目标进行选择时同时受到自下而上、基于图像特征的线索和自上而下基于任务的线索的结合，“下”指的是由底层的视觉信息输入，“上”指的是高层的认知和价值系统201。大脑成像的研究中也提供了一些证据证明这两部分神经网络是部分独立的23】，24】。比如在观察场景中，总有一些非常显著的区域或物体总能比较容易得引起注意。比如雪白墙上一个黑色的挂钟，茫茫草原上忽然凸现的一棵树，这种突出于周围背景的目标总能让注意力不自觉地转移到该目标上。注意力对这种显著性的分配主要是通过“自下而上”的方式驱动的，在注意力的预处理过程中就能在整个视野内凸现出来。而第二种注意力则是更主观和更有决定性的注意力选择因素，取决于观察时刻所需完成的任务例如找一个红色，方形的目标。这种“自上而下”的注意力表达很有可能是通过高层控制区域，包括和底层视觉皮层以及初期视觉区域相连的额叶FRONTALLOBES产生的。因此，视觉区域中一些特征显著的地方会自发地受到关注，但同时随后注意力会由于主观的目标或者需要转向别的需要关注的区域或者目标。在1994年，由WOLF壤早提出了一个自下而上和自下而上结合的两元的注意力选择模型291，在此基础上BREAZEAL等人在1999年对此模型作了一定的改进第一章绪论30，并在机器人上进行了简单的实现了。对比之下TSOTSOS等人25】实现了一种基于选择性谐振SELECTIVETUNING概念的视觉注意力的模型，同样把自下而上前馈的特征提取和自上而下反馈的处理过程相结合。在这个模型中，使用了一个传统的神经网络，注意力的应用加快了其在视觉任务中的内在搜索速度26。人们也提出了更多的其他的模型，例如在ITTI和KOCH提出的“基于显著性”模型的基础上的进一步扩展27】或者根据已选择的目标作出反馈28。在两元的注意力选择研究中，相比自下而上注意力处理过程的逐步完善，自上而下实现对注意力的影响研究尚处于比较初级的阶段，尽管在生物学领域已经提出一些注意力选择和目标认知的模型1516】，但在人工智能领域，机器人自主的自上而下的影响注意力选择并没有真正实现，基本上都是人为的制定特定领域的特定任务来实现，比如通过简单的目的驱动影响底层特征映射6、通过自上而下的知识、或颜色线索作为对自下而上的输入信息的限制7】8】。这些自上而下的注意力选择过程都是简单的基于特定任务，未能和机器智能认知、学习相结合，也无法实现机器人在较长时间内通过自主的主观意愿来决定视觉的注意力。因此我们希望把两元的注意力选择模型的和两阶段视觉模型相结合，利用已有的相对完善的自下而上的注意力选择作为机器人自主学习的基础，并在此过程实现视觉系统的学习、识别过程，并提高识别准确率和算法的普适性，为机器人视觉学习和智能发展找到一种新的研究方向。14论文的思路和创新点11对自主发育机器人进行的带有实时视觉特征学习的探索，在研究了增量获取图像特征和自主发育算法的基础上，把视觉特征抽取和自主发育结台在一起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学习的机器人视觉发育的简化系统。而JWENG等人提出的自主发育机器人并未实现对视觉的实时特征抽取。经实验模拟证实该系统能够实时抽取视频图像的特征并实现移动机器人对环境的主动辨别和认知。2提出一种具有实时特征学习的、模拟生物视觉多尺度交叠感受野的神经网络NEURALNETWORKSIMULATINGMULTISCALEOVERLAPPINGRECEIPTFIELD，NNSMOR，通过无监督的学习获得对外界图像的视觉特征，对不同位置和尺度的感兴趣目标，都可找到它在场景中的位置。F31把NNSMOR网络的视觉学习结合有监督学习的识别分类算法，实现机器人对目标的识别和认知，把它应用在机器人视觉上，工程上实现了机器人对感兴趣的目标进行实时跟踪。F41引入基于显著性特征的注意力选择SALIENCYBASEDVISUALACTENION第一章绪论机制，作为多尺度交叠神经网络学习和观察的预处理模块，并在此基础上对原有的NNSMOR网络结构作了进一步改进，在实验中证明改进后的模型比原有视觉学习、认知网络模型比有更大的优越性。5把基于显著性特征的注意力选择和NNSMOR网络的特征提取结合，在两阶段学习的基础上提出了一种带有学习认知的机器人自主注意力选择SALIENCYBASEDAUTONOMOUSRECOGNITION，SBAR，为自下而上和自上而下相结合的两元注意力选择构架的研究提供了一个新的探索方向。15论文的内容安排论文根据生物视觉的模型和对机器人视觉和智能发育的理论研究，结合在机器人上的具体实现将其内容安排在以下几章第一章绪论简单介绍了机器人及人工智能的发展历史和研究现状，动物视觉系统以及注意力选择研究概况。第二章带有实时视觉特征学习的自主发育机器人探索介绍自主心智发育机器人的思想，研究把视觉特征抽取和自主发育结合在一起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学习的机器人视觉发育的简化系统。第三章具有快速学习的模拟多尺度交叠感受野神经网络介绍了已有的基于仿生学的注意力视觉学习机制方法并对其缺陷进行分析。提出一种模拟多尺度交叠感受野的神经网络结构，并把浚网络和认知映射结合，实现了机器人视觉的学习、认知系统。第四章带有学习认知的机器人自主注意力选择对现有的机器视觉的注意力选择的研究的缺陷进行了分析，介绍了基于显著性特征的注意力选择模型原理。提出一种自底向上分析和自上而下控制相结合的带有学习认知的机器人自主注意力选择模型，并对第三章的视觉模型作进一步改进。第五章注意力选择应用系统的开发1在机器人平台上，把模仿生物视觉学习机制的注意力选择的研究结果在机器人平台上实现，形成具有注意力选择以及可自主导航的自主发育机器人。2介绍了论文作者编制的多层交叠神经网络和自主发育理论相结合的机器人视觉学习认知的演示系统。3注意力选择系统在“复旦I号”机器人研究平台上的应用。第六章总结和展望塑一堕堡总结硕士研究生阶段做的工作，以及今后仍需改进之处。第二章带有实时；L觉特征学习的自土发育机器探索第二章带有实时视觉特征学习的自主发育机器人探索能根据实时的环境如人一样进行自主发育学习是近年刚刚提出的、根据生物和认知的原理的个新思想，因提出的方法复杂度高，所需的机器人平台的要求也比较高，本章介绍了对自主发育机器人进行的带有实时视觉特征学习的探索，在研究了增量获取图像特征和自主发育算法的基础上，把视觉特征抽取和自主发育结合在一起，通过一定的简化，形成能在简单的机器人平台上实现的带有实时视觉特征学习的机器人视觉发育的简化系统。经实验模拟证实该系统能够实时抽取视频图像的特征并实现移动机器人对环境的主动辨别和认知。本章的内容安排如下第一节介绍自主智能发育机器人原理和理论模型。第二节介绍能实时进行的快速壹观、无协方差计算的增量主元分析CCIPCAL方法和实验仿真结果。第三节介绍基于分级判别回归树HDR的机器人视觉认知发育。第四节介绍视觉特征抽取和自主发育相结合的视觉发育系统及仿真实现。本节的结果发表于复旦学报上。第五节是本章小结。21自主发育机器人理论模型211机器人智能自主发育思想人从出生的第天开始，就和周围环境接触和沟通，渐渐发育出认知和行为的能力。发育心理学的研究成果表明，如果婴孩在早期在智能发育的关键时期缺乏与环境交互，那么将会出现明显的智力缺陷。发育心理学对于机器智能研究有这样的启示作用人脑的智能发育过程具有普遍性和可塑性，机器智能发育的程序也应该是如此；人脑的智能发育过程是实时和在线的，环境中发生的事件能被人的感觉器官实时感知到，机器人也应该是实时和在线的；人脑的智能发育是渐进的，过去学会的技能有助于将来学习更复杂的技能，机器人智能的发育也应是渐进式的，人的思考技能是在发育过程时从环境中学习与练习而获得的，思考过程是自我意识到的自主过程。在人类发育心理学研究的启示下，1996年美国密歇根州立大学JWENG首先提出机器人智能自主“发育”的思想321，并在“导航号”机器人上进行了一定初步第二章带有实时视觉特征学习的自主发育机_人探索实验，其结果2001年发表在国际著名杂志科学SCIENCEF31上。其届他的研究小组发展了分级树的自主发育算法HIERARCHICALDISCRIMINANTREGRESSION，HDR33币U能用于特征抽取的增量学习算法CANDIDCOVARIANCEFLEEINCREMENTALPRINCIPLECOMPONENTANALYSIS，CCIPCA34。自主发育的思想在于模仿人的智能发育过程，让机器人主动辨认周围世界，形成自己真正的内在知识，它与前人研究的最大区别在于“非特定任务”，只要给机器人编写好一套自主发育程序，随后机器人完全在外界影响下自主学习，适应各种复杂环境，最终能完成各种非特定任务。传统的智能机器人构建方法，也就是机器智能的手工设计范例，其主要过程如下1给定任务例如研制汽车的自动驾驶系统2理解任务没计师理解自动驾驶任务的具体要求3表示任务设计师应考虑任务的表示，例如汽车、道路、行人、交通信号等；4设计方法基于任务表示，设计师应研究自动驾驶算法，例如应付道路转弯方法5编写程序程序员用编程方法实现已经确定的标是和方法；6改进试验程序员通过反复试验调试程序。上述过程最终创造的智能机器人的执行过程虽然是自动的，并能完成特定的任务，但它不过是运行程序员人工编制的程序而已。很显然，这种手工设计范例是不能解决现实世界中许多实际问题的，例如视觉、听觉和自然语言理解等任务。自主心智发育理论对传统人工智能方法进行了改变，其基本过程如下1肢体设计按照机器人工作的一般生态条件，设计者首先确定机器人需要的传感器、效应器和计算资源等，然后设计和制造机器人的肢体；2发育程序程序员为机器人设计心智发育程序；3出生程序员打开机器人的电源开关，机器人开始运行发育程序4心智发育机器人通过与周围环境实施在线交互发育其心智。一般来晚，训练机器人的“老师”可通过话音、姿态或触摸等于机器人沟通，就像父母教育孩子一样。212机器人智能自主发育构想模型机器人自主发育构想模型如图21一L所示，在这个系统中，机器人和外部环境的交流通过感知器眼睛、耳朵、电机感知器等和对外部作用的反馈手、第。市带有实时视觉特2IF学习的自土发育挑器人探索嘴巴、脚及其他等。机器人内部环境分为感知映射、认知映射和电机映射。外部感知器获取外部信息并送到感知映射模块进行特征投影，从而转换成机器人可以理解的信息，该信息送入认知映射模块，模仿人的认识理解过程，形成机器人对外部世界认知，并结合价值系统的作用做出回授，将机器人对外部世界的回授映射到机器人的机械部分做出相应进行的动作，该功能出电机映射模块完成。电机映射的输出信息通过效应器实现机器人对外部环境的物理反馈。在此过程中，机器人和外部环境的相互作用及反馈又不断通过感知器获取。整个学习过程都通过机器人自主方式完成，外界的教育只是对机器人进行引导，根据机器人的回授做出相应的鼓励或者批评，而不再对机器入的“基因”进行任何改动。这样，机器人如同婴儿一般，通过“家长”的教育、引导他不断进行学习，获的知识，慢慢自主发育，变得越来越聪明。圈2I一1自主发育机器人模型浚自主发育模型尚处于设想阶段，如何在实际运用中实现还需要理论的完善以及需要克服很多工程上实现的困难。而JWENG等人在人形机器人的实验中，对环境的认知是直接采用原始输入图像作为认知映射的输入，尚未把视觉特征提取加入智能学习发育的应用中。本章对如何把视觉特征提取加入到智能学习发育中进行了探索，实现机器人对环境的认知识别及自动导航。第一章带有实时视觉特征学习的自主发育机器人探索22直观无协方差计算的增量主元分析方法221主元分析方法主元分折方法PRINCIPALCOMPONENTANALYSIS，PCA是对一系列输入的观察向量，找到最能表达该向量组特征的少量正交基，将观察数据投影到PCA的基上获得其系数，利用该系数可恢复原始向量，该系数也可作为被投影向量的特征。主元分析可以通过“求观察数据向量的协方差矩阵的特征向量，获得与最大的K个特征值相对应的特征向量”来获得，将观察向量投影到K个特征向量上，就可得到该观察向量的特征。假设存在一组数据向量U，L，2，“I，是由P个样本组成的D维向量，“，R4，D1。PCA是要找到从D维到K维的映射U斗矿，UR“，VR“9，K丑X1，其中旯、为输入序列UP的协方差矩阵的最大特征值，而X为最大的特征值所对应的特征向量。对不同特征值对应的特征向量，都可用式224迭代，只是输入的图像“P不同。求最大的特征值对应的特征向量时，P为直接采到的第，帧图像需要减去瞬时均值。在求第2、第3乃至更高维特征向量时，须作以下处理如已通过迭代得到第1个特征向量，先设PHP，并把，P投影到上一个已求到的特征向量上现为第1个特征向量，求出残差图像“，P，如下式表示，PQPULTP揣揣；2_215U2P便作为求第2个特征向量的输入；类似的，可以求出第3，4，个特征向量。其迭代公式为M。以PHITP揣P揣P；P2蜘LV1L|PIJL因残差图像和上1个特征向量所恢复的图像正交，从而可求出所有相互正交的特征向量。另外，每输入1幅新的数据时，均值也要更新，对输入第P幅图像时的均值采用如下迭代式，南P兰2胁P1二XP227PP在OJA的SGA算法的迭代公式221中，直接使用主分量作为迭代的向量，由于主分量是归一化的，而输入图像序列脚的大小却是任意的，如果HP的值很小，那么22一1式右侧第二项便很难起到调整的作用；到如果UP是高维的图像，它的值非常大，因此，P必须足够小，否则22一1式右边的第二项就会占了很大比重，因此NP必须根据输入图像的值大小进行调整，而在实际在线计算的情况下，一P是无法根据输入图像自动调整，只能是用预先定义的值，而CCIPCA由于迭代的向量是VAX，V不是归一化的向量，输入图像序列大小不会对224式收敛产生影响，因此收敛效果要明显优于SGA。另外，当P较小时，因为迭代次数少，误差相对较大，这时1佃作为调整步长起的作用就比较大，当P渐增大时，L仞调整作用逐渐减小，最后能收敛到比较好的结果。在迭代的开始阶段，VFP和实际值误差较大。为加快收敛速度，当P较小时，应加大调整的幅度。个比较好的方法是在迭代公式中添加遗忘因子，F，第N二章带有实时视觉特征学习的自主发育机器人探索1坐咖M揣高228P|UP1IL综合上述步骤，CCIPCA算法流程总结如下假设依次输入P幅图像序列“P，PL，2，准备求K个特征向量V1P，PP，V女P，从PL，2，开始，循环执行以下步骤1嵋PP一扁P21当PK时从IL，2，K，循环执行以下步骤V胁型P咖_1拦P咖川7黹P击1LL_I，|州P_吣14TP揣揣经上述流程计算后，便能算出经P幅图像序列HP迭代后的特征向量值，并且输入训练样本数P必须远大于特征向量个数K，才可能迭代出比较接近批处理PCA的特征向量。经CCIPCA提取输入视频图像的主元后，只需取输入图像在特征向量上的投影值，便能很好的表示该幅图像特征，如1000幅分辨率为176X144的图像，经主元分析后只需LO个特征向量便能很好的还原这系列图像。如图221所示，A为原图像，B为用CCIPCA提取特征主元后对原图像的恢复图像。这意味着原本25344维的输入数据，经特征向量投影后可简化成10维的系数表示，这样使后续发育算法的运算量也得到大大简化。第二章带有实时视觉特征学习的自主发育机器人探索用CCIPCA训练出来的特征向量，分别用L，2，15个特征向量恢复出输入图像，来和原图像进行比较，如图222所示，横坐标为所用来恢复原始图像的特征向量的个数，纵坐标为恢复图像和原图像的灰度在每个像素上的平均误差。设原图像像素点总数为R，原每个象素点的灰度值为Z”，恢复图像每个象素点的灰度值为苁”，NL，2，R，则纵坐标为恢复图像和原图像的灰度在每个像素上的平均误差为丁IFONFNI三LR可以看到，当特征向量为6个的时候已经能很好的还原出原图的主要信息，而误差并不一定随着特征向量个数的增加而减小，考虑到CCIPCA是迭代近似，具有一定的累积误差，随着迭代的特征向量个数增多，迭代出来的主元的误差也可能增多，所以应用时应根据输入图像特点选取所需计算的特征主元个数。A原图B恢复图图221CCIPCA算法对原始图像的恢复经实验验证，这种方法能快速的估算出高维图像向量的特征主元，同时比较好地还原原始输入图像如图2，2一L所示，无须像传统的PCA算法那样计算协方差矩阵，并且它和已有的增量PCA算法如OJA的GHA算法、SANGER的GHA算法相比，具有更快的运算速度和更好的收敛效果34】，能很好的应用在实时系统中。在本章的机器人平台中，用输入图像进行实时的增量PCA处理，得到的图像特征向量投影系数，完成了机器人视觉的感知阶段的任务，再送入高层的认知发育。第二章带有实时视觉特征学习的自主发育机器人探索色蔷世蠢蕾主|、|；、。LSS8尊10，图222用CCIPCA恢复图像和原始图像的误著23基于分级判别回归树HDR的机器人视觉认知发育231基于分级判别回归树HDR机器人的自主发育是建立在提取视频图像特征的基础上，采用HDR33方法完成机器人的自主发育并进行分类认知。HDR是一种针对高维向量学习的子空间识别算法，它同时具备分类器与识别器的功能，它的主要特点是能自动区分输入样本的特征并自动对样本进行归类，最后发育形成一个认知的树状结构，如图231所示。当有新样本输入时，如果新样本特征已经存在于认知树中，将归到相应的枝叶类别中去，反之，则创建新的枝叶。这样，随着新样本的不断输入，认知树的结构也将不断完善。由于这个特点，HDR算法可用在任何执行任务中。设从机器人的眼睛获得的大量信息为XXI，X2，这里的X，可以是直接采入的视频图像，也可以是通过上面的CCIPCA得到的特征，机器人对这些输入信息行为动作为YE，K，Y可以是外界给的，也可以是机器人本身的动作，如机器人的轮子转动的情况等。在机器人的发育阶段即建树阶段，X，Y是己知的，在线工作时，Y也可是未知的，如Y是未知的，通过X进行树的搜索得到了I，又可变成已知的。在机器人的成长中，大量的X，Y使HDR树变得越来越成熟，机器人也如人一样，越来越聪明。第二章带有实时视觉特征学习的自主发育机器人探索232HDR建树过程结构图第1层子节点第2层子节点第3层子节点第N层予节点图231HDR树结构简圈设训练样本为X，F1，2，M；首先将堋练样本根据在输出空间进行聚类，形成，类，而后，找到每一类对应的X，此时，对应于不同类的X会发生交迭，在输入空间再对X聚类，并计算出每一类的X的均值与方差，然后根据每个输入样本X的值将该样本归入与之距离蹑近的一类，对所有样本进行该操作后，形成，个节点，即为，个子空间，形成如在图231中的第L层子节点，其实，当输入样本根据X，的均值和方差进行重新组合时，每个子空间中的L】可能被离散，即