开题报告_论文.doc

上海大学研究生学位论文开题报告嵌入式计算机视觉系统对自然场景理解方法研究 指导老师 宋进 姓 名 李赔龙 学 号 09721169 专 业 机械制造及其自动化 类 别 硕 士 日 期 2011年01月 10日 12目录1计算机视觉与图像理解11.1计算机视觉的定义11.2计算机视觉的原理及解析21.3图像理解和自然场景认知32本文的研究目的，背景和意义42.1研究目的42.2研究背景及技术发展趋势42.3技术发展趋势62.4研究意义62.4.1理论意义62.4.2实践意义73主要研究内容及理论创新73.1DSP嵌入式实验平台的搭建73.2课题解决的核心问题及难点93.3理论创新点94预期困难及达到结果105参考文献：11嵌入式计算机视觉系统对自然场景理解方法研究摘要：21世纪随着移动机器人技术的迅猛发展，机器人要想发挥更大的作用，从室内结构化环境走向室外自然环境，机器人导航成为重点要解决的的问题。然而导航本身是一个很庞大的课题，涉及到多种关键技术。机器人能否像人类一样感知环境并作出正确的理解与判断将成为导航技术成败的关键。环境感知是机器人进行决策规划的基础，环境感知能力的强弱直接影响机器人的控制决策能力。如何提高机器人对外界环境的感知理解能力是智能机器人研究中非常重要的课题，本课题从图像理解的角度入手，依托嵌入式DSP系统，研究算法重点解决自然场景的理解与感知问题，为机器人从室内走向室外，为机器人的导航做准备。关键词：计算机视觉；嵌入式DSP系统；图像理解；1 计算机视觉与图像理解1.1 计算机视觉的定义计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。这里所 指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提 取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。1.2 计算机视觉的原理及解析计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算机视觉的一个重要应用领域就是自主车辆的视觉导航，目前还没有条件实现象人那样能识别和理解任何环境，完成自主导航的系统。因此，目前人们努力的研究目标是实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰撞的视觉辅助驾驶系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作用，但并不意味着计算机必须按人类视觉的方法完成视觉信息的处理。计算机视觉可以而且应该根据计算机系统的特点来进行视觉信息的处理。但是，人类视觉系统是迄今为止，人们所知道的功能最强大和完善的视觉系统。如在以下的章节中会看到的那样，对人类视觉处理机制的研究将给计算机视觉的研究提供启发和指导。因此，用计算机信息处理的方法研究人类视觉的机理，建立人类视觉的计算理论，也是一个非常重要和信人感兴趣的研究领域。这方面的研究被称为计算视觉（Computational Vision）。计算视觉可被认为是计算机视觉中的一个研究领域。视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的 图1 计算机视觉与其他领域的关系研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 人类正在进入信息时代，计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机，而另一方面是计算机的功能越来越强，使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉，语言与外界交换信息，并且可用不同的方式表示相同的含义，而目前的计算机却要求严格按照各种程序语言来编写程序，只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。智能计算机不但使计算机更便于为人们所使用，同时如果用这样的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和智能机器人具有适应环境和自主作出决策的能力。这就可以在各种场合取代人的繁重工作，或代替人到各种危险和恶劣环境中完成任务。1.3 图像理解和自然场景认知图像理解（image understanding, IU）就是对图像的语义理解。它是以图像为对象，知识为核心，研究图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。图像理解属于数字图像处理的研究内容之一，属于高层操作。其重点是在图像分析的基础上进一步研究图像中各目标的性质及其相互关系，并得出对图像内容含义的理解以及对原来客观场景的解释，进而指导和规划行为。图像理解所操作的对象是从描述中抽象出来的符号，其处理过程和方法与人类的思维推理有许多相似之处。 词条图册更多图册给定一幅图象，图象理解程序不仅描述图象本身，而且描述和解释图象所代表的景物，以便对图象代表的内容作出决定。在人工智能视觉研究的初期经常使用景物分析这个术语，以强调二维图象与三维景物之间的区别。图象理解除了需要复杂的图象处理以外还需要具有关于景物成象的物理规律的知识以及与景物内容有关的知识。在建立计算机视觉系统时需要用到上述学科中的有关技术，但计算机视觉研究的内容要比这些学科更为广泛。计算机视觉的研究与人类视觉的研究密切相关。为实现建立与人的视觉系统相类似的通用计算机视觉系统的目标需要建立人类视觉的计算机理论。从认知论的角度来考虑,为了能够对自然场景的整体或各局部区域进行有效理解,首先必须对场景进行有效的描述,其中特征选择是其重要环节之一.对于室内结构化环境常常用边缘、角点特征加以描述,而对于室外的自然场景,由于区域的模糊性往往无法找到类似的规则化特征,因此特征的选择对自然场景的描述至关重要.采用颜色均值、颜色直方图以及纹理等分层变长特征来表征不同地表物质.然而实际环境中颜色易受光照强度的影响,纹理易受尺度的影响,所以都不适用于复杂多变的自然环境.受生物视觉系统的启发,生物视觉皮层上的V1细胞具有类似Gabor滤波器和高斯拉普拉斯滤波器的作用,即该类细胞可将视觉信号分解为基频信号分量的线性组合,由此得到的Texton特征在处理自然图像上较为常用.采用局部描述符进行移动机器人室外自定位和地理信息识别,这些特征对环境的尺度、平移、旋转变换均具有较好的不变性.Lowe受生物视觉模型启发得到尺度不变描述符SIFT.该模型基于一种复杂的视觉神经细胞,认为该细胞对场景中特定取向和空间频率的梯度信息敏感,这种信息代表着某一场景的不变量,而SIFT正是对该不变量的描述.Serre等受生物视觉皮质组织机理的启发给出复杂度渐增的生物学新特征,该特征可更有效应用于大尺度自然场景图像的辨识和理解.其次从认知的层次上看,Marr在他开创性的著作中给出了视觉理解过程的三个阶段,即提取角点、边缘、纹理等基本特征;获取场景可见部分深度、法线方向和轮廓等信息;恢复、表示和识别三维物体.早期人们认为对场景的理解过程首先是对场景中各物体的识别,然后才是对场景整体的认识,即自下而上的过程.然而近年来认知领域的发展对这一问题有了新认识,人们只需少量的信息即可快速对场景做出判断.如当看到树木及灌木,即可做出森林场景的判断.Li等指出人们可以快速理解未知场景而无需对场景中的物体进行仔细辨识.Oliva等和Greene等给出了场景的全局描述特征,可对多场景进行分类辨识.同时选择性注意机制模拟生物的视觉功能,为解决大数据量的计算,提高系统实时性提供了新的思路.2 本文的研究目的，背景和意义2.1 研究目的21世纪随着移动机器人技术的迅猛发展，机器人要想发挥更大的作用，从室内结构化环境走向室外自然环境，机器人导航成为重点要解决的的问题。然而导航本身是一个很庞大的课题，涉及到多种关键技术。机器人能否像人类一样感知环境并作出正确的理解与判断将成为导航技术成败的关键。环境感知是机器人进行决策规划的基础，环境感知能力的强弱直接影响机器人的控制决策能力。如何提高机器人对外界环境的感知理解能力是智能机器人研究中非常重要的课题。2.2 研究背景及技术发展趋势目前视觉场景理解还没有严格统一的定义.参考麻省理工、斯坦福等大学的国际名科研团队的研究工作,视觉场景理解可表述为在环境数据感知的基础上,结合视觉分析与图像处理识别等技术手段,从计算统计、行为认知以及语义等不同角度挖掘视觉数据中的特征与模式,从而实现场景有效分析、认知与表达.近年来结合生物认知特征和统计建模方法构建的视觉场景认知理解系统,为室外场景辨识和物体识别提供了新的解决方案. 从20世纪70年代开始，美国、英国、德国等发达国家开始进行智能车辆的研究，目前在可行性和实用化方面都取得了突破性的进展。其中最具代表性的是由美国国防高级研究计划局(Defence Advanced Research Projects Agency, DARPA)主办的野外无人车挑战赛，参赛无人车在室外复杂场景下通过图象理解等技术深层感知环境并能够稳定运行推动了自然场理解在实际平台上的技术转化. 通用汽车和卡内基梅隆大学（Carnegie Mellon University）的研究者正在合作开发无人驾驶车，并希望在2018年前投入市场。车辆无人驾驶技术的优点是使出行更安全（因为去除了人为失误因素）、缓解交通压力、并减少环境污染。美国的“勇气号”和“机遇号”火星探测车，其中利用视觉系统理解机器人周围的场景然后通过控制系统做出路径的规划，实施导航，成功实现火星表面的行走，为人类探测火星资源做出了重要贡献。以上案例无不用到视觉系统的环境理解感知技术，其核心问题是图象理解。我国从20世纪80年代开始进行无人驾驶汽车的研究，国防科技大学在1992年成功研制出我国第一辆真正意义上的无人驾驶汽车。 2005年，首辆城市无人驾驶汽车在上海交通大学研制成功，该车有望于两年之内率先在上海世纪公园进行示范运营，并在2010年世博会上一展身手。到时游客只需在公园的入口处按下一个按钮，一辆没有司机的四座敞篷汽车就会从远处开过来缓缓停下，然后搭载着乘客前往他们想去的景点。通过以上调研可以知以视觉系统为基础的场景理解技术是未来智能车，机器人发展的重要方向和关键技术之一，本课题从大量调研的基础上出发，以现有的实验平台和条件为基础，重点放在机器人对周围环境中目标（如车辆行人等动态目标）的识别及简单的场景分类描述上。就当前总体研究现状来看,所发表的研究成果大多是针对算法的研究,而能在实际自然场景中加以验证的研究结果则相对有限.因此要使该领域研究工作真正面向实用化,特别要着重考虑如下研究重点:1)多种传感器的协同工作.如何协调视觉、激光测距等不同传感器之间的工作,以及在不同层次上对多源传感器数据进行融合,是确保移动机器人在室外自然场景中高效稳定工作的关键.利用激光测距所构建的野外环境模型虽然可提供典型地形环境特征,但由于对有遮挡的环境(灌木、草丛等)以及地表硬度状况(沙土、砂石、水面、淤泥等)的分析能力有限,这就需要引入视觉传感器来加强对特定环境的深度判断与理解.视觉传感器很容易区分在高程图上很相似的自然场景,可避免“漏报”(如只根据测距信息将沼泽地归属到安全区域)和“误报”(如将高草丛归属到危险区域)现象的发生.2)系统的集成与优化.为了充分发挥视觉系统的功能,需要有效地对视觉系统的各子模块加以组合,这就是系统集成问题.这些模块具体包括实时图像处理模块、自学习模块、知识库模块以及算法控制策略模块等.显然,即使各子模块的功能很强,但如果没有一个好的系统架构加以组织,系统的整体功能也无法优于各子模块的功能.比如一个易扩展、易更新的全局知识结构要求对内具有高的内聚性,对外具有简单易访问的接口,这样可以方便地为整个系统所利用,从而提高系统的稳定性.系统集成问题可以从软件工程的角度加以考虑,所以利用软件工程学为视觉系统设计良好的架构也是该领域研究的重点.4)系统实时性能的保证.这需要从系统实用性的角度加以研究.现实中只将场景分割为没有形成语义信息的不同区域,这对移动机器人的规划与导航是毫无用处的.所以将分割和辨识技术相结合,并同时采用不同算法控制策略快速地对场景本身或感兴趣区域进行划分,这才是实际应用中迫切需要解决的问题.虽然国内外很多学者对相关问题进行了长期研究,但如何兼顾场景理解的实时性与辨识效果,从而提高系统的实用性仍是一大难点.而图形处理器单元(Graphic processing unit, GPU)的使用以及分布式计算技术的运用,往往为提高系统的实时性提供辅助手段.5)系统对环境中不确定因素的适应.环境中的不确定因素主要包括:场景中同类物体间辨识的模糊性及不同类物体间辨识的混叠性;移动机器人运动所引起的帧抖动问题;场景整体理解的不确定性等.为了克服上述困难,往往采用场景多尺度表达、多层次特征联合建模、图像变换、帧间冗余信息处理等技术手段.但由于缺少统一的解决框架,使得该问题成为移动机器人自然场景理解研究的技术难点,同时也是该领域未来发展亟待解决的关键问题.6)融入视觉注意机制的场景分析辨识.视觉注意可分为三种类型:第一类是基于初级视觉,由数据驱动的自底向上的注意,其中最具代表性的是高斯金字塔模型.但大多数模型只考虑了显著区域的局部特性,没有考虑整幅图像的整体统计特性.第二类是基于高层视觉,与任务、知识等相关的自顶向下的注意.相比于第一类,此类研究较少.较具有代表性的模型有神经网络模型、统计贝叶斯模型、马尔可夫模型、任务导向模型等.第三类是自底向上和自顶向下处理过程的统计结合,但目前感知模型对自顶向下和自底向上的视觉注意之间的关系缺乏明确的计算理解,有待于进一步的研究和建立完整合理的基于注意机制的神经计算理论框架.2.3 技术发展趋势由于室外自然场景所具有的非结构化与不确定性特点,与传统的视觉系统相比,室外基于视觉的移动机器人系统更要着重考虑运动状态下对环境的自适应性.相关领域的新技术和新思路也不断涌现,以下几点是对该领域技术发展趋势的展望:1)视频理解技术.图像区域标记方法仅针对图像集中的单幅静态图像,并且图像之间没有相互关联.而室外移动机器人所要处理的自然场景图像不仅是场景视频中的某一帧,而且各视频帧之间有很高的相关性,因此如何利用帧间相关信息来改善场景辨识效果,从而提高区域标记的实时性是基于单幅图像处理所无法实现的.Brostow等给出了第一个高标准标记的参考视频库CamVid.使用该视频数据库,从摄像机自运动(Ego-motion)过程所获得的三维点云数据中提取场景低维结构特征向量,并将其投影到二维图像平面,进而采用训练过程中得到的随机决策树来辨识二维场景图像中的物体.由于算法没有使用基于外观的描述符(如颜色、纹理等),所以对场景的尺度、天气、光线变化有很强的适应性,同时系统也具有高的实时性.基于场景运动特征的方法从另一个角度来分析处理场景视频,使得该研究方法成为视频分析与辨识研究领域的一个新热点.2)动态知识结构.移动机器人实际运行前要经过费时的训练或者凭借经验来构建规模庞大的知识体系结构,这种知识库所包含的信息相对固定,往往不易于更新.这一缺点使系统无法适应超出训练集以外或各种非经验情况下环境信息的改变.而构建系统动态知识结构的目的在于选择良好的知识表达,如何将显式知识结构和隐式知识模型相结合,进而建立优良的知识框架,使得移动机器人可以与视觉信息相配合,有选择地更新已有知识信息,从而确保系统实际运行的稳定性和可靠性.3)对场景信息的自学习.如何通过自学习使机器人能够对环境实现自主适应是非常具有挑战性的研究问题,而将不同的机器学习方法与视觉处理方法相融合正成为该领域的一大发展趋势.现有的与视觉相结合的学习方法都有一定的局限性,如有监督学习算法无法对场景进行在线学习;半监督学习算法虽然减少了离线的训练量,但是算法往往不稳定;自监督学习也只是针对稳定的感兴趣区域进行辨识.如何通过在线学习机制对自然场景进行深度理解仍然是急需解决的热点和难点问题.4)认知学新特征与场景表达的融合.通过借鉴生物视觉模型,可将场景表达与来自认知学新视觉特征进行融合,为场景辨识提供一种新的技术手段.由于传统的图像分割和分类方法较耗时,同时所选用的特征也易受室外随机因素的影响,所以从另一个角度来认识该问题往往受到很大启发.例如提取自然场景中的显著性区域作为自然路标,从而可以避免耗时的图像处理.由此可见认知学新特征与场景表达的融合也是未来该领域的一大发展趋势.2.4 研究意义2.4.1 理论意义以计算机视觉的理论为基础，以人工智能的方法为依据，探索经典场景特征检测算法的缺陷和不足之处，并加以改进。模拟人类在未知环境中对目标物体的识别和探测机理，从人工智能的角度出发，应用于智能机器人的环境感知系统，进一步提高机器人和外界环境的交互能力，增强机器人对环境的理解能力，为未来智能机器人在复杂环境中的导航打下理论基础，使之在复杂的未知的环境中完成人类所不能完成的任务。2.4.2 实践意义依托嵌入式的DM642平台，构造出智能机器人的视觉环境场景感知模块，采集机器人周边环境信息并通过算法识别检测出环境中目标物体，追踪环境场景中的信息改变，建立环境特征模型。这个嵌入式系统可固化为一个子模块应用于智能机器人或智能车辆中，完成导航等相关工作。本次研究工作在机器人从室内走向室外自然环境，完成人类所交付的任务，实现全自动导航，在智能车辆实际投入运行，辅助改善驾驶环境都有着重要的应用意义。3 主要研究内容及理论创新3.1 DSP嵌入式实验平台的搭建实验平台由嵌入式DM642图像采集处理系统，XDS560硬件仿真器，四轮移动机器人，CCD摄像机等主要部件构成，可以进行的仿真实验，通过视觉系统采集机器人运行环境信息，经过通信传输，交付DSP嵌入式系统进行实时处理，将所得结果知识传输给机器人，控制系统可以由场景的分析结果控制机器人的动作。硬件的核心基于嵌入式视觉系统图象处理平台，依据其进行试验开发。在室外的非结构化环境和随机性很强的自然场景中，多种场景能够以不同的形式进行组合。同时在室外的环境中，由于其他不定性因素的影响。不容易提取出像室内那样简单有效的结构化的特征。同时增加了机器学习和相应分类算法的难度。要实现移动机器人对室外自然场景的理解，首先要解决三个基本问题。（1）用何种图像特征来有效的描述图像，（2）用何种图像分割的方式，对图像的子块或像素进行有效的识别。（3）用何种机器学习的方法来有效的构建识别模型。这涉及到图像提取，图像分割和图像识别三大类基本图像处理方法，它们又有各自不同的现已成熟的基本算法，课题的研究就是在利用这些基本处理算法的基础上提出下述思想方法，对自然场景的图像理解提供新的思路和方向。图2 嵌入式DM642 实验开发平台图3 SEED-XDS560 仿真器3.2 课题解决的核心问题及难点由于图像理解的研究核心就是场景的描述以及场景中的目标识别问题，本文从这两点切入，研究简单的动态目标识别和场景环境背景描述的问题。在现有的实验设备条件的基础上，解决机器人在室外校园环境中的动态车辆检测识别和校园环境背景的特征描述问题。从这些基本问题入手解决机器人在室外自然环境中的场景理解问题。技术问题的关键在于分层次的图像表达、场景-目标关联的目标识别、场景信息的动态知识库建立与学习。下述的研究方法中将对这些关键问题的解决提供新的思路和研究算法。为了保证移动机器人进行室外自然场景理解的稳定性和自适应性,系统除了要具有实时的图像处理和分析能力以及优良的学习算法外,还应具有完善的系统知识结构和视觉控制策略。首先，为解决场景辨识分类混淆的问题就需要对场景加以约束,即构建场景的知识库,其包括景物信息以及景物间的关联信息，并且具有易操作性、易扩展性和易更新性的知识结构是必不可少的。其次，为了使室外自然场景的辨识与理解效果达到最佳，如何依据不同的场景结构特征对算法流程进行的排布是非常重要的，这会影响到整个系统的效率和功能.以上两个方面就是要解决的关键技术难题。3.3 理论创新点（1）提出了一种分层的图像理解算法，将自然场景图像按照低、中、高 三种表达层次划分为自然场景图像的区域分割、区域标记和图像的分类与注释三个层次.首先，在区域分割层析中，将分割和区域分类相融合，为了保证场景理解的实时性,采用面向特定应用的分割方法,基于研究中机器人所处的校园环境场景，为了要完成动态目标识别检测和场景描述的任务，抛开冗余信息，将场景中移动机器人感兴趣的目标区域分割出来，可显著地降低计算量,从而满足实时性的要求；其次，区域标记的目的是要对场景图像的各不同区域加以解释,由于场景的复杂性使得辨识的难度加大,计算量也随之上升.所以辨识过程要同时兼顾辨识效果与速度.潜在语义分析模型仅对局部区域进行分类辨识,却没有考虑图像空间结构的关联信息,而马尔可夫随机场模型可对场景的空间信息形成约束。从现有研究的基础上，在算法的研究中将二者相结合希望能够取得实时的辨识效果.通过训练从部分标记的场景图像中学习得到条件随机场模型,该模型包含场景空间局部约束信息和场景的全局语境信息.由于训练图像集只需进行部分标记,因而耗时降低，将会大大提高区域图像的标记效率；最后，图像分类注释对应于图像的高层表达,是对整幅图像信息的解释,也称为图像注解.由于室外校园环境区分类别多，差别大.有校园道路，草坪，操场等多种场景层次。对于每一层次采用不同的场景特征与之相对应,采用全新的全局语义方法并辅以自顶向下算法结构，根据实际的校园环境分类特征，构造实际特征空间，如粗糙度，延伸度，开放度等。这些特征的不同组合可得出新型的特征空间，利用这些特征空间对实际自然场景的辨识有大大的改善作用。（2）提出一种全新的基于实际场景特征引入场景-目标关联，先验信息作辅助的目标识别思想方法。场景中的目标识别通常将图像区域的表达与目标模型相匹配，匹配正确即为正确的目标类别，匹配错误则拒绝背景区域，如果能够充分运用场景知识，首先得出对场景的判断，则之后的目标识别过程在一定程度上就缩小了范围。实际上总有一些图像与场景在空间位置上有着密切的关系，且比较高概率出现在特定的场景中。场景目标关联方法从场景的整体分析入手，对给定的输入图像搜索有相似场景结构的图像、为了得到最佳的匹配图像，可将包含于目标标签中的语义知识转化为输入图像中的检测目标，同时，目标之间类似深度排序的关联信息也进行相应的转换。由于数据集中的图像是部分标记的，因此可以将标记知识转化为查询图像。如操场中，包含语义知识的目标作为整体的查询图像，可以将包含足球门，健身器材等语义知识的目标作为整体场景查询图像，只要找出与之相似的场景图像，检测出这些目标的可能性会大大增加，此时，场景中的目标检测识别问题就成为了场景对应的问题。然后进一步辅以先验信息即根据上述方法所得到场景分类信息进一步预测场景中可能存在的其他景物,快速实现模式匹配与识别，提高场景的理解速度和精度.总体来说，一正一反两种思路（即先通过场景中目标与场景相结合来的识别算法快速的定位出场景类型信息，再由先验信息从场景的类型中得到可能会有的目标物体来缩小搜索检测范围，实现快速的特征匹配）来对场景中的目标识别检测。以上（1）（2）两种方法在应用中是相互联系，相互融合在一起的，第一种方法的区域标记和语义表述方式是在第二种方法图像的匹配过程作为依据的，为了得到最佳匹配效果，快速识别场景。第二种的目标识别方法又为第一种多层图像理解技术的区域分割引入了很好的反馈信息。在系统算法的研究过程中，依据上述两种解决问题的思路和方法并结合硬件平台可以构建更加高效的视觉环境场景理解系统。4 预期困难及达到结果为了保证移动机器人进行室外自然场景理解的稳定性和自适应性,系统除了要具有实时的图像处理和分析能力以及优良的学习算法外,还应具有完善的系统知识结构和视觉控制策略。首先，为解决场景辨识分类混淆的问题就需要对场景加以约束,即构建场景的知识库,其包括景物信息以及景物间的关联信息，并且具有易操作性、易扩展性和易更新性的知识结构是必不可少的。其次，为了使室外自然场景的辨识与理解效果达到最佳，如何依据不同的场景结构特征对算法流程进行的排布是非常重要的，这会影响到整个系统的效率和功能.以上两个方面就是要解决的关键技术难题。在嵌入式DSP平台的基础上开发图像处理算法，分多层次理解图像，完成场景分类和目标的检测识别，进而让机器人对场景信息作出准确判断，完成导航任务是预期所能达到的效果。但由于由于室外自然场景所具有的非结构化与不确定性特点,与传统的视觉系统相比,室外自然环境中基于视觉的移动机器人系统更要着重考虑运动状态下对环境的自适应性.这部分研究大都停留在理论方面，实际得到验证的成果很少，所以必须融入更具创新性的思想和技术，希望最终能够在现有基础上提高机器人对未知环境场景的感知理解与判断能力。 基于视觉的室外自然场景的实时辨识与深入理解,是具有实时环境认知与自主环境适应能力的移动机器人系统中最为关键的共性技术之一.要在该领域取得创新性的研究成果,必须兼顾研究的创新性与实用性.多种技术的应用以及不同传感器之间的协作与融合都能有效