基于计算机视觉的移动机器人室内导航若干技术研究.doc

上海大学硕士学位论文基于计算机视觉的移动机器人室内导航若干技术研究姓名：张建明申请学位级别：硕士专业：机械电子工程指导教师：钱东海20040201上海大学硕士学位论文摘要自主导航的移动机器人可以应用在各种特殊的工业生产环境中，如无人无尘车间、危险恶劣环境等。视觉导航是移动机器人自主导航的个研究分支，视觉导航的优点是信息量大，灵敏度高，成本低，并且可根据需要灵活地改变或规划路径，视觉导航越来越成为移动机器人自主导航中的一个重要研究方向。基于视觉导航的技术主要包括导航避障、机器人定位和控制系统设计等方面。光流场在视觉导航避障中具有重要研究价值，通过分析摄像头所采集到的连续序列图像的光流场信息，可以检测出场景深度和障碍物信息，用于导航。机器人定位所要解决的是实时地获取机器人在所在环境中的位置信息，并用于机器人运动规划和导航。本课题研究工作主要包含室内移动机器人视觉导航技术的两个方面，一是计算机视觉中光流场技术研究，在该研究中提出两种新的光流场计算算法：五点约束最小二乘算法和局部与全局相结合的光流计算方法，试验表明，这两种算法具有较高的准确性和鲁棒性；二是室内移动机器人视觉导航技术的研究，提出了一种基于特征点识别、跟踪的室内移动机器人导航算法，该算法在地面上布置具有几何位置关系的特征点序列，利用单目摄像头采集图像、获取环境信息，通过图像处理提取特征点的坐标值，再利用计算机图像坐标系和世界坐标系之间的转换关系，计算出移动机器人在世界坐标系中相对特征点的偏移距离和偏转角作为反馈来控制移动机器人，同时利用计算出的移动机器人和特征点之间的相对距离进行室内导航。本课题所提出的光流场计算算法和基于特征点视觉跟踪的导航算法较好地解决了室内移动机器人视觉导航中的运动物体检测、机器人定位问题，为进一步的视觉避障和机器人运动规划问题的研究奠定了一定的理论基础。关键词：计算机视觉，室内导航，光流场，图像处理上海大学硕士学位论文，：，：，上海大学硕士学位论文计算机视觉第一章绪论计算机视觉的发展历史计算机视觉研究的目标是使计算机通过二维图像理解三维环境信息，三维环境信息不仅指三维环境中物体的几何信息，还包括物体的形状、位置、姿态、运动等，并且能对物体进行描述、存储、识别理解等【】。计算机视觉的研究对提高机器的自动化和智能水平、对智能机器人和智能系统的发展都有很大的促进作用。计算机视觉作为一门新的学科，发展十分迅速，并成为计算机科学的重要研究领域。计算机视觉主要起源于统计模式识别，最初的工作主要集中在二值图像的分析和识别上，如字符识别、工件表面质量检测，显微图片、航空图片的分析和解释等。年代，通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱等多面体的三维结构，并且描述了物体形状和物体的空间关系。的研究开创了以理解三维场景为目的的三维计算机视觉研究。人们进行了深入的研究，从边缘、角点等特征提取，到线条、平面、曲面等几何要素分析，直到图像明暗、纹理、运动以及成像几何等，并建立了各种数据结构和推理规则。年代中期，麻省理工学院人工智能实验室正式开设“计算机视觉”课程，人工智能实验室吸引了国际上许多知名学者参与计算机视觉的理论、算法和系统设计的研究，教授在该实验室领导一个以博士为主体的研究小组，年提出了不同于以往的分析方法的全新的计算机视觉理论。的视觉计算理论建立在计算机技术的基础上，系统地概括了人工智能、神经生理学、心理生理学、模式识别、图像处理等方面己经取得的所有重要成果，是视觉研究中到目前为止最为完善、系统的视觉理论。把视觉看作一个信息处理系统，并把该系统分为三个层次，即：计算理论层次、表示与算法层次、硬件实现层次。计算理论层次研究视觉系统的目的和策略，研究系统的输入和输出，怎样由系统的输入求出系统的输出；表示与算法层次研究输入输出信息的表示、计算理论所对应的功能的算法实现以及一种表示如何变换成另一种表示；硬件实现层次研究用硬件实现上述表示和算法的问题，比如计算机体系结构及具体的计算装置及其细节。在这三个层次中，从信息处理的角度看，最重要的是计算理论层次，只有正确理解了待解决问题的本质，才有助于理解并创造算法。视觉计算理论最核心的部分是将视觉过程自上而下地划分为三个阶段：上海大学硕士学位论文早期视觉处理、中期视觉处理和后期视觉处理三个阶段，如图所示。到视熟剿视熬糊视数芦视觉处理广视觉处理广视觉姓理广。图计算视觉理论框架早期视觉处理是对输入的二维图像进行处理，抽取图像中诸如点、边缘、纹理、线条和边界等基本几何元素或特征，这些特征的集合构成基元图（）或要素图。中期视觉处理是指在以观测者为中心的坐标系中，由输入图像和基元图像恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了深度信息，但不是真正的物体三维表示，人们称为二维半图（）。后期视觉处理是在以物体为中心的坐标系中，由输入图像、基元图和二维半图来恢复、表示和识别三维物体的过程。理论是计算机视觉研究领域的划时代成就，这一理论第一次把神秘、复杂的视觉过程变成一个可计算的信息处理过程，首次为计算机视觉研究领域建立了一个理论框架，并逐步为大多数计算机视觉研究者所接受，从而成为这一领域的主导思想。该理论使计算机视觉的研究有了一个比较明确的体系，极大地推动了计算机视觉研究的发展，对神经科学的发展和人工智能的研究也产生了深远的影响。的理论虽然不是十分完善，许多方面还有争议，但是在他的理论框架的基础上，新概念、新方法、新理论不断涌现，如基于感觉群的物体识别理论框架、主动视觉理论框架和视觉理论集成框架等。目前，计算机视觉仍然是一个非常活跃的研究领域。随着计算机科学、神经网络、人工智能、信号处理、神经生理学、模式识别以及其它相关领域学科的发展，计算机视觉研究的新概念、新方法、新理论不断涌现，计算机视觉理论的研究得到了更深入的发展。计算机视觉的应用计算机视觉技术正被广泛地应用于许多方面，需要人类视觉的场合几乎都有计算机视觉技术的应用，特别是在许多人类视觉无法感知的场合，如精确定量感知、危险场景感知、不可见物体感知等，计算机视觉更能突显其无可比拟的优越性。目前，计算机视觉主要应用于以下几个方面【：机器人自动导航：机器人可同时获取某一场景的两幅图像，并以此恢复场景的三维信息，利用这些信息来识别目标、识别道路、判断障碍等，实现道路规划、自主导航、与周围环境自主交互作用等。自动导航装置将立体图像序列和运动信息组合起来，可以完成所要求的场景深度图，这种技术己经用于无人汽车、无人飞机、无人战车以及火星探测机器人等。上海大学硕士学位论文工业自动化生产线：工业环境的结构、照明等因素可以得到严格地控制，计算机视觉技术在自动化生产和装配、检测中得到了很好的应用，能够用于识别零件，为工业机器人或机械手提供定位、操作信息，以便机械手进行准确操作。航空宇航：航空宇航图像包括三个方面：航空摄影图像、气象卫星图像和资源卫星图像，这些图像的共同特点是在高空对地表或地层进行远距离成像，这三种图像的成像原理完全不同，计算机视觉技术在这三个方面都获得了成功的应用。医学图像分析：目前，医学图像已经广泛应用于医学诊断，成像方法包括传统的射线成像、计算机层析（，、核磁共振成像（，）、超声成像等。计算机视觉技术在医学图像诊断方面有两个方面的应用，一是对图像进行增强、标记、染色体处理来帮助医生诊断疾病，并协助医生对感兴趣的区域进行定量测量和比较；二是利用专家知识系统对图像或图像序列进行自动分析和解释，给出诊断结果。安全鉴别、监视和跟踪：计算机视觉可用于车场监视、车辆识别、车牌号识别、探测并跟踪“可疑”目标；根据面孔、眼底、指纹等图像特征识别特定的人。国防系统：计算机视觉在国防中的作用越来越重要，主要是可以分析大量先进成像传感器的输出，可以根据图像，作出各种决策，自主操作，如图像制导与目标识别。其它应用：计算机视觉还用于各种体育运动分析、人体测量、食品、农业、心理学、电视电影制作、美术模型、远程教育、虚拟现实，多媒体教学等场合。计算机视觉研究的内容计算机视觉研究的内容主要有输入设备、低层视觉、中层视觉、高层视觉等】。值得指出，低层、中层和高层视觉基本上与视觉的三个阶段相对应。输入设备包括成像数字化设备，成像设备是指通过光学镜头或红外、超声、射线等对周围场景和物体进行探测成像，得到关于场景和物体的二维或三维数字化图像，获取数字化图像是计算机视觉的最基本的功能。目前用于计算机视觉的大多数输入设备都是商品仡的产品，如数码相机、黑臼或彩色摄像机、摄像头、数字扫描仪、超声成像探测仪、成像设备等，但这些输入设备还远远不能满足实际的需要，仍有许多研究人员在研究性能更为先进的成像系统，如红外成像系统、激光成像系统，还有所谓的计算机成像系统等。低层视觉主要是对输入的原始图像进行处理，这一过程借用了大量的图像处理技术和算法，如图像滤波、图像增强、边缘检测等，以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特征，这一过程还包括图像变换、图像校正、图像纹理检测和图像运动检测等。中层视觉的主要任务是恢复场景的深度、表面法线方向、轮廓等有关场景的上海大学硕士学位论文维信息，实现的途径有立体视觉（）、测距成像（）、运动估计（）、明暗特征、纹理特征等所谓的从恢复形状（）的估计方法。系统定标、系统成像模型等研究内容一般也是在这个层次上进行的。高层视觉的任务是在以物体为中心的坐标系中，在原始输入图像、图像基本特征、维图的基础上，恢复物体的完整三维图，建立物体三维掐述，识别三维物体并确定物体的位置和方向。计算机视觉研究的复杂性计算机视觉虽然发展很抉，人们研究出了大量的技术和算法，并且在各个领域中得到了广泛的应用。但是计算机视觉仍然处于十分不完善的阶段，其发展远远不能满足人类的要求。对于人类来说，识别和理解周围的场景是一件很容易的事情，但对于计算机来说，却是一件困难甚至不可能的事情。人类虽然模仿人眼制造出视觉输入设备，但两者却有如此大的差别，导致这种巨大的差别，使计算机视觉困难的原因主要表现在成像过程中三维信息的丢失、畸变和噪声、有用信息的混合，以及对图像的理解等问题上。三维场景被投影为二维图像，客观世界的深度信息和不可见部分的信号被丢失，物体的前后关系和阻挡关系的信息也无从得到，不同形状的三维物体投影在平面上可能产生相同的图像，另外，在不同视角下，同一个物体可以投影成不同的二维图像，所以要从二维的图像信息恢复空间的三维场景必然是复杂的、甚至是困难的、不可能的。二维图像中的有用信息隐含于灰度值之中，但灰度值是从照明开始到摄像这过程中诸多因素的综合，场景中的诸多因素，如照明、物体的几何形状、反射特性、表面颜色、摄像机位置以及系统的空间关系等，任何一个因素的变化都将影响图像的变化。另外灰度图像、彩色图像、深度图像的位图性质决定了每幅图像都有巨大的数据量。随着图像色彩位数加大、图像分辨率的提高、序列图像的处理等，对图像处理技术、图像设备的要求越来越高。”移动机器人导航技术移动机器人是机器人研究领域中的一个重要分支，移动机器人集人工智能、智能控制、信息处理、图像处理、模式识别、检测与转换等专业技术为一体，。跨计算机、自动控制、模式识别、智能控制等多学科，成为当前智能机器人研究的热点之一。移动机器人主要技术可分为：导航避障、机器人定位和控制系统设计等方面。根据导航方式的不同，各方面所采用的技术和所要达到的目标不同。上海大学硕士学位论文移动机器人导航技术根据导航用到的设备仪器来分，移动机器人导航方式主要有：电磁导航、超声波导航、激光导航和视觉导航等。）电磁导航：该方法是让低频电流流过埋设在路径下的电缆，然后用安装在机器人上的线圈检测电缆周围产生的磁场，并根据该信息控制方向，以实现沿规定路径的导航控制。电磁导航方法的主要优点是导引线隐蔽，不易污染和破损，导引原理简单，便于控制和通信，对声光无干扰；缺点是灵活性差，改变或扩充路径麻烦，对导引线附近的铁磁物质有干扰，电缆铺设工作量大，维护困难。）超声波导航：如使用主动超声作为信标，移动机器人车身上装有超声接收器，测得移动机器人和信标的距离和方位从而估计移动机器人的位姿。另外也可将超声发射和接收做为一体。超声波导航方法的优点是硬件结构简单，价格低廉，容易操作，缺点是速度慢，传感器存在较大的波束角（角度分辨率低），且对光滑表面存在镜面反射，单一传感器的稳定性不理想等。在实际应用中，往往采用其它传感器来补偿，或采用多传感器融合技术提高检测精度等。）激光导航：一种方案是用一个指向标发出旋转扫描激光光束，再利用机器人上的若干个传感器来检测，从而求出指向标的方向和到指向标的距离；另外还有和导向电缆方式类似的采用激光导引机器人的方法；等用安装在移动机器人上的激光扫描器来获取室内环境的三维信息。激光导航的优点是传感器发散小或没有发散，并对大多数物体无镜面反射现象，缺点是存在潜在的安全问题（首先是人眼安全问题），且不适用于透明物质。）视觉导航：通常采用敏感元件，如】采用摄像机来感知地面上的有色路径；、墚用记忆示教的软体路径，用再现的方法来获取路径信息。视觉导航方法的优点是获取信息量大，灵敏度高，成本低，并且可根据需要灵活地改变或扩充路径，具有很好的柔性，缺点是对环境光线有一定要求，并且由于计算复杂对导航的实时性有一定影响。随着视频设备、计算机硬件设备性能的不断改善以及图像处理方法的不断改进，视觉导航的实时性会有很大提高。因此，移动机器人利用视觉传感器获取的信息进行定位，从而实现智能行驶是一种大有潜力的技术，是移动机器人导航技术的一个发展趋势。根据环境信息的完整程度和导航指示信号类型，可以分为基于地图导航、基于陆标导航、基于光流导航。）基于地图的导航：是在机器人内部存有关于环境的完整信息，并在预先规划出的一条全局路线的基础上，采用路径跟踪和避障技术，实现机器人导航；等【】用地图上的标记与实际在环境中检测到的标记相匹配的方法来定位导航。上海大学硕士学位论文）基于陆标导航：当机器人对周围环境并不完全了解时，则可采用基于陆标的导航策略，也就是将环境中具有明显特征的景物存储在机器人内部，机器人通过对陆标的探测来确定自己的位置，并将全局路线分解成陆标与陆标之间的片段，再通过一连串的陆标探测和陆标制导来完成导航任掣】：）基于光流导航：等】在研究了蜜蜂的视觉行为的基础上，提出了基于光流的导航方法。在环境信息完全未知的情况下，在移动机器人运动过程中，可通过摄像机得到周围环境信息的连续图像序列，通过光流计算可以得出场景的深度信息，并根据光流场的分布，提取出一些参考物体（如墙壁、走廊、障碍物等）的相对位置信息，根据这些信息来达到导航的目的。移动机器人定位技术移动机器人定位指确定其在工作环境中的位置和姿态，它是移动机器人导航控制中的一个重要问题。目前，移动机器人的定位方法主要有：利用内传感器进行定位；信标定位；基于环境模型的方法；基于多传感器融合信息的定位等。基于内传感器的移动机器人导航方式主要是惯性导航，这种方法是通过测量机器人自身参数（位置和加速度等）来进行导航的，它所使用的传感器是陀螺仪。根据陀螺仪的偏差进行惯性导航的主要优点是技术先进，准确性高，灵活性强，便于组合和兼容，适用领域广，缺点是成本较高，维护保养等后续问题较难解决，地面也需要磁性块作辅助定位。信标定位比较普遍，当移动机器人识别信标后，通过传感器测量其与信标的相对距离和方向，通过三角法等几何运算获得移动机器人的位置和姿态。这种方法由于能够产生与环境状态变化无关的可检测标记，所以能保证位置和姿态识别的高可靠性。基于环境模型的定位方法不需要人为放置信标，而是利用环境中自然存在的特征来实现移动机器人的定位，例如在室内环境下有墙壁、走道和门窗等；在室外环境下有交通路标、道路线和树木等。等利用一些二维或近似于二维的自然环境的标志，通过传感器识别并估计标志的位置，提出了一种基于标记学习和识别的拓扑导航定位方法。另外，基于多传感器融合信息的定位【】也是机器人定位的有效方法。移动机器人控制技术路径跟踪控制是移动机器人导航中的一个关键任务。路径跟踪控制的方法有很多，例如在笛卡儿坐标系中利用误差矢量的反馈进行纠偏，利用滤波将期望位姿和当前位姿之间的误差进行分解【】，简化控制算法，应用拉氏函数实现路径跟踪控制，利用模糊逻辑控制】和神经网络技术【进行路径跟踪控制等。由于模糊逻辑控制技术和神经网络技术不需要输入和输出之间的精确数学上海大学硕士学位论文描述，而且具有较高的鲁棒性和容错能力，因而是实现移动机器人路径跟踪控制的有效方法。基于视觉的移动机器人导航技术视觉导航技术机器人视觉系统正如人的眼睛一样，是机器人感知局部环境的重要“器官”，同时依此感知的环境信息实现对机器人的导航。移动机器人的视觉系统是导航中重要的关键技术，和激光、雷达和超声在导航方面相比，视觉导航具有以下几个优点：首先，即使在丢弃了绝大部分的视觉信息后，所剩下的关于周围环境的信息仍然比激光雷达和超声更多更精确：其次，激光雷达和超声的原理都是通过主动发射脉冲和接受反射脉冲来测距的，因此当多个机器人同时工作时，相互之间可能产生干扰，而视觉由于是被动测量，因此多个机器人相互之间的干扰可以减少到最小；最后，激光雷达和超声数据的采样周期一般比摄像机长，不能及时对高速运动的机器人提供信息并作出规划，因此视觉传感器被大量地采用。但是视觉目前还存在着缺点，如在雾天、阳光直射以及晚上还远远不如毫米波雷达等主动式传感器；而且主动式传感器可以直接测量目标的距离、运动速度等参量，不象视觉方法那样需要相当大的计算量才能从图像中间接得到，而且占用的计算资源也少得多。所以能够在实际环境中运行的移动机器人，一般都可以看到多种传感器一起协同工作。机器人视觉信息主要指二维摄像机信息。视觉信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰，对系统的实时性和鲁棒性具有决定性的作用。视觉信息的处理技术是移动机器人研究中关键的技术之一。目前视觉信息处理的内容主要包括：视觉信息的压缩和滤波、道路检测和障碍物检测、特定交通道路标志的识别、三维信息感知与处理。其中道路检测和障碍物检测是视觉信息处理中最重要的过程，也是最困难的过程。视觉信息的获取是局部路径规划和导航的基础，道路检测的成功与否决定了机器人能否正确识别当前的道路环境，能否正确作出局部路径规划并执行筏径跟踪。为了简化视觉信息处理，降低开发难度。通常把移动机器人的工作环境分为结构化道路环境和非结构化道路环境。结构化道路的检测相对来说较易实现，其检测技术一般都以边缘检测为基础，辅以变换、模式匹配等，并利用最小二乘法处理对应于道路边界的线条，得出道路的几何描述。由于非结构化道路的环境复杂、特征描述困难，使得非结构化道路的检测及信息处理复杂化。目前对非结构化道路的检测主要采用三种方法：边缘抽取法、阙值法和分类法。障碍物检测原理与道路检测原理差不多，但其重点是对障碍物位置和大小的描述。机器人视觉可以看作从三维环境的图像中抽取、描述和解释信息的过程，它上海大学硕士学位论文可以划分为以下几个主要部分：图像的采集、量化、存储、变换、编码、分割、特征提取、图像数据库的建立、图像的分类和表示、图像识别、模型匹配、图像理解等。再根据实现上述各种过程所涉及的方法和技术的复杂性将它们归类，可分为三个处理层次：低层视觉处理、中层视觉处理和高层视觉处理。虽然各层次间没有明确的界限，但是这种划分对于机器人视觉系统的固有处理过程加以分类提供了一种有用的结构。它的工作过程可用图表示：图像输入视频图像数字化数字图像预处理压缩图像特征提取图像分割丁一二值图像图像识别实体位置坐标输出结果初始人机交互图一机器人视觉系统工作流程图光流方法在视觉导航中的应用光流场的概念由”于年首先提出的，它在运动图像的理解中有很重要的作用。所谓光流场是图像中各象素点运动的速度分布。因此，光流场是一种瞬时速度场。它是一种向量场，每一个向量表示了景物中一个点在图像中位置的瞬时变化。用人的视觉系统来说明：当人在观察动态景象时（无论是景物在运动或者观察者在运动），在人眼的视网膜上产生的不是静止的图像，而是一系列连续的变化，即产生的是一系列连续的输出信息，这种连续变化的信息不断流过”视网膜，好像种光的“流”，称之为光流（）。显然，对于图像平面上每一点，这种光流都有一定的瞬时速度。这是由运动的情况决定的，光流就是表示这种瞬时速度。光流有三个要素口：一是运动（速度场），这是光流形成的必要条件；二是带光学特性的部位（例如灰度的象素点），它能携带信息；三是成像投影（从场景到图像平面），因而能被观测到。上海大学硕士学位论文基于光流的方法来测定场景的深度，在昆虫视觉中非常常见。由于昆虫的眼睛是固定焦距的，因此不可能是利用变焦的方法，而且由于两个眼睛之间的基线长度非常小，因此也不可能利用立体视觉，在对蝗虫视觉的实验中证明了：在跳往附近的物体前，蝗虫利用头部的左右摆动产生的图像运动来测量物体距离。许多研究者对昆虫视觉的研究启发下，提出了许多模仿昆虫视觉、利用光流的导航方法，比如模仿蜜蜂的视觉机理研制了基于光流场的能在走廊行走的机器人。用两个摄像头安装在移动机器人的前端两侧，它并不用障碍物的深度信息，而是通过出定性地计算光流场的信息，得到两个摄像头所覆盖的视觉区域的信息来导航。在关于昆虫视觉在机器人导航中的应用的综述性文章中还介绍了许多类似的工作。光流的方法利用同一个摄像机在不同时间得到的多幅图像来估计光流。光流在导航中的应用主要有两个方面：场景深度检测和检测障碍物避障。分析单个运动摄像机在不同时刻拍摄的图像光流场，由于障碍物的深度相对于旁边的背景往往是一个突变，因此障碍物往往会和背景有不同的光流场，因此利用光流场可以分割出障碍物区域并估计大致形状。如果进一步己知摄像机的自运动，那么根据目标光流就可以得到目标的深度。例如：等【】提出了一种利用光流场的导航方法，用安装在移动机器人上的摄像机拍摄到一组图像序列，然后用基于相关的光流方法得到了图像序列的光流场，并且从光流场得到了深度信息、速度信息和角度信息，然后用这些信息来导航；用光流场来预测机器人的行进道路。室内移动机器人视觉导航本课题主要研究方向是基于视觉的室内导航机器人。对于这方面的研究，国内外学者提出了很多的算法：加，】提出了结合时间和空间的方法，充分利用环境中的有用信息，例如室内走廊的墙壁线，室外公路的边沿线等。对这些信息进行识别和定位，以达到导航的目的。类似的，等【】用单目摄像机进行室内导航，通过对走廊两壁上的特征点的检测、提取和跟踪，利用回归估计算法进行导航。等【】采用变换从图像中提取墙壁等直线信息，然后通过对多个墙壁的距离来实现自身的定位。等】提出了在一个室内未知的环境中利用视觉来引导机器人的方法，在导航避障和搜索目的地目标的过程中，用了匹配的方法，即先把地毯背景作为一个模扳，在导航过程中，摄像机拍摄前方的图片，把图片分割成若干小栅格，对于每一个小栅格用地毯模板做匹配运算，把相匹配的小栅格组合起来，找到一条没有障碍的路径；对于目的地的目标物体，同样预先做好目标物体的模板，然后在采集到的图像中不断搜索匹配直到找到为止。上海大学硕士学位论文等用视觉作为反馈信息，用基于光流场的方法，使移动机器人能够在走道的中间行进。为了达到这个目的，用视觉传感器得到视觉深度信息和环境的结构信息。光流场提供了系统的相对的深度信息，为了计算环境的空间结构，如表面流（），通常要用到光流场的空间梯度，结合光流场的时间梯度可以用来估计环境结构。这种方法能够提取出墙壁的方位，而不仅仅是尺度距离，这样移动机器人就能得到更好的鲁棒控制。本课题研究主要内容本课题研究工作包含了室内移动机器人视觉导航技术的两个方面，一是计算机视觉中光流场技术研究，并提出了两种算法：五点约束的最，、乘算法和局部与全局相结合的光流算法；二是移动机器人室内导航的研究，提出了一种基于特征点识别提取并跟踪的移动机器人室内导航的算法，该算法仅用单目摄像机获取环境信息，结合特征点的几何位置关系能够确定场景的深度信息。通过图像处理得到偏移距离和偏离角来控制移动机器人，计算效率高，而且特征点标记的方法可以灵活用于各种室内场合。本文主要内容安排如下：第一章绪论主要介绍了计算机视觉的发展历史、应用、研究内容和复杂性；移动机器人导航技术、定位技术和控制技术；视觉导航技术，光流场在视觉导航中的应用和基于视觉的室内移动机器人导航。第二章数字图像处理介绍了数字图像的表示、图像预处理、图像分割、种子填充和图像的形态学处理，作为后面三章所要用到的图像处理的基础。第三章基于光流场的运动分析介绍了光流算法和光流的理论基础，并提出了两种算法：五点约束最小二乘光流算法和局部与全局相结合的光流算法；并对算法进行了验证和结果比较，以及误差分析。第四章基于视觉的跟踪特征点的室内导航包括摄像机坐标变换分析，摄像机定标，并提出了一种基于特征点识别提取并跟踪的移动机器人室内导航的方法，利用计算得到的偏移距离和偏转角度进行导航，以及卡尔曼滤波在室内导航中的应用；最后提出室内导航的控制策略并进行了仿真。第五章软件界面设计用作为编程工具，编写了光流算法和室内导航算法的程序和界面。第六章结论总结了课题研究的创新之处、结论和进一步研究的展望。上海大学硕士学位论文第二章数字图像处理数字图像处理就是利用计算机或者其它数字硬件，对从图像信息转换而得的电信号进行某些数学运算，以提高图像的实用性。视觉导航技术的发展得益于近年来图像技术的长足发展。图像技术在广义上是各种与图像有关的技术的总称，目前人们主要研究的是数字图像，主要应用的是计算机图像技术。“图像工程”这一概念的提出为图像技术研究中出现的新理论、新方法、新算法提供了一个整体框架。根据抽象程度的不同可将图像工程分为个层次：图像处理、图像分析和图像理解。图像处理着重强调在图像之间进行变换，泛指各种图像技术，如：图像变换、图像增强、图像压缩编码等。图像分析主要是对图像中感兴趣的目标进行检测和测量，建立对图像的描述，如：图像分割，边缘检测，目标表达、描述、测量等。图像理解的重点是在图像分析的基础上得出对图像内容含义的理解以及对原来客观场景的解释，从而指示和规划行动，如：图像解释、推理等【】。在移动机器人视觉导航中利用图像处理技术对图像进行预处理，改善了图像的视觉效果并为自动识别打下基础；利用图像分析中的图像分割和边缘检测，可将机器人所处的环境分成自由活动区和障碍区；经过对图像的特征识别和提取，获得视觉导航所感兴趣的图像信息。本章结构如下：先介绍数字图像的表示方法，之后介绍了后面三章将用到的图像预处理方法、图像分割、种子填充和图像形态学运算。数字图像的表示方法一幅黑白图像可用二维函数，川表示，其中力是平面的二维坐标，批，圳表示点“的亮度值（灰度值）。如果是一幅彩色图像，各点值还反映出色彩变化，即可用讹矽表示，其中为波长。对模拟图像来讲，净，纠显然是连续函数。为了适应数字计算机的处理，必须对连续图像函数进行空间和幅值数字化。空间坐标力的数字化称为图像采样，而幅值数字化被称为灰度级量化。经过数字化后的图像称为数字图像。数字图像般有两种常用的表示方法：）灰度图像的阵列设连续图像（，纠按等间隔采样，排成肘阵列（一般取方阵列），（，）厂（，）（，）（，）（，）（，一）（，）（一，）（，）（一，一）（）图像阵列中每一个元素都是离散值，称为象素（）。在数字图像处理中，上海大学硕士学位论文般取阵列和灰度级都是的整数幂。）二值化图像表示法在数字图像处理中，为减少计算量，常用灰度图像转为二值图像。所谓二值图像就是只有黑白两个灰度级，即象素灰度级非即。图像预处理图像增强一般情况下，由于各类图像系统中图像的传送和转换（如成像、复制、扫描、传输以及显示等）总要造成图像的某些降质，会使图像模糊；在传输过程，由于噪声污染，图像质量会有所下降，必须对这些降质的图像进行改善。常用的方法是采用图像的增强技术。图像增强技术通常有两类方法：空间域法和频率域法。空间域法主要是在空间域中对图像象素灰度值进行运算处理。可用下式来描述：（，）（，）（，）（）其（，纠是处理前的图像；舷表示处理后的图像；似纠为空间运算函数。图像增强的频率域法就是在图像的某种变换域中（通常是频率域中）对图像的变换值进行某种运算处理，然后变换回空间域。可用图来描述该过程。图频率域增强模型其数学描述如下：（，）（，）（）（，）（，）（，）（）（，）。（，）（）其中表示某种频域正变换；表示该频域变换的逆变换；掀为原始图像；吖，为频域正变换的结果；王吖训为频域中的修正函数；，砂是修正后的结果；是掣，逆变换的结果，即增强后的图像。图像的平滑图像的平滑处理主要目的是为了减少图像的噪声。在数字图像处理中经常用到一种运算方式：模板操作（）。模板操作实现一种邻域运算（），即某个象素点的结果不仅和本象素灰度有关，而且和其邻域点的值有关。模板运算在数学中的描述称之为卷积（或称之为互相关）运上海大学硕士学位论文算。图像空间域平均就是对含噪声原始图像讹的每个象素点取一个邻域，计算中所有象素灰度级的平均值，作为空间域平均处理后图像阢的象素值。即（，）吉（）（）（，式中为邻域中的象素点数，邻域可取四邻域、八邻域等。中值滤波【是一种非线性的信号处理方法，与其对应的中值滤波器当然也就是一种非线性的滤波器。中值滤波在一定的条件下可以克服线性滤波器如最小均方、均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。中值滤波一般采用一个含有奇数个象素点的滑动窗口，将窗口中各象素点灰度值的中值来替代指定象素点（一般是窗口的中心点）的灰度值。对于奇数个象素点，中值是指按大小排序后，中间的数值；对于偶数个象索点，中值是指排序后中间两个象素点灰度值的平均值。二维中值滤波的窗口形状和尺寸对滤波效果影响较大，不同的图像内容和不同的应用要求，往往采用不同的窗口形状和尺寸。二维中值滤波可用下式来表示：。呜抚（）其中：删为二维数据序列；为窗口；常用的滤波窗口形状有线状、方形、圆形、十字形等。窗口尺寸一般先用再取逐点增大，直到其滤波效果满意为止。图像的卷积运算卷积运算应用于大部分的区域处理，如图像平滑与模糊、图像锐化与清晰、边缘检测等。图像的平滑与模糊采用低通滤波器，图像锐化与清晰采用高通滤波器，要突出图像的轮廓可采用边缘检测增强方法。）低通滤波低通滤波可用卷积算法实现，低通滤波的截止点由卷积核的大小和卷积系数决定，用于低通滤波的卷积核叫低通滤波器，低通滤波器具存如下特征：卷积核的行、列数为奇数，通常为：卷积系数以中心点为中心对称分布：所有的卷积系数都是正数；距中心较远的卷积系数的值小于或等于中心系数。为了不改变图像的亮度，所有卷积系数之和应为。低通滤波削弱图像的高频成分，图像中象素值的突变被平均值代替，减少了图像的细节，因而使图像变得平滑，在视觉效果上变得模糊。）高通滤波高通滤波增强图像的高频空间频率成分，阻挡低频空间频率成分，在需要突出图像中的高频成分时，可对图像进行高通滤波。高通滤波可通过卷积算法来实上海大学硕士学位论文现，这时使用的卷积核叫高通滤波器。高通滤波器具有如下特征：卷积核的行、列数为奇数，通常为；卷积系数以中心点为中心对称分布；中心的卷积系数是正数；中心周围的卷积系数一般是或负数；卷积系数之和大于。为了不改变图像的亮度，所有卷积系数之和应为。在高通滤波器中，卷积核中心的卷积系数最大，在处理中起关键作用。当该卷积系数经过图像中的高频部分时，由于其值较大，它与象素值的乘积很大，在卷积结果中占很大比重，从而在卷积运算处理后，图像中象素值突变的更加突出：同时在低频区域所受影响就很小。高通滤波使图像更加醒目。但是，高通滤波同时也放大了图像的噪声。）边缘检测增强边缘检测增强是使图像的轮廓更加突出的图像处理方法，对图像特征提取前，一般都需要先进行边缘检测，然后再进行二值化处理。边缘检测将突出图像的边缘，边缘以外图像区域通常被削弱甚至被完全去掉。边缘检测增强可用卷积算法实现，用于边缘检测增强的卷积核具有如下特征：卷积核的行、列数为奇数，通常为；卷积系数以中心点为中心反对称分布：中心的卷积系数是正数；中心周围的卷积系数一般是或负数；卷积系数之和等于。使用不同的卷积核来进行边缘检测增强可得到不同的效果。几种常用的边缘检测方法有：梯度方向边缘增强、边缘增强和边缘检测。梯度方向边缘增强用于增强八个不同方向（北、东北、东、东南、南、西南、西、西北、的边缘，由于卷积核中所有卷积系数之和为，图像中亮度基本不变的区域的结果象素值将很小，这部分处理后将交黑。边缘增强是一种各向同性的增强方法，即其边缘增强的程度与方向无关。边缘检测是一种非线性边缘检测方法，它分别在和方向上使用不同的两个卷积核，该方法效率高，用途广泛，常用于计算图像的空间梯度。图像分割（灰度阈值变换）图像分割的目的是把图像空间有意义的特征或者需要应用的特征提取出来。图像阈值分割是种广泛使用的图像分割技术，它利用了图像中要提取的目标物与其背景在灰度特性上的差异，把图像视为具有不同灰度级的两类区域（目标和背景）的组合，选取一个合适