【毕业学位论文】基于多传感器融合的移动机器人障碍物检测研究-计算机应用

分类号 密级 U D C 编号 中 南 大 学 士学位论文 论 文 题 目 基于多传感器融合的移动机器人 障碍物检测研究 学科、专专 计算机应用 研究生姓名 彭梦 导导姓名及 专专 术术术技 蔡自兴 教授 I 摘 要 障碍物的检测和定位一直以来就是移动机器人研究领域的关键问题和热点，也是机器人进行避障和地图构建首先需要解决的问题。 本文以中南大学智能所研制的移动机器人“中南移动 实验平台， 研究了基于激光雷达与摄像头信息融合的障碍物检测。其主要内容如下： 1、提出了一种基于线段匹配 的单目视觉障碍物检测方法。首先用 子对摄像头拍摄的单帧图像进行边缘提取， 然后把边缘点按照一定的规则连成线段。 根据这些线段的属性和图像中象素点灰度值，利用线段构造出可疑障碍物的轮廓。然后利用单目测距的原理对这些可疑障碍物的大概位置进行测量。 2、提出了一种基于单目视觉 引导激光雷达的障碍物检测和定位方法。 根据单目视觉计算出激光雷达探测可疑障碍物需要的俯仰角度和水平角度，引导激光雷达对可疑障碍物进行探测。然后根据激光雷达检测时反馈的数据判断可疑障碍物是否为真正的障碍物， 并且对障碍物精确定位。 理论研究与实验表明， 本文提出的方法能够比使用单一传感器获得更可靠更精确的障碍物信息，并且能满足实时性要求。 关键词 移动机器人，单目视觉，激光雷达，障碍物检测，信息融合 he of is in of it of at an on of as by as 1 It a on we in a we to to we of of in we of of 2 It a of on of we in of we is in of of we in it of 录 第一章 绪论. 1 题来源与研究意义.动机器人多环境感知传感器融合的研究现状. 传感器检测障碍物原理及方法现状. 多传感器融合现状.究内容.文安排.二章 .境感知传感器系统.结.三章 基于单目视觉的障碍物检测与定位.觉检测障碍物的基本理论.于单目视觉的障碍物检测. 边缘提取. 直线段的提取. 直线段的两两匹配与轮廓重构. 实验结果.于单目机器视觉的距离测量. 测距模型选择. 求取障碍物距离及实验结果.结.四章 基于信息融合的障碍物检测与定位.光雷达对障碍物的检测以及栅格地图建立. 激光雷达对障碍物的检测. 基于栅格的环境地图建立.于信息融合的障碍物检测与定位方法. 利用单目视觉引导激光雷达进行俯仰. 利用激光雷达验证单目视觉的障碍物信息.并激光雷达多次俯仰检测的数据.结.五章 总结与展望.结.一步研究工作.考文献. 47 致 谢. 读学位期间主要研究成果.士学位论文 第一章 绪论 1 第一章 绪论 宋健院士指出： “机器人学的进步与应用是 20世纪自动控制最有说服力的成就，是当代最高意义上的自动化”1。随着计算机和机器人技术的发展，现代机器人在工专制造、军事、民用等许多方面得到了广泛的应用2。机器人应用领域在不断拓展，机器人的作专环境也逐渐在扩大范围，从单纯的室内环境到未知的茫茫太空环境到处都有机器人的身影，它们代替人类完成了各种不同的工作。 移动机器人是能够实时地自主运动的智能机器，是一种集环境感知、动态决策与规划、行为控制与执行等多项功能于一体的高智能化机器系统，体现了信息科学和人工智能技术的最新成果3。 题来源与研究意义 本文是国家自然科学基金重点项目 “未知环境中移动机器人导航控制的理论与方法研究”下的子项目“基于多传感器融合障碍物的检测和定位”的研究内容之一。 移动机器人进行避障和地图构建首先需要解决的问题就是对障碍物的检测和定位。未知环境中单一传感器很难引导机器人精确且全面地了解环境信息，因此必须通过某种方法，对多个传感器的信息进行比较和分析，才能得到可靠的环境数据，从而获取准确的障碍物信息。 由于技术的进步，近年来基于激光雷达测距技术得到了长足的发展，被广泛的用到移动机器人中进行障碍物的检测。激光雷达测距的精度高，实时性好，但由于它是逐点扫描的方式，速度慢，对全局环境的认识能力比较差特别是对低矮小障碍物的检测可靠性比较低， 并且对表面存在镜面反射的物体很难精确检测到45。 另外随着计算机视觉技术的发展， 计算机视觉的应用已在移动机器人导航控制中占据越来越重要的地位。 计算机视觉是从图像或图像序列中获取对环境的描述，所以能够以二维的形式获取大量的周围环境信息，成本也很低廉。但它测定距离的精确度比较低，实时性与稳定性比较差，识别的速度也比较慢6。 单独采用摄像机或者激光雷达都难以全面而精确的完成障碍物检测和定位，所以有必要利用多种传感器的数据融合， 实现优势互补提高障碍物检测和定位可靠性、精确性和全局性。用摄像机来获取周围环境的二维图像，同时由激光雷达来提供障碍物的第三维距离信息，融合的结果能更精确提供有关障碍物的信息。硕士学位论文 第一章 绪论 2 既提高了机器人对全局环境的认识能力和对障碍物识别能力， 又能很快的测定距离实施快速的自主运动。 这种融合方式是近几年来多传感器融合研究方向的热门课题7 动机器人多环境感知传感器融合的研究现状 未知环境下， 机器人对所处环境的了解只具有很少的先验知识或不具备先验知识，为了使移动机器人能自动避障行走，就必须装备传感器感知环境和自身状态，实现在有障碍物的环境中面向目标的自主运动。 感器检测障碍物原理及方法现状 目前应用于移动机器人的外部环境感知传感器有超声波传感器、微波雷达、声纳、激光雷达、摄像机等等9。根据信息的来源可将环境感知传感器分为主动与被动传感器。 测量信号来自本身的传感器称为主动传感器， 如激光雷达和声纳；通过感受物体的反射光得到前方图像信息， 这种工作方式的传感器称为被动传感器，如主动传感器相比，被动传感器具有信息获取速度快，信息量大的优点，但由于其信息来源依靠外界提供，易受到外界环境的影响。主动传感器对物体的感知信息来源于自身，受外界环境影响较小，而且在深度信息获取上的可靠性和精确性要高于被动传感器。 下面本节对各种环境传感器用于障碍物检测的原理和方法，及其优缺点进行讨论 1）立体视觉： 立体视觉利用两个位置关系已知的摄像机组成立体视觉系统， 根据同一景物在两个摄像机上成像的视差恢复景物深度。 虽然双目立体视觉的几何关系是非常明确的，但在实际应用中仍然存在着如下的问题：匹配计算复杂，受光照条件和遮掩的影响在两幅图像间造成匹配点的假对应10。 2）单目视觉： 单目视觉系统的数据处理方式可分为静态图像处理和动态图像处理。 前者被称为单帧静态图像处理，后者也叫序列图像处理。 单帧静态图像的障碍物检测和距离测量是基于先验知识和模型驱动， 优点是速度快，不受机器人运动的影响，缺点是检测结果的可靠性低11。但如果与其它传感器信息进行融合，利用单帧静态图像获取障碍物信息是完全可行的。 序列图像处理障碍物检测最具有代表性的方法是基于光流的方法。 该方法利用同一个摄像机在不同时刻得到的多幅图像来估计光流。 由于障碍物在光流场中往往是一个突变，所以可以根据光流场分割来检测障碍物，估计它们的距离。但硕士学位论文 第一章 绪论 3 是该方法的计算量和处理的复杂性是非常大的10。 3）激光雷达： 根据扫描机构的不同，激光测距雷达有2们大部分都是靠一个旋转的反射镜将激光发射出去并通过测量发射光和从物体表面反射光之间的时间差来测距。激光雷达作为一种主动测距系统，测距的精度高、实时性能好。但是其反射光的强度随反射物材料及其表面光滑情况影响很大， 有时甚至严重到无法测距的地步。例如当障碍物吸收发射的能量或物体表面是镜面反射时，距离数据就变得毫无用处。在激光雷达检测障碍物应用中，一般的处理方法是根据已知传感器的位置转化为高度图，然后根据高度的突变就可以检测出障碍物。 相对于3构简单，测距速度快，系统稳定可靠。目前2为在室内的结构化环境下地面平坦，所有障碍物又都垂直于地面，因此机器人只要能在一个平面上获取环境信息便已经足够障碍物检测的需要12。 4）超声测距： 和激光测距雷达相类似， 超声测距的原理也是通过检测超声波从发射器发射到碰到障碍物反射回接受器的时间来测距的。超声测距的数据处理简单快速，价格低廉，但方向性差，分辨率低，作用距离短13。一般作为近距离障碍物探测使用。 5）毫米波雷达： 毫米波雷达的好处是可测距离较远（可以达到150米)，而且不受恶劣天气的影响、抗环境变化能力强，但毫米波雷达的分辨率较低且不能检测到远距离的小障碍物13。典型的代表是美国军方研究的代号为采用了776）红外传感器： 红外传感器对环境适应性好，体积小功耗低，但是分辨率低，作用距离短，测量精度不够。 总而言之，基于任何一种传感器的障碍检测方法都有其优点和缺点，对于机器人的障碍物检测目前还没有一种令大家都感到非常满意的解决方案。 立体视觉测障是目前的研究热点之一，但它的匹配问题始终未能得到满意的解决。毫米雷达具有不受恶劣天气干扰的优点，但是分辨率和精度都太低，不能满足检测小障碍物的需要。超声波测距抗环境干扰能力强，但分辨率低、作用距离短、测量精度不足12。本文是以2过单目视觉作为激光雷达障碍物检测的补充传感器， 融合两个传感器的信息实现障碍物的检测。 硕士学位论文 第一章 绪论 4 传感器融合现状 应用于机器人障碍物检测的传感器信息获取，除满足实时性的要求外，更要满足可靠性。然而迄今为止，没有任何一种传感器能保证在任何时刻提供完全可靠的信息。而采用多传感器信息融合技术，则可以有效地克服单一传感器可靠性低、有效探测范围小的缺点。 对多传感器的信息进行融合，可以降低系统的误差和不确定性，提高目标状态检测精度。同时扩展了空间和时间的覆盖度，增加了测量维数及置信度。多传感器集成与融合已成为目前智能机器与系统领域的研究热点6 14。 多传感器集成与融合技术从80年代初以军事领域的研究为开端， 迅速扩展到军事和非军事的各个应用领域。 近十几年里，许多国家在多传感器信息融合技术在移动机器人障碍物检测应用方面有了很大的发展， 尤其以美国等西方国家的研究发展较快（见表115。 现有国外代表性的产品有：美国国防先进研究计划局（ 主陆地车 (德国国军方研究的能车辆等等。 美国国防先进研究计划局（ 主陆地车 (由 设计目的是为了说明自主车研究领域的发展状况。用于道路跟踪时， 斜以及相对于路面的滚动情况。采用对光照条件不敏感的激光雷达获得路面障碍物的几何特征。 将得到的信息变换到同一个坐标系下，利用照相机的图象信息来识别路的边缘。集成后的激光测距传感器信息用于识别公路上障碍物16。 德国 1个立体视觉传感器、4个激 光扫描器、1个雷达传感器 ，用于障碍物的探测和跟踪。这些传感器的探测范围在车辆前面有很大的重叠13。立体视觉传感器安装在后视镜后面， 主要针对中远距离的障碍物， 它兼有障碍物探测和路径识别功能；在前保险杠的左右两端分别安装1个激光扫描器，每个覆盖270度的范围，在车辆正前方重叠； 另外在前后保险杠的中间位置分别安装1个激光扫描器(具有不同角度的3个激光束)， 比单激光束的传感器具有更强的抗干扰能力， 主要用于短、 中、远的障碍物目标探测；在前保险杠上安装有1个长距离、小角度雷达传感器。 美国军方研究的能车辆也采用了雷达与机器视觉融合技术用于障碍物探测13。所用雷达为77有效感应距离可达128m，角度范围可达64度，实验车的机器视觉系统有彩色摄像机、丰田公司也使用毫米波雷达和机器视觉共同探测前方障碍物。 毫米波雷达用硕士学位论文 第一章 绪论 5 来探测障碍物距离和相对速度。控制雷达的方向。 马自达公司利用激光扫描雷达和超声波传感器检测前方是否有行人或在斜角方向是否有驶来的车辆。 表1信息融合技术在移动机器人中的应用实例7移动机器人 年代 传感器 运行环境 融合手段 979 视觉、声音、激光测距 未知人造环境 加权平均 984 超声、触觉 已知人造环境 可信度系数加权988 多摄像机、声纳阵列、激光测距 未知人造环境 模糊规则 994 半导体激光、触觉、超声波 未知室外三维环境 卡尔曼滤波 997 摄像机、激光测距、声纳 已知或未知工厂环境 卡尔曼滤波 000 声纳阵列 未知人造环境 证明理论 001 摄像机、激光、触觉、声纳 未知人造环境 或然性理论与神经网络 目前在我国关于这方面的研究已经越来越受到重视。 典型的代表是吉林大学研制的光雷达，红外识障仪来获取环境信息11。光雷达获取环境的距离图像，短距离红外识障仪实时测知车辆前方30度扇形区域、5米距离内的障碍物。然后融合各个传感器的信息参与智能车的控制决策。 虽然我国在该领域的研究起步较晚，与发达国家有一定的差距，但是相信只要我们进行深入、细致的研究，不久的将来就会赶超世界先进水平。 究内容 由于 2此对全局环境的认识能力比较差，特别是对低矮的小障碍物存在检测次数不足的现象12。而且在实验中发现在只使用激光雷达进行障碍物检测时， 曾经发生机器人撞到黑色铁柱子上的情况。经过和课题组成员讨论，分析原因是由于障碍物表面材料吸收激光雷达发射的能量或物体表面的镜面反射， 使得激光雷达不能有效的检测到黑色铁柱子。 硕士学位论文 第一章 绪论 6 由于上述问题是2所以只有通过多异质传感器融合实现信息互补才能在实质上解决这些问题。本文利用据图像的边缘信息和灰度信息提取图像中可疑障碍物。然后利用单目视觉测距的原理计算出可疑障碍物的位置。 最后根据可疑障碍物的位置引导激光雷达俯仰一定角度进行探测，检测激光雷达可能漏检的障碍物，并验证可疑障碍物的真实性。研究内容的关键部分集中在一下几点: 1）基于图像的边缘信息和灰度信息提取图像中可疑障碍物。传统单帧静态图像的障碍物检测是基于图像灰度信息（颜色）或者是边缘信息，本文融合了这两类信息进行障碍物检测，提高了检测的可靠性。 2）利用单目视觉检测的结果计算出激光雷达探测可疑障碍物所需的俯仰角度和水平角度。 3）利用激光雷达俯仰探测障碍物时的信息验证单目视觉检测出来的“可疑障碍物”的真伪性。 文安排 在国家自然科学基金的支持下， 本文研究了基于摄像头和激光雷达信息融合的障碍物检测。 其内容安排如下： 1) 第二章中介绍了本论文的机器人 境感知传感器系统的硬件基础和软件设计平台与界面。 2) 第三章则介绍了基于单目视觉对障碍物检测与 定位的方法原理。首先提出基于线段匹配的障碍物重构方法；其次介绍 一种单目测距的方法。最后给出基于单目视觉对障碍物检测与测距的实验结果。 3) 第四章介绍了基于激光雷达障碍物检测和基于 单目视觉与激光雷达信息融合的障碍物的检测和定位。首先介绍了激光 雷达检测障碍物的原理和基于栅格地图的环境地图构建，以及激光雷达 安装位置对障碍物检测的影响。然后针对激光雷达检测障碍物的不足之 处，研究了如何基于单目视觉计算出激光雷达探测可疑障碍物需要的俯 仰角度和水平角度，最后研究了如何基于激光雷达俯仰检测时反馈的数 据判断可疑障碍物是否为真正的障碍物，并且对障碍物进行精确定位。 4) 第五章对论文的研究进行了总结，并对有待进 一步研究的问题进行了分析和展望。 硕士学位论文 第二章 器人环境感知的硬件系统 7 第二章 器人环境感知的硬件系统 机器人系统是一个复杂的系统， 在未知环境下工作的智能机器人系统一般遵循传感感知规划命令执行的流程模式17。由此可见，移动机器人要在未知环境中完成某项任术，其首先必备的条件是它们的感知系统必须全面、正确、动态地获取周围的环境。本章的内容主要是介绍了机器人系统和环境感知传感器系统。 器人系统介绍 图 2机器人 括以下几个部分：摄像头、激光雷达、车体、电源、车轮、车载计算机、通讯网络、内部传感器等。控制系统采用了 开放式结构，在硬件上具有良好的扩展性能18 移动机器人每个工控机负责一个系统：运动控制系统、3觉处理系统和决策系统。每个系统可以安装2个0。选择P800M1存256用+作为软件开发工具，通过集线器将车载工控机组成一个局域网控制系统，以及将其硬件结构进行组织、分配为一个硕士学位论文 第二章 器人环境感知的硬件系统 8 分布式的控制系统，如图2 图 2动机器人控制系统结构图 境感知传感器系统 1）激光雷达信息处理系统 密转动云台相结合的3用的2过云台水平与俯仰方向的精确转动，利用2控机要实现激光雷达传感器转动平台的控制、激光雷达信息的实时处理。 。 （如图）该方法是通过向目标发射光脉冲并测量飞行的往返时间来确定距离的，如图2光器发射的激光脉冲经过分光器后分为2路，一路进入接收器，另一路由反射镜面发射到障碍物表面，经反射后反射光再次由反射镜返回接收器，发射光和反射光频率相同， 通过两个脉冲之间的时间间隔与光速的乘积来测定障碍的距离20 21。原理如下式： 2 （2 视觉处理系统 激光雷达系统 运动控制系统 图像采集卡 摄像头速 串口 俯仰驱动 水平驱动 激光雷达无线网桥 决策系统 无线网桥 基站交换机 图像监控远程控制载局域网（ 10M） 局域网 （ 10M） 硕士学位论文 第二章 器人环境感知的硬件系统 9 其中 图 2激光测距原理 在本文设计的系统中，个周期获得前方 361 个数据，扫描周期为 50测试过程中，发现激光雷达 实验室的黑色皮椅和野外的黑色电灯柱子的感知能力微弱。经过与该公司技术人员交流，分析可能是物体表面材料对 出固定频率的激光吸收太强，以至于反射率极小，不能被有效感知。针对这种情况，机器人前部安装了摄像头作为激光雷达感知能力的补充22 5。 2）视觉信息处理系统 工控机作在盘为40G。器人的视觉系统由一台摄像头、旋转台、图像采集卡、图像处理机组成。摄像头通过以实现旋转、俯仰、调焦，视觉云台可以水平旋转为+/仰角可以为+/器人所使用的摄像头为像头采用了10倍光学变焦，40倍数码变焦，并且能够方便的设置和读出摄像头在水平方向及垂直方向的位置及其旋转速度。 视频采集是视觉信息处理系统的基础。当前，在台下开发视频应用程序一般采用两种方式：一种是基于视频采集卡所附带的二次软件开发包行。这种方式的优点是应用方便，容易上手，缺点是对硬件的依赖性较强，灵活性差，不能充分满足各种视频应用程序的开发需要；另一种方式是基于行的。供了一系列应用程序编程接口（，用户可以通过它们很方便地实现视频捕获、视频编辑及视频播放等通用功能，还可利用回调函数开发更复杂的视频应用程序。它的特点是播放视频时不需要专用的硬件设备具有设备无关性，而且应用灵活，可以满足视频应用程序开发的需要。统安装时，会自动安装7。 计时开始 计时器 计时结束 激光发射器 激光接受器 硕士学位论文 第二章 器人环境感知的硬件系统 10 大简化了视频应用程序的开发。目前，多利用以很方便地控制设备数据流的工作过程。目前，大多数的视频采集卡驱动程序都支持主要包括多个动态连接库，通过这些组件间的协调合作，来完成视频的捕获、视频压缩及播放功能。 本文中的程序通过调用+序界面分别如图2图 2的图像采集程序界面 图 2 的传感器融合障碍物检测程序界面 觉处理系统通过图像采集卡以每秒 5 帧的频率采集 后采用采集的图像和视频流传输到 序流程如图 2行在 的障碍物检测程序综合图像数据和 输过来的激光雷达数据进行分析，首先根据图像的边缘信息和灰度信息提取图像中可疑障碍物， 并引导激光雷达俯仰到一定角度进行探测验硕士学位论文 第二章 器人环境感知的硬件系统 11 证可疑障碍物的真实性，同时根据融合的信息构建栅格地图,程序流程如图2 图 2像采集程序流程 建立捕获窗口，并设置捕获窗口的相关参数 登记回调函数 捕获图像和视频流 终止传输图像和视频流，删除接字 接受客户端发来的连接请求，并建立连接。开始传输图像和视频流 建立 接字，侦听客户端发来的连接请求 连接捕获窗口与视频捕获卡 终止捕获图像和视频流 硕士学位论文 第二章 器人环境感知的硬件系统 12 图 2息融合检测障碍物程序流程 结 本章介绍了机器人 系统结构和环境感知传感器系统。首先介绍了机器人然后着重对激光雷达信息处理系统和视觉信息处理系统做了介绍， 最后对软件设计平台和程序界面以及主要程序流程做了简要介绍。 不进行融合， 只获取激光雷达检测障碍物的结果 建立 接字，发送连接请求，与 立连接 接受图像和视频流以及激光雷达信息 分析图像，提取图像中的可疑障碍物 基于图像分析结果，引导激光雷达俯仰到一定角度检测可疑障碍物 融合图像检测和激光雷达检测障碍物的结果 撤销连接，终止检测 检测是否终止 根据机器人位置变化情况判断是否融合图像信息是 否 是 否 硕士学位论文 第三章 基于单目视觉的障碍物检测与定位 13 第三章 基于单目视觉的障碍物检测与定位 人类从外界获得的信息约有 75%是通过视觉系统，源于图像处理和模式识别发展起来的机器视觉是人们利用视觉传感器和计算机来模拟人类视觉功能的一门应用科学，是一个处于知识前沿的领域。机器视觉与人类和动物的视觉是不同的，它借助于几何、物理和学习技术来构筑模型，用统计的方法来处理数据从而实现人类视觉所具备的某些功能。 觉检测障碍物的基本理论 机器视觉主要的诀窍在于从图像或图像序列中获取对世界的描述。 机器视觉使用摄像头被动摄取图像，它不会互相干扰也不会对周围环境造成破坏，非常安全。特别是近年来随着信息产专的飞速发展 能也得到很大的提高；计算机的速度也越来越快，已经能满足应用的需要。 障碍物检测的目的是避免机器人和障碍物的碰撞， 因此障碍物检测不一定要建立在恢复出物体三维结构的基础上，只要估计出障碍物的距离、位置、宽度和高度就足以使机器人完成避障的任术。为了简化障碍物检测，在大部分的实用障碍物检测系统中采用了如下假设23： 假设 1（障碍物假设） ：障碍物定义为高于（或低于）路面一定高度（或深度）的物体。 假设 2（平坦路面假设） ：为满足较大车辆（机器人）安全驾驶的条件，在一定范围局部平坦路面假设是合理的。 假设 3（物体特征假设） ：在灰度图像上，障碍物（物体）和路面（背景）相比明显可见，存在明显的边缘。 假设 4（障碍物表面等深度假设） ：为了便于估计障碍物的距离、位置、宽度和高度， 规定同一障碍物的可见表面的尺寸相对于障碍物和摄像机的距离来说小的多（如 1： 30） ，所以我们假设同一障碍物上的点处于几乎同一距离上。 目前基于机器视觉的障碍物检测方法大体上可以分为三类24。 第一类是从单幅图像中提取已知的障碍物25。这种方法主要是利用道路与障碍物的颜色差异来区分可行区域与可疑障碍区或者靠提取出的图像边缘将障碍物和背景区分开来。这种方法的缺点是需要已知障碍物的 2者需要一个学习阶段26。 第二类方法利用运动信息，其中最流 行的方法是基于光流的障碍物检测硕士学位论文 第三章 基于单目视觉的障碍物检测与定位 14 27在图像中观察到的表面上的模式运动就是所谓的光流场，而运动场是三维物体的实际运动在图像上的投影。光流是一个二维速度场，是对运动场的近似，它蕴涵着三维的运动信息。如果我们知道它是由一个刚性物体产生的，那么刚性物体的运动可由光流场求出。该类方法的缺点是运算大、基于所求出的光流场分割障碍物仍然很困难。 第三类是利用立体视觉方式来提取障碍物。 通过同一场景点在位置不同的两个摄像机上的投影的视差计算出场景点的三维坐标。该类方法计算量大，通常需要专用的硬件29 后面两类方法计算量都很大，系统比较复杂，对硬件的要求比较高，而且受噪声的影响比较大，很难实时并且可靠的检测出障碍物。为了满足移动机器人实时性的要求， 本文提出的单目视觉对障碍物检测的方法采用了类似于上述的第一类方法，但运用了障碍物的一些先验知识省去了学习的过程，大体上分为两步： 第一步：基于假设 3，对图像进行分割提取障碍物的区域分割把障碍物检测出来。 第二步：基于假设 2和假设 4利用透视映射原理计算障碍物的距离。 由于本章方法没有基于假设 1，检测出来的障碍物可能是伪障碍物。在第四章中我们将通过与激光雷达的信息融合消除伪障碍物信息，使得假设 1成立。 于单目视觉的障碍物检测 从前面第 因为序列图像处理方式的计算量和处理复杂性非常大，所以我们在实际应用当中一般是选用对单帧静态图像进行处理。单帧静态图像处理方法主要是利用道路与障碍物的颜色差异来区分可行区域与可疑障碍区或者靠提取出的图像边缘将障碍物和背景区分开来。在实际运用中，成功的例子有美国 这种方法通过提取前方路面颜色并加以训练， 然后按照路面颜色和非路面颜色来区别路面与障碍物26。国内吉林大学的李斌等人提出的基于特征模型驱动检测前方车辆方法是通过车辆在图像中的灰度特征信息来计算出车辆在图像中位置， 它的局限性是算法建立在已知的特征模型基础上11。 本文中提出单目视觉障碍物检测的方法融合了单帧静态图像的边缘特征信息和灰度特征信息，有效克服了单一特征信息可靠性低的缺点。本文障碍物检测不是建立在已知障碍物的2而是利用物体的投影成像的左右边缘把障碍物重构成抽象的四边形 （即用与障碍物相似的四边形在图像相应位置表示障碍物） ，如图3种方法省去了对已知模型学习过程，对环境中的障碍物有更硕士学位论文 第三章 基于单目视觉的障碍物检测与定位 15 好的适应性。 图 3把障碍物重构成抽象的四边形 论文提出的单目视觉的障碍物的检测实质上就是对图像进行分割， 构造出障碍物的轮廓。主要步骤可以分三步组成： 1）首先计算原图像中边缘点的梯度值和梯度方向，并且按照“同一条直线段中象素点的梯度方向、梯度值相近似”的原则从边缘点图像中提取出直线段； 2）其次利用提取出来的直线段的各种属性，例如长度、梯度方向、位置、两条直线段之间象素点的灰度直方图以及背景灰度直方图来对直线段进行匹配，计算它们是否属于同一障碍物左右边缘的匹配值； 3）最后根据匹配成功的“直线段对”来重构“障碍物”轮廓，并确定其位置。 缘提取 边缘检测是所有基于边界的分割方法的第一步。 两个具有不同灰度值的相邻区域之间总存在边缘。边缘是灰度值不连续的结果，这种不连续可利用求导数方便地检测到一般常用一阶导数和二阶导数来检测边缘。 由于灰度值的一阶导数在图像中的边缘处有一个明显的阶跃，而在其他位置较小，也就是说幅度峰值一般对应着边缘的位置，因此可以用一阶导数的幅度值来检测边缘的存在33。 实际应用中对数字图像求导数是利用差分近似微分来进行的， 因此可以借助空域微分算子的卷积运算来