（通信与信息系统专业论文）基于视觉的自走车道路识别与自主导航.pdf

基于视觉的自走车道路识别与自主导航 摘要 l | | l i l i i l l i | | i l l i ! | i i | i | | f y 17 2 4 7 2 5 移动机器人的研究不仅在空间探索、军事、民用等领域都有着广 阔的应用前景，而且还为人工智能、数据融合、信息处理等多种学科 提供了很好的发展平台。基于计算机视觉的自主导航技术是智能机器 人研究领域的重要方向。 本文研究的是一套臼主设计的基于视觉的自走车系统，在结构化 的道路环境中，以一台c c d 摄像机作为视觉传感器，通过一台p c 机将采集的道路图像做实时处理，识别道路并做出判断，控制自走车 沿着车道线直行或转弯。本文讨论和比较了图像处理的相关算法，并 根据实验效果对比分析，提出了适合本文实际的二维一次中值滤波方 法和s o b e l 边缘检测方法。在车道线识别上，本文提出了过已知点哈 夫变换方法提取直线，采用分段识别方法检测弯道线，并采用最小二 乘法拟合车道线。自走车的自主导航主要分为直线车道线跟踪和弯道 的转弯控制两个过程，文中也对偏差控制做了讨论。最终，自走车系 统在道路检测检测结果和算法效率上都有较好的表现，基本达到了自 主导航的实验效果。 关键词：自走车；图像处理；哈夫变换；道路识别；自主导航 vis10 n b a s e ds e l f p r o p e l l e dv e h lc l er o a d r e c o b nitl0 na n da u t o n o m o u sn a v ig a t 10 n a b s t r a c t m o b i l er o b o tr e s e a r c hh a sb r o a da p p l i c a t i o np r o s p e c t s i ns p a c e e x p l o r a t i o n ，m i l i t a c i v i la n do t h e ra r e a s i ta l s o p r o v i d e sag o o d d e v e l o p m e n tp l a t f o n n f o rav a r i e t yo fd i s c i p l i n e s ，s u c ha sa r t i f i c i a l i n t e u i g e n c e ， d a t a如s i o na n di n f ；3 n n a t i o np r o c e s s i n g c o m p u t e r v i s i o n b a s e da u t o n o m o u sn a v i g a t i o nt e c h n o l o g yi sa ni m p o r t a n t d i r e c t i o n i ni n t e l l i g e n tr o b o t i c sr e s e a r c hf i e l d s i nt h i st h e s i s ，w er e s e a r c has e to fs e l f - d e s i g n e d v i s i o n - b a s e d s e l f - p r o p e l l e dv e h i c l es y s t e m i nt h es t m c t u r e d r o a de n v i r o n m e n t ，t h e s e l f - p r o p e l l e dv e h i c l eu s e sac c dc 锄e r a a sav i s i o ns e n s o r i tw i u c o l l e c tt h er o a di n f o r m a t i o nt h r o u g ht h ev i s i o ns e n s o r t h e n ，t h r o u 曲a p c ，r e a l t i m ei m a g ep r o c e s s i n gw i l lb ed o n et oi d e n t i 黟t h er o a d a n d m a k ej u d g m e n t st oc o n t r o lt h es e l f - p r o p e l l e dv e h i c l es t r a i g h ta h e a da l o n g t h el a n el i n eo rt a k i n gt u m s t h i st h e s i sd i s c u s s e sa n dc o m p a r e ss o m e r e l a t e di m a g ep r o c e s s i n ga l g o n t h m s a r e rd o i n gc o n t r a d i s t i n c t i o na n d a n a l y s i st o t h ee x p e r i m e n t a lr e s u l t s ， i t p r o p o s e s t h et w o d i m e n s i o n a l l i n e a rm e d i a nf i l t e r i n gm e t h o da n dt h es o b e le d g ed e t e c t i o nm e t h o df - o r t h i st h e s i s r e s e a r c h i nt h el a n e1 i n ei d e n t i f i c a t i o n ，t h et h e s i su s e st h e k n o w n p o i n th o u g h t r a n s f o m lt oe x t r a c ta s t r a i g h tl i n e ， u s e s s u b i d e n t i f i c a t i o nm e t h o dt od e t e c tb e n d1 i n e sa n du s e sl e a s ts q u a r e m e t h o dt of i t1 a n el i n e s s e l f - p r o p e l l e dv e h i c l ea u t o n o m o u sn a v i g a t i o n c a nb ed i v i d e di n t os t r a i g h t l i n et r a c k i n ga n dt u ml a n et u m i n gc o n t r 0 1 b i a sc o n t i o lh a sa l s ob e e nd i s c u s s e di nt h i st h e s i s i nt h ee n d ， s e l f p r o p e l l e dv e h i c l es y s t e mh a sg o o dp e r f o r m a n c ei nt h er o a dd e t e c t i o n r e s u l t sa n da l g o n t h m se 伍c i e n c y r e a c h e st h ea u t o n o m o u sn a v i g a t i o n e x p e r i m e n tr e s u l t s k e y w o r d s ：s e l f p r o p e l l e dv e h i c l e ；i m a g ep r o c e s s ；h o u g ht r a n s f o m ； r o a dr e c o g n i t i o n ；a u t o n o m o u sn a v i g a t i o n 第1 章绪论 本文将以自主开发的自走车系统为平台，研究基于计算机视觉的自走车的道 路识别和自主导航技术。本章将首先介绍本文研究相关的背景和研究意义，自走 车导航技术及计算机视觉技术的发展。章节最后概括了本文研究将要做的主要工 作，并介绍了本论文的体系结构。 1 1 自走车的研究现状和前景 随着计算机技术和人工智能技术的发展，机器人的研究和应用越来越广泛， 几乎渗透到所有领域。对自走车，即移动机器人的研究，便是机器入学中的一个 重要分支，经过四十多年的研究和发展，已经取得了重大的进展，在众多领域发 挥着越来越重要的作用。比如在空问探索领域，以勇气号和机遇号火星探测车为 代表，自走车j 下代替人类在复杂的环境中探寻未知领域；在军事上，自走车常被 用来执行侦察、排爆等危险任务；而在人们的日常生活中，也出现了具有自主导 航功能的自动轮椅、导盲车、导购车等自走车，为普通百姓提供服务。 自走车、移动机器人( m o b i lr o b o t ) 是指在不同的工作环境中，无需人工 干预就可以自主移动，并完成指定任务的机器人，是一个集环境感知、动态决策 与规划、行为控制与执行等多种功能于一体的综合系统，属于智能机器人研究领 域中的一项高新技术。同时自走车技术是一门多学科高度融合的技术，主要涉及 结构学、电子学、控制理论、计算机信息技术、材料学、仿生学、传感器技术、 数据融合和人工智能等学科，成为当前智能机器人研究的热点之一。 自走车的研究开始于2 0 世纪6 0 年代术期，斯坦福研究院( s r i ) 的n i l sn i l s s e n 和c h a r l e sr o s e l l 等人在1 9 6 6 年至1 9 7 2 年研制出了取名为s h a k e v 的自主移动机 器人，其目的是研究应用人工智能技术，机器人系统在复杂环境下的自主推理、 规划和控制i i 】。2 0 世纪9 0 年代以来，随着各相关学科的进一步发展，以研制高 水平的环境信息传感器和信息处理技术，高适应性的移动机器人控制技术、真实 环境下的舰划技术为标志，开展了移动机器人更高层次的研究，自走车f 向着具 有自组织、自学习、自适应的智能化方向发展【2 1 。 我国已在“七五”计划中把机器人列入国家重点科研规划内容，拨巨款在沈 阳建立了全国第一个机器人研究示范工程，全面展丌了机器人基础理论与基础元 器件研究。十几年来，相继研制出示教再现型的搬运、点焊、弧焊、喷漆、装配 等门类齐全的工业机器人及水下作业、军用和特种机器人。目前，示教再现型机 器人技术已基本成熟，并在工厂中推广应用【1 1 。我国关于移动机器人的研究起步 较晚，目前大多还处于研究阶段。但是随着智能交通和空白】技术发展的需要，近 年来自走车的研究也掀起了热潮，特别是伴随着“嫦娥”探月工程的不断推进， 多所大学和研究机构投入到了国产月球车的研究和制造，并陆续获得一定的成 果。 自走车在空问探索、军事、社会治安、工业生产以及百姓生活等诸多领域都 有着广阔的应用前景，同时自走车的研究给人工智能、数据融合、信息处理等学 科提供了很好的发展平台，因此研究更加智能化的、不同工作方式的和具备不同 功能的自走车依然是未来长久的热门课题。 1 2 自走车研究的关键技术 自走车作为一套综合系统涉及到多学科的多项技术，其中以下介绍的几项技 术是大部分不同类型的自走车研究中都要解决的关键技术。 l 、移动控制技术 移动控制即自走车根据不同的指令做出不同的动作，前进、转弯或者停止， 这是自走车执行任务的基础，移动控制技术也是研究自主移动机器人技术较为活 跃的课题之一。自走车按照存储在其内部的地图信息，或根据外部环境信息( 即 通过对环境的实时探测所获得的信息) 规划出一条路径后，它还必须能够沿着该 路径在没有人工干预的情况下，完成方向控制、速度控制等，到达目的位置，完 成各种任务。因此，高效、可靠的移动控制至关重要。 2 、传感器技术 自走车传感器分为内部传感器和外部传感器。内部传感器用于监测和控制自 走车本身，获取系统内部的各种参数信息；外部传感器安装在自走车外部，用于 感知外部环境信息【3 。使用合适的传感器可以有效地获取内部和外部信息，对自 走车f 常工作、提高工作效率、节约能源和预防意外事故都是非常重要的。 3 、传感器数据处理 通过传感器获得的数据信息是决定自走车如何移动的重要条件，尤其是自主 导航的自走车需要根据传感器数据来识别和判断外部环境，才能选择合适的路径 自主移动，因此，必须高效地处理传感器获得的数据。很多自走车为了避免单一 传感器采集数据不完整的弊端，往往使用多传感器，而多传感器的数据融合也是 一个重要的课题，涉及传感器、信号处理、机器人学、控制理论、系统分析、概 率统计、计算机科学、仿生学等很多方面的知识，同时它也是一项用途广泛的技 术，利用多传感器信息融合，可以减小由单一传感器所产生的误差，可以扩大感 知信息的范围等。多传感器及先进的感知算法，将是在现实环境中实现具有高度 灵活性及高鲁棒性行为的机器人的关键【4 】。 4 、导航与定位 定位是指确定自走车在二维工作环境中相对于全局坐标的位置和姿态，导航 是指自走车通过传感器感知环境和自身状态，实现在有障碍物的环境中面向目标 的自主运动【5 】。 自走车的导航方式可分为：基于环境信息的地图模型匹配导航，基于各种路 标的视觉导航和基于其他各种传感器的导航等【6 】。 定位的主要方法有：惯性定位、陆标定位、声音定位、视觉定位等【5 l 。 5 、跟踪控制【3 】 跟踪控制是一个非常实用的问题，分为轨迹跟踪控制和路径跟踪控制，这方 面的研究比较成熟。在轨迹跟踪控制中，自走车要求跟踪的期望轨迹是以时间关 系曲线图给出的，而在路径跟踪控制中，期望轨迹是由方便的几何参数( 如路径 的弧长) 来描述的。当要求自走车在一个特定的时间内到达一个特定的点时，轨 迹跟踪控制是必需的；当要求自走车以一个期望的速度跟踪一条由几何参数给出 的路径时，路径跟踪控制是合适的。已有的轨迹跟踪方法在数学上很精致，并且 得到许多有意义的结果，但对于设计跟踪控制器来说，并不是最好的方法。事实 上，在传统的自动化应用中，常常采用基于几何路径跟踪概念的方法，控制器的 设计更与人的直觉接近，易于实现，关于这方面的工作，近期主要集中在考虑非 完整约束和力学的情况下，如何实现有效跟踪。 6 、路径规划 路径规划是自走车实现自主导航的一个重要问题，是机器人智能化的重要标 志。自走车的最优路径规划问题，就是依据某个或某些优化准则( 如工作代价最 小、行走时间最短、行走路线最短等) ，在自走车的工作空间中寻找一条从起始 位置到目标位置的无碰撞路径1 7 】。根据自走车对坏境信息的已知程度，路径规划 可分为对环境完全已知的全局路径规划和对环境信息完全未知，通过传感器实时 地对工作环境进行探测，以获取障碍物的位置、尺寸和形状等环境信息的局部路 径规划【引。在理论和实验层面，路径规划的方法较多，但是，现实复杂环境下的 路径规划问题一直是一个没有很好解决的难题，比较多的是尝试用遗传算法来进 行路径规划问题并取得一定成功。 1 3 自走车自主导航技术 移动机器人按其工作方式和自主程度，大致可分为遥控式、半自主式和自主 式三种【们。具有自主导航的自走车即是自主式机器人，具有高度的自适应能力， 可以完全摆脱人工控制而在复杂的环境下工作。自主导航就是要求自走车在行进 过程中完全依靠自身的各种设备感知环境信息，自主判断并做出决策，有目的地 移动并完成相应任务。 实现自主导航有很多种方式，根据不同的工作环境和技术要求，主要有惯性 导航、磁导航、传感器导航、卫星导航、视觉导航等。 地下埋线的导航方式是2 0 世纪5 0 年代美国丌发的，到2 0 世纪7 0 年代这种 导航方式迅速发展并应用于柔性生产。目前，国内制造行业使用的移动机器人大 多还是基于这种导航方式。该导航方式的技术已十分成熟，但其成本高，改造和 维护困难。 就国内研究现状来看，以上几种导航方式均在研究之中，而磁导航方式的技 术已相当成熟。中国科学院沈阳自动化研究所已生产出基于磁导航的多代机器人 产品。其他导航方式的机器人也在研究之中，如清华大学已研制的三代t h m r 移动机器人、上海大学的“导购机器人”、哈尔滨工业大学研制的“导游机器人” 和正在开发的各种服务机器人【l 】。 诸多研究表明，视觉导航方式具有信号探测范围宽、获取信息完整等优点， 将成为未来机器人导航的一个主要发展方向。 4 1 4 自走车视觉导航技术 在视觉导航方式中，目前国内外应用最多的还是采用在机器人上安装车载摄 像机的基于局部视觉的导航方式，如d l b o l e y 等研制的移动机器人利用车载 摄像机和较少的传感器通过识别路标进行导航，比直接采用卡尔曼滤波器获得了 更好的实时性，并有效抑制了噪声；a o h y a 等利用车载摄像机和超声波传感器 研究了基于视觉导航系统中的避碰问题；c f e 衄u l l e r 等的研究表明，利用车载 摄像机将机器人的三维运动描述和景物的形状描述用于解决机器人的导航问题 具有较高的可靠性；p i c o r k e 等对由车载摄像机构成的移动机器人视觉闭环系 统的研究表明，这种控制方法对提高路径跟踪精度有较好效果【1 叭。 1 4 1 计算机视觉技术 计算机视觉技术的发展是视觉导航技术研究的基础，它是研究用计算机和成 像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像或图像序列中 获取外部世界的信息，利用二维图像恢复三维环境中物体的几何信息，并利用这 些信息识别和理解外部世界。 计算机视觉技术的发展不仅依靠成像设备( 摄像机) 和数据处理设备( 计算 机、嵌入式系统等) 的发展，更重要的是依靠视觉计算理论的发展。经典的m a r r 计算视觉理论认为视觉是一个复杂的信息处理过程，有不同的信息表达方式和不 同的层次处理过程，最终目的是实现计算机对外部世界的描述，并由此提出计算 机理论层次、表示与算法层次、硬件实现层次的三层次研究方法】。在m a r r 理 论框架下，研究者们进行了大量的研究，也取得了丰富的成果，但是在m a f r 理 论框架下，计算机只是被动地分析所获取的静态图像，并不对摄像机做任何控制， 这使得识别、导航等许多视觉任务难以完成【1 2 1 。因此，便产生了主动视觉、目的 视觉、定性视觉等理论，通过对摄像机的状态参数加以控制，动态地获取图像信 息，使原本非线性的问题变成线性问题，从而提高计算速度和准确性，便于实时 地获取外界信息并及时做出反应。 计算机视觉技术，尤其是视觉理论的研究一直是一个热门领域，研究者们力 图使理论更加完善，技术更加成熟，从而将计算机视觉技术更好地运用到实际生 产生活中。 1 4 2 视党导航技术 视觉导航技术是计算机视觉技术在智能机器人方面的成功应用，也是自走车 自主导航的重要研究方向。类似于人类的眼睛，视觉技术相当于给自走车装上了 “眼睛”，实现测距、避障、目标物跟踪、轨迹跟踪、局部定位、路标识别等功 能。与计算机视觉技术的其他应用相比，视觉导航要求有更高的实时性，也就是 要求有更高效率的数据处理算法，而这方面的研究至今还是很少有符合实际应用 的成果。 目前视觉导航较多采用单目方式和双目方式。单目方式就是指用一个摄像机 作为视觉传感器，其优点在于单摄像机所涉及的数据量相对较小，算法相对简单， 较容易实现，而且能保证实时性，但是单目视觉仅能采集环境的二维信息，在实 际应用中需假设外界环境是相对简单的，比如道路平坦、道路边界连续等，或者 需其它传感器辅助采集相关信息，来实现对环境的感知。双目视觉模拟人眼几何 原理，采用两个摄像机采集信息实现立体视觉，能够感知三维世界的完整信息， 适用于距离测量、障碍物检测等【1 3 】，但是所需运算的数据量比较大，算法也要比 单目方式复杂很多，因此实现起来并不容易。 1 5 本文研究的主要内容和工作 本文研究的自主导航自走车是一套自行设计开发的系统。在室外道路环境 中，采用计算机视觉方式识别道路的车道线，以及道路环境中的其他信息，使自 走车能沿着车道线自主行驶。 本文在研究过程中需要做以下工作： 1 、自走车系统设计，视觉系统设计，搭建硬件平台。 2 、图像采集，利用自行丌发的自走车系统采集道路图像。 3 、图像处理算法研究，选择合适的算法对道路图像做处理。 4 、道路识别，研究合适的方法识别道路，分析实验结果。 5 、实现自走车的自主导航。 论文研究的创新点主要是设计了一种二维一次的中值滤波方法对图像做预 处理；采用了过已知点哈夫变换的方法检测直线车道线；研究了采取分段识别的 方法来检测弯道车道线。 6 本文的结构安排如下： 第一章为绪论，介绍研究的背景，主要概述自走车的发展和应用，重点介 绍计算机视觉技术。明确本文的研究内容和论文结构。 第二章介绍本文研究的自走车系统，包括硬件设施、视觉系统和基本参数。 第三章研究道路图像预处理算法，提出合适的算法对道路图像进行预处理， 主要讨论图像滤波算法。 第四章研究道路检测算法。讨论几种图像的边缘检测算子，通过实验分析比 较各种算子的效果，选择适合本文研究的边缘检测算子；研究了直线车道线和弯 道车道线的检测方法，提出新的车道线检测方法。 第五章研究自走车对道路信息的识别，并自主导航的方法。 第六章为总结与展望，总结全文，概括所做的工作和研究成果。展望未来工 作，提出研究方向和前景。 第2 章自走车系统结构 一套完善的自主导航自走车系统主要包括底层的移动控制系统、感知系统和 数据处理与决策系统。移动控制系统是自走车移动的基础，决定自走车的运动空 间，有步行、轮式、履带式和混合式等几种移动方式。数据处理与决策系统是自 走车的“大脑”，识别环境信息并做出决策指令，一般可以有计算机、嵌入式系 统、微处理器等设备来承担。感知系统是自走车获取环境信息的渠道，一般采用 c c d 摄像机、激光测距仪、超声波传感器、接触和接近传感器、红外线传感器 和雷达定位传感器等传感设备的其中一种或多种。自走车要实现自主导航就要对 外界环境进行感知，包括识别路径和障碍信息。各种传感器是自走车感知环境信 息的主要途径，其中视觉系统能够像人类眼睛一样提供大量的信息，是其他传感 器不能实现的。因此，本文所研究的自走车系统也采用视觉方式。 本章主要介绍本文研究的自走车平台的功能、系统结构、工作参数等，并介 绍自走车的视觉系统和图像处理系统。 2 1 自走车基本功能及系统结构 本论文研究的自走车是后轮驱动、前轮转向的四轮车，如图2 1 所示，其功 能模块结构如图2 2 所示。 图2 1 本文使川的自走车 园 图2 2 自走乍功能模块 1 、感知系统：本文研究的自走车以视觉方式作为感知系统，采用c c d 摄像 头作为主要传感器，采集图像作为环境信息来源。此外，为了弥补单一传感器信 息采集的缺陷，自走车还安装了一个超声波传感器，以辅助视觉系统。融合两种 不同的传感器采集的信息，自走车能更好地实现定位、避障等功能。 2 、信息处理和决策系统：来自传感器系统的数据需经过处理爿能被自走车 识别，成为有用的判决信息，实验采用笔记本电脑作为信息处理平台和自走车的 决策系统，主要完成图像处理、信息融合等工作，识别环境信息并对自走车移动 控制系统发出指令。 3 、移动控制系统( 动力系统) ：对来自决策系统的指令做出移动反应，控制 自走车做出直行、转弯、停止等动作。自走车动作控制由一块a t m e g a l 6 单片 机搭建的驱动电路完成。 以下是自走车的基本性能参数： 长度：自走车车身全长1 1 0 c m ，前后轮轴距8 0 锄。 宽度：自走车车身宽度6 5 c m ，轮距5 5 c m 。 高度：自走车车身最高4 5 c m ，其中摄像机距离地面4 0 c m ，车架离地1 5 c m 。 重量：整套自走车系统重量约4 0 公斤。 速度：自走车最快速度可达到4 0 k m h 左右，但根据实验情况，一般控制在 5 k m h l o k m h 之l u j 。 供电：1 2 v 直流电瓶为c c d 摄像机、视频采集卡、自走车驱动电路供电； 4 8 v 直流电瓶为自走车的直流电机供电；笔记本电脑由白带电池供电。 9 持续工作时间：自走车一般可持续工作2 个小时。 2 2 图像采集与处理 在基于视觉的道路识别和自主导航中，正确、高效地采集和处理来自摄像头 的图像是其中最重要的工作。涉及到图像的采集方式、采集设备、图像处理系统 和相关的图像处理算法。有关图像处理算法的研究和讨论将在后续的章节中陆续 阐述，本节先简要介绍图像采集和处理的系统构成。 2 2 1 图像采集方式 图像采集有多种方式，按照摄像机个数主要分为单目、双目和多目【1 4 】。多目 视觉采用多焦距、多视角摄像机，可以得到各种不同距离、不同角度的图像信息， 实现准确定位和景物识别，但由于信息量巨大、计算非常复杂，实现难度很大。 双目视觉通过两个摄像机的图像匹配实现立体视觉，是计算机视觉领域的研究热 点，但是由于缺乏高效的算法，所涉及的运算量较大，实现起来并不容易。单目 形式采用一个摄像机，在精度要求不是很高的情况下，同样可以获得足够的信息， 而涉及的运算则比较小，实现起来相对容易。 根据本文的研究要求，采用单摄像机的图像采集方式。 2 2 2 图像采集系统 常用的图像采集装置有c m o s 摄像机和c c d 摄像机两种。其中c m o s 摄 像机成本低、体积小、功耗小、使用方便，但是图像采集质量不高，适合应用于 环境简单，且对图像质量要求不高的系统中；c c d 摄像机成本相对较高、体积 较大，需专门电源供电，而且需要与专门的图像采集卡等设备配合使用，但是 c c d 摄像机成像质量高、环境适应性强，特别适合在光照强度较大的室外环境 中使用【1 5 】。本文的研究环境都处于室外，光强影响较大，因此本文的图像采集系 统采用c c d 摄像机。 本自走车的图像采集系统由c c d 摄像机、图像采集卡和相关软件组成。图 像采集流程如图2 3 所示。 l o 图2 3 图像采集流程 c c d 摄像机安装于自走车支架的最高处，其镜头中心大约距离地面4 0 c m ， 镜头下倾约3 0 度。图2 3 中所示的电源分为两部分，其中1 2 v 的直流电瓶给c c d 摄像头和图像采集卡供电，而计算机由自带电源供电。 2 2 3 图像处理系统 图像处理系统是数据的最终汇总处，负责道路图像处理，识别道路信息。一 般可以使用台式p c 、笔记本电脑、嵌入式系统或者数字信号处理d s p 来处理图 像。根据自走车的实际情况，本文使用的是h p6 5 15 b 笔记本电脑( c p u ：a m d t u r i o n6 4t l 5 6 ，1 8 g h z ；内存：2 g bd d r 2 ) 作为图像处理系统，电脑丰富的 接口可以方便地与图像采集卡及自走车驱动控制板连接，电脑屏幕实时显示摄像 头取得的道路图像，而且可以直接在电脑上编写和运行相关程序。此外，本文使 用m i c m s o rv i s u a lc + + 6 0 作为程序编写和运行平台，编写图像处理相关程序， 对来自摄像头的图像信息做实时处理，得到道路环境信息。 自走车的软件流程如图2 4 所示，其中图像预处理、边缘检测和道路识别是 道路图像处理流程，具体的算法将在本文的后两章讨论。 图2 _ 4 白走车软件流程 2 3 本章小结 自主研发的视觉导航自走车系统是本文研究工作的软硬件平台，本章介绍了 这套自走车系统的结构、功能模块、工作方式和相关参数，又重点介绍了作为本 文研究的基础的视觉系统以及图像采集和处理系统。下文将要阐述的相关算法都 将基于这套自走车系统来设计和实现。 1 2 第3 章道路图像的预处理算法研究 本文研究的自走车是采用视觉方式检测和识别道路，然后实现自主导航。基 于视觉的道路识别是通过图像处理的方法来感知道路信息，因此研究合适的图像 处理算法是本文工作的重点之一。基本的图像处理工作可分为图像增强和边缘检 测两大部分，本章将介绍图像增强的相关算法，并会根据实验结果束选择和提出 合适的算法对道路图像进行处理。 3 1 图像增强 现实环境的道路情况相当复杂，存在着大量的干扰因素，比如路面的强光反 射、光照不均匀、阴影、杂物、行人、车辆、路面不平整、车道线残缺等【m 】。实 验过程中，我们选取了路面情况较为简单的路段，以期达到理想的实验结果。尽 管如此，依然有大量的干扰因素存在，最终输出的数字图像质量存在不同程度的 下降，因此需要对数字图像中的噪声给予去除，对图像进行修整，以改善图像质 量。另外，为了增强对图像分析和识别的能力，还需要突出有用信息，剔除图像 中其他景物内容的干扰。这些都是图像增强要完成的工作。 从图像质量评价观点来看，图像增强技术的主要目的是使处理后的图像对某 种特定的应用来说，比原始图像更适合，因此这类处理方法是为了某种应用目的 去改善图像质量、提高图像的可懂度，从而使处理后的结构更适合人的视觉特性 或机器的识别系统。 图像增强技术有两类方法：空间域法和频率域法。空问域中的方法主要是在 空间域对图像像素灰度值直接运算处理。例如：将包含某点的一个小区域各点灰 度值进行平均运算，用所得平均值来代替该点的灰度值。这就是所谓的平滑处理。 空间域法的图像增强技术可以用式( 3 1 ) 和图3 1 来描述【1 7 】。 g ( 石，y ) = 厂( x ，y ) 五( x ，y ) ( 3 - 1 ) f b ，心 图3 1 图像增强的空域模型 g b ，少) 其中( x ，y ) 、g ( x ，y ) 为增强处理前后的图像， ( x ，y ) 为空问运算函数。 图像增强的频率域法就是在图像的某种变换域内，对图像的变换值进行运 算。如先对图像进行傅罩叶变换，再对图像的频谱进行某种修正( 如滤波等) ， 最后将修f 后的变换值逆变换到空问域，从而获得增强后的图像。可以用图3 2 来描述图像频率域增强技术的原理过程【1 7 】。 以x ，y ) f ( “，y )( “，v ) 图3 2 图像增强的频域模犁 量e i 竣 其中，( “，v ) 、g ( “，v ) 分别是增强处理前后图像厂( x ，y ) 、g ( x ，y ) 的频域正 变换。h ( “，y ) 为滤波函数。 总的来说，图像增强的最大困难是，很难对增强结果加以量化描述，只能靠 经验、人的主观感受加以评价。同时，要获得一个满意的增强结果，往往靠人机 的交互作用。 3 2 空间域增强 空域增强法包括灰度变换、直方图变换、邻域平均法、中值滤波以及边缘增 强的各种离散空f b j 差分算子等f 1 8 】。 3 2 1 灰度变换 图像的灰度变换( g m y - s c a l et r a i l s f o 姗a l i o n ，g s t ) 处理是图像增强处理技 术中一种非常基础、直接的空i 、目j 域图像处理方法。灰度变换是指根据某种目标条 件按一定变换关系逐点改变原图像中每一个像素狄度值的方法，目的是为了改善 画质，使图像的显示效果更加清晰。 狄度变换主要针对独立的像素点进行处理，通过改变原始图像数据所占据的 狄度范围而使图像在视觉上得到良好的改舰，没有利用像素点之间的相互空间关 系。因此，灰度变换处理方法也叫做点运算法。从图像输入装置得到的图像数据， 以浓淡表示，各个像素与某一狄度值相对应。如式( 3 2 ) 所示，输入图像是 1 4 厂( x ，夕) ，输出图像为g ( x ，y ) ，丁( ) 函数为灰度变换函数。 g ( 石，y ) = 丁 ( x ，y ) l ( 3 2 ) 灰度变换分为线性变换和非线性变换。 先介绍灰度的线性变换。在曝光不足或过度的情况下，图像恢复会局限于 个很小的范围内，得到的图像的灰度层次将会模糊不清。可以使用一个线性的单 值函数，对图像中的每个像素做线性扩展，将有效地改善图像视觉效果，且计算 复杂度较低，容易实现。 假设原图像厂( x ，少) 的灰度范围为 口，6 ，线性变换后图像g ( 彳，y ) 的灰度范 围为l 口，6 f ，则厂( x ，夕) 和g ( z ，y ) 之间可以用式( 3 3 ) 表示。 g ( 训) = 口+ 等 m ，少) 一司 ( 3 - 3 ) 另一种情况是，某图像的像素集中于中间灰度部分，而其他部分的像素数很 少。可以压缩像素数少的部分，扩展像素数集中的部分。如果只想很仔细地解析 图像的某一部分，例如图像的高灰度部分时，只要进行增加高灰度部分的灰度级 数的变换，压缩其他部分，就能得到增强高灰度部分的图像。这种变化又称为图 像的局部增强，属于非线性灰度变换。 如图像大部分像素的灰度值集中在r 口，6 范围，少部分像素在小于口大于6 的区f b j ，则可进行如式( 3 - 4 ) 变换。 g ( z ，y ) = ，( x ，少) 一 jw-_，j卅-一 k ， b ，ji、，、 ， 邶邶 。一m 。一m 一 一 、i，、i， y y 以 墨 ， ， 能在区域内部实现去噪，又不会对图像的边缘造成模糊。因为本文在实验过程中 没有采用这种方法，所以不在这罩做具体阐述。 2 、中值滤波 中值滤波器的主要功能是让与周围像素灰度值的差比较大的像素改取与周 围像素值相近的值，从而可以消除孤立的噪声点【1 7 】。由于不是简单的取均值，所 以在一定条件下，中值滤波可以克服线性滤波器所带来的图像细节模糊，而且对 滤除脉冲干扰及图像扫描噪声最为有效。 目前，在中值滤波算法上的研究也比较多，但主要的工作步骤是基本相同的： a 将模板在图像中漫游，并将模板中心与图中的某个像素位置重合； b 读取模板下各对应像素的灰度值； c 将这些灰度值从小到大排成一列； d 找出这些值罩排在中问的1 个； e 将这个中间值赋值给对应模板中心位置的像素。 由于中值滤波是一种非线性运算，对随机输入信号的严格数学分析比较复 杂。可以认为中值滤波就是用一个有奇数点的滑动窗口，将窗口中心点的值用窗 口内各点的中值代替。假设窗口内有五点，其值为3 0 ，5 0 ，1 6 0 ，l o o ，1 2 0 ，那 么此窗口内各点的中值即为l o o 。 设有一个一维序列z ，六，z 。取窗口长度( 点数) 为_ ，l ( 朋为奇数) ，对 此一维序列进行中值滤波，就是从输入序列中相继抽出m 个数 z 一，z 中z ，z + ，z + ，其中为敞开中心点的值，y = ( 朋一1 ) 2 ，再将这m 个点值按其数值大小排序，取其序号为中心点那个数作为滤波输出。用数学公式 表示为： 咒= a 匏d z ，z i ，z ，z + l ，一，z + ， f z ，v = 竺 ( 3 1 0 ) 如有一个序列为 o ，3 ，4 ，o ，7 ) ，重新排序后为 o ，o ，3 ，4 ，7 ) ，则该序列中值滤波后的 结果为3 。如该序列用邻域滤波，窗口也取5 ，则邻域平滑滤波的结果为 ( o + 3 + 4 + o + 7 ) 5 = 2 8 。 二维中值滤波可用下式表示： = 呜d 厶 ( 3 1 1 ) 1 9 其中彳为窗口， 兀 为二维数据序列。 二维一次的中值滤波是指先对图像进行行方向的一维中值滤波，再做列方向 的一维中值滤波，其思想就是将传统中值滤波的过程分离成两个一次计算过程， 然后将两个计算结果叠加，这种方法有效地降低了计算的复杂度，适合对实时性 要求较高的系统使用。 以下图3 5 是采用不同方法对道路图像做空域平滑滤波的实验效果，其中加 入的噪声是脉冲值为0 0 5 的随机干扰脉冲。 a 原图灰度图 c 邻域平均法 b 加入噪声图像 d 二维中值滤波 e 二维一次中值滤波 图3 51 f 加权邻域平均法与两种中值滤波的实验效果 从实验结果对比看，中值滤波对噪声的过滤能力比邻域平均法好，但是中值 滤波的计算量却要大的多。而使用二维一次的中值滤波，也能得到与二维中值滤 波相近的效果，但是计算量却能小很多。 3 2 4 空域锐化 图像锐化的目的是使边缘和轮廓线模糊的图像变得清晰，并使其细节清晰。 边缘和轮廓一般都位于灰度突变的地方，因此很自然地用灰度差分提取出来。然 而，由于边缘和轮廓在一幅图像中常常具有任意方向，而差分运算足有方向性的， 因此和差分方向一致的边缘和轮廓便检测不出来，因而希望找到一些各向同性的 检测算子，它们对任意方向的边缘和轮廓都有相同的检测能力，具有这种性质的 锐化算子有梯度、拉普拉斯和其他一些相关运算。 关于各种算子的计算原理和实验效果对比将在下面的章节中具体介绍。 3 3 频率域增强 与空i 白j 域图像增强相l 司，频率域图像增强的目的i 司样是改善图像的质量，包 括消除噪声、突出边缘等。假定原图像为厂( x ，y ) ，经过傅罩叶变换后为，( “，y ) 。 频率域增强的方法是选择合适的滤波器h ( “，v ) 对图像的频谱进行滤波，消除噪 声，然后经过傅里叶逆变换得到增强的图像g ( x ，少) 。频率域滤波的理论基础是 傅罩叶变换和卷积定理。设g ( x ，y ) hg ( “，v ) ，( x ，y ) 付f ( “，v ) ，h ( “，v ) 为滤 波器，( z ，y ) 宰j i z ( x ，y ) 营( “，v ) f ( “，v ) ，则频率域滤波可以表示为： g ( f ，) = h ( “，v ) f ( 甜，v ) ( 3 - 1 2 ) 通常，频率域滤波可以分为低通滤波、高通滤波、带通滤波和同态滤波。 3 3 1 频域平滑滤波 图像中的噪声对应傅罩叶变换中的高频成分，所以如要在频域中削弱其影 响，就要设法减弱这部分频率的分量。根据式( 3 1 2 ) ，需要选择一个合适的滤 波器h ( f ，v ) 以削弱f ( “，v ) 高频分量的g ( “，v ) 。下面介绍几种常用的频域滤波 2 l 器。 1 、理想低通滤波器 一个理想的二维低通滤波器的传递函数日( “，v ) 表示为： 啦，= 溜臻瓮 协，3 ， 其中，d 0 是规定的非负量，称为理想低通滤波器的截止频率。d ( “，v ) 是从 频率域的原点到( “，y ) 点的距离，即d ( “，v ) = “2 + v 2 。 由于理想低通滤波器的陡峭的截止频率，使得高频分量为零，因此滤除了高 频分量中的大量的边缘信息，使图像的边缘变得模糊，而且在图像上产生振铃效 应。 2 、巴特沃思( b u t t e 刑o m l ) 滤波器 一个甩阶的巴特沃思低通滤波器的传递函数( 甜，y ) 表示为： 叭卜可新 。1 4 其中d o 为截止频率。巴特沃思滤波器在通过频率和滤除频率之间没有明显 的不连续性，曲线比较平滑，所以没有振铃效应，对图像边缘的影响要比理想低 通滤波器小。 3 、指数低通滤波器 指数低通滤波器的传输特性是连续衰减的，在消除噪声的同时，图像边缘的 模糊程度减小，但总体效果比巴特沃思滤波器稍差。其系统函数表示为： d ( ) t h ( “， ，) = p l 百j ( 3 1 5 ) 3 3 2 频域锐化 因为图像中的边缘及急剧变化部分与高频分量有关，所以当利用高通滤波器 衰减图像信号中的低频分量时就会相对强调其高频分量，从而加强了图像的边缘 和急剧变化的部分，达到图像锐化的目的。频域锐化常采用的滤波器有理想高通 滤波器、巴特沃思高通滤波器、指数高通滤波器等，其工作原理类似于低通滤波 器，本文不做详细阐述。 3 4 本章小结 在本章中通过理论分析和实验结果对比，讨论了几种常用的计算复杂度较小 图像增强算法对道路图像的处理效果。通过实验结果的比较，发现对于自走车采 集到的图像，采用直方图均衡化变换的方式处理图像效果较好，经过变换之后突 出了原图像的细节，使之具有很好的边缘检测效果；在图像加入大量噪声的情况 下，采用中值滤波的效果要明显好于邻域平均法，而二维一次的中值滤波效果接 近于采用二维中值滤波的效果，因此采用二维一次的中值滤波方法既能得到良好 的效果，计算量上又能比二维中值滤波小很多。 第4 章道路图像的检测与提取 道路检测是自走车视觉导航研究中的核心问题之一，包括道路检测算法和道 路追踪算法，道路检测包括：道路定位、自走车相对于道路的位置，判断自走车 驶出道路区域的可能性，按照系统的功能将道路信息上传移动控制系统以采取正 确的控制方案，保证自走车在道路区域内移动；道路追踪算法也是完成道路的检 测，但它不再对整幅道路图像进行全面的处理，只是利用前一次道路检测得到的 车道信息，实现对道路的快速检测定位，这样可以进一步提高系统的实时性。 道路检测必须同时具备实时性、精确性和鲁棒性三个技术特点，这也是视觉 导航系统必须解决的三个重点课题。可靠的道路识别的前提是视觉传感器能够准 确捕捉环境信息并加以分析，但是迄今为止，没有任何传感器能保证在任何时候 可以提供完全可靠的信息，而且算法上的难题也不能保证道路识别的实时性和鲁 棒性。现实的环境则更为复杂，即使是具有规则车道线、视野丌阔的环境相对较 好的道路，现有的道路识别算法也不能达到完全可靠。视觉导航系统容易受光照 变化等因素的影响，普通的算法则容易出现对道路的误判，但是采用较为复杂和 精确的算法却又不能达到实时性的要求，而且对软硬件条件要求很高。 本章研究道路图像的检测技术。首先讨论道路检测方法，提出以检测车道线 作为本文的道路检测方法；然后研究了道路图像的边缘检测技术，通过实验效果 比较分析几种边缘检测算子，选取适合本文研究的边缘检测算子；最后分别提出 了直线车道线和弯道车道线检测的方法。 4 1 道路约束条件假设 由于现实生活中的道路千差万别，道路检测是个非常复杂的模式识别问题， 因此，目前仍不存在通用的视觉道路检测系统。在满足一般应用情况下，适当地 简化道路场景，有助于解决实际问题。下面就一些道路约束假设条件进行讨论。 1 、道路形状假设 简化道路模型的一种有效方法就是使用道路形状假设。现有的道路形状假设 一般是使用回旋曲线模型，多项式曲线模型或更一般化的道路模型。一些研究者 使用道路形状假设避免了道路复杂的几何重构问题，简化了车体控制，对阴影和 2 4 遮挡的鲁棒性很好。但是需要拟合复杂的方程，计算量很大，不利于实时控制， 而且当道路不符合模型假设时会检测失效，所以道路形状假设选择对检测结果有