（电力电子与电力传动专业论文）智能车辆视觉导航中道路检测算法的研究.pdf

塑堂圭塑塑堑曼堕童望些丝型兰生堕里塞 a b s t r a c t v i s i o nn a v i g a t i o ni st h ek e yt e c h n i q u eo fi n t e l l i g e n tv e h i c l eg u i d a n c e ，t h i sp a p e r r e s e a r c h e st h e a l g o r i t h m o fl a n ed e t e c t i o nf o r i n t e l l i g e n t v e h i c l e s v i s i o nn a v i g a t i o n s y s t e m b a s e di m a g e p r o c e s s i nt h ep a p e r , r e s e a r c hb a c k g r o u n d ，m e a n i n ga n dc u r r e n ts t a t u so fv i s i o nn a v i g a t i o n i sf i r s t l yi n t r o d u c e d ，a n dc u r r e n t l ya l g o r i t h mo f i m a g ep r o c e s si sa n a l y z e d ；s e c o n d l y , n e w a l g o r i t h mf o rl a n ed e t e c t i o ni sp r e s e n t e d ，r e a lr o a di m a g ec a n b ed i v i d e di n t or o a dr e g i o n a n dn o n r o a d r e g i o n b a s e dl i n e r e g i o ng r o w i n g ，f o r l a n ed e t e c t i o nw i t h m u l t i p l e d r i v e w a y s ，l a n em a r k i n g sa r er e n e w e d w i t hm e t h o ds i m i l a rt or o a di m a g es e g m e n t a t i o n b a s e dl a n em a r k se d g e ，m a r k i n gl i n ec a nb ed e t e c t e db a s e dl a n em a r k i n gs h a p e ，f i n a l l yi t a p p l i e s l i n e a rd a t af i t t i n gt of i n dl a n em a r k i n g s i tc a nf i g u r eo u tt h ew a ys t r e t c h i n g c o r r e c t l ya n dg i v ew a r n i n g o f v e h i c l e d e v i a t i o nu n d e rt h ec o m p l i c a t e dl a n ec o n d i t i o n s t h ea l g o r i t h m p r o p o s e db y t h ep a p e ra r eu s e dt op r o c e s s2 0 0a c t u a ll a n ei m a g e ，t h u s o b t a i n i n gr i g h tr a t ec l o s et o8 1 - 2 s i m u l a t e dr e s u l t ss h o w t h a tt h ea l g o r i t h mi sr i g h ta n d e f f e c t i v e k e y w o r d s ：v i s i o n n a v i g a t i o n ，l a n ed e t e c t i o n ，i n t e l l i g e n tv e h i c l e ，l a n em a r k i n gr e n e w e d i i 塑蔓堕皇堕墨查兰堡主竺垡笙苎 1 1 引言 第一章绪论 1 1 1 课题研究背景 随着城市化的进展和汽车普及，交通拥挤加剧，交通问题已经成为全球范围内令 人困扰的严重问题。为了解决该问题，欧美、日等工业发达国家投入了大量的人力、 物力从事智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，简称i t s ) 的研究【1 1 2 3 j 。从整 个智能交通系统来看，将道路系统和行驶车辆综合起来考虑，是i t s 的基本思想，自 然而然，智能车辆系统i v s ( i n t e l l i g e n tv e h i c l es y s t e m ) 成为智能交通系统i t s 的一个 重要组成部分。美国的i t s 项目开发分7 类 4 , 5 1 ，其中的先进车辆控制系统 a v c s ( a d v a n c e dv e h i c l e c o n t r o ls y s t e m ) 、自动高速公路系统a h s ( a u t o m a t e d h i g h w a ys y s t e m ) 、先进的驾驶员信息系统a d i s ( a d v a n c e d d r i v e ri n f o r m a t i o ns y s t e m ) 都是紧紧围绕智能车辆进行。随着i t s 体系的建立、发展和完善，各发达国家都加强 了智能车辆技术的应用研究，经过多年的发展，目前欧美和日本等一些发达国家在智 能车辆技术方面的研究和发展处于领先地位，美国和日本的一些地区已经采用了成熟 的智能车辆技术，此技术的应用每年为这些国家节省了大量资源。 在自动高速公路系统研究初期，各国的研究侧重点并不完全相同。美国将注意力 放在道路上，曾计划采用地下埋电缆的方式，通过电磁感应进行智能车辆导航，由于 电磁感应的范围太小被放弃。9 0 年代中期，美国和日本提出在道路中间铺设磁块的 方式来进行导航，并分别于1 9 9 7 年和1 9 9 6 年在公路上做过实验，由于造价昂贵，这 种方案也被放弃。鉴于视觉传感器的诸多优点和图像处理技术的可行性，近几年来， 采用视觉导航成为智能车辆导航研究中的个重要研究方向。 在实际生活中，驾驶员通过视觉可以获得9 0 以上的环境信息，例如交通标志、 交通信号、车道线、道路形状、车辆、道路标记、障碍物等，很显然，可以考虑应用 机器视觉来理解道路环境。基于视觉导航的智能车辆研究最早可追溯到6 0 年代末【6 7 】， 由于实时图像处理的计算量非常大，而当时的计算能力十分有限，只有少数几个研究 小组开展这方面研究。随着技术的不断发展，目前的计算机硬件水平为实时图像处理 提供了可能。一方面，处理器和存储器的价格不断下降，商用计算机的体积不断变小， 而性能有了显著的提高，例如目前的商用笔记本电脑可以满足般实时图像处理的要 求：另一方面，c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像头费用低廉，体积小，此外图像处 理算法有柔韧性和适应能力强等特点。因此视觉导航在智能车辆的导航中有广阔的应 用前景。 本课题的内容是通过图像检测技术理解道路环境。一般来说，智能车辆在道路 中安全行驶，需要知道车辆与道路的关系和道路环境信息。其中车辆与道路的关系包 括车辆自身的速度、车辆行驶的方向、车辆相对道路的位蔑等，道路环境信息包括前 1 智能车辆视觉导航中道路检测算法的研究 方道路的延伸方向、道路中障碍物的位置、尺寸及障碍物的速度等信息，进而判断出 车辆驶出道路区域的可能性以及是否需要躲避障碍物。考虑到时间和课题的实际准备 情况，本文重点研究道路检测技术，可以进行车辆偏离道路的警报或者将道路信息传 送至车辆的控制中心。 相对雷达、激光、超声波、红外线等传感器进行感知道路环境，采用视觉传感器 有如下特点： 1 图像的信息含量极为丰富。如果在图像识别算法上取得突破，就可以减少整个 系统的运算时间，同时可以提高道路检测的正确率，所以利用图像处理来理解道路环 境是一个很有前途的研究方向，目前已有许多研究人员从事这个方向的研究。 2 无需破坏路面和对现有道路设施进行大的变动( 早期的自动导航方案采用在道 路中间铺设磁块的方式进行导航，造价比较昂贵) 。 3 可进行多车道检测，信息获取面积大，可同时实现道路检测和障碍物识别。 4 维护费用比较低，还可以提供实时录像，供专家事后分析。并且视频信号也可 以通过多种方式传输，如无线射频或者微波，为监控中心提供车辆当前状况。 5 缺点是易受天气情况影响及光线等因素制约，所需的图像计算量比较大。 现在国内外有许多研究单位致力于智能车辆视觉导航技术的研究 8 1 3 ，并且取得 了很大的进展。由于目前这些视觉导航系统中的道路检测技术都存在着一定的不足， 在较差的道路环境下，例如正午阳光直射、雨雪、阳光偏照引起的反光等，道路检测 效果就下降很多。为了提高道路检测算法的鲁棒性，研究人员正在研究多传感器的融 合技术( 例如通过雷达获得道路的深度信息) 。目前智能车辆的视觉导航技术研究较 多并且取得较大进展的国家和地区有：欧洲、美国、日本、韩国等，其相关技术报道 主要出现在如下国际会议和期刊中： 1 e u r o p e a n c o n f e r e n c eo n c o m p u t e rv i s i o n ( e c c v ) 2 i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n ( c v f r ) 3 i n t e r n a t i o n a lc o n f e r e n c eo n p a t t e r nr e c o g n i t i o n ( i c p r ) 4i e e ei n t e r n a t i o n a lc o n f c r e n c eo nr o b o t i c sa n da u t o m a t i o n 5 i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n 6m a c h i n ev i s i o na n di t sa p p l i c a t i o n s 7 a r t i f i c i a li n t e l l i g e n c e 1 1 2 课题研究意义 目前智能车辆的发展分为两个方向：一个方向智能车辆使用于室外环境( 例如等 级公路、野外) ，利用各种传感器检测环境信息，智能车辆在道路上高速行驶，为了 识别复杂的外界环境和控制高速运动的车辆，这种车辆就必须有很强的计算能力和强 大感知环境的传感器：另一方向智能车辆使用于室内环境，体积较小，速度相对要求 不高。智能车辆一旦有了自主导航的能力，遇到突发情况，就可以根据情况做出决策， 南京航空航天大学硕士学位论文 改变自身相对位置，跟踪检测出的道路行走。 智能车辆要实现在城市繁忙道路上完全无人驾驶，尚有很多研究工作要做，可以 通过研究智能车辆的一些关键技术，并把它们应用到实际工程中去，所以智能车辆的 道路检测技术的研究具有重要意义。 首先，基于道路检测技术的驾驶员辅助驾驶系统或预警系统，可以减轻驾驶员的 压力和疲劳程度，提高行驶的安全性，减少交通事故的发生，提高交通效率。据资料 统计【1 4 j ，美国的交通事故中，由于人为因素造成事故占7 0 以上，并且每年有多于 3 ，0 0 0 ，0 0 0 的交通事故是由于车辆偏离车道而不是与其它车辆相撞造成，这些事故 每年造成1 3 ，0 0 0 人死亡和1 6 5 的交通堵塞，据估计如果车辆装有路径偏离预警系 统，估计5 3 的此类事故可以避免。 其次，视觉导航中的道路检测技术可以用来提高智能巡航控制中跟踪引导车辆的 精度，使车辆的队列自动驾驶系统更加可靠。 再者，可以将道路检测技术和其它技术相结合，提高系统性能。如视觉传感器导 航技术和自动驾驶技术可以实现车辆的自适应巡航，辅助人们把车开得又快又稳、安 全可靠；汽车夜间行驶时，如果装上红外摄像头，就能实现夜晚的汽车安全辅助驾驶。 智能车辆视觉导航技术在智能交通、汽车安全辅助驾驶、车辆的自动或遥控驾驶、 工厂、仓库的巡逻等方面有着广泛的应用前景。另外智能车辆还可以用到其它场合， 例如星球探险、危险区域采样、军事用途等。随着社会不断发展，智能车辆在工业、 商业、科学应用方面会越来越受人们重视，因此智能车辆视觉导航技术研究具有重要 的理论意义和实际应用价值。 1 2 视觉导航系统研究现状 1 2 1 国外研究现状 智能车辆又称轮式移动机器人( w h e e lm o b i l er o b o t ) 是一个集环境感知、规划决 策、自动驾驶等多种功能于一体的综合系统。智能车辆与很多学科有着密切关系，如 计算机科学、通信、人工智能、信号处理、模式识别、控制理论等。 智能车辆在军事、民用和科学研究等领域广泛的应用前景，吸引了各国政府和大 公司的注意。从八十年代中后期开始，世界主要发达国家对智能车辆开展了一系列卓 有成效的研发工作。由于道路检测技术是智能车辆视觉导航系统中的一个重要的关键 技术，也是智能车辆视觉导航技术水平的一个重要标志，因此本文按照整个视觉导航 系统介绍当前的技术研究现状。研究现状按照地理位置划分为三部分介绍：美国、欧 洲、亚洲。 1 美国 凭借资金和技术的优势，美国在这方面作了很深的研究，研究单位包括许多大学、 研究机构及汽车厂商【胁2 ”。于1 9 9 5 年，美国政府成立了国家自动高速公路系统联盟 智能车辆视觉导航中道路检测算法的研究 n a h s c ( n a t i o n a l a u t o m a t e d h i g h w a ys y s t e mc o n s o r t i u m ) ，该机构的目标之一就是研 究发展智能车辆的可行性，并促进智能车辆技术的实用化。具有代表性的研究机构和 者研究成果系统如下： c a r n e g i e m e l l o n 大学：美国的c a r n e g i e m e l l o n 大学开发的n a v l a b x 系列旧”j 最 有特色，目前n a b l a b 1 0 已经研制成功。它对视觉导航系统研究比较深入，其中比较 先进的有s c a r f ( s u p e r v i s e dc l a s s i f i c a t i o na p p l i e dt o r o a df i n d i n g ) 视觉系统【2 ”、 u n s c a r f ( u n s u p e r v i s e d c l a s s i f i c a t i o n a p p l i e d t or o a d f i n d i n g ) 视觉系统、 r a l p h ( r a p i d l ya d a p t i n gl a t e r a lp o s i t i o nh a n d l e r ) 视觉系统 1 8 l 和a l v i n n ( a l vi n n e u r a l n e t w o r k ) 9 2 觉系统【2 4 j ，其中a l v i n n 视觉系统获得较大成功，改进的a l v i n n 在后来的u g v ( u n m a n n e d g r o u n d v e h i c l e ) 系统中得到了应用。c m u 的智能车辆系列 中n a v l a b 5 ，采用了快速自适应车体定位视觉系统r a l p h 进行道路检测，于1 9 9 5 年7 月进行了无人驾驶横穿美国的试验，从p i t t s b u r g h 出发到s a nd i e g o ，全程2 8 4 9 英里，其中约9 8 2 的路程是自主驾驶，主要设备包括一台g p s ( g l o b a lp o s i t i o n s y s t e m ) 接受器，一台摄像机安装在车辆后视镜下方用来检测前方道路，台激光雷 达来检测障碍物。该智能车辆的视觉系统中，道路检测算法中假定道路平坦，利用平 行于车道的特征进行道路检测，如车道线、道路边界、车辙等信息，算法最大优点是 能够在车道线不佳的情况下进行道路跟踪。实验中遇到的问题包括雨天、太阳位置较 低时在路面上形成反射、天桥阴影、施工区域、退化的道路边界和车道线。 u g v 系统：九十年代初，由高级研究计划局a p p a ( a d v a n c e dr e s e a r c hp r o j e c t s a g e n c y ) 发起，美国导弹军总部( u s a r m y m i s s i l e c o m m a n d ) 监督开展u g v 系统的研 究，u g v 系统主要用于战场，项目名称为代理半自主式车辆s s v ( s u r r o g a t e s e m i a u t o n o m o u sv e h i c l e ) ，有许多公司和研究机构参与此项目的研究工作，负责项目 集成的是m a r t i nm a r i e t t a 公司，先后研制了d e m oi 、d e m oi i 、d e m o i i i 1 9 , 2 5 1 系列 智能车辆。目前已经开发的d e m o i i i 智能车辆安装了各种传感器，如c c d 、激光、 雷达、超声波、红外线、微波等，这种车辆适用于白天、黑夜、各种不利的环境( 如 下雨、路面有污垢) ，在等级公路上最高速度为6 4 h 1 l l ( 很高的可靠性) ，在无明显植 被覆盖的越野环境中，白天最高速度为1 6 k m h ( 干燥、白天) ，夜间最高速度8 妇汕( 晚 间、潮湿) ，可以检测和避开任何不规则障碍物。 2 欧洲 1 9 8 6 年西欧国家开展了欧洲高效安全交通系统计划p r o m e t h e u s fp r o g r a mf o r ae u r o p e a nt r a f f i cw i t hh i g h e s te f f i c i e n c ya n du n p r e c e d e n t e d s a f e t y ) ，该项目的参加者 包括1 3 个汽车厂商、政府部门及一些欧洲国家的大学机构，具有代表性的研究机构 如下： 德国联邦国防大学( u b m ) ：德国联邦国防大学l r b mft h eu n i v e r s i t g td e r b t m d e s w e h rm a n c h e n ) 与德国奔驰汽车公司联合研制的v a m o r s 和v a m o r s p 两种试 验车【2 饥2 7 1 。该系统采用了e m s - v i s i o ns y s t e m ( n e w e x p e c t a t i o n - b a s e dm u l t i f o c a l 4 南京航空航天大学硕士学位论文 s a c c a d i cv i s i o n ) t 2 8 , 2 9 ，计算机系统由基于t r a n s p u t e r 的并行处理单元和两台p c 4 8 6 组 成，传感器系统由4 台小型彩色c c d 摄像机，构成两组被动式双目视觉系统，一组安 装在车体前部后视镜附近特制的平台上，另一组固定在车体后部挡风板的上方。视觉 系统中的道路检测模块中，道路的宏观外形采用水平和垂直的回旋曲线描述，通过卡 尔曼滤波器进行拟合。1 9 9 4 年以来，v a m p 样车进行了实地行驶试验，行程1 6 0 0 k m ， 其中9 5 的路程是自主行驶的。在试验的过程中，主要问题有：由于道路施工区域车 道线比较模糊造成道路检测失败：系统的主要不足是摄像机的工作范围有限，尤其在 太阳直射的情况下检测效果比较差；单目视觉系统中检测障碍物模块存在误报警。 意大利p a r m a 大学：意大利的帕尔玛大学( u n i v e r s i t yo f p a r m a ) 研制的a r g o 自 主车p ，是p r o m e t h e u s 工程中重要部分，比较有特色的是它只利用了摄像机作 为导航传感器，采用g o l d ( g e n e r i co b s t a c l ea n dl a n ed e t e c t i o n1 视觉系统( 3 1 ，计算 机系统为奔腾2 0 0 m m x 的p c 机，l i n u x 操作系统，采用了霍尔效应传感器、两台摄 像机等传感器。利用一台黑白摄像机进行道路检测，立体视觉来检测道路前方的障碍 物。于1 9 9 8 年7 月，自主车a r g o 在意大利的高速网上进行了2 0 0 0 公里的试验， 其中包括平原、山地和隧道等多种地形，其中大约9 4 的路程是自主驾驶，最长的自 主驾驶距离为5 4 3 公里。该实验中主要出现的问题如下：车道线残缺或不清晰时， 容易引起道路识别困难；由于太阳光在挡风玻璃上的反射，安装在挡风玻璃后的摄像 机受影响比较大，容易造成图像饱和；此外摄像机也无法适应光照的快速变化，如隧 道的入口和出口，造成图像质量下降。 3 亚洲 智能车辆领域研究水平比较先进的有韩国【3 h 3 引、日本3 9 。”、中国、新加坡等， 尤其日本，由于交通问题显得更加突出，智能交通系统更加受到政府的重视。于i 9 9 6 年，日本成立了高速公路先进巡航辅助驾驶研究协会a h s r a ( a d v a n c e dc r u i s e a s s i s t h i g h w a ys y s t e mr e s e a r c ha s s o c i a t i o n ) ，参加者包括众多的汽车商和研究机构，该协 会的主要目的是研制自动车辆导航的方法，促进日本智能车辆技术的整体进步。 1 2 2 国内研究现状 我国在该领域的研究起步比较晚，目前己取得很大进步，但与发达国家的水平还 有一定的差距。目前在国内具有代表性的研究机构和重要研究成果如下 4 卜7 0 ： 1 清华大学【4 3 5 0 】 在国防科工委和国家8 6 3 计划的资助下，由清华大学智能技术与系统国家重点实 验室“移动机器人( t h m r ) 课题组”研制的“t h m r v ”的智能车。清华智能车 t h m r v 是用三星s x z 6 5 1 0 七座厢式车改装的。配备了磁罗盘一光码盘、激光雷达、 g p s 、c c d 摄像机、声像无线电台、d g p s 互补定位系统、二维扫描激光雷达测障 系统、c c d 摄像机视觉处理系统，还安装了包括方向控制、油门控制和刹车控制的 车体控制系统。其中视觉系统配备有两台c c d 摄像机，分别安装在车体顶端和车体 智能车辆视觉导航中道路检测算法的研究 中部，顶端的摄像机主要用来进行道路模式识别以及远距离道路跟踪，中部的摄像机 主要用来进行远距离躲避障碍物以及近距离道路跟踪。 “t h m r v ”的智能车经过实验研究已经能够实现结构化环境下的车道线自动跟 踪，准结构化环境下的道路跟踪，复杂环境下的道路避障、道路停障，视觉临场感遥 控驾驶等功能。2 0 0 3 年媒体报道，在车道线自动跟踪驾驶情况下的最大行驶速度的 测试项目中，“t h m r v ”智能车在公路上车道线自动跟踪时平均速度1 0 0 k m h ，最 高速度达到1 5 0 k m h 。课题组成员倪凯告诉记者，现在他们做的只是在画有清晰白线 的结构化道路上进行车道跟踪。 2 国防科技大学 5 l 】 国防科技大学从8 0 年代末期开始跟踪和研究车辆的自动驾驶技术，先后研制了 视觉导航自主车c i t a v t - - i 型，c i t a v t - - i i 型无人驾驶车。九十年代初期的c i t a v t - - i i i 型是以在非结构化道路环境下遥控和自主驾驶为目的的自动驾驶汽车，c i t a v t 一是国防科技大学自动化研究所研制的新一代地面无人驾驶车辆，由b j 2 0 2 0 s g 吉普车改装而成。c i t a v t - - i v 型视觉导航自主车是以研究在结构化道路环境下的自 主驾驶技术为主要目标，其中摄像机作为主要环境感知器，在车顶前方分别安装了两 台摄像机，其中一台摄像机的视中心点在车前1 5 m ，主要负责车前1 0 m 4 5 m 内的道 路感知，另外一台摄像机则主要完成车前3 0 m 外的道路感知。数据处理子系统的处 理周期是由视觉系统决定的，系统的控制周期小于l o o m s 。该车于2 0 0 0 年4 月在长 沙市绕城公路上进行了自主试验，最高车速达到了7 5 6 k m h ，己经接近该车的速度 极限。 试验中存在的主要问题是视觉系统对道路出口和桥梁出口的鲁棒性不够强，在经 过两个出口时视觉系统将匝道认作道路，在跨越湘江大桥时，视觉系统无法识别道路 边缘，需要人工纠正。 3 吉林大学( 原吉林工业大学) 1 5 2 5 4 1 从1 9 9 2 年开始，吉林工业大学开始进行智能车辆方面的研究，到1 9 9 7 年，课题 的研究工作得到教育部和国家自然科学基金的立项资助，先后开发出j u t - 1 、 j u t i v - 2 ( 吉林工业大学研制的第二轮智能汽车的模型车) 、t i v 3 、，u t 4 四种 不同型号的智能车辆。j u t w - 3 为实用型视觉导航车a g v ( a u t o m a t e d g u i d e d v e h i c l e l 己投入工厂进行测试，现在正进行商品化开发。j l u i v - 4 型高速智能车辆已完成整车 安装调试，其无人驾驶视觉导航设计速度5 0 k m h 阱上，装备有世界先进水平的3 d 激光成像仪，利用多传感器信息融合技术、人工智能、最优控制理论正深入开发非结 构道路环境下的路径识别与跟踪、安全车距保持、换道超车等机理与关键技术。在早 期三代的智能车辆样车中，主要采用两维视觉导航，以地面上涂设的带状白色油漆线 为导航路径标识符，作为识别道路环境的手段，可实现路径的自动跟踪、自动转向、 自动行驶。 4 浙江大学【5 5 “】 南京航空航天大学硕士学位论文 为了减少智能车辆早期开发过程的费用，浙江大学引进了一个针对自主式智能车 辆系统的分布式测试床i v d ( i n t e l l i g e n t v e h i c l ed e t e c t i o n b e d ) 系统，通过在实际智能 体中插入一些采集点的方式，监视各个智能体的性能及相互的协调性，并将监视结果 记录下来，实时或者离线显示监视的结果。 5 a t b 智能军用车辆 从1 9 9 3 年开始，由浙江大学、国防科技大学、清华大学、北京理工大学、南京 理工大学1 6 6 1 联合研制了军用智能机器人平台，“八五”期间研制的第一辆样车 a t b 一1 ( a u t o n o m o u s t e s t b e d 一1 ) ，“九五”期间继续研制了“军用智能机器人平台2 ”。 a t b 是以研究无人地面车辆的导航技术与平台的机动性为主要研究目标，开始以战 场侦察为主要目标、面向未来战场需求的战术功能。在道路环境下自主行驶最高速度 为7 4 k m h ，正常行驶速度为3 0 6 k m h ，越野环境白天行驶最高速度2 4 k m h ，夜间行 驶速度为1 5 k m h ，同时支持临场遥感驾驶以及战场侦察等功能。 从上面的研究现状来看，现有车辆视觉导航技术目前还达不到实际应用的地步， 存在着检测实时性不高、正确率较低、应用范围有限的问题，因此有必要对现有的视 觉导航算法进行改进。 1 3 论文主要内容 论文按照智能车辆视觉导航系统中道路检测的流程入手，依据算法流程的步骤顺 序进行详细描述，在算法描述的时候利用实际拍摄的图像作为示例进行说明。并结合 当今世界上有关道路检测算法进行了有益的探讨。论文内容主要包括以下几个部分： 第一章绪论。首先阐述了本课题研究背景和研究意义，然后叙述了当今国内外 智能车辆视觉导航技术的发展现状。 第二章智能车辆视觉导航系统中道路检测的仿真平台简介。首先简要的描述了 单目视觉系统的硬件平台以及对应的成像几何模型，然后叙述了本文采用的仿真工具 和方法，最后介绍了本文算法的仿真流程。 第三章道路图像预处理算法分析。详细分析了图像平滑滤波、图像边缘增强、 二值化中一些常用算法，根据实际道路图像的实验结果，选择了相应的处理算法。 第四章道路检测。首先概述了目前道路检测算法中常采用的基本假设情况，并 给出本论文中道路检测的主要流程；然后叙述了基于线段增长法的道路分割算法，并 根据道路检测需要，对分割后的道路图像进行处理；接着分析了本文提出的根据道路 标志边缘恢复道路标志的算法，并根据恢复道路标志的特征进行道路标志定位；最后 给出了实验结果举例和分析。 第五章总结。对本人的研究成果进行了系统总结和概括，就进一步研究提出了 合理建议。 论文的结尾是参考文献和致谢部分。 智能车辆视觉导航中道路检测算法的研究 第二章单目视觉导航系统及道路检测仿真平台简介 2 1 智能车辆单目视觉导航系统 为了准确识别道路环境，视觉导航系统理应获得车辆前方道路的三维信息，包括 车辆与道路的位置关系和道路中障碍物信息。要正确的理解三维世界环境，应该采用 双目或者三目视觉系统，但是双目或者三目视觉系统需要的计算量比较大，目前的计 算机的计算能力还不足以满足车辆导航系统的实时要求，并且也会提高系统成本。对 于道路检测来说，需要获得道路方向和车辆与道路的位置关系，也没有必要一定要完 全理解整个三维世界环境。目前基于视觉导航的智能车辆多采用单目视觉系统完成道 路检测及跟踪，如r a l p h 视觉系统 1 8 】、a u r o r a 视觉系统 2 0 】、s c a r f 视觉系统 2 u 。采用双目视觉系统，一般用于道路上的障碍物检测，可以获得图像的深度信息， 如g o l d 视觉系统【j “。 采用单目视觉系统检测道路，由于从三维的世界环境转换到图像的二维信息，在 这个转换过程中，损失了三维环境中深度信息。为了从单目视觉系统中获得道路的三 维信息，对此提出了一些合理的假设，如道路平坦假设、道路边缘连续性假设、道路 模型假设等。从国内外实验情况来看 1 8 , 2 0 , 6 5 ，采用了一些合理假设后，单目视觉系统 进行道路检测是可行的。 2 1 1 单目视觉导航系统硬件平台 视觉导航系统中道路检测的硬件部分组成主要有c c d 摄像头、视频采集卡、工 业控制机、监视器等部件。视觉导航系统的一般工作原理为：安装在车辆上的c c d 摄像头实时采集前方路面的图像信息，将当前道路的反射光强信号转化为相应的模拟 电信号输送到视频采集卡：视频采集卡中的模数转换器通过对模拟信号采样和量化， 将模拟信号进一步转化为计算机可以接受和理解的数字信号，并且将数字信号传送给 工业控制计算机；工业控制计算机接收到数字图像后，运用对应的算法处理道路图像， 识别出道路中的道路信息和障碍物信息，然后将此识别信息上传给车辆的控制系统， 根据控制系统的功能不同，自主决定车辆当前的前进方向( 换道、转向) 和控制车辆 自身的运动状态( 加速或者减速) 或者给驾驶员发出提示信息。利用视频采集卡和摄 像头进行实际道路图像的采集和识别过程如图2 1 所示。 在图2 1 中，由c c d 图像传感器采集道路场景图像，视频采集卡把采集到的图 像信号进行a d d 转换，以一定格式存储到计算机内部，工业控制机采用相应的算法 完成图像信号处理，然后将处理的结果交给车辆的控制中心，控制中心根据车辆自身 的导航策略，对车辆的相应执行机构发出指令。图2 1 中的虚线框内，是车辆视觉导 航系统的硬件组成部分。 南京航空航天大学硕士学位论文 图2 1 道路图像采集及处理不意图 本文进行道路检测的仿真实验时，为了方便起见，在采集序列道路图像时，利用 了摄像机代替了图像采集卡和摄像头，完成了软件的仿真研究。使用了便携式数码摄 像机( 型号：s o n y p c i l 5 e ) 采集实时道路图像，然后将数码摄像机拍摄一定时间内的道 路图像导入计算机内部并保存为a v i 文件，最后仿真程序根据一定的算法对采集的 道路图像进行处理。 2 1 2 单目视觉导航系统成像几何模型 为了得到图像中的像素和实际道路区域点的对应关系，必须知道二维图像信息和 三维世界信息的关系模型。由于单目视觉系统损失了三维世界中的深度信息，这个过 程是不可逆的，在实际应用中，根据需要作了一些假设和已知一定的信息，从而从二 维图像中估计出三维的道路信息。具体的做法如下：假设车辆前方的道路是平坦的， 设定摄像机的安装位置固定( 安装的高度h 、俯视角0 、偏离角y ) ，摄像机的固有 参数为常数( 摄像机焦距t 、孔径张角2q ) 。由于在道路检测的过程中，只需要得到 道路延伸方向、车辆的偏移距离，并不需要将道路的三维信息完全恢复，以上的假设 是可以满足实际需要。摄像机成像几何模型中最常用的是线性模型一针孔模型 7 ”，单 目视觉导航系统中，摄像机安装在车辆的成像几何模型如图2 - 2 所示。 图2 - 2 中，有关世界和图像的两个欧式空间可定义如下，w = ( x ，y ，z ) e 3 代 表三维世界坐标系，i = ( u ，v ) e 2 代表图像二维坐标系。由于假定道路是平坦的， 道路平面坐标系可以看作世界坐标系中z = 0 的情况下的平面，道路平面坐标系为 r = ( x ，y ，0 ) ) 亡w 。摄像机在w 坐标系中的坐标为( d ，l ，h ) e w 。y 代表当前车 辆偏离道路切线方向的偏航角，0 代表摄像机俯视角( 摄像机光轴与坐标系中x 轴的 夹角) 。 设定摄像机采集的图像分辨率为m n ( 像素) ，摄像机孔径张角为2n 。按照小 孔成像原理，通过几何和三角变换，得到二维图像坐标i 与三维道路平面坐标r 对应 关系如表达式( 2 1 ) 、( 2 2 ) 、( 2 3 ) 所示洲。 智能车辆视觉导航中道路检测算法的研究 七，v ) = h c o t ( o 刊+ “为卜p 小v 惫 + ， 州= h x c o t ( o 刊+ “为卜卜小v 器卜 z ( u ，v ) = 0 ( 2 1 ) ( 2 2 ) ( 2 - 3 ) 从式( 2 1 ) 、( 2 2 ) 、( 2 3 ) 可以得到图像中的像素的坐标与真实道路路面的点坐标 之间的对应关系，已知图像中像素，可以轻易求出其在道路路面上对应的世界坐标。 视觉导航系统检测出图像中感兴趣的目标后，根据目标在图像中的坐标，按照公式 ( 2 - 1 ) 、( 2 - 2 ) 、( 2 - 3 ) 可以求出目标在道路中的世界坐标。 ( a ) 俯视成像几何模型( b ) 侧视成像几何模型 图2 2 单目视觉导航系统的成像几何模型 2 2 道路检测软件仿真平台 目前世界智能车辆视觉导航系统中，绝大部分采用c 或者c + + 语言进行软件系统 的设计，如国内的吉林大学 5 2 1 、浙江大学等采用了v i s u a lc + + 环境下的软件开发”1 。 在w i n d o w s 环境下，v i s u a lc + + 是建立3 2 位应用程序的强大、复杂工具。在程序界 面、系统接口等的支持下提供了大量的源代码，大大提高了开发速度。在实际工程应 用中，为了实现道路识别的实时性，提高工作效率，我们要考虑到开发系统时需满足 如下条件：可实现性、可靠性、界面友好。在v i s u a lc + 十环境下进行软件开发，这些 条件都可以得到满足。 2 2 1 面向对象软件仿真的特点 7 2 。4 】 微软推出的v i s u a lc + + 和微软的基本类库m f c ( m i c r o s o f ff o u n d a t i o nc l a s s ) 成功 地将面向对象和事件驱动编程概念联系起来，并得到了很好的配合，为开发人员提供 了一个很好的编程工具，应用程序的开发过程简单、方便且代码量小。 v i s u a lc + + 提供了m f c 类、模板类、a p p w i z a r d 和c l a s s w i z a r d 等一系列“向导” 1 ( 1 南京航空航天大学硕士学位论文 开发应用程序，简化了应用程序的开发步骤，借助一些控件，开发者可以很容易开发 一个应用程序：v i s u a l c + + 提供了多种界面供用户选择，如s d i ( 单文档) 、m d i ( 多 文档) 和基于对话框的应用程序；包含了丰富的类库，开发者可以根据自己的应用特 点进行选择。 另外v i s u a lc + + 平台的开发视图界面比较友好、方便，有四个最常用的视图窗口： 资源管理器( f i l e v i e w ) 、类视图( c l a s s v i e w ) 、资源视图( r e s o u r c e v i e w ) 和属性窗口， 这些视图窗口提供对v i s u a l c + + 工具的快速访问，并且编译和调试窗口性能优越，应 用程序的开发效率高。这些都给软件仿真程序的顺利实现提供了便利。 2 2 2 软件仿真方法的讨论 本文选用v i s u a lc + + 6 0 作为软件算法的仿真平台，对道路图像预处理过程和识 别算法进行了仿真。在图像编程方面，通过对位图图像格式的分析，编制了对图像内 部数据操作的类c d i b ，从而为识别算法的实现提供了良好的基础，这样既可以简化 算法也可以使得程序更加模块化。通过对仿真结果的分析和比较，调整并改进了图像 处理过程和识别算法，最终得到了比较满意的结果。 在编程之前首先要对程序有个总体规划，然后再分阶段分模块实现。v i s u a lc + + 是面向对象的编程工具，程序的许多功能是以类的形式实现的，编程的任务就是分块 实现整个识别功能，在应用程序框架下把它们联系起来形成具有图形化界面的整体。 考虑到应用程序的顺利实现，下瓜是编程之前进行的准备工作。 1 确定图像文件的操作及其采用的格式，确定要显示的图像幅数。图像有多种 存放格式，如b m p 、p c x 、g i f 、j p g 等，其各有特色。其中b m p 是用于w i n d o w s 和o s 2 的位图( b i t r n a p ) 格式，文件几乎不压缩，占用磁盘空间较大，它的颜色存储 格式有1 位、4 位、8 位及2 4 位。开发w i n d o w s 环境下的软件时，b m p 格式是兼容 性比较强的图像格式，并且d o s 与w i n d o w s 环境下的图像处理软件都支持该格式， 因此，该格式是当今应用最广泛的一种格式，在w i n d o w s 里还有处理b m p 位图的 a p i 函数，处理起来很方便。在图像显示方面，为了更加清晰的显示不同阶段的图像 处理结果采用了多窗口方法。 2 确定采用的数据类型和格式，例如采用矩阵操作还是采用数据点操作。我们 在对道路图像进行处理的时候要考虑处理的数据类型，在道路检测的不同处理阶段， 采取不同的数据操作，大体上，对图像进行比较粗略的运算时候使用矩阵操作；在对 图像进行比较精细的运算时，要考虑使用数据点操作。 3 程序所要实现的功能是编程所要考虑的首要问题，程序的功能决定采用哪种 类和用何种程序框架。在基于图像处理的道路检测系统中程序所要实现功能如下： ( 1 ) 图像文件操作，如打开、显示、保存图像文件。 ( 2 ) 图像数据处理功能，分析位图数据结构，对数据进行处理，比如图像平滑、 增强、二值化等。 智能车辆视觉导航中道路检测算法的研究 ( 3 ) 把道路检测算法和图像操作结合起来，实现道路检测算法的仿真。 ( 4 ) 显示道路图像处理过程中一些重要步骤的仿真结果及最终的道路检测结果， 分析仿真实验结果，并进一步改进处理过程和检测算法。 4 程序编写的模块化设计。道路检测算法的每个步骤基本都采用了模块化，使 得程序解读和改写都很方便。本文编写的主程序及主要函数模块说明如下所示。 ( 1 ) 道路图像的预处理程序模块 v o i ds m o o t h a v e r a g e ( ) ；运用邻域平均法平滑图像 v o i ds m o o t h m e d i u m ( ) ；运用中值滤波平滑图像 v o i ds m o o t h k e e p ( ) ； 边缘保持平滑采用9 个窗口，比较他们方差值 采用方差值最小的窗口均值作为当前点的像素值 v o i de d a g e _ l a p l a c e o ； 运用拉普拉斯算子进行边缘提取 v o i dg a u s s i a nl a p l a c e ( ) ； 运用高斯拉普拉斯算子提取图像边缘 v o i dl i n e m o d e l o ； 运用s o b e l 算子处理图像 v o i ds h a r p m o d e l ( ) ； 利用锐化模板突出图像边缘 v o i dm a x d e v i a t e o ； 在分割后的图像中，运用最大类间方差求闽值， 寻找道路图像中的白色标志点 v o i d m a x d e v i a t e 0 0 ；在全局图像中，利用最大类间方差求阈值， 分割图像 v o i d m a x e n t r o p y o ； v o i dd i