（计算机应用技术专业论文）运动车辆建模与跟踪技术研究.pdf

运动车辆建模与跟踪技术研究 两要 视觉导航是智能车辆导航的一项关键技术，本文针对智能车辆视觉导航系统的研 究，提出了基于运动车辆建模与跟踪技术研究这一课题。 论文首先介绍了课题的研究背景、研究意义、当今国内外的发展现状、发展趋势。 在此基础上分析了汽车辅助驾驶及自主导航视觉系统的结构。通过与使用立体视觉技术 重建三维景物的方法作对比，阐述了采用单目视觉技术的优点和实际意义。本文利用视 觉传感器采集道路图像，以一个安装在车辆正前方的c c d 摄像机作为图像采集设备。 根据动态图像序列中摄像机和场景之间是否运动将目标的运动划分为四种模式，通 过对运动车辆的特征及道路或背景变化的分析，采用了统一的曲率构造公式。 在分析 路线设计特征的基础上建立了道路水平曲率动态模型和垂直曲率动态模型。通过分析车 辆在水平方向的行驶特征建立了车辆水平运动模型。在此基础上通过分析车辆及摄像机 相对道路的几何模型，利用摄像机的三维几何变换和透视投影变换，建立了世界坐标系 到图像坐标系的映射关系即量测模型，为利用号尔曼滤波器进行目标跟踪做好了准备。 同时给出了车速估计的一种模型。由于车辆在行驶过程中会发生碰撞，为了避免与其它 车辆发生碰撞，讨论了车辆在运动中出现的几种状况，并进行了分析，给出了车辆间安 全行驶的最小安全距离。 考虑到运动模型的实时性，本文采用直线道路模型等道路约束条件，利用h o u g h 变 换进行直线特征提取，通过直线参数可以求出车辆相对车道线的位盖偏移和角度偏移， 最后介绍了如何利用卡尔曼滤波器进行跟踪。利用采集的实际道路图像对本文提出的算 法进行m a t l a b 仿真实验，仿真结果表明道路检测和跟踪算法是可行的和有效的。 关键字：智能车辆，单目视觉，运动模型，h o u g h 变换，卡尔曼滤波 t h ev e h i c l em o d e l i n ga n dt h er e s e a r c ho f t r a c k i n gt e c h n o l o g y a b s t r a c t v i s i o nn a v i g a t i o ni st h ek e yt e c h n i q u eo fi n t e l l i g e n tv e h i c l eg u i d a n c e ，t h i sp a p e rr e c o r d o ft h er e s e a r c hi n t e l l i g e n tv e h i c l e sv i s i o nn a v i g a t i o ns y s t e m ，t h ev e h i c l em o d e l i n ga n dt h e r e s e a r c ho f t r a c k i n gt e c h n o l o g yi sp u tf o r w a r d i nt h ep a p e r ，r e s e a r c hb a c k g r o u n d ，m e a n i n g ，c u r r e n ts t a t u so fi n t e r n a la n dw o r l d ，t r e n d a n di sf i r s t l yi n t r o d u c e d c o m p a r e dw i t hr e a p p e a r i n gt h r e e - d i m e n s i o n a ls c e n eb ys t e r e ov i s i o n ， i td e m o n s t r a t e st h em e r i ta n dp r a c t i c a ls i g n i f i c a n c eo ft h em o n o c u l a rv i s i o nm e t h o d t h i s p a p e rw i l lu s et h ev i s i o ns e n s o rt og e tp a t hi m a g eb yt h er i g h to fac c d c a m e r ai nt h ef r o n to f t h ev e h i c l e a c c o r d i n gt ot h ed y n a m i ci m a g es e q u e n c e st a r g e tm o t i o ni sd i v i d e di n t of o u rm o d e lo f b e t w e e nc a m e r aa n ds c e n ew h e t h e rm o v e m e n t b ya n a l y z i n gt h ef e a t u r e s ，r o a d sa n dc h a n g e s i nb a c k g r o u n do ft h ev e h i c l em o d e l i n g u n i f i e dc u r v a t u r ef o r m u l ao ft h es t r u c t u r ei su s e d b a s e do nh a v i n ga n a l y s e st h ec h a r a c t e ro ft h er o a d ，i tb u i l d st h ec u r v a t u r eo ft h er o a dl e v e lo f t h ed y n a m i cm o d e la n dd y n a m i cm o d e lo fv e r t i c a lc u r v a t u r e ，a l s ot h r o u g ht h ea n a l y s i so ft h e h o r i z o n t a ld i r e c t i o no fv e h i c l e st r a v e l i n gc h a r a c t e r i s t i c so ft h ev e h i c l es e tu pt h el e v e lo f s p o r t sm o d e l ，a n dt h r o u g ht h ea n a l y s i so fv e h i c l e sa n dc a m e r a sr e l a t i v et h eg e o m e t r ym o d e l o ft h er o a d ，t h eu s eo ft h r e e d i m e n s i o n a lc a m e r ag e o m e t r yt r a n s f o r m a t i o na n dp e r s p e c t i v e p r o j e c t i o nt r a n s f o r m a t i o n , s e tu pt h ew o r l dc o o r d i n a t es y s t e mt oi m a g ec o o r d i n a t eo ft h e m a p p i n gr e l a t i o n sa n dg i v e nam o d e lo fs p e e de s t i m a t e d i s c u s s e dt h ee m e r g e n c eo ft h e m o v e m e n to fv e h i c l e si ns e v e r a lc o n d i t i o n s ，a n a l y s i si ta n dg i v e st h em i n i m u ms a f ed i s t a n c e a m o n gt h e mi no r d e rt oa v o i dc o l l i s i o n sw i t ho t h e r sd u r i n gt h em o v i n gv e h i c l e s t a k i n gi n t oa c c o u n tt h er e a l t i m ev e h i c l em o d e l i n g i nt h i sp a p e r ，t h ep a t hm o d e lo f l i n e a rc o n s t r a i n t ss u c ha sr o a d ，h o u g ht r a n s f o r mi su s e d o fd i s t i l l i n gt h el i n e ，b yt h e p a r a m e t e ro fr o a dl i n e ，t h ed e v i a t i o no fs i t ea n da n g l ea r ek n o w nb e t w e e nt h er o a dl i n ea n d v e h i c l e a f t e rt h a t ，t h i sp a p e rd e s c r i b e st h ep r i n c i p l eo fk a l m a nf i l t e ra n dh o wt ou s ek a l m a n f i l t e rt ot r a c kt h er o a d w a y t h ea l g o r i t h mp r o p o s e db yt h ep a p e ra r eu s e dt op r o c e s sa c t u a ll a n ei m a g e ，s i m u l a t e d r e s u l t ss h o wt h a tt h ea l g o r i t h mi sr i g h ta n de f f e c t i v e k e y w o r d s ：i n t e l l i g e n tv e h i c l e ，m o n o c u l a rv i s i o n ，m o t i o nm o d e l ，h o u g ht r a n s f o r m ，k a l m a n f i l t e r i n g 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 乏：i 垒姓 日期：竺2 ：圣= 三 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包 括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复 制赠送和交换学位论文；学校可以公布学位论文的全部或部分内容 ( 保密学位论文在解密后遵守此规定) 。 签名： 盘f 叁垃 f il ! i i ： 全乞：尘! 丝 导师签名：j 垦薹鏖 日期： 中北大学学位论文 1 1 课题的研究背景 第一章绪论 社会经济的发展促使道路交通迅速发展，机动车辆数量不断增加。为了解决地面交 通迅速发展所引起的各种问题，智能交通系统( i n t e lli g e n tt r a n s p o r t a t i o ns y s t e m 简称i t s ) 被提到了重要位置。智能交通系统是为了从根本上解决日益膨胀的地面交通 的诸多困难而出现的一个新的技术领域，它是以信息技术为代表的高新技术在道路交通 运输中的集成应用，是先进的信息技术、数据传输技术、控制技术及计算机处理技术等 相结合应用的综合管理系统。是实现人、车、路与环境和谐统一的一个系统。受到世界 各国高度重视，发展极为迅速。 随着i t s 体系的建立、发展和完善，各发达国家都加强了智能车辆技术的应用研究。 经过3 0 年的发展，美国、欧洲、日本成为世界i t s 研究的三大基地【2 1 。目前，另外一些 国家和地区的i t s 研究也有相当大的规模，如澳大利亚、韩国、新加坡、香港等。可 以说，全球正在形成一个新的i t s 产业，难易计数的大小项目正在开展，发展规模和速 度惊人，以“保障安全、提高效益、改善环境、节约能源”为目标的i t s 概念正逐步 在全球形成。 智能交通系统的功能可以概括为安全、顺畅、环保三大部分。主要表现在提高交通 安全水平，减少交通事故；减少交通堵塞，充分均衡利用城市路网的通行能力，确保城 市交通畅通；提高运输效率，降低交通环境污染，起到环保作用。智能交通系统一般是 由先进的交通管理系统、公共交通运营系统、先进的车辆控制系统、应急管理系统以及 先进的交通信息服务系统等组成【3 1 。在其体系中，作为运输主体的车辆是一个非常重要 的组成部分。作为运输主体的汽车，是i t s 的主要调节目标，i t s 最终实现的各项功能， 都必须在汽车上由相应的技术设备的支持。因而现代汽车必须采用一些先进技术如车辆 自动避撞及自动驾驶技术、车载实时动态智能导航技术、车载通讯技术以及车载信息装 置等，来适应i t s 发展的需要。在以上的背景下，主要进行运动车辆建模与跟踪技术研 究。 中北大学学位论文 1 2 课题的研究意义 自动驾驶水平的高低常被用来作为衡量一个国家工业控制技术水平先进与否的重 要标准之一。而事实上，与欧美发达资本主义国家相比，我国在这方面的研究还处于初 级阶段，关键技术环节还相当薄弱。 随着城市化的进展及汽车的普及，交通拥挤加剧，交通事故频频发生，交通问题己 经成为我国继人口问题之后又一令人困扰的严重问题。一方面，客观上的汽车数量的大 幅增加导致交通问题越来越严峻；另一方面，驾驶员的驾驶水平、误操作等主观因素也 是导致交通事故的主要原因之一。因此，在有限的公路交通资源下，如何大力“提升” 驾驶员的驾驶水平成为了解决交通问题的关键。近年来，计算机、电子、图像处理、卫 星等技术飞速发展，日新月异。在这种背景下，将各种先进技术运用到汽车中，依靠机 器辅助来“提高 驾驶员的驾驶技术、减少在驾驶过程中的误操作成为了降低事故发生 概率、缓解交通压力的一种行之有效的解决办法。基于安全意识的自动驾驶技术的需求 对车辆的状态识别技术和运动控制技术的研究提出了新的、更高的要求。 因此，在现阶段积极开展基于高性能和主动安全性自动驾驶的车辆运动状态识别技 术和运动控制技术研究是具有极其重要的现实意义和战略价值的。 本文通过对室外高速公路或城市中等级较高的公路上行驶车辆上的c c d 摄像机所 采集的长序列立体图像的处理与分析，建立车辆行驶过程中的道路动态模型及车辆运动 模型，利用摄像机透视投影原理，建立了三维景物由世界坐标系到图像坐标系的变换， 即量测模型。并结合道路几何模型，研究了如何利用卡尔曼滤波器进行跟踪，通过卡尔 曼滤波器进行三维运动参数的估计。 1 3 研究现状 1 3 1 结构化道路识别建立基本假设 道路检测与跟踪是智能车辆视觉系统的重要组成部分之一，也是障碍物检测与跟踪 的基础。道路可分为结构化道路和非结构化道路，常采用不同的方法进行处理。在实际 中，结构化道路有清晰的车道线和道路边界，如高速公路、城市中的重要道路等。此时， 2 中北大学学位论文 道路识别可以简化为车道线或道路边界检测问题。但由于现实生活中道路千差万别，道 路检测是个非常复杂的模式识别问题，因此仍不存在一个通用的道路检测系统。不过， 国内外现有的系统都适当地引入了一些假设作为先验知识对道路模型进行约束【4 l ，这些 假设的引入有助于问题的简化。在满足一般应用情况下，适当地简化道路场景，有助于 解决实际问题。下面就一些道路约束假设条件进行讨论。 1 道路曲率形状假设：简化道路模型的一种有效方法就是使用道路形状假设。基本 可分为回旋曲线、抛物线、直线和其它特殊的形状。一些研究者使用道路形状假设避免 了道路复杂的几何重构问题，简化了车体控制，对阴影和遮挡的鲁棒性很好，如德国u b m 研制的v a m p 系统和戴姆勒克莱斯勒公司的u t a ( u r b a nt r a f f i ca s s i s t a n t ) 系统利用回 旋曲线作为道路模型【5 1 。由于高速公路的曲率变化缓慢，而回旋曲线有很好的光滑特性， 可以解决道路直线部分与道路转弯的接口问题，回旋曲线可用式1 1 表示： c ( l ) = c o + c 1 l ( 1 1 ) 式中c ( l ) 表示长度为时的道路曲率，c 。表示初始点曲率，c 1 表示曲率变化率，曲 率的定义为道路转弯半径的倒数。由于回旋曲线上任一点曲率与到起始点的距离成比 例，因此使用两个参数就可以确定道路的形状，在为定值的情况下，只需要确定c n 、 c 便可确定当前道路线。中国吉林大学的j u t i v 的视觉系统采用直线模型，如表达式1 2 所示：y = 麟+ b( 1 2 ) 式1 2 d 0x 、y 分别表示道路的纵向坐标和横向坐标，k 表示道路的斜率，b 表示直 线的截距，在近视野中，车辆行驶的速度不是很高，道路为直线形状是可以满足车辆导 航的需要。 2 道路宽度和道路平坦假设：假定道路宽度固定或者变化比较缓慢，在道路识别中 可认为道路的两个边缘是平行的。视觉检测系统获得图像的特征( 道路边缘线、障碍物) 后，为了精确地控制车辆，需要将坐标从图像平面坐标系转换到车辆行驶的世界坐标系， 假设车辆前方的道路是平坦的，就可以利用已知的摄像机标定信息进行逆透视变换，一 般这两个假设条件是同时出现的。采用道路宽度假设，使系统对阴影和车辆遮挡的影响 比较有鲁棒性，这种假设不适用于宽度变化比较频繁的道路。道路平坦假设( 也即路面 3 中北大学学位论文 先验知识假设) 简化了图像坐标到车辆行驶的世界坐标的转换，但在实际道路设计中， 综合考虑地形及车辆的行驶特点，路线一般都是由直线、圆曲线和回旋曲线构成，即道 路平坦只能近似满足。如意大利帕尔马大学的g o l d 系统【8 】，图像中的道路有一边道路标 志不可见或者道路不平坦，会导致道路检测失效，为了近似满足实际的需要，可以借助 摄像机的动态标定。 3 道路特征一致假没【9 】：通常图像中路面区域具有一致的特征，如灰度特征、颜色 特征、纹理特征等，而非道路区域没有这样的特征，可以采用聚类的方法检测道路区域。 假设路面特征一致，增强了系统检测复杂道路的能力。然而使用了比较复杂的聚类方法， 造成计算量比较大，影响系统的实时性。 4 感兴趣区域假设【l0 】：道路跟踪实时处理的运算量非常大，但根据物理约束和连续 性约束，可以通过相邻帧间的时间相关性加以简化，只需要在感兴趣的区域进行分析和 寻找期望特征，而不需要对整幅图像进行分析。当然前提是在前一帧图像中道路区域己 经检测出来，所以这种感兴趣区域的假设仅是跟踪策略。也有对采集的原始图像进行窗 口选择，按照已经标定好的摄像机信息，把包含整个道路区域的窗口用作道路检测的初 始图像。感兴趣区域的假设可以显著加快道路检测的速度，降低对硬件的要求，满足道 路检测的实时性，如何选择感兴趣区域是比较关键的，选择不当会导致检测的失效【1 1 l 。 综上所述，采用道路约束假设可以有效提高道路模型建立的鲁棒性和实时性。虽然 上述研究大部分都针对高速公路环境，本文的研究对象为一般等级公路和常用的非标志 道路，但采用道路约束的研究对本文的模型建立仍具有启发作用。道路模型的建立是本 论文的难点，也是基于道路边界信息进行导航的智能车辆导航系统的关键技术。 1 3 2 国内外智能车辆的研究现状 智能车辆又称轮式移动机器人( w h e e lm o b il er o b o t ) 是一个集环境感知、规划决策、 自动驾驶等多种功能于一体的综合系统。智能车辆与很多学科有着密切关系，如计算机 科学、通信、人工智能、信号处理、模式识别、控制理论等。智能车辆作为智能交通系 统的关键技术之一，是许多高新技术综合集成的载体。智能车辆重点是通过提供更好的 控制和信息来提高交通安全水平及交通运输可靠性。智能车辆的研究方向主要是环境感 知、极端情况下的自主驾驶、规范环境下的自主导航及主动交通安全系统等。其中环境 4 中北大学学位论文 感知是其它各部分的基础。当驾驶汽车时，“驾驶员”获取的交通信息几乎全部是视觉 信息。将这些视觉信息转换成光电图像信息，用计算机视觉的方法对其进行处理，在快 速复杂的环境中提取有用信息，进而产生合理的行为规划与决策，获得的结果可直接用 于智能车辆的辅助驾驶和自动导航中，也可作为交通环境的监控信息而间接用于智能运 输系统中。作为环境感知的重要手段，视觉系统不需对现有的道路及基础设施进行改造， 能充分利用现有的交通资源，因此具有更大的灵活性和实用性等优点。 视觉系统在智能车辆研究中主要起到环境探测和辨识的作用，是当前智能计算机领 域中重要的前沿课题。在基于运动模型的目标识别和跟踪技术研究方面，目前国内外比 较有代表性的研究如下： r a l p h 系统r a l p h 1 2 】系统是美国c m u 的n a v l a b 5 实验车上的视觉系统。n a v l a b 自主导航车的视觉系统使用了神经网络，具有自动学习功能，只要入开车在一条路上走 一遍，自动驾驶仪就可以不用驾驶员使车辆在此道路上行使。该系统中道路检测使用道 路平坦假设和平行于道路的特征，例如车道线、道路边界、车辙等。因此r a i 。p h 系统 的最大优点是能够在车道线欠佳的情况下进行道路跟踪，因此具有很强的鲁棒性，所以 也适用于非结构化道路的检测，但是不适用于宽度频繁变换的道路。1 9 9 5 年6 月n a v l a b 5 进行了横穿美国的实验。全程平均每小时1 0 2 7 2k m 。实验中遇到了阴雨天等恶劣天气， 同时还遇到了太阳位置较低时路面上形成反射、天桥的阴影、施工区域、退化的道路边 界和车道线等情况。它的缺点是系统极为庞大，且速度较低。 中科院自动化所模式识别国家重点实验室视觉监控小组总结了英国雷丁大学 v i e w s 的车辆交通监控原型系统的研究经验，在前人理论研究的基础上，自行设计了 一个拥有完全自主版权的交通监控原型系统v s t a r hj ( v i s u a ls u r v e i l l a n c es t a r ) ，并在p c w i n d o w s2 0 0 0 平台上用v i s u a lc + + 6 0 语言初步实现了整个系统的功能，完成从运动车 辆检测到跟踪以及行为分析，从硬件组成上看，整个v s t a r 系统由计算机、数字摄像机、 音箱和交通场景模拟平台组成。当车辆在交通场景中运动时，摄像机将拍录下来的视频 序列送进计算机，定位和跟踪程序自动分析这些视频序列，识别车型并跟踪车辆在场景 中的运动；跟踪结果被送到行为分析和语义解释程序，对车辆的行为进行分析并给出语 义解释；如果需要的话，语义解释结果进一步被送进语音合成程序，得到语音提示或警 告。比如，当车辆逆向行驶或闯入草地时，系统给出准确的语音警告。目前该系统能够 5 中北大学学位论文 在一台p i i l 8 6 6 p c 机上实时地跟踪车辆，对光线变化和边界遮挡具有较强的鲁棒性。 国防科技大学从8 0 年代末期开始跟踪和研究车辆【1 4 1 1 1 5 1 的自动驾驶技术，先后研制了 视觉导航自主车c i t a v t - i 型，c i t a v t - i i 型无人驾驶车。九十年代初期的c i7 r a v t - i i i 型是 以在非结构化道路环境下遥控和自主驾驶为目的的自动驾驶汽车，c i t a v t - n 是国防科技 大学自动化研究所研制的新一代地面无人驾驶车辆，由b j 2 0 2 0 s g 吉普车改装而成。 c i t a v t - i v 型视觉导航自主车在结构化道路环境下的自主驾驶技术为主要目标，其中摄 像机作为主要环境感知器，在车顶前方分别安装了两台摄像机，其中一台摄像机的视中 心点在车前1 5 m ，主要负责车前1 0 m 。4 5 m 内的道路感知，另外一台摄像机则主要完成车 前3 0 m 外的道路感知。数据处理子系统的处理周期是由视觉系统决定的，系统的控制周 期小于l o o m s ，最高车速达到了7 5 6 k m h ，己经接近该车的速度极限。 吉林工业大学的j u t i v 系列【1 6 1 ( 吉林工业大学研制的智能汽车的模型车) 。以王 荣本教授为代表，由国家自然科学基金项目、教育部博士基金项目，教育部科学技术研 究重点项目资助。道路检测方法：用最大方差设定阂值提取道路边缘，然后利用线性模 型确定道路轨迹线。目前形t i v 一4 型高速智能车辆己完成整车安装调试，其无人驾驶视 觉导航设计速度5 0 k m h 以上，装备有世界先进水平的3 d 激光成像仪，利用多传感器信息 融合技术、人工智能、最优控制理论正深入开发非结构道路环境下的路径识别与跟踪、 安全车距保持、换道超车等机理与关键技术，总体研究开发具有世界先进水平，在国内 处于领先地位。 至今，国内外智能车辆系统中已经采用了许多道路形状的假设，研究学者们建立了 一系列的道路几何模型。例如，v a m p l l 7 1 系统和美国俄亥俄州大学的道路跟踪系统【1 8 1 都 采用了回旋曲线作为道路模型；美国密歇根大学的m o s f e t l l 9 1 系统使用了多项式曲线 表示车道线，并采用简单的h o u g h 变换进行匹配；还有一些学者则采用了样条曲线模 型和同心圆模型来描述道路形状。综合分析起来，这些方法普遍受选择模型的影 响很大，而且假设往往需要复杂的公式匹配，计算量大，精度却没有直线拟合高，更容 易受到噪声干扰。为此，一些系统设定了更一般化的道路模型，如德国u t b 研究所的 r o m a 2 2 1 系统采用基于轮廓线的方法，将明显梯度特征的像素组成道路轮廓，然后使用 道路模型跟踪道路轮廓；法国柏莱斯一帕斯卡尔大学采用矩阵矢量道路模型【2 3 1 ，用一组 点坐标表示道路标志线的所在区域，通过不断迭代达到逼近实际的道路标志线；而意大 6 中北大学学位论文 利帕尔马大学的m o b l a b 实验车则使用更一般化的三角形模型【2 4 i 。 1 4 本文的主要研究内容 全文共分为六章，具体章节内容安排如f ： 第一章是绪论部分，主要介绍了本课题的研究背景、研究意义、国内外智能车辆以 及结构化道路识别基本假设的研究现状。 第二章是理论分析部分，首先对视觉导航系统的结构进行了设计，并简要介绍了系 统结构的每一部分应达到的目标及主要模块所实现的功能。在此基础上分析了采用立体 视觉方法进行三维重建的原理，本文采用一台安装于车辆正前方的c c d 摄像机作为唯 一的传感器进行图像采集。通过获取行驶中的汽车在前方路面上的一系列图像，获取车 辆本身即周围道路环境的状态参数。 第三章是道路与运动车辆模型的建立，根据动态图像序列中摄像机和场景之间是否 运动将目标的运动划分为四种模式，通过对运动车辆的特征及道路或背景变化的分析， 采用统一的曲率构造公式。在分析路线设计特征的基础上建立了道路水平曲率动态模 型和垂直曲率动态模型。又通过分析车辆在水平方向的行驶特征建立了车辆水平运动模 型。 第四章是基于单目视觉的运动车辆量测模型的建立，在分析车辆和摄像机相对路面 的几何模型的基础上，利用摄像机三维几何变换和透视投影变换，建立了由三维场景到 其在图像上的投影的量测模型。最后给出了车速估计和最小安全距离的计算。 第五章是基于h o u g h 变换的车道线检测算法，通过对当前车道线进行识别，得到了 车辆的车体与标识线之间的相对位置偏差和角度偏差，再由道路及车辆的动态模型和量 测模型，利用卡尔曼滤波器实现对车辆的跟踪，并通过实验对算法性能进行仿真验证， 证明了本文算法的实时性和有效性。 第六章是对全文工作的总结和对今后工作的展望。 7 中北大学学位论文 第二章视觉系统的体系结构及目标跟踪理论基础 视觉是人类观察世界、认识世界的重要手段。人类从外界获得的信息约有7 5 来自 视觉系统，特别是驾驶员驾驶需要的信息9 0 来自视觉f 25 1 ，如道路标识、交通图案、 交通信号等均可以看作是环境对驾驶员的视觉通讯语言。本章针对高速公路或城市间的 等级公路，构建了基于单目视觉的导航系统的逻辑结构和系统结构。因为高速公路或城 市中的等级较高的公路均是结构化道路，路面设计遵循一定的标准，汽车行驶速度容易 控制，因而具有代表性。该视觉导航系统使用一台c c d 摄像机作为唯一的传感器，安 装在车辆正前方一定高度处。通过获取行驶中的汽车前方路面上的一系列图像，同时对 这些图像进行实时处理分析，进行复杂背景下的道路识别，获取车辆本身即周围道路环 境的状态参数。 2 1 视觉系统的结构设计 2 1 1 逻辑结构 现实世界是一个时空连续的四维世界【2 6 1 。汽车在行驶过程中，车本身和道路的连续 变化都将引起这个世界的外观变化。这些变化被安装在车辆正前方的c c d 摄像机记录 下来，再经过采样和量化，就得到了在时间和空间上离散的二维数字图像序列。同时， 利用透视投影理论，可以构造一个与现实世界相对应的内部世界，它采用实时运动模型 来描述车辆本身和道路在行驶过程中的状态。如果从系统模型计算的特征和从图像提取 的特征相匹配，则说明系统模型能准确地反映现实世界的情况，反之，则要采取适当的 算法去修正系统模型，缩小它和现实世界的差距，从而能更准确地描述现实世界。 准确描述出道路及车辆的变化，就可达到对道路环境的初步理解，为智能车辆的决 策及控制提供最基本的信息。图2 1 是智能车辆视觉系统的逻辑结构框图，显示了从现 实世界中提取道路系统参数的过程。 8 中北大学学位论文 2 1 2 系统结构 图2 1 视觉系统的逻辑框图 视觉导航的系统结构根据所处理的数据结构的抽象程度i ”1 ，可分为由低至高五个层 次，如图2 2 所示。 ( 1 ) 数据采集层 这一层负责采集由传感器( 摄像机) 获得的能够反映道路及车辆状态的数据，提供 给上层用于后续处理。这一层完成由四维环境到二二维图像序列的映射。所用传感器主要 是摄像机、雷达、声纳、激光测距仪、超声波等，也可以将这些传感器进行融合。本文 使用的是被动式视觉传感器一摄像机。摄像机有一般主动式传感器所不具有的优点。 ( 2 ) 特征提取层 智能车辆的核心在于能够检测道路和障碍物，这是实现智能控制的基础。要实现道 路识别和障碍物检测，就要利用由数据采集层采集的数据，并通过检测数据中能够反映 道路和障碍物的特征来实现道路和障碍物的检测和识别。 ( 3 ) 解释层 9 中北大学学位论文 主要包括道路边界的识别、车辆及其它障碍物的探测。在进行图像的特征提取后， 需要利用相关的道路边界及车辆和障碍物的识别算法对图像进行处理和分析。对道路边 界而言，需要有效的识别出道路边界并回归出车辆的行驶路线；对前方车辆及障碍物而 言，需要有效的识别出前方车辆和其它障碍物，以达到获取与车辆有关的一些状态参数 及反映运动的参数。 ( 4 ) 环境理解层 根据解释层所获得的参数，对智能车辆所处的交通环境做出分析，并预测交通环境 的进一步变化。例如车辆与障碍物相撞的时间，汽车的行驶方向与车道线的夹角及车辆 偏移车道的距离，车辆与其它车辆的相对速度、相对方向等。 ( 5 ) 决策及控制层 根据环境理解层的分析，依据事先规定的些控制策略，如调整汽车相对于车道线 的位置以防偏离行驶方向、调整速度、改换车道等，并将这些决策用于控制汽车的行驶， 并可给出控制车辆运行的建议。 摄像机 图2 2 视觉导航系统的系统结构 l o 中北大学学位论文 2 1 3 功能划分 根据视觉导航系统实现的功能，可以将其划分为道路检测与跟踪、障碍物检测与跟 踪及环境理解三个功能模块。本节主要研究道路及障碍物的检测与跟踪两部分。 ( 1 ) 道路检测与跟踪通过对在室外行驶的自动车上所采集的实际道路环境序列图 像的处理和分析，进行复杂背景下的道路识别。对于结构化道路则是对序列图像中的车 道线检测，即建立描述三维空间中道路和车辆本身的动态模型，采用卡尔曼滤波方法， 对三维运动参数进行递推估计，并计算出车辆本身与道路的相对位置及道路的走向等。 ( 2 ) 障碍物检测与跟踪本模块对实际道路环境序列进行处理分析，建立描述三维 空间中行驶车辆的动态模型，采用g a b o r 滤波方法【2 8 】f 2 9 】，对被跟踪车辆进行特征提取， 对三维运动参数进行递推估计，并估计出智能车辆所在车道及相邻车道上其它车辆的位 置与速度，做出对复杂交通环境的实时解释。 综上所述，利用单目视觉系统实现汽车在公路e 的自主驾驶和辅助导航的流程如图 2 3 所示。 图2 3 利用计算机视觉实现车辆导航流程图 由于实验条件限制及时间的原因，本文后续章节主要围绕对道路的图像处理和识别 算法、建立系统模型和量测模型及利用卡尔曼滤波器进行道路跟踪来展开。 2 2 基于单目视觉的图像采集 图像采集是获取数字图像的过程，是基于运动车辆建模与跟踪的前提，其设备包括 图像传感器、图像数字化设备。目前数码摄像头中广泛使用的是c c d 摄像头。应用于 中北大学学位论文 智能车辆的视觉系统根据摄像机的多少一般分为两种：采用多个摄像机的立体视觉及采 用单个摄像机的单目视觉，来实时检测行驶环境，主要包括对行驶标识线、行驶周围环 境、行车状态标志符及交通符号等环境信息的探测和采集，然后经处理和识别后将信息 传递给车辆的控制器，控制器根据得到的信息和移动的驾驶决策实现车辆的自主导航功 能。 立体视觉【3 0 】是由多幅图像( 一般两幅) 获取物体的三维几何信息的方法。对生物视觉 系统，人们早就注意到，几乎所有具有视觉的生物都有两个眼睛。用两个眼睛同时观察 物体时，会有深度或远近的感觉。在立体电影拍摄中，用两个摄像机同时拍摄，而在放 映时，将两个摄像机拍摄的图像同时投影到屏幕上，并利用偏振光的原理，使人的双眼 分别看到左右摄像机拍摄的图像，从而使人有真实三维景物的立体感。在计算机视觉中， 可以用两个或以上的摄像机采集两幅或多幅图像，由计算机重建周围三维景物的形状和 位置。该算法模仿人类利用双目视差感知距离的方法，实现对三维信息的感知。具体说 来，即基于三角测量的方法。它包括双目视觉、三目视觉和多目视觉。这几种方法在基 本原理上都是一致的。基于双目视觉的基础地位，这里我们对其进行原理性的分析【3 1 】。 双目视觉运用两个摄像机对同一景物从不同位置成像，进而从视差中获取场景中物 体的深度( 距离) 信息。图2 4 表示了一对适合于立体成像的摄像机。两个摄像机的光轴 平行。分别建立左、右摄像机坐标系与图像坐标系。在这种状态下，摄像机被称为平行 对准状态。由透视投影原理知，空间中点尸在左、右摄像机坐标系下存在如下关系： 而= f x , l z t = f x 1 z ( 2 1 ) 式中，耳和x r 分别为物体尸的像点在左右图像坐标系下的x 坐标，五和一分别为 p 点在左右摄像机坐标系下的x 坐标，z 为p 点在世界坐标系下的z 坐标。因为： 置一墨= d ( 2 2 ) 则有： z = ( 而一x ，) ( 2 3 ) 我们把场景中物体p 在左右图像上产生的一对像点称为共扼点对。由式( 2 1 ) 可知， 一旦求取了物体像点的坐标葺和z r ，就可以确定原来物体的距离。由于五和x ，可以从 1 2 中北大学学位论文 障碍物定位的结果求出，所以现在问题的关键就是准确地得到_ 和x ，的解。而由式( 2 3 ) 知，五和x r 的求解只要出现微小差异，就将带来的巨大误差。因此，使用立体视觉方法 重建三维景物的关键就是找出一幅( 左或右) 图像在另一幅( 右或左) 图像中的共扼点，这 一问题一般称为图像配准问题。 t。、 q - l l 左摄像机 l 厂。 l 、 ， 右摄像机 r 一 p x ， 图2 4 立体成像图 常用的图像配准算法有模板匹配法、特征匹配法和频率域匹配法。然而，在三维场 景投影为二维图像的过程中存在着畸变和噪声，深度和不可见部分的信息被丢失了，因 而产生了同一物体在不同视角下的图像会有极大的不同，以及后面的物体被前面的物体 遮挡而丢失特征信息等问题，这些都将增大图像配准的难度。为此，人们提出了三目配 准或多目配准的方法，即同时摄取物体的三幅或多幅图像，从而增加景物的信息量和配 准的约束条件，简化配准问题。但是，如果同时采用三个或多个摄像机，将大大增加整 个系统图像处理的时间及视觉系统的成本，而且系统的安装和图像的同步采集等技术的 难度也将同时增加，因此，在现阶段还不易达到实用化。而且从根本上讲，同一景物在 不同角度的摄像机下图像的配准问题是一个相当困难的问题。 综上所述，立体视觉虽然对于恢复深度信息即确定景物距离比较容易，但是图像配 准问题的存在却大大限制了它的应用。而通过一个摄像机采集的图像进行分析，即单目 视觉( 也可称作二维视觉) ，不包含深度信息，但是，如果以时间为第三轴线，可从序列 图像中得到准三维图像，完全可以提供车辆导航所必需的信息。与立体视觉相比，这种 视觉方式无疑具有更快的图像处理速度和更好的控制实时性，也具有很好的研究和应用 1 3 中北大学学位论文 前景。 本文采用了单目视觉技术，以一个安装在车辆正前方的c c d 摄像机作为图像采集 设备。这套装置为采集数据提供了一种“非侵犯性 方式，即不改变，也不污染环境。 摄像机焦距为1 6 m m ，水平视场角2 9 5 。，垂直视场角2 2 。，帧频2 5h z ，p a l 制式，采 集的图像分辨率为6 4 0 * 4 8 0 像素。 2 3 常见的跟踪滤波算法 2 3 1 两点外推滤波 两点外推滤波是最简单的滤波方法，其基本思想是：利用最后一个数据点确定目标 位置，利用最后两个数据点确定目标速度。由于这种方法实质上无记忆，因此，原先的 数据点不能起到预测作用，并且对机动和非机动目标均能产生同样好或者同样坏的估计 效果。两点外推滤波方程为： x ( k + l k ) = o x ( k k ) ( 2 4 ) x ( k k ) = y ( k ) ( 2 5 ) x ( k k ) = 瓤j ，( j | ) 一y ( 后一1 ) ( 2 6 ) 式中x ( k k ) g x ( k ) 的估计；而x ( k + 1 肛) 是x ( k + 1 ) 的预测估计a 2 3 2 维纳滤波 1 9 4 0 年，控制论的创始人之一美国学者n w i e n e ：根据火力控制上的需要提出一种 在频域中设计统计最优滤波器的方法，该方法被称w i e n e r ( 维纳) 滤波【32 1 。维纳滤波是 一种常增益滤波，它仅适合于平稳、定常和物理可实现线性系统的状态估计。 假定在式( 2 7 ) 和( 2 8 ) 中0 ( k + l ，k ) 、g ( 尼) 和h ( k ) 为常数矩阵，观测时刻为 t 。口一，则维纳滤波方程为： 1 4 中北大学学位论文 “ x ( k k ) = x ( k k 1 ) + k lr ( k ) - zx ( k k - 1 ) l ( 2 7 ) x ( k 1 , 一1 ) = x ( 后- 1 k - 1 ) ( 2 8 ) k = 尸日7 1 r 一1( 2 9 ) 妒+ 聊7 一跗r r h p + q = 0 ( 2 1 0 ) 其中，e = e e w ( k ) w r ( 后) ，r = e e i ，- 7 ( 后) y 7 ( 后) ，式中k 和尸为常值滤波增益矩 阵和协方差矩阵。他们均可离线计算出来。 很明显，维纳滤波的最大缺陷是不适合非平稳随机过程，即瞬态过程，这也在一定 程度上限制了它的应用。 2 3 3 卡尔曼滤波 卡尔曼滤波【3 3 1 是卡尔曼于1 9 6 0 年提出的从与被提取信号有关的观测量中通过算法 估计出所需信号的一种滤波算法。他把状态空间的概念引入到随机估计理论中，把信号 过程视为白噪声作用下的一个线性系统的输出，用状态方程来描述这种输入输出关系， 估计过程中利用系统状态方程、观测方程和白噪声激励( 系统噪声和观测噪声) 的统计 特性形成滤波算法，由于所用的信息都是时域内的量，所以不但可以对平稳的一维的随 机过程进行估计，也可以对非平稳的、多维随机过程进行估计。这就完全避免了维纳滤 波在频域内设计时遇到的限制，适用范围比较广泛。 实际上，卡尔曼滤波是一套由计算机实现的实时递推算法，以系统的为滤波器的输 入，以所要估计值( 系统的状态或参数) 作为滤波器的输出，滤波器的输入与输出之间 是由时间更新和观测更新算法联系在一起的，根据系统方程和观测方程估计出所有需要 处理的信号。所以，此处的卡尔曼滤波实质上是一种最优估计方法。 卡尔曼滤波与预测的准则是均方根误差最小。除此之外，它在机动目标跟踪中还有 许多其它的优点，主要包括以下几个方面： 1 基于目标机动和观测噪声模型的卡尔曼滤波与预测增益序列可以自动选择。这 意味着通过改变一些关键性参数，相同的滤波器可适用与不同的激动目标和观测环境。 1 5 中北大学学位论文 2 卡尔曼滤波与预测增益序列能够自动地适应检测过程的变化，包括采样周期的 变化和漏检情况。 3 卡尔曼滤波与预测通过协方差矩阵可以很方便地对估计精度进行度量；在密集 多回波环境下的多机动目标跟踪算法，通过卡尔曼滤波与预测方法的使用，可以部分地 补偿误相关的影响。 由于k a l m a n 滤波的诸多优点，使其在智能车辆系统中得到广泛的应用。具体实现 过程将在第五章介绍。为了测试卡尔曼滤波的性能，使用m a t l a b 对k a l m a n 滤波性能仿 真如下： 图2 5 卡尔曼滤波性能 上图中蓝色的线表示原始信号，绿色的线表示加了噪声的信号，红色的线表示使用 k a l m a n 对加噪声信号滤波后得到的去噪信号。从图中可以看出，k a l m a n 滤波后信号和 原信号很近似，其运算速度快，滤波性能好。 1 6 中北大学学位论文 2 4 本章小结 本章构建了基于单目视觉的