（机械电子工程专业论文）基于dsp道路识别技术研究.pdf

武汉理工大学硕士学位论文 中文摘要 基于视觉的道路识别技术是智能汽车实现自动防撞功能的基础，也是国内 外自动控制研究领域的热点。本文针对以t i 公司t m s 3 2 0 d m 6 4 3 7 处理器为核 心构建的汽车视觉系统为硬件平台，通过理论分析、仿真和实验，对道路识别 算法进行了可靠性和实时性研究。 本文首先对国内外的智能汽车发展现状简单介绍，同时重点对国内研究机 构道路识别技术成果进行了分析，根据研究中存在的难题提出了本文研究的具 体方案以及目的和意义。 本文以结构化道路车道线的提取为主，重点在于道路识别算法的实时性能 提高。在图像预处理阶段，首先根据道路视频图像的特点，采用了灰度变换和 图像有效区域划分方法以减小图像处理的信息量；接着对中值滤波算法以及 s o b e l 边缘增强算法进行了效率改进，以提高算法的实时性，同时对图像作对比 度增强处理提高目标对象与背景的特征差异。在车道线提取研究中，针对图像 的特征，结合采用的预处理算法，为减小算法的复杂性，根据图像直方图特征 选取阈值，分割道路图像；在道路直线匹配算法中选择将h o u g h 变换与最d x - 乘方法相结合的方式，使算法同时满足可靠性和实时性要求，此外还利用道路 跟踪算法预测车道线的感兴趣区域，降低算法处理的数据量。 研究中，算法仿真实验由在v c + + 平台调用开源机器视觉库o p e nc v 对道 路模拟视频序列处理完成，以验证理论分析结果的正确性；最后根据算法的实 用平台，对通过仿真实验验证的算法采用c 语言编写算法程序，同时针对处理 器结构特点以及编译器性能对算法程序进行优化，提高算法编译执行的实时性。 关键字：道路识别，预处理，直线拟合，优化 武汉理工大学硕士学位论文 a b s t r a c t t h et e c h n o l o g yo fv i s i o n - b a s e dr o a dr e c o g n i t i o ni st h eb a s i co fa u t o m a t i ct o r e a l i z et h ea n t i c o l l i s i o nf u n c t i o nw h i c hi su s e do ni n t e l l i g e n tc a r ；i ti sa l s oah o t f i e l do fa u t o m a t i cc o n t r o li na n da b r o a d i nt h i sp a p e r , a c c o r d i n gt ot i sd s p p r o c e s s o rt m s 3 2 0 d m 6 4 3 7 ，w eb u i l tt h eh a r d w a r ep l a t f o r mf o ra u t o m o t i v ev i s i o n t h r o u g ht h e o r e t i c a la n a l y s i s ，s i m u l a t i o ne x p e r i m e n t sa n dp r a c t i c a la p p l i c a t i o nw e m a d er e s e a r c ho nr e l i a b i l i t ya n dr e a l t i m ea b o u tt h er o a dr e c o g n i t i o na l g o r i t h m s f i r s t l y , t h ep a p e rb r i e f l yi n t r o d u c e dt h ed e v e l o p m e n ts t a t u so fi n t e l l i g e n tc a r i n a n da b r o a d ，a n de m p h a s i z e do nt h ed o m e s t i cr e s e a r c hi n s t i t u t i o n sa n dt h e i rr e s u l t s o nt h er o a dr e c o g n i t i o n a g a i n s tt h ep r o b l e mh a d n tb ed o n e ，w er a i s e dt h ep u r p o s e a n ds i g n i f i c a n c eo ft h i sp a p e r o u rr e s e a r c hw a sf o c u s i n go nt h er o a dl a n ed e t e c t i n g , a n dt h em a i ni m p r o v e m e n t w a so nt h er e a l - t i m ec a p a c i t y w h i l ei nt h ei m a g ep r e p r o c e s s i n gs t a g e ，w i t ha n a l y s i s o nt h ec h a r a c t e r i s t i c so fr o a d ，w eu s e dt h eg r a yt r a n s f o r ma n di m a g ee f f e c t i v e r e g i o ns e g m e n t a t i o nm e t h o d st or e d u c et h ea m o u n to fv i d e oi n f o r m a t i o n t h e nw e m a d ei m p r o v e m e n to nt h em e d i a nf i l t e ra n ds o b e le d g ee n h a n c e m e n ta l g o r i t h m st o e n h a n c et h ea l g o r i t h m se f f i c i e n c y , a n dw ea l s os e l e c t e dt om a k ev i d e oc o n t r a s t e n h a n c e m e n tt oi m p r o v et h ed i f f e r e n c e sb e t w e e nc h a r a c t e r i s t i c so ft h et a r g e to b j e c t a n db a c k g r o u n d a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fr o a da n dp r e p r o c e s s i n g a l g o r i t h m sw eu s e d ，w h i l ei nt h er o a dl a n ef i t t i n gs t a g e ，w eu s e dah i s t o g r a m - b a s e d t h r e s h o l dm e t h o dt oo b t a i nt h eb e s tt h r e s h o l dt os p l i tt h ev i d e o ，w h i c hc a nr e d u c e c o m p l e x i t yo f t h ea l g o r i t h m s t h e nw ec o m b i n e dh o u g ht r a n s f o r ma n dl e a s ts q u a r e s m e t h o dt o g e t h e rt of i tr o a dl a n ew h i c hc a l lm e e tt h er e q u i r e m e n to fr e l i a b i l i t ya n d r e a l t i m e ，t h es a m et i m ew eu s e dl a n et r a c k i n ga l g o r i t h mt op r e d i c tt h er e g i o no f i n t e r e s t ，i tc a nr e d u c et h ea m o u n to fd a t ap r o c e s s i n ga b o u tf i t t i n ga l g o r i t h m s d u r i n g o u rr e s e a r c h ，t h es i m u l a t i o nt oa l g o r i t h m sw a sa g a i n s tt h e r o a d s i m u l a t ev i d e os e q u e n c e s ，p e t 2 0 0 1 ，a n di tw a sd o n eo nv c + + p l a t f o r mw i t ht h e h e l po fo p e ns o u r c ec o m p u t e rv i s i o n ( o p e nc v ) l i b r a r y i tw a st ov e d f yt h e c o r r e c t n e s so fo u rt h e o r e t i c a la n a l y s i s f i n a l l y , a c c o r d i n gt ot h ep r a c t i c a lp l a t f o r m - t m s 3 2 0 d m 6 4 37h a r d w a r es y s t e m ，w ep r o g r a mt h ea l g o r i t h m sw h i c hh a db e e n 武汉理工大学硕士学位论文 v e r i f i e di n t oc l a n g u a g e ，a n da c c o r d i n gt ot h ec h a r a c t e r i s t i c so fd s pp r o c e s s o r s a r c h i t e c t u r ea n dc o m p i l e r sp e r f o r m a n c e ，w ed oo p t i m i z i n go nt h ea l g o r i t h m s p r o g r a mt oi m p r o v et h ei m p l e m e n t a t i o na n dc o m p i l i n gr e a l t i m ec a p a c i t yo ft h e a l g o r i t h m s k e y w o r d s ：r o a dr e c o g n i t i o n ，p r e p r o c e s s i n g , l i n ef i r i n g , o p t i m i z e ! i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：越 日期：迦生兰! 堡 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：珠钫 导师( 签名) l o l o 太1 t o 武汉理工大学硕士学位论文 1 1 课题研究背景 第1 章绪论 现代科技的快速发展，给交通运输也带来了不断进步，汽车已成为人类日 常交通中不可或缺的工具之一。汽车交通技术的发展带来满足人类需求的同时， 也带来了新的问题交通事故，随着汽车越来越广泛的使用，这个问题给人 类带来越来越多阴影，因此，汽车的安全性问题已经成为人们对于交通所关注 的焦点。由于中国经济快速发展，随之而来导致了汽车数量持续增长，而道路 规划、交通监控等安全措施未能很快普及，同时汽车安全系统发展不够完善， 从而导致了交通事故的急剧增加。 据公安部网站对世界交通事故中死亡人数的官方统计，中国的交通事故发 生率稳居世界第一。根据有关资料【1 】统计显示： 表l l 近年中国交通事故相关数据统计 年份 事故数量( 力起)死亡人数( 万人)经济损失( 亿元) 2 0 0 17 5 51 0 63 0 9 2 0 0 27 7 3l o 93 3 2 2 0 0 36 6 71 0 43 3 7 2 0 0 45 9 89 4 2 5 4 2 0 0 54 5 09 91 8 8 2 0 0 63 7 88 91 4 9 2 0 0 73 6 27 4 1 2 o 2 0 0 83 5 67 31 0 1 2 0 0 93 2 95 1 4 1 根据以上的统计数据可以看出，随着汽车被动安全技术的不断发展【2 1 ，由于 被动安全系统可以在交通事故发生后，尽量减少乘客和行人伤害，交通事故所 造成的直接经济损失有了较大的改善，然而交通事故的发生率仍然极高。要从 根本上防止交通事故的发生，汽车主动安全技术的发展迫在眉睫【3 1 。许多国家都 在开发基于汽车主动安全技术的智能汽车和智能公路运输系统，以增加汽车交 武汉理工大学硕士学位论文 通的安全性。 1 2 国内外发展现状 为了有效提高交通安全，很多国家都逐步开展了对汽车自动防撞系统的研 究工作，在近几十年得到了飞速的发展。目前阶段，汽车自动防撞技术已经逐 步成熟，可以应用于智能汽车并开始向实用阶段进军【4 】【5 1 。 德国慕尼黑国防大学的v a m o r s p 智能车采用了机器视觉作为识别车道线的 方法，实现自动导航，能够在普通高速公路上，以最高1 3 0 k m h 的速度与人工 驾驶的车辆在道路上共同行驶，并能够完成超车、换道等动作；意大利帕尔玛 大学的a r g o 智能车采用g o l d ( g e n e r i co b s t a c l ea n dl a n ed e t e c t i o n ) 视觉系统 实现机动车道的跟踪，定位前方车辆和行人，通过2 0 0 0 公里的行驶实验，其最 长的自主驾驶距离可以达到5 4 3 公里，并能在平原、山地和隧道等多种路况行 驶；美国卡内梅基隆大学的n a v l a b 系列智能车采用了三目视觉和测距仪，从而 提高道路感知的准确性和实时性，n a v l a b 1 智能车成功在校园道路和公园有树荫 的道路上实现无人驾驶，1 9 9 5 年n a v l a b 5 智能车首次进行横穿美国大陆的长途 驾驶试验，可以识别出道路的水平曲率和车道线，它的自主驾驶平均速度达到 8 8 5 k m h 。此外，法国公交车上应用的c i v i s 系统，可以通过车载处理器识别路 面可视条带路径标识来进行自动防撞导航；美国国防部资助的军用智能车 d e m o i i i 甚至能在无路的条件下实现自动驾驶；德国军方的p r i m u s 项目所使 用的智能车，能以1 0 k m h 的速度完成在野外环境中自动行驶；韩国近年研制出 的智能车采用机器视觉方法，也可以在日间、夜间和雨天等多种复杂天气情况 下，以l o o k m h 的高速完成自动防撞行驶功能。 相对于国外的早期研究，国内开始投入到这些技术的研究工作还相对较晚， 整体水平也比较落后，规模也较小，然而以国外部分技术为基础，以及国内近 年来对该技术的重视，短期内仍然取得了较大的进步与成功。国内很多大学和 科研机构多年以来也一直在从事这方面的研究，主要有国防科技大学、清华大 学和吉林大学等。 国防科技大学在国内较早开始从事基于视觉的智能汽车自动防撞装置研究 开发，上世纪8 0 年代末就已经开始研制出c i t a v t - i 、c i t a v t - i i 型智能车，开 始了智能汽车的原理性研究。9 0 初期以完成在非结构化道路坏境中的遥控和自 动驾驶为目的，继而成功开发出c i t a v t - i i i 型智能车。此后，与一汽集团合作 武汉理工大学硕士学位论文 开发了c i t a v t - i v ，在结构化道路环境中实现无人自动驾驶。 清华大学也在早期就开始从事具有自动防撞功能的智能汽车研究，从1 9 8 8 年开始了开发t h m r 系列移动机器人系统，2 0 0 2 年根据三星s x z 6 5 1 0 七座厢 式车改装成t h m r v ，配置了多台监控与检测计算机，采用以太网通信，能够 实现结构化环境下的车道线自动跟踪，复杂环境下的道路停障、道路避障等功 能。 吉林大学从9 0 年代开始先后开发出j u t i v - i 、j u t i v - i i 和j u t i v - i i i 三代基 于视觉的智能车。目前，该课题组研究开发的新一代智能汽车j l u i v - i v ，在前 几代技术的基础上又做了定的改进，可以实现汽车方向盘以及刹车等控制， 在准确性方面也有一定提高。 这些研究中存在的主要缺点是设备成本和体积太高，不具有实际交通运输 的实用性。在满足低成本、小体积的条件下，选择合适的嵌入式硬件装置，并 以此设计出满足系统性能要求的算法软件成为汽车自动防撞的研究趋势。本研 究课题就是在这样的背景下应运而生。 1 3 课题研究意义 汽车自动防撞系统主要由信号采集、信号分析、辅助控制三个功能模块组 成。其中，信号采集提供整个系统的处理对象，是系统的基础。获取道路相关 信息的方式主要包括视觉、激光、雷达、超声波等方法。激光和超声波的原理 都是通过发出发射脉冲和接受反射脉冲来测距的，这种方法的抗噪声干扰能力 较差，当多辆汽车同时使用这种装置工作时，就有可能在相互之间产生干扰， 而且这种方法只对于距离信号的采集具有一定的优势；雷达虽然可以检测车道 路面，但同时也存在路面发射率不一样的问题。视觉信号可以最全面地包含道 路中的所有信息，同时可以充分利用所要识别的道路以及车辆在特征和模型上 的特点，特别是对于结构化道路，场景较为简易，目标突出，使用合适的图像 处理算法可以很有效地实现目标检测，同时摄像头成本与激光、雷达等相比要 低很多。因此，利用机器视觉进行汽车自动驾驶以达到自动防撞是目自矿智能汽 车的最佳方案之一。对于信号的分析主要就是对道路区域以及障碍物的检测与 识别，其中对道路进行有效的识别是其它工作的基础和关键【6 】。 首先，对于车道的识别可以有效规划汽车行车区域，避免车道偏离现象， 当这种现象发生时可以对驾驶员报警甚至控制方向盘使汽车回到车道安全区 武汉理工大学硕士学位论文 域，从而提高行车的安全性，减轻驾驶员的压力，可以有效地减少交通事故的 发生。 其次，道路识别技术在车辆等障碍物检测中也具有很大的作用。通过道路 识别可以为前方障碍物检测确定检测的范围，以识别出的道路作为障碍物检测 的感兴趣区域，缩小搜索空间，可有效地降低算法复杂程度，提高系统的实时 性以及准确性。 再者，针对汽车夜间行驶情况，使用红外摄像头，就能实现夜间汽车自动 防撞，使该系统具有适应性和鲁棒性。 目前，道路识别技术大多数是针对环境较为简单的结构化道路( 如高速公路) 进行的。结构化道路的识别技术一般是采用检测车道线的方法。 基于视觉的道路识别技术在智能交通监控系统、汽车自动防撞系统、以及 工厂和仓库的巡逻等方面同样有着广泛的应用前景。同时，道路识别技术可以 用于机器人视觉系统，为机器人提供智能导航系统。随着社会不断发展，智能 汽车在工业、商业、科学应用等方面越来越被人们重视，因此本文研究具有重 要的理论意义和实际应用价值。 1 4 论文安排 本文主要完成的内容是针对以t m s 3 2 0 d m 6 4 3 7 为核心所构建的汽车视觉系 统，通过在p c 机上应用v c + + 软件仿真试验，研究出满足系统要求的道路识别 算法，并采用c 语言编写算法程序在d s p 汽车视觉系统上优化运行，以提高算 法的实时性，实现基于汽车视觉的道路识别功能。 第1 章是绪论。简要介绍课题的研究背景，叙述了国内外对于汽车自动防 撞系统的研究与发展现状，阐述了本文对道路识别技术研究的重要意义。 第2 章是系统总体方案。简要介绍了本文研究所使用的软硬件平台以及相 关资源，并以此为基础，根据常用的道路识别方法以及其存在的优缺点，得出 本文采用的道路识别方案。 第3 章是道路图像的预处理。介绍了在道路目标识别之前为提高图像的质 量对图像进行的预处理算法，包括灰度变换、图像有效趣区域划分、滤波、对 比度增强以及边缘增强等算法。 第4 章是道路识别与提取。介绍了对边缘图像的二值化分割处理，以及道 路的数学模型匹配，提取车道线。此外还对本文研究的算法做了仿真实验，验 4 武汉理工大学硕士学位论文 证理论研究的正确性。 第5 章是算法实现与代码优化。针对嵌入式d s p 视觉系统，采用c 语言编 写算法代码，然后根据系统的硬件结构特点，对算法作优化处理，提高实时性， 并进行算法程序的优化实验。 第6 章是总结与展望部分。对全文的工作进行总结，指出本文工作中的研 究成果以及不足之处，同时提出后续工作中需要进一步深入研究的地方。 武汉理工大学硕士学位论文 第2 章系统总体方案 2 1 基于d s p 汽车视觉系统架构 2 1 1 基于d s p 汽车视觉硬件平台 采用视觉信号作为道路识别的分析对象，主要工作是从整个图像中识别、 提取出车道线目标，因此包含视觉采集与视觉处理分析的系统是整个防撞装置 的核心，我们称包含这两种功能的系统为汽车视觉系统。视觉信号具有信息全 面的特点，因此在采集到研究所需要的目标信号，同时包含有较多的无用信息。 为了得到对实时驾驶有用的相关信息，必须对这些视频信号进行必要的处理， 以摒除无用数据，因此计算量十分巨大。 电子技术、计算机技术的快速发展，使得以处理速度快的专用信号处理器 构建体积小、成本低的嵌入式视觉平台已成为现代汽车视觉系统研究的最优选 择。而嵌入式处理器多种多样，在功能上又各有不同，因此，合理选择嵌入式 芯片成为构建汽车视觉系统首要任务。随着半导体工艺的快速发展，d s p 技术 的崛起与专用数字信号处理器的推出，给具有大量数据的数字视频图像处理方 案开创了新的局面【7 j 。 d s p 处理器芯片经过长期发展，技术同益成熟，应用也越来越广泛。美国 德州仪器t i ( t e x a si n s t r u m e n t ) 公司为d s p 处理器的快速发展作出了很大的贡献， 带动了这个行业的不断进步，目前已成为世界上最大的产品供应商。该公司的 t m s 3 2 0 c 6 0 0 0 系列以及d a v i n c i 系列产品是专为视频图像处理而推出，该系列 芯片都具有专用的音、视频接口以及多种其它外设接口，功能强大，是目前使 用嵌入式技术进行视频图像处理的较好选择。 本系统采用的d a v i n c i 系列数字多媒体处理器t m s 3 2 0 d m 6 4 3 7 是该公司 2 0 0 6 年推出的。该处理器采用具有超长指令字v l i w ( v e r y l o n g - i n s t r u c t i o n w o r d ) 结构的c 6 4 + 内核，内核工作频率可达到6 0 0 m h z ，处理能力达4 8 0 0 m p i s ，同时 软件与c 6 4 x 系列d s p 完全兼容，便于不同平台之间的软件移植，同时还具有 网络、c a n 总线等多种设备通信接l z l ，非常适合于汽车自动防撞装置的汽车视 觉系统【8 】。以t m s 3 2 0 d m 6 4 3 7 为核心构建汽车视觉系统，其硬件平台总体结构 6 武汉理工大学硕士学位论文 如图2 - 1 所示。 i m s 3 2 0 d m 6 4 3 7 l 摄像头 二二爿视频解码器 视频 视频 刊视篓罢示输入输出 d d r 2s d r a m 仨存储 c a n d 糟函 n o rf l a s h 仁 接口接口 ny 稳压电源巴3 电源 j t a gd 石嘉 图2 1 汽车视觉系统总体硬件构架 2 1 2 基于d s p 汽车视党软件平台 基于汽车视觉系统的道路识别算法，最终需在d s p 硬件平台上运行，因此， 必须经过相应编译器编译成d s p 系统可识别的执行文件。t i 公司为其d s p 芯片 推出的集成开发环境c c s ，提供了编译效率达7 0 一8 0 的汇编语言级c 编译 器。在算法研究成熟后，开发过程就转移到c c s 这个集成环境下进行，包括项 目的建立、算法的源程序编辑以及程序的编译、调试以及优化等工作。 在应用程序开发过程中，还借助了c c s 开发环境的组件d s p 甩i o s 实 时操作系统，来完成各模块运作与算法运行的多任务协调。d s p b i o s 是t i 公 司所设计开发的一个尺寸可裁剪的多任务操实时作系统内核。该操作系统是 c c s 的主要部分以及特色之一，使用该操作系统可以以图像化或者文本方式使 用多种资源，包括d s p 底层的应用函数接口a p i ，同时使用d s p b i o s 可以合 理管理存储设备、中断设备、时钟设备等片内资源，还支持扩展外部i o 设备的 驱动管理【9 】，此外，还可以很容易实现多个线程的分配、调度与管理。 7 武汉理工大学硕士学位论文 。dz - - ! 坐t 坤j t 卵 -d” o 疃曼：8j ： u 。 、j 口。“= 二 再i 五广刁面r 一 i _ d m ” * e 日目a 目目日目d 图2 - 2c c s 的d s p b i o s 配置环境 2 2 道路识别技术软件仿真 2 21v c + 十仿真平台 由于d s p 汽车视觉平台的存储空间有限以及接1 2 特性，适合对实时采集的 图像进行处理。而对于道路识别算法的研究属于应用程序的开发，与系统底层 硬件的关联较小，而且需要大量的仿真、对比与改进在d s p 系统中进行仿真 实验效率较低，因此可以使用专用的道路视频在应用程序开控平台上进行算法 仿真实验，我们选择了v c + 十作为算法可靠性和实时性对比的仿真平台，对于仿 真通过的算法再移植到d s p 汽车视觉平台。 v i s u a l c + + 是微软公司玎发的一个集成丌发环境，专h j 于应用程序的丌发， 它是一个可视化应用程序开发工具，功能非常强大。在v c + + 开发环境中，微软 公司还提供了一组通用的具有可重复的基本类库 佰c ，使得用户开发应用 程序的过程更加容易。而且c + + 为应用程序丌发提供了专用的函数库、支持指 针操作等多种功能，c 十+ 具有封装的特性，将应用程序算法可以完全封装、独 武汉理工大学硕士学位论文 立开来，以模块化的方式面向用户，这对于进一步开发与修改、完善都提供了 便利。这些条件使得计算机进行视频图像处理可以有效进行分工与协作，开发 效率可以进一步提高。采用v c 十+ 开发的应用程序具有较高的效率，对于算法可 靠性仿真以及不同算法的实时性对比，v c 抖无疑很好的选择l i o l 。 z - l b h - 一mi _ 图2 - 3v c + + 仿真环境 2 2 2o p e nc v 开源机器视觉库 为了达到道路识别的实时性、适应性要求，需要对选用的算法做改进与对 比，然后编写成c ，c + + 代码，因此涉及大量的视频图像处理算法与程序，如果全 i j l f 由人工按照算法以一条条代码的形式编写程序，工作量将十分巨大，而且容 易出错。i n t e l 公司专为视频图像处理应用程序，r 发j 町提供的开源计算机视觉库 o p e n c v ( o p e ns o u r c e c o m p u t e r v i s i o nl i b r a r y ) 为这一难题提供了解决方案。 o d e l lc v 以c 语言以及c + 十类的方式，主要封装了比较常用的图像处理算 法函数以及与视频处理相关的库。在早期开发阶段，该函数库中就已经嵌入了 冈像几何处理、图像特征提取、轮廓跟踪、背景分离、视频截图等等操作的相 关处理函数。随着机器税觉受到全球众多学者与科研工作者的重视，在i n t e l 公 武汉理工大学硕士学位论文 司的资助下，o p e nc v 逐渐发展成为一个成熟的开源视觉库，为全球热爱视觉 开发的用户提供了十分有效的资源【l 。 经过1 0 年的发展，i n t e l 公司在2 0 0 9 年发布了o p e nc v 的最新版本v 2 0 ， 该库在之前的视频图像处理功能基础上，还增加了三维图像处理技术，使得计 算机获得更有意义、更真实的视觉能力，越来越具有“人眼 的功能。作为机 器视觉算法开发的具有针对性和高效率的工具之一，o p e nc v 具有以下特点： 1 ) 开源。这是o p e nc v 深受广大科研人员欢迎的主要原因之一，开放的c 源代码给开发人员提供了很大的算法开发空间，使用户可以根据需求使用以及 改善算法； 2 ) 强大的图像和矩阵运算能力。o p e nc v 提供了常用的图像处理的算法， 用户可以根据需要选择以及修改，此外还具有矩阵运算的函数库，这对于除视 频以外的大量数据矩阵的运算都可以调用此库，为大量数据的矩阵运算提供了 方便； 3 ) 用户接口方便、灵活。o p e nc v 提供给用户的a p i 函数都以最形象、最 常用的方式提供，而且不仅支持w i n d o w s 操作系统，在其它如d o s 以及嵌入式 l i n u x 系统平台下都能实现。 o p e nc v 的这些特性为我们进行算法仿真开发提供了有效的工具。虽然可 以将o p e nc v 相关库函数移植到d s p 平台中使用，然而o p e nc v 算法一般多为 c c + + 混合编写的程序，d s p 编译器对这种代码的编译效率极低，算法的效率受 到很大的影响，而如果对该算法再进行优化移植，工作量将非常巨大，因此在 本研究中并未在d s p 视觉系统中使用该库函数，而只在道路识别算法仿真实验 中，采用v c + + 开发环境调用o p e nc v 库的方法对算法进行统计对比与分析。 2 2 3 智能汽车视觉性能评估视频序列p e t s2 0 0 1 在道路识别算法研究过程中，由于各方面条件限制，无法在车辆上实时进 行“视频图像采集图像处理汽车自动控制”的一系列实验，因此需要 一套道路视频来模拟汽车在行驶过程中摄像头拍摄到的视频图像。我们在研究 中专门采用了一组模拟实际道路状况的视频序列一一跟踪与监控性能评估 p e t s ( p e r f o r m a n c ee v a l u a t i o no ft r a c k i n ga n ds u r v e i l l a n c e l2 0 0 1 视频，作为仿真 算法的处理对象。该视频序列是在2 0 0 1 年1 2 月第二届i e e e 计算机视觉与模式 识别( c v p r ) 国际研讨会议上，由研究人员提供的一套标准视频图像序列，主要 l o 武汉理工大学硕士学位论文 是针对高速公路的道路识别与车辆检测、跟踪问愿用于学术研究，为了广大 研究工作者在对道路识别和汽车检测与跟踪研究中能够模拟实际路况。该研讨 会后续还推出了面向其它研究对象的视频，如p e t s2 0 0 2 主要是进行当前比较 热门的人脸识别技术研究【1 日。 p e t s2 0 0 1 图像序列中的图片都是真实场景，是在高速公路行驶的汽车上所 拍，整个视频由2 7 8 6 帧图片组成，每帧图像为7 6 8 5 7 6 像素，包括前视和后视 两部分，每部分的帧率为美国n t s c 电视标准的2 5 h z 。在拍摄图片时摄像头已 经经过严格标定，所拍摄的视频场景包括了换道、超车、阴影干扰等高速公路 上常见的多种场景，可以全面地模拟实时驾驶情景，非常适合用于图像处理算 法的仿真实验。因此，本文的道路议别算法仿真图像都足从该视频序列中截取 的图片。如图2 - 4 为视频序列中受到天桥阴影干扰情景的图片。 2 3 研究方案确定 图2 - 4 p e t2 0 0 1 中第2 3 7 9 帧图像 2 31 道路识别常用方案 理论上，道路识别技术需要| 司时具备实时性、鲁棒性和实用性三方面的性 能要求，才能在汽车自动防掩系统中得以实用： 实时性：道路识别的处理时间应该尽量缩短，保证处理完结果有足够的时 川传递控制信息并使控制设备动作，以使高速行驶的汽车能够始终行驶在安全 距离以内。 武汉理工大学硕士学位论文 鲁棒性：不同环境、不同气候条件、不同光线情况下，算法都能满足系统 的适应性要求。 实用性：道路识别装置在成本、体积、功耗等方面达到用户的要求，为用 户所接受。 汽车行驶实际道路中，出现的情况千差万别，道路识别面对的对象也不断 变化，导致处理算法十分复杂，所以目前仍未开发出适用于一切场合的道路识 别技术，一般都是针对不同的场合开发相应适用的算法。现阶段的道路识别方 法一般分为两大类：图像特征法和模型匹配澍b 】。 图像特征识别方法，顾名思义是利用图像中所要提取对象的特征进行识别。 对于道路这个特殊场景，车道线目标具有白色、直线或曲线的特征，可以根据 这些特征，来将目标从背景中划分出来，达到目标提取的效果，计算比较简单。 然而容易受到环境影响，当影响到特征与背景之间的特征差异时，背景与目标 的分割阈值难以确定，目标提取容易产生误差。对于结构化道路，具有车道线 比较清晰，与路面背景差异较大，合理利用这些特征，通过一定的图像滤波、 图像增强等技术减小噪声、阴影等因素造成的影响，然后采用这种方法识别目 标可以达到较好的效果。 模型匹配方法主要是根据道路结构等先验知识，首先对道路进行二维或三 维曲线的数学建模，同时与视觉模型以及图像特征结合起来，估计出道路模型 的各项参数，然后根据此模型对实际道路情况做误差分析，得到相应的修正参 数再对该道路模型修改，如此反复，可以将模型与实际道路之间的偏差最小化， 精确度较高，常用到的二维道路数学模型，主要有直线、抛物线和样条曲线等。 这种算法的不足之处在于对道路图像特征的正确判断过于依赖道路模型等深层 次知识，而且在对于复杂结构模型的道路处理过程中需要不断循环调整模型参 数，计算量过去庞大，不利于提高系统的实时性。 2 3 2 本文研究方案 考虑到结构化道路上车速较高、驾驶员行驶时间一般较久，容易因疲劳驾驶 而发生车道偏离或者碰撞事故，本文的研究主要是针对结构化车道线识别。通 过对车道线的有效识别，可以为智能汽车提供汽车行驶区域信息，保证汽车一 直处于车道线之间的安全区域内，防止车道偏离现象，从而有效避免碰撞事故 的发生。 1 2 武汉理工大学硕士学位论文 结构化道路的车道线具有高亮度、白色的特征，以及直线或曲线的模型，因 此本文采用图像特征提取与道路模型匹配的综合方法：首先根据道路图像的车 道线目标特征，处理图像，将目标信息从背景中分割出来，然后采用数学模型 来匹配目标信息，这种方法可以提高识别方案的有效性和准确性。 根据这种思路，在研究中首先根据道路的特征，提取车道线这个识别目标。 为了提高特征提取的准确性与实时性以及算法的适应性，对常规条件下的道路 图像需要进行一定的预处理，降低处理的数据量以及提高图像质量。然后根据 目标与背景的差异分割图像，提取出目标特征。最后采用模型匹配方法匹配目 标，获取目标的特征与道路模型参数。 在本文进行道路识别研究前，已经有很多机构都在开展此项技术的研究，包 括上海交通大学、吉林大学、重庆大学等，对道路识别的研究都做出极大的贡 献，然而也都存在一定的难题，主要是由于道路的复杂性、视觉信号的局限性 以及硬件平台的处理实时性。如文献【l4 】提及的上海交大研究的道路识别方案精 确性高、抗干扰能力强，但是其重点在于算法的研究，复杂算法的实时性依赖 于硬件平台的高性能，因此在整个系统的成本上较高；吉林大学2 0 0 4 年就在从 事此项研究【i5 1 ，为了提高识别的准确性，在图像预处理阶段采用大量复杂算法， 使最终方案可以有效克服光线的影响，适应性较好，然而实时性仍然是一个极 大的问题；重庆大学的道路识别技术【l6 】在算法的研究上立足于d s p 硬件平台， 然而算法只适用于理想状况，鲁棒性较差；武汉理工大学嵌入式技术研究室也 在进行此项技术研究f 1 7 l ，并在实时性和适应性上都有很大的提高，然而研究过 程中主要是针对道路边界的识别，在识别过程中经常混合车道线和边界线，而 且是基于p c 的算法研究，在移植过程中存在一定的难点。此外，还有东南大学、 南京理工大学等，应用对象主要是移动机器人，也是以准确性为主。 对于汽车自动防撞系统，算法的实时性决定了是否能够在有限时间内对危险 情况作出合理判断和决策。这种性能的判定是结构化道路中安全行车的最重要 条件，也是本文研究的重点。本文立足于低成本的d s p 硬件平台，在满足可靠 性的前提下，设计方案，选用合理算法并进行相应改进，最大程度上降低算法 的复杂程度，提高执行效率。此外还对算法进行优化工作，提高程序的实时性。 本文将算法的研究开发过程主要分为“仿真移植阮化 这几个阶段， 基本设计路线如图2 5 。 武汉理工大学硕士学位论文 2 4 本章小结 本章主要介绍了本研究中所用到的各种软硬件资源。最后对我国已经开展 此项技术的研究工作做了简要概括，分析各自优点和不足，提出以实际应用平 台为基础，提高算法实时性的基本方案，并对总体软件方案进行了具体描述。 1 4 线路厂m 赫 一 一法 一 一悼 赢 道 一 撕 武汉理工大学硕士学位论文 第3 章道路图像预处理 3 1 道路图像预处理概述 由于道路环境复杂多变，场景各异，而各种图像处理算法一般是针对某种 特定情况下的处理效果较好，而并不适用于所有情况，具有一定的针对性和局 限性，因此对于一般的图像处理算法，无法得到一种算法可以对各类图像的处 理都能得到最佳效果。在研究过程中，要找到适合本汽车视觉系统的图像处理 算法，需要全面考虑处理的图像环境和算法运行的硬件环境，然后通过大量的 仿真实验进行对比选择，对选用的算法加以改进，从而得到满足汽车视觉系统 鲁棒性的最优算法。 实际汽车在行驶中，由于设备误差及环境变化会造成一定的图像质量下降， 这对于实际特征的提取必然会产生影响。而且任何装置采集到的信息都具有一 定的误差【1 8 l ，主要包括以下几个方面： 1 ) 图像采集设备误差。图像是通过安装在汽车上的c c d 或者c m o s 摄像 头采集的实时道路场景。根据摄像头采集图像的相关原理，在图像的采集与传 输过程中，由于感光器件、扫描设备等在工作时具有器件工艺误差，因此实际 采集的图像与真实场景之间也会相应存在一定差异。同时在经过解码器件转换 成数字信号时，解码器的a d 转换器等也同样具有误差，这些误差不断叠加，导 致采集到的图像失真。 2 ) 汽车行驶影响。汽车在行驶过程中，会由于道路不平坦以及汽车速度不 断变化等原因造成摄像头的抖动情况，从而导致采集到的视频变得模糊不清， 无法反应出实际道路中的场景特征。 3 ) 环境因素的影响。道路识别过程中，光照变化、阴影等的影响，对于图 像中特征与背景的界限也会跟着变化，使得阈值变得模糊，难以确定，同时还 会带来大量的噪声干扰，对道路图像分割造成极大的困扰。 为了提高道路图像的质量，必须消除或者削弱图像中的噪声与干扰，提高 目标图像与无用背景之间的差异，使道路中的目标特征信息更加明显，降低道 路识别的难度，以便于后面进行阈值分割处理，需要对图像进行适当的预处理 工作。同时，图像中包含了大量无用信息，大部分是与目标无关的背景区域， 武汉理工大学硕士学位论文 可以通过预处理，消除包含大部分无用信息，减小算法处理范围，提高算法的 实时性能。 图像预处理是特征提取分割的基础，主要目标是为了提高图像的质量，以 便更有效、更准确提取目标特征。常使用的图像预处理包括图像灰度处理、滤 波处理、增强处理以及边缘处理等。 3 2 道路图像预处理算法分析 3 2 1 图像灰度处理 道路边界以及车道线与路面背景接触边界其亮度变化相对于色彩变化更为 明显，而且对于车道线还具有高亮度的明显特征，因此，在识别处理时可以只 从亮度信号的特征进行考虑，而无需花费过多c p u 处理时间在其它色度信号。 因此在道路目标特征提取之前将彩色图像转化为灰度图像，可以有效地减少图 像处理的信息量与数据量，提高道路识别技术的实时性【1 9 1 。为了对图像灰度化 处理，首要的工作是弄清楚图像中的每个像素的亮度信号是如何构成的。 本系统使用型号为s j a 6 0 8 b 的c c d 摄像头，采集到的图像是丫u v 格式的 彩色视频图像，经过解码器解码后以y c b c r4 ：2 ：2 采样格式传输到d s p 处理器。 而在仿真过程使用的p e t s2 0 0 1 图像序列中的图片格式为r g b8 ：8 ：8 色彩模式。 y c b c r 是一般在电视视频图像中常采用的一种颜色编码格式，其中y 代表 亮度信号，c b 、c r 都代表色差信号构成一个像素点的彩色特征。r g b 是大部分 图像设备所支持的格式，普遍用于数码相机与电脑显示等领域，通过对红、绿、 蓝1 三个颜色通道的变化以及混合来得到各式各样的颜色。针对不同的格式进行 处理，算法也会有所不同。 在d s p 应用平台的算法实现过程中，研究中