（计算机软件与理论专业论文）基于视觉的车辆后方障碍物检测算法研究与实现.pdf

at h e s i sf o rt h ed e g r e eo fm a s t e ri nc o m p u t e rs o f t w a r ea n dt h e o r y r e s e a r c h & i m p i e m e n t a t i o n o fv i e h i c l eb a c k o v e ro b s t a c l e d e t e c t i o na l g o r i t h mb a s e do nv i s i o n b yw | e iy a n h u a s u p e r v i s o r ：v i c er e a s e a r c h e r y u a nh u a i n o r t h e a s t e r nu n i v e r s i 够 j u i y 2 0 0 8 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其它人己经发表或撰写过 的研究成果，也不包括本人为获得其它学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 = 忆 思。 学位论文作者签名：钡专筝 日期：加夕7 ， 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口两年口 学位论文作者签名：专砬杀争 签字日期：p8 7 - ! 导师签名： 签字日期： ， 东北大学硕士论文摘要 基于视觉的车辆后方障碍物检测算法研究与实现 摘要 随着世界经济的稳步增长和汽车价格的不断下降，近年来私人汽车的持有量显著 上升。在享受汽车带给我们便利的同时，因交通事故而产生的问题也同益突出。其中， 司机泊车时由于车后盲区所造成的交通事故约占3 0 。因此，具有后方障碍物检测功能 的倒车辅助技术吸引了人们的广泛关注，目前已成为智能停车技术的发展趋势。 本文通过在对现有障碍物检测算法分析比较的基础上，提出了一种基于自车运动估 计的障碍物检测算法。首先，该算法以自车运动模型为基础，通过遍历运动参数的搜索 空间，找到使连续两帧图像中对应的路面区域之间自运动概率最大的运动参数，从而准 确估计出自车相对于路面的运动。其次，利用障碍物与道路平面运动的差异性，对序列 图像做基于运动补偿的差分。在差分图中，排除噪声点并提取出障碍物区域，从而实现 对车辆后方任意障碍物的检测。最后，本文从系统的整体性能角度出发，针对特殊的嵌 入式平台对障碍物检测系统进行了设计与高性能实现。 本文所提出的算法已经实现并应用于东软股份有限公司汽车电子先行技术研究中 心的识别引擎中。通过在实际场景中的测试表明，该算法在识别率和实时性方面都达到 了预期效果。 关键词：计算机视觉；自运动估计；障碍物检测 东北大学硕士学位论文a b s t r a c t r e s e a r c h l m p l e m e n t a t i o no fv e h i c l eb a c k o v e ro b s t a c l e d e t e c t i o n a l g o r i t h mb a s e do n v i s i o n a b s t r a c t w i t ht h e 伊o w t ho fw o r l de c o n o m y 锄dt h ed e c r e a s eo fa u t o m o b i l e s 州c e ，t h eq u a n t i t y o f 删v a t ev e h i c l e si n c r e a s e sq u j c k l yi nr e c e n ty e a r s w h j l ee n j o 埘n gt h ec o n v e n i 朋c e ，t h e t r a 币ca c c i d e n tp r o b l e m sb e c o m em o r ep r o m i n e l l td a y b yd a y t h ea c c i d e n t sc 踟s e db yd r i v e r a tt h ep a r k i n gt i m eh a v er e a c h e da p p r o x i m a t e l y3 0 ，b e c a u s eo ft h eb l i n ds p o tb e h i n dt h e v e h i c l e t h e r e f o r e ，t h ep a r k i n ga s s i s t a n tt e c h n o l o g yw h i c hh a sb a c k o v e ro b s t a c l ed e t e c t i o n 如n c t i o nr e c e i v e sm u c ha t t e n t i o n i th a sb e c o m et h ed e v e l o p m e n tt r e n do f i n t e l l i g e n tp a r k i n g t e c h n o l o g ya tp r e s e n t a r e r 锄a l y z i n g 锄dc o m p 撕n gl o t so fo b s t a c l ed e t e c t i o na l g o t h m s ，t h et h e s i sh 鹊 p r 0 1 ) o s e dar o b u s to b s t a c l ed e t e c t i o na l g o r i t h i nb a s e d0 ne s t i m a t i o no fe g o - m o t i o n f i r s t l mt h e a l g o r i t h mb a s e do ne g o m o t i o nm o d e l ，t h r o u g h 仃a v e r s a lp a r 锄e t e ro fm o v e m e l l ts e a r c hs p a c e ， s e a r c h i n gt h em a ) 【i m u mm o t i o np a r a m e t e rd e n o t e de g o - m o t i o np r o b a b i l i t yb e t 、) l ，e e nt h e c o r r c s p o n d i n gr o a d 跚r f a c e r e 百o n sw h i c hi n c o n t i n u a l觚oi m a g e s ， t l l u se s t i m a t e st h e e g o m o t i o no ft h ev e h i c l er e l a t e dt ot h er o a da c c u r a t e ly s e c o n d l y t l l et h e s i sg e tt h ed i 脏r e n t i a l i m a g ef 而ms e q u e n c ei m a g e sb a s e do nt 1 1 em o t i o nc o m p e n s a t i o nu s i n gt h em o v e m e n td i 脏r e n c e b e 似e o b s t a c l ea n dr o a ds u 而c er e 舀o n s ，锄di m p l 锄e n t st h eo b s t a c l ed e t e c t i o nt h r o u 曲 r e m o v i n gt h en o i s es p l o t 柚dw i t h d m w i n gt h eo b s t a c l er e 西o ni nd i f r e r e n t i a li m a g e s f i n a l l y ，t h e t h e s i sh a sc 硎e do u tt h ed e s i 朗锄dh i g h - p e r f o 啪a 1 1 c ei m p l e l n e n t a t i o ni nt h ev i e wo ft h e s p e c i a l 锄b e d d e dp l a t f o mf o 咖o v e r a l lp e r f o 肌a n c ea n g l e t l l ep r o p o s e da l g o r i t h mi nt h et l l e s i sh a sb e e i li n l p l e m e n t e di i lr e c o 印i t i o ne n g i n ew h i c h b e l o n g st on e u s o ra d v a n c e da u t o m o t i v ce l e c t r o n i cr e s e a r c hc 朋t e r t h em e t h o dh a sb e e i l t e s t e di n r e a lw o r j d 朗v i r o 舯曲t s 粕dh a sa c l l i e v c de x p e c t e dr e s u l t si nr e c o 印i t i o nr a t ea n d i i e a l t i m ef j e l d s k e yw o r d s ：c o m p u t e rv i s i o n ；e g o - m o t i o ne s t i m a t i o n ；o b s t a c l ed e t e c t i o n i i i 东北大学硕士学位论文 目录 目录 独创性声明1 摘要i l a b s t r a c t l l l 第一章绪论1 1 1 课题背景。l 1 1 1 应用需求1 1 1 2 智能停车辅助系统( p a s ) 3 1 1 3 基于视觉的车辆后方障碍物检测。4 1 2 国内外研究现状及发展动态。5 1 3 研究意义7 1 4 本文的主要工作7 1 4 1 研究内容7 1 4 2 本文的组织7 第二章相关技术简介9 2 1 对象识别技术9 2 1 1 图像处理9 2 1 2 模式识别9 2 1 3 计算机视觉在对象识别中的应用l o 2 2 运动估计ll 2 2 1 运动模式1 1 2 2 2 运动估计基本原理1 2 2 3 嵌入式技术1 2 2 3 1w i n d o w sc e 介绍l3 2 3 2a r m 微处理器介绍1 4 2 4 本章小结l8 第三章算法分析与设计1 9 3 1 应用背景分析1 9 3 2 基于单目视觉的障碍物检测方法1 9 3 2 1 基于特征的方法1 9 3 2 2 基于光流的方法2 0 3 3 基于直接方法运动估计的障碍物检测原理分析2 2 一i v 东北大学硕士学位论文目录 3 3 1 逆透视投影算法( i p m ) 一2 3 3 4 基于直接方法自运动估计的障碍物检测2 5 3 4 1 自车运动参数估计2 5 3 4 2 障碍物检测3 2 3 5 多粒度自适应障碍物检测方法3 4 3 5 1 自适应障碍物检测3 5 3 5 2 多粒度障碍物检测3 5 3 6 本章小结3 6 第四章障碍物检测算法的实现与性能优化3 7 4 1 障碍物检测算法实现3 7 4 1 1 数据接口定义3 7 4 1 2 预处理模块3 7 4 1 3 自车运动参数估计模块4 0 4 1 4 障碍物检测模块4 2 4 2 系统性能优化。4 4 4 2 1 基于平台的性能优化：4 5 4 2 2 基于算法的性能优化4 6 4 2 3 性能优化结果分析5 5 4 3 本章小结5 6 第五章算法评估5 7 5 1 测试结果分析5 7 5 2 本章小结5 9 第六章结束语6 l 6 1 本文工作总结6 l 6 2 进一步的工作6 1 6 3 展望。6 2 参考文献6 3 致谢6 7 一v 一 n h t s a 组织的调查报告显示平均每年约有2 0 0 起倒车伤亡事故，约7 0 0 0 起倒车引发的 交通事故，而我国仅浙江省2 0 0 7 一年因倒车引发的交通事故就超过2 0 0 起。表1 1 是美 国交通部对倒车伤亡事故的调查报告。 表1 1 美国倒车伤亡事故统计表1 1 】 d a t a y e a r l yn a t i o n a l y e a r sd e t a i l sr e 衙e n c e s o u r c e e s t i m a t e s u r v e y e d s o u r c e 特别令人惋惜的足，在这些倒车事故中，主要受害者郜足儿毫和老人，甚至有的就 是司机本人的父母和孩子，造成了难以弥补的经济损失和精神创伤。在美国，5 岁以下 儿童和7 0 岁以上老人是事故的主要受害者，其中5 7 7 的孩子的车祸源于自己的父母。 图1 1 是美国f a r s 组织对倒车事故受害人群的调查报告。于是，人们对汽车操纵的便 捷性提出了更高的要求，希望能够解决汽车倒车给人们带来的不便，消除驾驶中的不安 全因素。 东北大学硕士学位论文第一章绪论 脚并5 5 t 0 91 0 协1 92 0 l o 即b 明，u + 图1 1 受害人群的年龄分布川 f i g 1 1s u f l f 髂i i l j u 巧c r o w d sa g ed i s n j b u t i o n 研究具有防碰撞安全警报功能的倒车辅助驾驶技术吸引了人们的广泛注意。各国政 府、汽车制造厂商、研究结构都投入了大量的资金和人力物力于安全倒车辅助驾驶领域。 当前，主要有两类倒车辅助技术，帮助驾驶者预防倒车碰撞事故。一类基于雷达或超声 波传感器，一类基于视觉传感器。但据美国公路交通管理部的研究结果表吲l 】：( 1 ) 基于 超声波或雷达的倒车辅助系统存在检测范围小、有盲区，对行人特别是儿童等小对象的 检测性能差、对于移动中的儿童常常无法正确检测等问题，如图1 2 所示；( 2 ) 视觉传感 器由于具有检测范围广、提供信息丰富的特点，基于视觉的倒车辅助技术将成为避免此 类事故发生的更为有效的解决手段，比超声波、雷达传感器更有应用前景。不过，现有 的基于视觉的倒车辅助系统并未结合障碍物检测技术，只是将自车后方区域场景显示给 驾驶者，由驾驶者自己判断有无障碍物。目前，世界许多知名汽车厂商和汽车安全设备 提供商如丰用、本田、a i s i n 等公司都将基于视觉的倒车辅助驾驶技术列为未来的核心 竞争技术。考虑到成本、电力消耗、设备安装、相机标定等问题，将单目视觉与超声或 雷达传感器相结合的障碍物检测系统是未来的发展方向。 一2 一 d d d d 0 0 0 o 7 6 5 4 3 2 t n i卫正工芒o-宝oiu蕾 。1。一 东北大学硕士学位论文 第一章绪论 ( a ) 尼桑的超卢系统( b ) 林肯布的超卢和雷达系统 图1 2 基丁雷达传感器的障碍物检测 f i g 1 2b a s e d o nm d a rs 册s o r so b s t a c l ed e t e c t i o n 1 1 2 智能停车辅助系统( p a s ) 随着科技的同新月异，社会大众对于车辆的功能以及行车安全的期望日益增多，因 此近年来许多的先进安全系统及驾驶辅助系统相继被开发出来，其中，倒车辅助系统是 驾驶辅助系统中最先受到瞩目的技术，目前已成为高价新车的标准驾驶辅助配备之一。 倒车辅助的发展从倒车警示喇叭开始，经倒车雷达蜂呜器碰撞警示、数字波段显示 技术( 利用雷达感测液晶显示距离) 等阶段的发展，目前已成功研发了液晶显示屏幕技术 ( 即显示距离激活引擎时，显示器会显示轮廓外形并以动态方式显示车辆与障碍物的距 离) 。一 目前市场上最常见的倒车辅助技术大致可分为两种形式：一种是在车辆后方保险杆 上安装雷达感应器，当其接近或探测到有障碍物时，运用雷达发射、反射、接收等原理， 以声响或更为直接的影像画面告知驾驶者车辆后方周围障碍物情况，解决驾驶者在停车 或启动车辆时，由于前后视野存在盲区所引起的困扰，提高安全性。另一种形式则是利 用后方摄影机( r e a rv i e wc a m e r a ) 直接将后方实际场景的影像显示在仪表板中导航系统 用的小屏幕上，提供给驾驶者倒车信息，加以提高倒车时的安全性，称之为倒车影像显 示系统。该系统原理非常简单，即由摄影机将车后方影像直接传送至车上显示器，由于 是真实影像的再现，故不会产生雷达误判现象，同时若后方的摄影机采用广角镜头则可 使可视范围扩大，驾驶者的判断可以更加精确。 倒车影像显示技术吸引了包括显示器、传感器等产品竟相投入汽车市场。倒车影像 显示系统不仅解决了倒车雷达的缺点，更附加了许多如夜f b j 驾驶安全性、防水等功能， 一3 一 东北大学硕士学位论文 第一章绪论 显示屏幕甚至可结合g p s 、d v d 、数字电视等多项娱乐应用，真萨实现了消费者对安全 驾驶和娱乐驾驶的极致需求。 随着2 1 世纪科技不断发展，人们对安全驾驶的需求不断增加，声音警示及影像显 示逐渐满足不了驾驶者的需求。于是，具有后方障碍物检测功能的倒车辅助驾驶系统成 为了智能停车系统的发展趋势。 1 1 3 基于视党的车辆后方障碍物检测 障碍物检测是智能车辆研究领域中的研究热点，是环境感知研究中的重要内容。任 何一种智能移动平台，要实现其在未知环境下的自主导航，都必须以有效而可靠的环境 感知为基础。目前已有很多种技术成功的应用于障碍物检测研究领域，如超声波、激光 测距、雷达以及基于计算机视觉的检测技术。与前几种方法相比，基于视觉方法的优点 在于属于被动式测量，隐蔽性较好，同时相对于前几种方法来说，价格较低。因此，基 于视觉的方法是学者们研究的热点。 1 1 3 1 计算机视觉 计算机视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术，用图像 来创建和恢复现实世界模型，最终用于实际检测、测量和控制，是一门涉及人工智能、 神经生物学、心理物理学、计算机科学、图像处理及模式识别等多个领域的交叉学科。 ( 1 ) 计算机视觉技术的应用 随着电子技术、计算机软硬件技术、图像处理及与人类视觉相关技术的迅速发展， 机器视觉技术在理论和实践上都取得了重大的发展，在我国工业、农业、医学、机器人 导航、卫星遥感等领域都有着广泛的应用。特别地，在交通管理领域中，机器视觉技术 被用于车辆识别、调度，向交通管理与指挥系统提供相关信息等。 ( 2 ) 计算机视觉技术的研究现状及发展前景 目前，机器视觉在工业、农业、医学等领域的应用研究得到了广泛开展，但我们应 当看到，机器视觉从诞生到今天这短短三十多年时间中，其相关研究、发展和应用还远 没有达到成熟的程度。在未来的几年内，随着中国加工制造业的发展，对于机器视觉的 需求必将逐渐增多，随着机器视觉产品的增多、技术的提高，国内机器视觉的应用状况 也将由初期的低端转向高端。实现实时在线、智能化、高精度检测与控制必将成为我国 机器视觉的发展趋势。 1 1 3 2 基于机器视觉的障碍物检测研究 一4 一 东北大学硕士学位论文第一章绪论 车辆行驶道路上的障碍物检测是智能车辆周边环境感知技术研究领域中的重要组 成部分。目前，美国、法国、同本、德国、意大利等世界发达国家的一些研究机构，相 继在该方向做了定程度的研究，并取得了许多有价值的研究成果。在我国，由于基础 设施水平和经济实力等因素的限制，在智能车自主导航技术方面与世界发达国家存在一 定的差距，只有清华大学、吉林大学和重庆大学等几家研究机构在该领域做出了一些成 果。 运动视觉分析是近年来障碍物检测研究领域中备受关注的前沿课题，它从图像序列 中检测、识别、跟踪运动目标并对其行为进行理解和描述，属于图像分析和理解的范畴。 从技术角度而言，运动分析的研究内容十分复杂，主要涉及到模式识别、图像处理、计 算机视觉、人工智能等学科知识；同时，动态场景中运动目标的快速分割、非刚体运动、 目标物之间互相遮挡或相对静止等问题也为运动分析研究带来了一定的挑战。运动目标 检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对 于目标分类、跟踪和行为理解等后期处理非常重要，因为以后的处理过程仅仅是对图像 中有运动趋势的区域进行考虑。然而，由于背景图像的动态变化，如天气、光照、阴影 及混乱干扰等影响，使得运动检测成为一项相当困难的工作。 运动目标检测是当前图像分析和理解以及计算机视觉领域的一个研究热点，在安全 监控、视频压缩编码、交通监控、汽车辅助驾驶和航空航天等领域有着极为广泛的应用。 因此，研究运动目标检测问题，有很大的现实意义和应用价值。 1 2 国内外研究现状及发展动态 迄今为止，尽管采用超声波和雷达传感器进行倒车辅助驾驶的产品已经在市场上广 泛销售，但利用视觉传感器进行倒车辅助的产品尚处于研究阶段，基于视觉的倒车障碍 物检测算法的研究并不多见，仅日本的a i s i n 等少数公司或机构在这方面做了一些探索， 尚有许多关键技术问题没有得到解决。不过，由于其它应用背景下的目标物检测算法研 究较多，可以作为借鉴，因此，这罩本文重点分析现有的基于视觉的目标物检测算法。 目前，基于视觉的目标物检测算法主要有基于特征、基于立体视觉、基于运动的检测方 法。以下，将围绕这几类方法，分别介绍国内外的研究情况。 ( 1 ) 基于特征的目标物检测 此类方法一般用于特定目标物的检测，如行人检测、车辆检测等。该类算法是利用 特定类型目标物的轮廓、颜色、纹理、垂直边缘、对称性等特征进行检测，利用神经网 一5 一 东北大学硕士学位论文第一章绪论 络、支持向量机等机器学习方法或概率统计的方法进行类型识别。如美国玛丽兰大掣引、 美国内华达大学f 钔、韩国浦项科技大学【5 1 、吉林大学【6 】、重庆大学【7 1 、东北大学等利用 车辆的对称性、垂直水平边缘、车底阴影、拐角等特征检测车辆。以色列希伯来大学【8 】、 戴姆勒一克莱斯勒公司【9 1 、意大利p a n n a 大学【1 0 1 、清华大掣1 1 1 、西安交通大学【1 2 1 等利用 纹理、高度、形状等特征检测行人。基于特征的障碍物检测算法比较成熟，但该类方法 只适用于检测特定类型的目标物，而不适合检测未知类型目标物的应用领域。 ( 2 ) 基于立体视觉的目标物检测 主要有基于视差的方法和基于逆透视变换( 1 n v e r s ep e r s p e c t i v em a p p i n 曲的方法1 1 3 】， 该类方法由双目( 多目) 相机实现。如西班牙阿里卡拉大掣14 1 、日本丰田研究中心【1 5 1 利 用移动的立体相机检测静止和移动的行人；美国加利福尼亚大学【1 6 1 、意大利帕尔玛大学 【17 1 、日本东芝公副1 8 ，1 9 1 等使用立体相机检测车前障碍物。为了提高算法实时性能，日 本东芝公司还开发了专用的图像处理器v i s c o n t 汀m 。该类方法运算量大，通常需要专用 的硬件设备，从而成本较高。 ( 3 ) 基于运动的目标物检测 该方法使用来自同一摄像机的一组序列图像，假设序列图像问的差异主要是由于物 体的运动引起的，从而可以通过帧间分析来得到目标物的信息。常用的方法有光流法和 图像差分法。如r 本山梨大学的m o r i 等人提出了利用光流进行运动物体检测和运动区 域分割【2 0 1 、德国戴姆勒克莱斯勒公司的f r a n l ( e u 等人提出的基于光流的障碍物检测算 法。 光流法计算量大，通常不能满足实际应用领域中的实时性需求，对缺乏纹理、运动 过快或过慢的对象检测效果不好；图像差分法要求背景图像基本保持不变，因此一般常 用于视频监控，很难直接用于相机移动情况下的目标物检测。 除上述两种常用的方法外，也有在对图像序列进行分析的基础，利用自车运动参数， 进行运动补偿来检测障碍物的方法。如美国c m u 大学【2 、美国南加利福尼亚大学【2 2 1 、 以色列m o b i l e 公司【2 3 1 、同本名古屋大学f 2 4 1 、日本a i s i n 公司、日本丰田研究中心f 2 5 】等。 利用运动补偿的方法能够检测出任意类型的障碍物。不过该方法需首先获取自车运 动参数。从现有公开发表的文献看，主要有2 种手段获可用于取自车运动参数。一种是 利用车载传感器( 如罩程仪和陀螺仪) ，不过该方法获得的参数精度和频率都达不到实际 应用需求( 车内速度传感器每秒钟仅能提供2 4 次自车运动信息) ，特别是在车辆低速运 动时，提供的参数精度不高；另外一种是利用视觉的方法估计自车运动参数，如基于光 一6 一 东北大学硕士学位论文第一章绪论 流的方法、运动恢复结构( s t m c t u r ef o n nm o t i o n ，s f m ) 的方法、基于本质矩阵分解的方法、 直接的方法等，不过现有方法大多过于依赖道路平面假设或刚体世界假设，容易受混乱 背景和移动对象等o u t l i e r 数据的影响。 1 3 研究意义 本课题的研究内容“倒车辅助系统中基于单目视觉的车辆后方任意障碍物检测 算法研究与高性能实现”是汽车辅助安全驾驶研究领域中的一个重要组成部分。它的目 的是通过计算机视觉获取并识别车辆周边环境的有用信息，如有无移动或静止的行人、 车辆等，从而提高驾驶者对环境的辨识能力，帮助驾驶者避免倒车碰撞事故的发生。要 实现上述目的，就必须解决复杂动态场景下运动或静止目标的鲁棒检测问题。该问题已 经成为许多视频应用领域的一个重点和难点，如机器人导航、安全监控，自动驾驶等， 因而备受关注。 综上，本课题的研究涉及视觉检测领域的技术难点问题，具有重要的理论与学术研 究价值。同时，本课题的研究能够降低事故发生率，减少人身伤亡和财产损失，具有明 确的社会价值和应用价值。 1 4 本文的主要工作 1 4 1 研究内容 本文主要是针对基于单目视觉的车辆后方任意障碍物检测算法进行了研究与高性 能实现，具体内容如下： ( 1 ) 通过对现有的障碍物检测算法进行分析比较，并结合车辆后方任意障碍物检测 这个特定课题的本身特点，提出了基于一种直接方法运动估计的障碍物检测算法。 ( 2 ) 基于性能和指标两个方面的考虑，对障碍物检测算法进行了详细的设计和实现， 并结合嵌入式平台和算法本身的特点，对算法进行了性能方面的优化。 ( 3 ) 最后，在u c p f 嵌入式平台对车辆后方任意障碍物检测算法进行了大量的实际 场景测试，并给出了相关的评测结果。 1 4 2 本文的组织 第一章绪论，本章首先介绍了本课题的研究背景，并对国内外障碍物检测技术的研 究现状进行了相关的介绍，最后介绍了本课题的研究意义。 第二章相关技术介绍，首先介绍了开发使用的系统w i n c e 以及基于a r m 架构的处 一7 一 东北大学硕士学位论文 第一章绪论 理器技术。其次，讲述了图像处理和计算机视觉理论知识以及运动估计的基本原理。 第三章算法分析与设计，对众多现有的障碍物检测算法分析比较的基础上提出了基 于一种直接运动估计方法的车辆后方任意障碍物检测算法。首先，通过建立了自车在3 d 空问中运动的投影模型，求得自车的运动参数，进而根据自车运动进行运动补偿，确定 出障碍物区域。并针对算法存在的局限性对该算法进行改进，最终提出了自适应多粒度 障碍物检测算法。 第四章车辆后方任意障碍物检测算法的高性能实现，本章主要对障碍物检测算法进 行了实现，并从性能和指标两个方面考虑，结合算法和u c p f 嵌入式平台自身特点对障 碍物检测算法进行了性能优化。 第五章算法评估，本文在u c p f 平台上对算法进行了大量的实际运动场景测试，并 在结尾给出了算法评估结果。 第六章结束语，总结了本文主要工作，提出了下一步的工作和展望。 一8 一 东北大学硕士学位论文第二章相关技术简介 第二章相关技术简介 2 1 对象识别技术 2 1 1 图像处理 图像处理是为了某种目的对图像的强度( 灰度) 分布作某些特殊的加工和分析。其研 究内容涉及图像的增强和复原，压缩和编码，分割和描述以及运动图像的处理等。通过 处理可以提高原始图像的质量，提取、描述和分析图像中所包含的某些特征或特殊的信 息，以便于对图像作进一步的分析和理解。它经常作为模式识别，计算机视觉等的预处 理。这些特征包括很多方面，例如，图像的频域特征、灰度特征、边界特征、颜色特征、 纹理特征、形状特征、拓扑特征以及结构关系等。 2 1 2 模式识别 模式识别是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。 随着2 0 世纪4 0 年代计算机的出现以及5 0 年代人工智能的兴起，人们当然也希望能用 计算机代替或者扩展人类的部分脑力劳动。计算机模式识别在2 0 世纪6 0 年代初迅速发 展成一门新的学科。 那么，什么是模式和模式识别呢? 广义的说，存在于时间和空间中可观察的事物， 如果可以区别它们是否相同或相似，都可以称之为模式；狭义地说，模式是指通过对具 体的个别事物进行观察所得到的具有时间和空间分布的信息。把模式所属的类别或同一 类中的模式的总体称为模式类，简称为类。模式识别是指在一定量度或观测基础上把待 识别模式划分到各自的模式类中去。 模式识别有两种基本的方法：统计模式识别方法和结构模式识别方法。 统计模式识别方法，又叫决策理论识别方法，是发展较早也比较成熟的一种方法。 被识别对象首先数字化，变换为适于计算机处理的数字信息。一个模式常常要用很大的 信息量来表示。许多模式识别系统在数字化环节之后还进行预处理，用于除去混入的干 扰信息并减少某些变形和失真。随后是进行特征抽取，即从数字化后或预处理后的输入 模式中抽取一组特征。所谓特征是选定的一种度量，它对于一般的变形和失真保持不变 或几乎不变，并且只含尽可能少的冗余信息。特征抽取过程将输入模式从对象空间映射 到特征空间。这时，模式可用特征空间中的一个点或一个特征矢量表示。这种映射不仅 压缩了信息量，而且易于分类。在决策理论方法中，特征抽取占有重要的地位，但尚无 一9 一 东北大学硕士学位论文第二章相关技术简介 通用的理论指导，只能通过分析具体识别对象决定选取何种特征。特征抽取后可进行分 类，即从特征空问再映射到决策空间。为此而引入鉴别函数，由特征矢量计算出相应于 各类别的鉴别函数值，通过鉴别函数值的比较实行分类。 结构模式识别方法，又叫句法方法或语言学习法。其基本思想是把一个模式描述为 较简单的子模式的组合，子模式又可描述为更简单的子模式的组合，最终得到一个树形 的结构描述，在底层的最简单的子模式称为模式基元。在句法方法中选取基元的问题相 当于在决策理论方法中选取特征的问题。通常要求所选的基元能对模式提供一个紧凑的 反映其结构关系的描述，又要易于用非句法方法加以抽取。显然，基元本身不应该含有 重要的结构信息。模式以一组基元和它们的组合关系来描述，称为模式描述语句，这相 当于在语言中，句子和短语用词组合，词用字符组合一样。基元组合成模式的规则，由 所谓语法来指定。一旦基元被鉴别，识别过程可通过句法分析进行，即分析给定的模式 语句是否符合指定的语法，满足某类语法的即被分入该类。 模式识别方法的选择取决于问题的性质。如果被识别的对象极为复杂，而且包含丰 富的结构信息，一般采用句法方法；被识别对象不很复杂或不含明显的结构信息，一般 采用决策理论方法。这两种方法不能截然分开，在句法方法中，基元本身就是用决策理 论方法抽取的。在应用中，将这两种方法结合起来分别施加于不同的层次，常能收到较 好的效果。 2 1 3 计算机视觉在对象识别中的应用 当驾车时，驾驶员所接收的信息几乎全部来自于视觉，即交通信号、交通标志、道 路标识等均可以看作是环境对驾驶员的视觉通讯语言。将其转换为光电图像信息，通过 计算机对其进行处理，快速在复杂环境中的提取有用信息，进而产生合理的行为规划与 决策。 从图像处理与模式识别发展起来的计算机视觉，其主要目的是让计算机能够利用图 像和图像序列来识别和认知三维世界，最终目标是实现利用计算机对于三维景物的理 解，即实现人的视觉系统的某些功能。在景物的特征提取、表示，知识的存储、检索以 及匹配识别等方面都取得了一定的进展，并且构成了一些用于三维景物分析的系统，如 麻省理工大学研制的v l s l o n 等【2 6 1 。 现在随着视觉传感器及计算机硬件设备的飞速发展和图像处理及投影理论的深入 研究，计算机视觉技术也得到长足发展。同时，随着城市交通问题的同益严重和智能交 一l o 东北大学硕士学位论文 第二章相关技术简介 通概念的提出，计算机视觉技术在交通系统中的应用越来越引起重视。 计算机视觉技术已经广泛应用于汽车智能辅助操作系统中的行车道路检测、车辆跟 随、障碍物检测等方面。把实测结果与汽车辅助行驶系统提供的信息进行比较，若可能 有危险发生，则发出声光报警信号，提醒驾驶员注意，防偏、防碰，避免危险。 下面将论述用于倒车辅助驾驶的计算机视觉系统应具备的条件。 ( 1 ) 实时性 实时性是指系统的数据处理必须与车辆的高速行驶同步进行。 ( 2 ) 鲁棒性 鲁棒性是指车辆对不同的道路环境，如高速公路、市区标准公路、普通公路等，复 杂的路面环境，如路面及车道线的宽度、颜色、动态随机障碍与车流等，以及变化的气 候条件，如同照及景物阴影、黄昏与夜晚、阴天与雨雪等均具有良好的适应性。 ( 3 ) 实用性 实用性指要求智能车辆在体积与成本等方面能够为普通汽车用户所接受。 2 2 运动估计 2 2 1 运动模式 根据摄像机和场景是否运动将运动分析划分为四种模式：摄像机静止一物体静止， 摄像机静止一物体运动，摄像机运动一物体静止，摄像机运动一物体运动，每一种模式需 要不同的分析方法和算法。摄像机静止，物体静止模式属于简单的静态场景分析。摄像 机静止，场景运动是一类非常重要的动态场景分析，包括运动目标检测、目标运动特性 估计等，主要用于预警、监视、目标跟踪等场合、摄像机运动，物体静止是另一类非常 重要的动态场景分析，包括给予运动的场景分析、理解、三维运动分析等，主要用于 移动机器人视觉导航、目标自动锁定于认识等。在动态场景分析中，摄像机运动，物体 运动是最一般的情况，也是最难的问题，目前对该问题研究的还很少。 图像运动估计是动态场景分析的基础，主要有两类方法，一类是基于特征的方法， 在这方面已取得了很多很好的结果，另一类是基于光流场的方法，也称为连续处理方法。 离散处理的方法需要首先对图像进行处理、抽取特征，而且仅能求得特征处的运动信息， 其它部分的运动信息要根据这些特征处的信息，经过一定的差值外推来求得。光流法直 接对图像本身进行处理。这种方法同时假设相邻时刻之间的间隔很小( 几十毫秒以内) ， 从而相邻时刻的图像之间的差异也很小，而离散处理方法一般无需这种假定。这种方法 东北大学硕士学位论文第二章相关技术简介 的一个优点是可以求得稠密( 即图像中每一像素) 处所对应物体的运动信息，不需要在图 像序列中建立特征之间的对应关系。 2 2 2 运动估计基本原理 二维运动估计的目标是估算出图像序列的运动矢量，即二维运动场( 光流场) 。现在 已经有很多种二维运动场的估算方法，主要有区域匹配方法、频域方法、基于光流的方 法、递归方法、统计方法等。首先介绍一下光流运动估计的原理。 给定两帧，( 工+ 出，y + 咖，f + 出) 和，( 工，y ，f ) ，来估计两帧之间的运动。定义点m 处的 运动矢量d 是从f 到f + 砒这段时间内该点的位移。如图2 1 所示，三维空间中的点m 在 二维图像平面下的投影点为川，在时间段f 到f + 出之间的唯一在二维图像平面上的投影 形成图像平面上的一维位移d ，位移终点在二维图像平面上的投影点为以。d 就是要 估计的点m 的运动矢量。设m = ( x ，y ) ，d = ( 出，咖) ，则对应点m 与n 处的图像像素灰 度值( 颜色) 相同。 2 3 嵌入式技术 图2 1 二维运动模型 f i g 2 1t w od i m e n s i o nm o v em o d e l 嵌入式系统是嵌入到对象体系中的专用计算机系统。i e e e ( 国际电气和电子工程师 协会) 对嵌入式系统的定义为：嵌入式系统是“用于控制、监视或者辅助操作机器和设 备的装置”。国内普遍认同的嵌入式系统定义为：以应用为中心，以计算机技术为基础， 一1 2 一 东北大学硕士学位论文 第二章相关技术简介 软硬件可剪裁，适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算 机系统【2 7 2 引。 嵌入式系统主要由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户应用 软件等部分组成。嵌入式系统的最大特点是其所具有的目的性或针对性，即每一套嵌入 式系统的开发设计都有其特殊的应用场合与特定功能，这也是嵌入式系统与通用的计算 机系统最主要的区别1 2 9 1 。 嵌入式软件主要分为3 类： ( 1 ) 嵌入式操作系统：e o s 负责嵌入系统的全部软、硬件资源的分配、调度工作， 控制、协调并发活动。有名的嵌入式操作系统有w i n d o w sc e 、p a l mo s 、“n u x 、v x w o r k s 等。 ( 2 ) 嵌入式支撑软件：支撑软件是用于帮助和支持软件开发的软件，通常包括数据 库和开发工具，其中以数据库最为重要。 ( 3 ) 嵌入式应用软件：嵌入式应用软件是针对特定应用领域，基于某一固定的硬件 平台，用来达到用户预期目标的计算机软件。 下面介绍系统中使用的嵌入式系统w i n d o w sc e 。 2 3 1w i n d o w sc e 介绍 2 3 1 1 、i n d o w sc e 操作系统 w i n d o w sc e 是一个面向移动计算和嵌入式应用的3 2 位高性能操作系统。它具有一 个简洁、高效、完全抢先式的多任务内核，支持强大的图形g u i ，具备嵌入式系统的模 块化、可定制、完备性、实时性的优点，能够适应广泛的系统需要。其多线程、多任务、 全优先的操作系统环境是专门针对有