（车辆工程专业论文）基于双目立体视觉的自动引导车导航基础研究.pdf

摘要 摘要 本文主要针对基于双目立体视觉的自动引导车导航基础进行了研究，旨在提高 自动引导车的智能化水平，以适应现代制造业发展的需要。 在分析基于双目视觉导航的自动引导车各系统的组成和原理的基础上，确定了 双目视觉传感器和避障传感器的安装位置和布局。在分析摄像机标定原理和基本方 法的基础上，结合q d u i i 型自动引导车双目视觉导航的特点，采用了一种基于长方 体模块的立体视觉标定算法，实验表明该算法具有较高的精度，且减少了计算量， 提高了导航系统的实时性。根据q d u i t 自动引导车双目视觉导航和避障的要求选择 了基于特征点的匹配方法，在v i s u a lc + + 6 0 的开发环境下，实现了图像的预处理， 特征点的提取以及特征点的匹配。在实现立体匹配的基础上，给出了空间点三维重 建的方法，并运用o p e n g l = 一维图形软件包进行了仿真实验，结果表明该方法可满足 自动引导车导航的要求。采用基于栅格的自动引导车的路径规划搜索算法，并将b p 神经网络算法运用到自动引导车局部路径规划当中，提高了自动引导车的导航效率。 开发了q d u i i 自动引导车路径规划的仿真软件，成功地实现了自动引导车在给定环 境中的动态仿真。 硕士研究生王伟( 车辆工程) 指导教师刘大维教授 关键词：自动引导车；立体匹配；三维重建；路径规划 a b s t r a c t a b s t r a c t d e t a i l e ds t u d i e sa r em a d eo nt h eb i n o c u l a rs t e r e ov i s i o n b a s e dn a v i g a t i o no fa g vi n t h i sp a p e r t h e s es t u d i e sa i ma ti m p r o v i n gt h ei n t e l l i g e n tl e v e lo f a g v , i no r d e rt om e e tt h en e e do f d e v e l o p m e n to f m o d e mm a n u f a c t u r i n gi n d u s t r y o nt h eb a s i so fa n a l y s i so fc o m p o s i n ga n dt h e o r yo fa g vb a s e do nb i n o c u l a rv i s i o n n a v i g a t i o n ，t h ep l a c e m e n to fb i n o c u l a rv i s i o n s e n s o r sa n dp a s s i v ei n f r a r e dr a n g e f i n d e r s e n s o r sw e r ed e t e m a i n e d 、b ya n a l y z i n go f t h em e t h o da n dt h e o r yo f c a m e r ac a l i b r a t i o n ，a c a m e r ac a l i b r a t i o nm e t h o db a s e dr e c t a n g u l a rm o d u l ew a sp r o p o s e di nt h i sp a p e ra f o l l o w i n gt e s tp r o v e di t sh i g hd e g r e eo fa c c u r a c y , w h i c hr e d u c e da m o u n to fw o r ka n d i m p r o v e dt h er e a l t i m ec h a r a c t e ro fn a v i g a t i o ns y s t e m ，a c c o r d i n gt o t h ed e m a n do f b i n o c u l a rs t e r e ov i s i o n - b a s e d n a v i g a t i o na n da v o i d a n c e ，c h a r a c t e r i s t i cp o i n t - b a s e d m a t c h i n gm e t h o dw a sd e t e r m i n e dt h ef u n c t i o nw a si m p l e m e n t e du n d e rt h ev c + + 6 0 d e v e l o p i n ge n v i r o n m e n t ，s u c ha si m a g ep r e p r o c e s s i n g ，c h a r a c t e r i s t i cp o i n ts u b t r a c t i o n a n dm a t c h i n g t h em e t h o do fs p a c el a t t i c e3 - dr e c o n s t r u c t i o ni sd e c i d e do nt h eb a s i so f s t e r e oc o r r e s p o n d e n c e u s i n go p e n g lt h r e ed i m e n s i o n a lg r a p hs o f t w a r ep a c k a g e s ，a f o l l o w i n gs i m u l a t i o ne x p e r i m e n tc a r r i e do n ，w h i c hi n d i c a t e dt h a tt h em e t h o dm e tt h en e e d o fa g vn a v i g a t i o na tl a s t 鲥d b a s e ds e a r c ha l g o r i t h mw a sp r o p o s e d ，a n db pn e r v e n e t w o r l i b a s e da l g o r i t h mo fl o c a lp a t h p l a n n i n gw a su s e dt o o ，w h i c hi m p r o v e dt h e n a v i g a t i o ne f f i c i e n c yo fa g v t h es i m u l a t i o ns o f t w a r eo fq d u 一1 1a g vh a sb e e n d e v e l o p e da n dd y n a m i cs i m u l a t i o no f p a t hp l a n n i n gw a sa c h i e v e ds u c c e s s f i d l y g r a d u a t es t u d e n t ：w e iw a n g ( v e h i c l ee n g i n e e r i n 曲 d i r e c t e db yp r o f id a w e il i u k e yw o r d s ：a g v ；s t e r e oc o r r e s p o n d e c e ；t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n ；p a t h p l a n n i n g i i 第一章引言 l ，1 课题的提出及意义 第一章引言 移动机器人是机器人研究领域中的一个重要分支，移动机器人按其控制方式和 自主程度大致可分为遥控式、半自主式和自主式三种。其中自主式移动机器人，是 一种具有高度自规划、自组织、自适应能力，适合于在复杂的非结构化环境中工作 的机器人。自主式移动机器人的目标是在没有人的干预，无需对环境做任何规定和 改变的条件下，在行进过程中，不断感知周围的局部环境信息，自主地做出各种决 策，有目的地移动和完成相应任务i l j 。 自动引导车( a u t o m a t e dg u i d e dv e h i e l e - - a g v ) 是移动机器人的一种。根据美国 物流协会定义，自动引导车是指装备有电磁或者光学自动导引装置，能够沿规定的 导引路径行驶，具有小车编程与停车选择装置、安全保护以及各种运载功能的运输 小车【”。它具有运输效率高、可实现柔性运输、使用灵活、无公害等优点。随着企 业生产技术及对自动化技术要求的不断提高，自动引导车已成为白动化物流运输系 统、柔性生产组织系统( c r m s ) 的核心设备，在机械、电子、纺织、卷烟、医疗、 造纸、食品等行业得到了广泛的应用。在自动仓库、码垛、搬运、涂装等物流作业 单元发挥了关键的作用：尤其是在高污染( 核污染、化学污染) 和恶劣( 高温、高 噪声) 环境中工作以保障工作人员的安全【3j ；另外：自动引导车在空间探索、核工 业等领域具有巨大应用的价值。因而世界上经济发达国家都极为关注自动引导车的 研究开发。 在自动引导车的研究中，自主导航技术始终是研究的核心问题。由于人类7 0 以上的信息是通过视觉来获取的，因此对自动引导车来说视觉信息的获得是非常重 要的。视觉导航较其他的导航方式具有以下几个优点： ( 1 ) 即使在丢弃了绝大部分的视觉信息后，所剩下的关于周围环境的信息仍然 比激光雷达和超声传感器更多更精确。 ( 2 ) 激光、雷达和超声传感器的原理都是通过主动发射脉冲和接受反射脉冲来 测距的，因此当多个机器人同时工作时，相互之间可能产生干扰，而视觉由于是被 动测量，因此多个机器人相互之问的干扰可以减少到最小。 ( 3 ) 激光雷达和超声数据的采样周期一般比摄像机长，不能及时对运动的机器 人提供信息著做出规划。 目前，国内外的研究主要集中在单目视觉导航方面，单目视觉导航的优点在于 实现简单，而不足之处也很明显：单个摄像机的观察范围相对有限；另外，单个摄 青岛大学硕士学位论文 像机的信息只能进行图像中的物体跟踪，而不能得到物体在真实世界中的位置。基 于双目立体视觉的导航，利用了两个安放在车体上不同位置的摄像机，可以扩大系 统的观察范围，这样可以达到视觉信息互补，扩大观察范围的目的；同时还可利用 立体视觉的原理恢复物体的三维信息。因此本文的研究具有重要的理论价值和实际 意义。 1 2 国内外移动机器人和自动引导车的研究现状 1 2 1国外移动机器人和自动引导车的研究现状 美国普渡大学( p u r d u eu n i v e r s i t y ) 机器人视觉实验室对视觉导航移动机器人进 行了研究，其研制的视觉导航移动机器人p e t e r 4 】如图1 1 所示。该移动机器人采用 了双目主动立体视觉系统，可以获取移动机器人的运行环境和障碍物的立体数据。 另外，还装有2 4 个超声波传感器，8 个雷达扫描仪，8 个红外测距传感器、3 6 个被 动式红外运动传感器。最上层安装了一台主机( 4 5 0 m h zp e n t i u m l l ) 。在软件上该移 动机器人采用了客户机胡务器的软件结构，这种结构应用了模块化封装、分布式结 构等先进的概念。p e t e r 可以进行基于行为的运动，这些行为包括：躲避物体( a v o i d o b j e c t ) ，执行键盘或操纵杆命令( j o y s t i c k l ，保持运动速度( k e e pi n e r t i a ) ，创建环境地 图( m a pa r e a ) ，转到目的地( g o t ot a r g e t ) 等。 图1 1 普渡大学的移动机器人p e t e r 德国凯泽斯劳滕大学( u n i v e r s i t y o f k a i s e r s l a u t e m ) 机器人和过程控制研究中心 进行了基于视觉的适应性导航和认知方面的研究( c a m e r ab a s e da d a p t i v er o b o t 一2 一 第一章引言 n a v i g a t i o na n dl e a r n i n g ) ，研制的移动机器人菲尼科思( p h o e n i x ) 1 5j 如图12 所示。 它的传感器布置和计算机的布局采用柔性化的设计，更有利于发挥各自的作用；其 中传感器包括顶部的c c d - - c a m e r a ，一台l m s 2 0 0 激光扫描仪，1 2 个人造偏光板 超声波传感器和1 6 个红外避障传感器，安装的位置如图1 3 所示。它采用的是航位 推测系统( d e a d r e c k o n i n gs y s t e m ) ，控制系统包括两台装有q n x 的实时操作系统 的计算机，计算机之间数据传输采用的是无线以太网连接。从而实现了在动态环境 下的移动机器人自适应定位和导航，这种移动机器人在运输、监控、地板清洗以及 各种危险的环境下的作业都有很大的潜在价值。 图1 2 凯泽斯劳腾大学移动机图1 3 菲尼科思的结构示意图 器人菲尼科思 图1 4 和1 5 所示是美国国家斯坦福研究所( s r ii n t e r n a t i o n a l ) 研制的移动机器 人弗来克( f l a k e y ) 【6 j 。它的身高3 英尺，直径2 英尺，专门为办公室场所所定制。 两个独立的驱动轮能够提供最大每秒2 英尺的运动速度。它随身的传感器包括1 2 个 声纳测距仪、编码器、激光测距仪和c c d 摄像机，其中激光测距仪和c c d 摄像机 结合使用能够提供移动机器人前方很小范围内的障碍物的深度图信息。它的计算机 系统包括一台工作站和大量的专门用于多传感器信息融合、电机控制和无线电通信 的处理器。弗兰克的导航方式是基于地图的导航。另外，弗兰克采用得是模糊控制、 空间感知和过程推理相结合的技术，为移动机器人在办公室的环境下实现柔性化地 操作提供了可能，从而能够实现全局路径规划和动态地局部路径规划。 青岛大学硕士学位论文 图1 4 国家斯坦福研究所研制的移动机 器人f l a k e y 的前部 图1 5 国家斯坦福研究所研制的移动机 器人f l a k e y 的后部 图1 6 所示为日本大阪大学( o s a k a u n i v e r s i t y ) s h i r a i 实验室所研制的视觉导航自 动引导车( v i s i o n a g v ) 7 l ，其结构和工作原理如图1 7 所示。该自动引导车安装有一 台微机和一个图像处理器，采用单目视觉的方式进行导航。其视觉传感器可以进行 旋转，从而可以对更广泛的环境进行探测。该自动引导车采用了航位推测系统 ( d e a d r e c k o n i n gs y s t e m ) ，分别利用旋转编码器和电位计来获取自动引导车的行驶 里程和转向角，从而完成自动引导车的定位。 圉像处理 图1 6 大阪大学的视觉导航a g v 图1 7 大阪大学a g v 结构示意图 4 第一章引言 1 2 2 国内移动机器人和自动引导车研究现状 国内在移动机器人得研究方面起步比较晚，上个世纪七十年代中后期才开始。 目前，研究尚处于某个单项阶段，但是中科院自动化研究所、吉林大学、青岛大学 等陆续成功研制出一些高水平的移动机器人和自动引导车日1 。 c a s i a i 是中科院自动化研制研发的集多种 传感器、视觉、语音识别与会话功能于一体的智能 移动机器人【9 j ，如图1 8 所示。它的基本结构由传 感器、控制器以及运动机构构成，其中传感器由以 下几个部分组成：位于机器人底层的1 6 个触觉红 外传感器，位于机器人中间两层的1 6 个超声传感 器和1 6 个红外传感器，以及位于机器人顶部的 c c d 摄像机。移动机器人就是在这个多传感器信 息融合的基础之上完成自己的各项外界感觉功能。 移动杌器人的心脏( 中央处理器c p u ) 利用多传感 鬈豸裳篓炙薪纛萎害耋磊墨譬鬻霖雾卧s 戳器人移动机器人所处环境的各种信息( 路径、障碍物等) 。 综合起来，对这些信息进行融合处理，从而使移动机器人能够理解自己的状态和自 己所处的外部环境信息，并实时地做出自己的运动控制的决策一躲避障碍物、寻找 最优路径，实现自主移动、定点运动、轨迹跟踪、漫游等基本功能。c a s m i 身高 8 0 0 r a m ，直径4 5 0 r a m ，运行最大速度为8 0 0 m m s 。它可广泛应用于医院、办公室、 图书馆、科技馆、展览馆等公共场合的服务、作业、展示与娱乐等，以及个人家庭 服务。 智能移动机器人平台爱姆( a d v a n c e di n t e l l i g e n t m o b i l e r o b o t l a l m ) 1 0 l 足中 幽科学院广 动化研究所在目家“8 6 3 ”计划和中围科学院自动化研究所创新璀金囊大 专项支持f 研制开发的一种智能移动机器人平台。该平台综合利用了课题鲔m ：移动 机器人机构、伺服驱动、机器人视觉、多传感器佶扈融合、路径规划j 导航、f f 能 控制等关键技术的研究成果，是种具有很好开放性的高性能低成本全f 主智能移 动机器人平台。它包括适合室内作业的三轮结构和适合室外作业的p q 轮结构两种平 台。它采用了基于d s p 和c p l d 的多轴伺服控制器和基于高精度磁传感_ ； ： f | 勺机器人 导航装置，在保证系统性能的基础上大大降低了系统成本；其以高性能d s p 为核心 的智能环境感知单元包括多路超卢探测及定位模块、多路接触榆测模块、兆敏榆测 模块等；它能完成环境感知、定位导航、日标跟踪等多项功能；机器人视觉系统采 用c c d 彩色摄像机加p c i 总线的高速视频采集卡，可以实时采集、处理环境图像井 青岛大学硕士学位论文 进行无线视频传输，实现对运动物体的实时跟踪。i 亥机器人平台h 有视觉耀踪、语 音刈话、自主避障、外界环境感知、无线遥控等功能。 吉林大学智能车辆课题组 研制了一种新型视觉自动引导 车j l u i v - 3 【1 l l 如图1 9 所示。 该种新型视觉导航自动引导车 以地面上涂设的条带状路标作 为路径标识符，运用计算机视觉 快速识别路径。其最优导向控制 器能够保证a g v 对路径进行准 确跟踪。在包含有多个停车工位 和多条分支路径的复杂工作环 境中，通过实时识别涂设在路面 上的数字标识符，实现指定目标 图1 9 吉林大学研制的新型视觉a g v 工位定位停车和目标分支路径 跟踪：通过实时识别涂设在路面上的特殊形状标识符实现车辆加速、减速、直角转 弯、特殊地点停车等运动状态控制；具有自动避障、自动报警、自动上线和无线通 讯等功能。同时该种车辆还具有人工手动遥控驾驶和自动行驶两种工作方式。目前 改种新型a g v 可广泛应用于汽车、化工、电子、烟草、制药等行业部门的物流运 输装配线或生产线。对于提升我国各类企业的现代化物流水平、促进传统生产模式 向柔性或准柔性生产组织模式的转化、提高企业市场竞争力和经济效益都具有重要 意义。 1 3 移动机器人和自动引导车导航研究现状 1 3 1 移动机器人和自动引导车导航方式 导航是移动机器人应该具备的基本功能【1 2 , 1 3 。当处于一个未知的、复杂的、动 态变化的环境中时，通过对环境的探索，引导移动机器人到达期望的位置，同时尽 可能要减少消耗( 如时间或能量等) 。 根据环境信息的完整程度、导航指示信号类型等因素的不同，将移动机器人的 导航分为三大类：即基于地图的导航、基于地图创建的导航和无地图的导航。根据 移动引导车导航采用的硬件的不同，导航系统可以分为视觉导航系统和非视觉传感 器组合导航两大类，对于非视觉传感器导航系统主要的导航方式有：电磁导航、惯 6 第一章引言 性导航和光反射导航。 ( 1 ) 环境地图模型匹配导航 环境地图模型匹配导航是移动机器人通过自身的各种传感器，探测周围环境， 利用感知到的局部环境信息进行局部的地图构造，并与其内部事先存储的完整地图 进行匹配。如果两模型相互匹配，移动机器人可确定自身的位置，并根据预先规划 的一条全局路线，采用路径跟踪和避障技术实现导航 1 4 , 1 s 。几年前国外的科学家就 开始从事这项技术的研究。如英国伦敦大学a x n z t l 6 1 移动机器人就采用的这种方 法。 ( 2 ) 电磁导航 电磁导航也称为地下埋线导航，是2 0 世纪5 0 年代美国开发的，至r 2 0 世纪7 0 年代 这种导航方式迅速发展并广泛应用于柔性生产。其原理是在路径上连续埋设多条引 导电缆，分别流过不同频率的电流，通过感应线圈对电流的检测来感知路径信息。 该技术优点引线隐蔽，不易污染和破损，简单实用，便于控制和通信，对声光无干 扰，但其成本高，改造和维护困难。 ( 3 ) 惯性导航 惯性导航是使用陀螺仪和加速度计分别测量旋转率和加速率而计算出移动机器 人的位置、速度、姿态和航向。惯性导航系统具有自包含优点，即无需外部参考。 然而，随时间有漂移，积分之后，任何小的常数误差就会无限增长。因此，惯性传 感器对于长时间的精确定位是不适合的。 ( 4 ) 视觉导航 视觉导航方式具有信号探测范围宽、获取信息完整等优点，是未柬移动机器人 导航的一个主要发展方向 制1 。视觉导航主要完成障碍物和路标的探测及识别。国 内外应用最多的是在移动机器人上安装车载摄像机的基于局部视觉的导航方式。 p i c o r k e 等对有车载摄像机的移动机器人视觉闭环系统的研究表明，这种控制方 法可以提高路径跟踪精度【2 ”。从视觉图像中识别道路是影响移动机器人导航性能的 一个最重要因素。对于一般的图像边沿抽取而言，已有了许多方法，例如局部数据 的梯度法和二阶微分法。t r a h a n i a s t 2 2 1 利用视觉探测路标来完成机器人的导航，其中 路标不是预先定义的人工路标，而是在学习阶段自动提取的自然路标。在视觉导航 中边缘锐化、特征提取等图象处理方法的计算量大，移动机器人是在运动中对图像 进行处理，实时性差始终是一个非常棘手的问题。解决该问题的关键在于设计一种 快速图象处理方法。为了满足速度的要求，基于统计计算的预值法被应用于枫器人 的导航，但在实际应用中发现，它抑制噪声的能力差，特别是预值的选取极大地依 赖于环境，要想获得理想的结果，仅在一幅图像中的不同区域就要发置不同的预值。 近些年，由于人工智能的发展，有很多好的算法被应用到移动机器人的视觉导航中 一7 一 青岛大学硕士学位论文 去。s t a n l e y l 2 3 1 提出了基于神经网络的机器人视觉导航技术。该技术中估算逆雅可比 矩阵，并将图像特征的变化与机器人的位置变化对应起来，通过神经网络训练来近 似特征雅可比矩阵的逆阵。该技术通过提取几何特征、平均压缩、向量量化和主成 分提取来简化图象处理，实现实时视觉导航2 4 1 。 l _ 3 2 移动机器人和自动引导车导航关键技术 移动机器人导航系统是一个多功能、 算机、传感器技术、控制技术等多学科。 的相关技术主要有以下几个方面： ( 1 ) 体系结构 多任务的智能系统，涉及机械、电子、计 目前，引入到移动机器人视觉导航研究中 移动机器人的导航系统主要任务是如何把感知、规划、决策和行动等各种模块 有机地结合起来。导航系统能够模拟人的智能行为和功能，它的作用包括：把具 有智能行为和功能的各模块连接成一个整体，包括各个部件的接口规范、通讯协议 和数据流程：统一管理、调度各个予系统，发挥它们的功能，并按总体工作模型 进行协调工作，使各子系统步调一致地完成总体任务。可见，体系结构起到了总体 集成及调度的作用，其设计的优劣直接关系到系统整体性能的发挥和智能水平的高 低。目前，自主式智能系统可分为以下三类：分层递阶式结构、包容式体系结构和 分布式人工智能( d a i ) 的体系结构。 ( 2 ) 路径规划 路径规划是移动机器人技术中一个关键环节口”1 ，所谓路径规划是指移动机器 人按照某一性能指标搜索一条从起始状态到目标状态的最优或次最优的无碰路径。 根据掌握环境信息的完整程度可分为环境信息完全己知的离线全局路径规划和环境 信息完全未知或部分未知的在线局部路径规划。 全局路径规划的主要方法有：可视图法( v i s u a lg r a p h ) 25 1 、栅格法( g r i d s ) t 2 8 1 等。 可视图法将移动机器人、目标点和多边形障碍物的各顶点视为节点，把移动机器人、 目标点和多边形障碍物的各项点进行组合连接，连接的直线视为弧，要求移动机器 人和障碍物各顶点之间、目标点和障碍物各顶点之间以及各障碍物顶点与顶点之间 的连线均不能穿越障碍物，即直线是可视的，从而最优路径搜索问题就转化为在这 些直线中搜索从起始点到目标点的最短距离问题。可视图法能求得最短路径，但缺 乏灵活性，若障碍物过多，搜索时间会很长。可视图法适用于多边形障碍物，对于 圆形障碍物该法失效。 栅格法是移动机器入路径规划中重要的方法之一，是将移动机器人的工作环境 分解成一系列具有二值信息的网格单元，每个矩形栅格有一个累积值，表示在此方 位中存在障碍物的可信度，高的累积值表示存在障碍物的可能性高。传感器不断快 8 第一章引言 速采样环境，存在障碍物的栅格将会不断被检测到，从而导致高的累积值。栅格大 小的选择直接影响着控制算法的性能，栅格选得小，环境分辨率小，但抗干扰能力 弱，环境信息存储量大，决策速度慢；栅格选得大，抗干扰能力强，环境信息存储 量小，决策速度快，但分辨率下降，在密集障碍物环境中发现路径的能力减弱。 局部路径规划的主要方法有：人工势场法( a r t i f i c i a lp o t e n t i a lf i e l d ) 弘”、模糊逻辑 算法( f u z z yl o g i ca l g o r i t h m ) 、遗传算法( g e n e t i ca l g o r i t h m ) 剐等。人工势场法其基 本思想是建立一种虚拟力，将移动机器人在未知环境中的运动视为在人工虚拟力场 中的运动，即目标对被规划对象存在吸引力，而障碍物对其有排斥力，引力与斥力 的合力作为移动机器人运动的加速力，从而计算移动机器人的位置和控制机器人的 运动方向。势场法结构简单，便于低层的实时控制，缺点是存在陷阱区域，即易出 现局部最小的问题。 模糊逻辑算法基于实时传感器的信息，参考人的驾驶经验，通过查表得到规划 出的信息，完成局部路径规划。该法克服了势场法易产生局部极小的问题，计算量 不大，易做到边规划边跟踪，适用于时变未知环境下的路径规划，实时性较好。 遗传算法是一种基于自然选择和基因遗传学原理的搜索算法，借鉴物种进化的 思想，将欲求解的问题进行编码，每一个可能解均被表示成字符串的形式，初始化 随机产生一个种群( p o p u l a t i o n ) 的候选群，种群规模固定为，用合理的适应度函数 ( f i t n e s sf u n c t i o n ) 对种群进行性能评估，并在此基础上进行繁殖( r e p o p u l a t i o n ) 、交叉 ( c r o s s o v e r ) 和变异( m u t a t i o n ) 。遗传算法是一种多点搜索算法，因而更有可能搜索到 全局最优解。 ( 3 ) 多传感器信息融合技术 由于使用单一传感器难以保证获取信息的准确性和可靠性，不能满足移动机器 人获取环境信息和系统决策，因而多传感器信息融合技术在移动机器人研究中得到 了广泛的应用【3 ”。多传感器信息融合是针对一个系统中使用多个或多类传感器这一 特定问题而展开的一种信息处理的新的研究方向，其目的是通过一定的技术手段， 充分利用多数据源的互补性和计算机的高速运算来提高信息处理结果的质量，保证 机器人系统的快速性和准确性。多传感器信息融合的优点在于它的冗余性、互补性、 实时性和低成本。多传感器信息融合是一项内容广泛的技术，涉及传感器、信号处 理、机器人学、控制理论、系统分析、概率统计、计算机科学、仿生学等很多方面 的知识。 对于多传感器系统来说，信息具有多样性和复杂性，因此对信息融合方法的基 本要求是具有鲁棒性和并行处理能力。目前信息融合方法基本上可概括为随机类和 人工智能类两大类。随机类方法有加权平均法、卡尔曼滤波法、贝叶斯估计、 d e m p s t e r s h a f e r 证据推理、统计决策、聚类分析法、小波变换法和d s 证据推理等； 一q 一 青岛大学硕士学位论文 而人工智能类则有模糊聚类理论、专家系统、神经网络等。 ( 4 ) 立体视觉 自然界的物体都是三维的，人体通过双眼获得物体的三维立体信息，但一般的 摄影系统只能将三维物体以二维的形式保存、记录下来，丢掉了大量的信息。计算 机立体视觉就是运用计算机技术和光学手段在获取的一幅或多幅图像中重建被摄物 体的立体结构，获得三维数据。 立体视觉的开创性工作是从六十年代中期开始的。美国m i t 的r o b e r t 完成的三维 景物分析工作【3 3 ，把过去的二维图形分析推广到了三维景物，这标志着立体视觉技 术的诞生，并在随后的二十年中迅速发展成为一门新的学科。特别是七十年代末， m a r r g l j 立的视觉计算理论对立体视觉的发展产生了巨大影响，现己形成了从图像获 取到最终的景物可视表面重建的完整体系3 4 枷】。经过二十多年研究，立体视觉在机 器人视觉、航空测绘、军事应用、医学诊断及工业检测中的应用越来越广泛，研究 方法从早期的以统计相关理论为基础的相关匹配，发展到具有很强生理学背景的特 征匹配，从串行到并行，从直接依赖于传输信号的低层处理到依赖于特征、结构、 关系和知识的高层次处理，性能不断提高，其理论正处于在不断发展与完善之中。 敬目立体视觉技术的实现可分为图像获取、摄像机标定、特征提取、图像匹配 荆二二维重建五人部分。其中，立体匹酉己是双目体视中最火系、凼难的一步。与普通 的图像配准不同，立体图像对之削的差异是由摄像时观察点的不同引起的，而不是 由其它如景物本身的变化、运动所引起的。根据匹配基元的0 i 同，曲体匹配可分为 特征匹配、区域匹配和相位匹配j 大类。 。 特征匹配不直接依赖于灰度，易于软、硬件的实现。能很好的处理畸变问题和 视差不连续的问题。具有较强的抗干扰性，计算量小，速度快。但也同样存一些不 足：特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场。改善办法是将特 征匹配的鲁棒性和区域匹配的致密性充分结合，利用对高频噪声不敏感的模型来提 取和定位特征。 区域匹配算法的实质是利用局部窗l ：_ _ j 之叫狄度信息的相关程度，它， ：变化、| ，- 缓 | _ _ j 细节十富的地方可以达到较高的精度。但该算法的匹配窗u 火小难以选择，通常 借助j 窗r 形状技术来改善视差不连续处的匹配；其次是计算量大、速度慢，采取 t k l j , 1 至精分级匹配策略能大火减少搜索空间的大小，与匹配窗i1 人小止天的互村1 天 运算能显著提高运算速度。 相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反 映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理，能获得 亚象素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波 器解决。 一1 0 第一章引言 1 4 本文的主要研究内容 本文主要针对基于双目立体视觉的自动引导车的导航开展基础研究工作，其主 要研究内容如下： ( 1 ) 在分析双目视觉导航的自动引导车各系统的组成和原理的基础上，确定 双目视觉传感器和避障传感器的安装位置和布局。 ( 2 ) 在分析摄像机标定原理和基本方法的基础上，结合q d u i i 型自动引导车 视觉导航的特点，采用一种基于长方体模块的立体视觉标定算法，通过实验验证该 算法的精度。 ( 3 ) 根据q d u - i i 自动引导车导航和避障的要求选择合适的立体匹配方法，在 v i s u a lc + + 6 0 的开发环境下，实现图像的预处理，特征点的提取以及特征点的匹配。 在实现立体匹配的基础上，给出空间点三维重建的方法，并通过仿真实验验证此方 法是否满足自动引导车导航的要求。 ( 4 ) 确定q d u i i 自动引导车的定位方法，并给出一种基于栅格的自动引导车 的路径规划的搜索算法。在v i s u a l c + + 6 0 的环境下开发q d u i i 自动引导车路径规 划的仿真软件，实现自动引导车在给定环境中的动态仿真。 青岛大学硕士学位论文 第二章自动引导车的组成及工作原理 2 1自动引导车的车体组成 q d u i i 自动引导车的整体尺寸为 长1 8 0 0 r a m 、宽1 0 5 0 m m 、高5 5 0 m m ， 外形图如图2 1 所示。图2 2 所示为 q d u i i 自动引导车的车体结构图。该车 采用六轮两轮驱动差速转向的方式，两 个驱动轮安装在车体的中部，自动引导 车的两个前轮和两个后轮为从动轮，仅 起支撑车体的作用，而无导向作用。这 种结构的显著优点是最小转弯半径小， 图2 1q i ) u i i 自动引导车的外形图 自动引导车可原地转弯。两个主动轮分 别由两台直流伺服电机独立驱动，主动轮与伺服电机构成速度闭环，调节伺服电机 的输入电压即可调节相应主动轮的转速。为提高自动引导车的行驶性和稳定性，使 所有车轮均能有效地与地面接触，在后轮安装处采用了弹性悬挂结构。 恃感器 ul 毳笋 l 、 i 复卜减速器 霉i 箩机 k j 莲 蓄电池组 ， 韶 7 - - - 1ll 型窀l i _ j “ 图2 2q d u i i 自动引导车的车体结构示意图 一1 2 第二章自动引导车的组成及工作原理 在自动引导车的前部装有两台黑白c c d 摄像机，在前部和尾部各装有一个避障 传感器。 2 2 传感器的选择与布局 自动引导车需要实时收集环境信息，然后进行路径规划，以实现避障。这些任 务必须依靠能够实时感知环境信息的传感器系统来完成。自动引导车所用的传感器 很多，根据使用目的可分为内部传感器和外部传感器两大类。内部传感器用于感知 自动引导车本体的状态、位姿，是实现闭环控制、伺服动作必不可少的装置。外部 传感器则是感知外部环境的特征，使自动引导车能及时了解工作环境，并视其情况 来调整自己的决策，以提高自动引导车的适应性和智能化水平。 2 2 1 传感器的选择 传感器选择对于自动引导车的多传感器系统来说是非常重要的。就传感器本身 而言，应根据其可靠性、工作范围以及功耗等基本性能进行选取。对于整个系统而 言，传感器的选择则要根据所需采集的信息类型及应用进行。 2 2 1 1 视觉传感器的选择 视觉传感器是将景物的光信号转换成电信号的器件。c c d ( c h a r g ec o u p l e d d e v i c e ) 电荷耦合器件，具有灵敏度高、畸变小、寿命长、抗震动、抗磁场、体积 小、无残影等特点，它能够将光线变为电荷并可将电荷储存及转移，也可将储存之 电荷取出使电压发生变化，因此是理想的摄像元件，是代替摄像管传感器的新型器 件。c c d 的工作原理是这样的，被摄物体反射光线，传播到镜头，经镜头聚焦到 c c d ：占片上，c c d 根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅 画面的电信号，经过滤波、放大处理，通过摄像头的输出端子输出一个标准的复合 视频信号。 衡量c c d 摄像机性能的技术指标主要有以下几个方面：c c d 的尺寸( 摄像机 的靶面) 、c c d 的象素、水平分辨率、最小照度( 灵敏度) 、扫描制式、信噪比、视 频输出等，其中c c d 的象素，是c c d 的主要性能指标，它决定了显示图像的清晰 程度：分辨率越高，图像细节的表现越好。另一个值得重视的指标是同步方式，目 前的c c d 摄像机，大多采用相位可调线路锁定的同步方式，即以交流电源频率作为 用于垂直同步的参考值而代替了摄像机的内同步发生器，在切换摄像机输出时，图 像无滚动，不会造成画面失真。c c d 摄像机与镜头的选用原则是根据使用场合、监 视对象、目标距离、安装环境来选择所需的摄像机。 一13 青岛大学硕士学位论文 q d u i i 自动引导车采用了韩国霍尼韦尔( h o n e y w e l l ) 公司的g c 一1 4 5 c g 型黑白 摄像机，如图2 3 所示。摄像机的 象素为4 0 万，视频信号为标准 p a l n t s c 制，分辨率为 7 5 2 ( h ) x 5 8 2 ( v ) ，水平分辨率为4 8 0 线，视频输出为1 0 v p p 复合视频。 其摄像器件采用1 3 ”日本索尼 ( s o n y ) c c d ，接口信噪比大于 图2 3g c - 1 4 5 c - g 型黑白摄像机 5 0 d b ，具有自动增益控制和背景光 补偿的功能。 2 2 1 2 避障传感器的选择 自动引导车在行走过程中，不可避免的会 遇到某些障碍物，如行走中的人等。为了增加 自动引导车行走的安全性，使其具有一定的避 障能力，必须安装避障传感器。 0 d u 一自动引导车的避障传感器选用日 本s u n x 公司的p x 一2 4 e s 型低功耗、高精度避 障传感器，如图2 4 所示。其检测距离可调，最 大为3 m ：误差为1 5 p 2 t ；响应时间小于8 0 m s 。 图2 4p x - 2 4 e s 型避障传感器 2 2 2 传感器的布局 2 2 2 1 视觉传感器的安装位置 为了得到稳定、清晰，场景大的图像，通常将摄像机安装在自动引导车的车身 的前面，一般尽可能做到摄像机振动幅度小、工作环境好，保证得到的图像画面稳 定、满足自动引导车导航要求，分析得到的控制信息超前于驱动轮控制，对系统反 应速度要求降低。 q d u i i 自动引导车采用中间两轮独立驱动，通过两轮差速，实现行走转向，四 周配有角轮；因此将c c d 摄像机安装在车辆中央，采集的图像更能反映车辆运动的 情况：另外，考虑到采用得是双目c c d 摄像机，q d u i i 自动引导车的摄像机安装在 车身的前端中部，两个c c d 摄像机基于车体纵轴线对称分布。为了获得更大的视野， 利用摄像机的图像准确的获取障碍物的位置信息，我们选择c c d 安装角度前倾，如 1 4 第二章自动；l 导车的组成及工作原理 图2 5 所不。 摄像机的安装位置决定了摄像机所能 得到的视野。视野的合理选择对于自动引导 车导航具有重要意义。对于同一摄像机，它 所摄取的图像象素点数目是一定值。因而对 不同大小视野的图像就具有不同的分辨率。 本文所指的分辨率是指单位长度在图像上 所得到的象素的各数。图像识别的准确性与 其图像分辨率的大小密切相关。不同的路 况，需要不同的分辨率。摄像机的分辨率， 图2 , 5c c d 安装倾角示意图 并不是越高越好。因为分辨率越高，对噪声的敏感性也越高。因而，对于分辨率的 选择要根据实际情况经验加以确定。表2 1 给出t c c d 摄像机采用不同的倾斜角安装 时，所得到的视野梯形的以及分辨率的数值。 表2 1 摄像机的视野 由于本文采用的双目视觉传感器，只考 虑单个摄像机的视野是不够的，两个摄像机 之f f i 】的距离对于立体视觉后期的特征点匹配 和三维重建至关重要。立体视差与两个摄像 机之间的距离( 基线) 成正比，即当两个摄 像机之间的距离趋于无穷大的时候，立体视 差为零；但是如果两个摄像机之间的距离取 得过大，当自动引导车前方出现障碍物的时 候，两个摄像机无法同时捕捉到障碍物信息， 图2 。6 两个摄像机的相对位置示意图 因此，基线的长度不能选得太大，电不能太小，应该根据自动引导车导航的需要， 选择合适的基线长度，故本文选择基线b = 2 5 0 m m ，两个摄像机的相对安装位置如 图2 , 6 所示，两个摄像机的光轴是平行的。 一1 5 一 青岛大学硕士学位沧文 2 2 2 2 避障传感器的安装位置 防碰撞传感器的测量范围如图2 7 所示，传感器在工作时，其测量范围可 以根据用户的需要进行调节。测量范围 的调节既可以通过手动调节来实现又 可以通过外部凋节电路接口来根据不 同的环境自动实现。自动引导车最危险 的地方往往是自动引导车的前部。为了 使自动引导车更加安全、有效地探测到 s e n s i n ga r e a l 产 r l r 1 2 7p x 2 4 e s 型避障传感器的测量范围 l c 只 障碍物，我们在q d u i i 型自动引导车的前部和尾部的中间分别安装了一个避障传 感器，它们距地面高度分别为3 3 0 m m 和4 9 0 m m 。 2 3 q d u 1 1 型自动引导车的硬件系统 q d u i i 型自动引导车硬件系统主要由图像采集系统、工控机主控制系统、驱动 电机测控系统等组成，如图2 8 所示。其中，图像采集系统包括c c d 摄像机、图像 采集卡等：工控机主控制系统包括工控机以及各种外围器件；驱动电机测控系统主 要由p m a c 控制卡、编码器、放大器、变速器、直流伺服电机等组成。 路 径 图 像 避障传感器 左驱动电机 右驱动电机 右编码器 左编码器 c c d 系统 工控机图像处理 导航命令发送避 障信息处理 放大器 放大器 p m w 接口板 图2 8自动引导车硬件系统工作原理 1 6 一 p m a c 控 制卡驱动 电机控制 第二章自动引导车的组成及工作原理 23 1 工控机 工控机是自动引导车的控制核心，用以完成有关障碍物信息融合处理并将计算 出的相关参数传递给p m a c 控制卡。p m a c 分析由工控机传来的信息，对驱动电机 发出相应的运动指令以确保自动引导车可以准确地、安全地进行避障行走。 q d u 一1 i 自动引导车选用的是研华( e c 一1 0 4 0 ) 工业控制微机，c p u 为主频 1 0 0 0 m h z 的i n t e lp e n t i u m i 处理器，内存5