（机械制造及其自动化专业论文）移动机器人视觉导航与路径规划.pdf

摘要 论文题目：移动机器人的视觉导航与路径规划 学科专业：机械制造及其自动化 研究生：王更生 指导教师：傅卫平教授 摘要 签名： 签名： 移动机器人技术是一门多学科技术，随着生产的发展和自动化程度的提高，现代工业 生产朝着高效和高柔性的方向发展，人类对高智能移动机器人的需求显得尤为迫切。因此 研究高智能的移动机器人具有着重要的意义。 视觉导航和路径规划是研究移动机器人的两个重要的组成部分，本文针对双目视觉导 航和路径规划相结合在移动机器人中的应用进行了研究，研究内容主要涉及到障碍物识 别，摄像机的标定和路径规划方法的优化等方面。 首先，摄像机标定采用基于线性模型的标定方法，获得简化投影矩阵和单应性矩阵， 该标定方法过程简便，精度基本满足自主导航车的要求。然后，利用图像处理算法中的区 域分割法对环境进行处理，结合单应性矩阵、逆投影变换得到障碍物的位置，根据障碍物 的位置及处理后的图像进行局部路径规划。路径规划方法是基于行为动力学模型的滚动窗 口法，由于动力学模型存在着一定的局限性，采用强化学习算法利用视觉所采集的环境信 息，对动力学模型的主要参数进行学习，最终规划出一条最优的路径。最后，移动机器人 根据定时采集图像并处理，将各个滚动窗口相互连接，形成全局路径规划，使移动机器人 能够安全的避开障碍物，最终到达目标点，并建立环境地图，该方法能够很好的优化路径， 并且规划出的路径比较平滑。 在v c 6 0 + + 平台下，对图像采集、图像处理算法和路径规划算法进行编程，通过移 动机器人室内实车行走实验，证明了本文将视觉导航、强化学习算法及路径规划算法的可 行性。 关键词：双目视觉；障碍物检测；强化学习算法；路径规划；行为动力学 本课题获国家自然科学基金项目( n o 1 0 8 7 2 1 6 0 ) ；陕西省机械制造装各重点实验室项目( 0 5 j s 2 9 ) 资助 西安理工大学硕士学位论文 i i a b s t r a c t t i t l e ：m o b i l er o b o tv i s u a ln a v i g a t i o na n dp a t hp l a n n i n g m a j o r ：m a n u f a c t u r eo fm e c h a n i z a t i o na n da u t o m a t i o n n a m e ：g e n g s h e n gw a n g s u p e r v i s o r ：p r o f w e i p i n gf u a b s t r a c t s i g n a t ur e 幽厶蜂绺 s i g n a t u r e ：脚 m o b i l er o b o tt e c h n o l o g yi sa ni n t e r d i s c i p l i n a r yt e c h n o l o g y o w i n gt ot h ed e v e l o p m e n to fp r o d u c t i o na n d t h ei m p r o v e m e n to fa u t o m a t i o n ，m o d e mi n d u s t r i a l p r o d u c t i o ni sd e v e l o p i n gt ot h ed i r e c t i o no fh i g h e f f i c i e n c ya n df l e x i b i l i t y , a n dh u m a nb e i n g sa r ep a r t i c u l a r l yd y i n gt ot h ei n t e l l i g e n tm o b i l er o b o t c o n s e q u e n t l y , t h er e s e a r c ho nt h em o b i l er o b o tw i t hh i g hi n t e l l i g e n c ei so fg r e a ts i g n i f i c a n c e v i s u a ln a v i g a t i o na n dp a t hp l a n n i n ga r et w oc o m p o n e n t so ft h es t u d yo ft h em o b i l er o b o t , t h i se s s a y m a d er e s e a r c ho ft h ea p p l i c a t i o no ft h em o b i l er o b o tw i t ht h ec o m b i n a t i o no fb i n o c u l a rv i s i o nn a v i g a t i o na n d p a t hp l a n n i n g t h ec o n t e n to f r e s e a r c hm a i n l yi n v o l v e so b s t a c l e sr e c o g n i t i o n ，t h ec a m e r ac a l i b r a t i o na n dt h e p a t hp l a n n i n gm e t h o d so fo p t i m i z a t i o n ，e t c a b o v ea l l ，t h ec a m e r ac a l i b r a t i o na d o p t e dt h ea p p r o a c ho fc a l i b r a t i o nb a s e do nl i n e a rm o d e lt oa c q u i r e s i m p l i f i e dp r o j e c t i o nm a t r i xa n dh o m o g r a p h ym a t r i x t h i sm e a n si ss i m p l e ，a n di tc a nm e e tt h en e e do f a u t o n o m o u sn a v i g a t i o nv e h i c l eg e n e r a l l y f u n l l e r m o r e ，t h ep a p e ru t i l i z e dt h er e g i o n a ls e g m e n t a t i o nm e t h o d t op r o c e s st h ee n v i r o n m e n t ，t h i sm e t h o di sa l w a y sa p p l i e di np r o c e s s i n gi m a g e t h e ni tg a i n e dt h ep o s i t i o n s o fo b s t a c l e sw i t ht h ec o m b i n a t i o no fh o m o g r a p h ym a t r i xa n di n v e r s ep r o j e c t i o nt r a n s f o r m a t i o n e v e n t u a l l y , t h el o c a l p a t hp l a n n i n gw a sc o n d u c t e da c c o r d i n gt ot h ep o s i t i o n so fb a r r i e r sa n dt h ei m a g e sa f t e r p r o c e s s i n g p a t hp l a n n i n gi sas c r o l lw i n d o wm e t h o db a s e do nt h ed y n a m i c sm o d e l d u et ot h ec e r t a i n l i m i t a t i o no fd y n a m i c sm o d e l ，t h et h e s i se m p l o y e dt h er e i n f o r c e m e n tl e a r n i n ga l g o r i t h mt ol e a r nt h em a i n p a r a m e t e r so ft h ed y n a m i c sm o d e lw i t ht h eh e l po fe n v i r o n m e n t a li n f o r m a t i o nc o l l e c t e db yt h ev i s u a ls e n s e ， a n dt op l a na no p t i m i z e dr o u t ef i n a l l y t h em o b i l er o b o tc o n n e c t e de v e r ys c r o l lw i n d o wt h r o u g hc o l l e c t i n g i m a g e sr e g u l a r l ya n dp r o c e s s i n gt h e m ，t of o r mt h eo v e r a l lp a t hp l a n n i n g ，w h i c ha i m e da te n a b l i n gi t s e l ft o e v a d er o a d b l o c k ss a f e l y , a r r i v i n ga tt h ed e s t i n a t i o na tl a s ta n de s t a b l i s h i n ge n v i r o n m e n t a lm a p t h i sm e t h o d w a sa b l et oo p t i m i z ep a t hs u c c e s s f u l l y , a n dt h ep a t hp l a n n e do u tw a sc o m p a r a t i v e l ys m o o t h t h r o u g hp r o g r a m m i n gf o rt h ep r o c e d u r eo fc o l l e c t i n gi m a g e s ，p r o c e s s i n gi m a g e sa l g o r i t h ma n dp a t h p l a n n i n gu n d e rv c + + 6 0p l a t f o r m t h ed i s s e r t a t i o nv e r i f i e dt h ef e a s i b i l i t yo ft h ea p p l i c a t i o nw h i c hi s c o m b i n i n gv i s i o nn a v i g a t i o n ，r e i n f o r c e m e n tl e a r n i n ga l g o r i t h ma n dp a t hp l a n n i n ga l g o r i t h m + s u p p o r t e db yt h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( n o 1 0 8 7 2 1 6 0 ) ；k e yl a b o r a t o r yp r o j e c to fm e c h a n i c a l m a n u f a c t u r i n ge q u i p m e n to fs h a a n x ip r o v i n c e ( n o 0 5 j s 2 9 ) i i i 西安理工大学硕士学位论文 k e y w o r d s ：b i n o c u l a rv i s i o n ，o b s t a c l e d e t e c t i o n ，r e i n f o r c e m e n t l e a r n i n ga l g o f i t h m ，p a t h p l a n n i n g ，b e h a v i o rd y n a m i c s i v 目录 目录 1 绪论1 i i 研究背景及意义1 1 2 移动机器人视觉导航与路径规划的国内外现状1 1 2 1 移动机器人视觉导航研究现状1 1 2 2 移动机器人路径规划研究现状3 i 3 研究内容及结构安排5 i 4 本章小结5 2 基于双目视觉的环境建模技术7 2 1 引言7 2 2 摄像机的标定7 2 2 i 图像坐标系、摄像机坐标系和世界坐标系7 2 2 2 基于透视模型的摄像机线性标定9 2 2 3 利用左右摄像机对单应性矩阵的标定1 2 2 2 4 标定试验及结果分析1 2 2 3 利用逆投影变换进行障碍物检测1 5 2 3 1 逆投影变换1 5 2 3 2 障碍物检测的实例分析1 6 2 4 环境建模1 7 2 5 本章小结1 8 3 具有学习能力的行为动力学滚动窗口路径规划方法2 1 3 1 引言2 l 3 2 强化学习算法原理2 l 3 3 基于行为动力学的滚动窗口路径规划方法2 3 3 3 1 滚动窗口路径规划原理及方法2 3 3 3 2 行为动力学模型2 6 3 3 3 学习能力的行为动力学模型3 0 3 3 4 滚动窗口与具有学习能的行为动力学模型相结合3 3 3 4 本章小结3 4 4 四轮全方位移动机器人路径规划和运动控制的实现3 5 4 1 引言3 5 4 2 四轮全方位移动机器人硬件组成及控制结构3 5 4 2 1 四轮全方位移动机器人硬件组成及系统工作原理3 5 4 2 2 系统工作原理3 6 v 西安理工大学硕士学位论文 一一 4 3 应用程序的开发3 7 4 3 1 应用程序主要界面3 7 4 3 2 图像采集3 9 4 3 3 图像信息处理4 0 4 4 路径规划及运动控制实验及其结果分析4 1 4 4 1 实验目的和任务4 1 4 4 2 实验过程4 1 4 4 3 实验数据分析4 4 4 5 本章小结4 4 5 总结与展望4 5 5 1 全文总结4 5 5 2 展望4 5 致谢4 7 参考文献4 9 v i 第一章绪论 1 绪论 1 1 研究背景及意义 随着工业水平的提高，人类科学技术已经发展到前所未有的状态，比如具有人工智能 的移动机器人作为机器人的代表，它是一个集环境感知、规划决策等多种功能于一体的综 合系统n 1 。移动机器人可以在复杂环境下自主奔向目标，是因为它可以通过传感器感知环 境和本身状态，从而完成一定的作业，通常包括环境感知、路径规划、车辆控制等模块。 环境感知是移动机器人行走过程中进行导航的最主要部分。根据日常生活中对环境的感 知，利用视觉是最有效的方式，视觉系统能够使得机器人以智能和灵活的方式对其周围环 境做出反应，视觉信息能否正确、实时地被处理直接关系到机器人的运动速度、路径跟踪 以及对障碍物的避碰，对系统的实时性和鲁棒性起决定性的作用。基于视觉的移动机器人 已经成为研究的重点，我国在此技术上与欧美发达国家还存在一定的差距，还需继续研究。 移动机器人技术正在渗透到人类生活的各个层面，它具有其特殊的机构模型和应用领 域。随着科技的发展，已经由以往的大学实验室及其研究机构发展到各个领域，由单纯的 工业应用发展到能执行太空任务、探险、搜索与援救、勘探与测绘、深海打捞等领域。除 此之外，移动机器人也已经在博物馆、医院以及娱乐场所等广泛应用，它们正在各个领域 成为人类的得力助手，帮助人们做不能、不便做的工作，从而显著地提高了生产效率，给 人类的生活带来极大的便利。因此，移动机器人的迅速发展和广泛应用，给人类社会的生 活和生产带来了深远的影响。当前，各国所研究的移动机器人都是具有一定适应性、自主 性和交互性的智能系统。移动机器人技术研究的主要问题包括导航与定位、路径规划、运 动控制、以及多机器人之间的协作或对抗等，将这些问题相互紧密的结合起来，就会使机 器人技术很好的得到提高。移动机器人研究的核心乜1 是自主导航技术，使智能化、自主 移动是否能够实现的关键技术。由于移动机器人的机构特征、工作环境、任务目标、运动 模型以及多机器人之间的交互方式不同，实现任务方式和解决的问题差异很大，目前尚存 在着很多需要解决或者需要优化的问题，需要进行深入研究。 综上所述，移动机器人研究水平体现了该国家科技水平的发展，因此目前对于移动机 器人的研究具有很好的现实意义和理论意义。 1 2 移动机器人视觉导航与路径规划的国内外现状 1 2 1 移动机器人视觉导航研究现状 机器人视觉技术的主要任务是为机器人建造视觉系统。如同人类视觉系统的作用一 样，机器人视觉系统将赋予机器人一种高级感觉机构，使得机器人能以智能和灵活的方式 对其周围的环境做出反应。由于对机器人系统应用领域不断提出更高的要求，机器人视觉 将越来越超复杂。 由诸多研究表明，机器人视觉具有信号探测范围宽、获取信息完整等优点，视觉导航 西安理工大学硕士学位论文 将成为未来移动机器人导航的一个主要发展方向。根据视觉系统使用的摄像机数目，视觉 导航系统可分为单目视觉导航、双目视觉导航、三目视觉和多目视觉导航( 分布式视觉导 航系统) 。不同程度地适用于各种不同的环境，包括室内室外环境，结构化与非结构化环 境。目前将机器视觉应用于移动机器人进行导航的研究很多，国外在这方面做得相对比较 成熟，如：m i ny o u n gk i m 和h y u n g s u c kc h o 设计了一套基于激光结构光的主动3 d 感知 系统用于对移动机器人进行室内导航控制。该主动3 d 形状感知系统由一个多条光激光发 生器和两台摄像机组成，激光发生器和两台摄像机呈三角形方式配置安装，在该系统中， 将激光发生器建模成一个虚拟的摄像机，利用三个摄像机之间的约束关系，通过在两个真 实摄像机中获得的图像信息，完成特征直线对的匹配。该系统可以只通过采集一次图像， 便可提取场景中被测物体的3 d 信息。但该系统多提区环境信息时，需要的计算量比较大， 设备需要很高的配置，从而影响机器人的正常运行。s a n t o s 、v i c t oh 1 等人研发了一个基 于光流的视觉系统，该系统模拟了蜜蜂的视觉行为。该系统认为昆虫的眼睛长在两侧的优 势就在于它们的导航机制是基于运动产生的特征，而不是深度信息。在此方法中，一个分 开的双目视野被用于模仿蜜蜂的中心反射，如果机器人位于环境的中心位置，其左眼拍摄 到的画面场景变化速度和右眼拍摄到的画面场景变化速度是一样的，相差几乎为0 ，这时 机器人就可以知道自己处于环境的中心位置，如果两侧眼睛的场景变化速度不同，机器人 就朝向速度变化较慢的那一边运动。在自主机器人导航的实现中，基于的基本思想就是测 量两侧眼睛( 摄像机) 拍摄到画面场景变化速度之差。该导航技术只能用于室内单一背景的 直道环境中导航，无法指导机器人改变方向。b o l e y 等对于机器人的研制中，利用摄像机 和其他较少的传感器相结合，通过对周围环境中的路标进行识别，他所获得的实用性相对 比较好，有效地拟制了噪声，并且能够安全的规划路径，识别障碍物等；o h y a 等利用超 声波传感器和摄像机相互结合应用于移动机器人上进行基于视觉导航的避障问题1 ；美国 所研制的n a v l a b - 5 系统，在车体上开发了便携式高级导航支撑平台p a n s ，应用的传感 器主要包括摄像机，陀螺仪、g p s 系统和光码盘，所研制的工作站需要进行各种传感器 信息的相互融合，进行局部路径规划，在机器人行驶过程中，需要在相对平坦的道路上， 检测车道线，道路边界等，该系统的最大优点就是能够在车道线不佳的情况下进行道路跟 踪，激光雷达主要是对障碍物的距离进行检测，因此该导航小车能够缓解道路上面的危险 性。由于我国经济条件的制约，国内目前对于移动机器人的研究相对来说比较差，国防科 技大学所研制的无人驾驶移动技术已经慢慢成熟，它主要研制的是在结构化道路下的自主 驾驶技术，在车上安装彩色摄像机、雷达、陀螺仪、惯导定位及超声等传感器，主要完成 局部路径规划，导航，通过地图数据库信息进行全局规划，利用这些传感器实现机器人导 航，各种传感器相结合对于导航相对来说比较灵活，且无需对地面进行改造，提高了系统 柔性。只不过各类传感器的相互连接比较麻烦，但将模糊系统利用于其中就能产生较优的 机器人行为动作。卫星导航利用g p s 全球定位系统以距离作为基本的观测量，通过计算 出移动机器人的位置实现自身定位，无论室内还是室外，在此发展的一个重要方向是室外 2 第一章绪论 环境下的机器人导航系统1 。 目前，对于机器人视觉导航方法采用摄像机与其他传感器所得到的信息进行相互融 合，能够有效地适应变化的环境，具有很强的自适应能力、学习能力和自治功能，这将是 未来移动机器人视觉导航发展的一个趋势。 1 2 2 移动机器人路径规划研究现状 路径规划在移动机器人技术研究领域中起到很重要的作用，很大意义上体现着机器人 的智能化。路径规划问题涉及到环境表达、规划方法、路径执行，环境表达主要是有效的 获取环境信息，这与传感器有直接的关系，然后将这些环境信息表达；规划方法是在环境 表达的基础上，采用相对有效的规划路径并进行优化；路径执行与机器人底层控制有关， 根据动力学、运动学模型来确定执行元件的控制7 1 。移动机器人行驶时的控制目标是从起 始位置顺利到达目标点，在其控制过程中，利用图像处理技术实现避障功能，安全地避开 障碍物，到达目标点。对于该问题，将环境信息分为两大类：一类是全局规划，即周围环 境信息完全已知，另一类是局部规划，即周围环境为未知信息。全局规划方法根据传感器 获取周围环境信息，规划出一条较优的路径，规划路径的精确程度取决于对周围环境信息 提取的准确性。全局方法在获得的环境信息后进行优化时所做的计算量相对较大，影响整 体的路径规划。局部规划方法只考虑机器人在当前的局部环境信息下，使机器人能够安全 地实施避障行为。但是该方法有时候容易产生局部极点，影响移动机器人顺利到达目的地 的的效果。总之，上述两种方法各有利弊，故将两种方法相互结合，取长补短的综合研究 方法渐渐成为研究的趋势，因此将两种方法相互结合的综合研究方法逐步成为研究的重点 8 1 移动机器人路径规划主要解决三个问题：( 1 ) 机器人要能够安全从初始点运动到目标 点；( 2 ) 在一定的算法下是机器人实行避障行为，并且经过某些必须经过的点；( 3 ) 在完成 以上任务的前提下，尽量优化机器人运行轨迹。所谓机器人的最优路径规划问题，就是依 据某个或某些优化准则( 如工作代价最小、行走路线最短和行走时间最短等) ，在其工作 空间中找到一条从起始状态到目标状态能避开障碍物的最优路径。根据控制方法的不同， 机器人的路径规划方法大致可以分为两类：传统方法和智能方法。 目前对于路径规划方法的研究已经取得了很大的成就：如s c h w a r t z 及b r o o k s 和 l o z a n o p e r e z 采用单元分解法，将机器人所探索到的自由位形空间分解为很多有限的单 元，并将工作空间中的障碍物转换为c s p a c e 中的障碍，将这些单元之间相互连通，但是 由于机器人在路径规划时，规划所要计算的数据结果太大，耗时性太高，影响机器人的速 度 9 1 0l a t o m b e 采用局部的搜索方法，采用随机运动的方式来避开局部最小，通过这一方 法可以提高路径规划的有效性，但是该方法中概率必须完全已知，应用时所存在的局限性 比较小。h o w d e n 、u d u p an 等人提出了无碰路径规划算法的位姿空间法，在空间环境下 将运动物体缩为一点，形成一个障碍区，求出运动物体的无碰壁路径这样就构造了一个虚 拟的数据结构，把运动物体、障碍物及几何约束关系作了等效变换，简化了问题的求解。 西安理工大学硕士学位论文 位姿空间法把原来求一般物体无碰撞路径问题，转化为求质点在位姿空间的安全问题，使 问题得到简化，因此得到了广泛的应用。但该方法的灵活性比较差，有待于改进。基于遗 传算法的路径规划算法，h o l l a n d 在2 0 世纪6 0 年代初提出的，遗传算法借鉴了生物界自 然选择和进化机制，对生物进化过程作为数学方式的模拟，是一种随机、迭代、进化，具 有广泛适用性的搜索方法。为了寻求一个问题的最优解，寻优程序有时不得不花费相当长 的时间进行搜索，造成这种现象主要有两方面的原因：g a 算法自身的优化能力有限，不 得不需要更多次的迭代运算才能找到最优解；g a 算法在实现中产生了大量的计算开支， 因此，要提高g a 的优化速度，就必须对上述两个方面进行改进。另外，早熟收敛一直是 g a 中存在的主要问题。算法一旦出现早熟收敛，将无法得到问题的最优解。变异算子作 为克服算法早熟的最有效手段，极大地影响着g a 的优化速度。 b r o o k s 提出了基于行为的方法n 川，它是- - f - j 从生物系统受到启发而产生的用来设计 自主机器人的技术，是一种自底向上从简单的智能体来建立一个复杂的系统，用于解决移 动机器人路径规划的一种新趋势，他把导航问题分解为许多相对独立的行为单元，比如跟 踪、避碰、目标制导等。这些行为单元是一些由传感器和执行器组成的完整的运动控制单 元，具有相应的导航功能，各行为单元所采用的行为方式各不相同，这些单元通过相互协 调工作来完成导航任务。由于机器人在行驶过程中需要对周围环境信息进行分析，因此必 然要进行障碍物检测。目前提出的滚动窗口路径规划方法d 1 ，它是在未知环境下进行路 径规划的算法，借鉴了预测控制滚动优化原理，把控制论中优化和反馈两种基本机制合理 地融为一体，使得整个控制既基于模型与优化的，又是基于反馈的。及与滚动窗口的路径 规划算法的基本思路：首先进行场景预测，在滚动的每一步，机器人根据其探测到的局部 窗口范围内的环境信息，用启发式方法生成局部子目标，并对动态障碍物的运动进行预测， 判断机器人行进是否可能与动态障碍物发生碰撞：其次，机器人根据窗口内的环境信息及 预测结果，选择局部规划算法，确定向子目标行进的局部路径，并依所规划的局部路径行 进一步，窗口相应向前滚动；然后，在新的滚动窗口产生后，根据传感器所获取的最新信 息，对窗口内的环境及障碍物运动状况进行更新。基于滚动窗口的路径规划方法，主要用 于全局未知的环境中，该方法放弃了对全局最优解的要求，利用机器人实时测得的局部环 境信息，以滚动方式进行在线规划，具有良好的避碰能力。 由于滚动窗口获得的环境信息有限，就全局看来，按这种方法规划出的整条路径并非 全局最优，这也是所有局部路径规划方法都不可避免的问题，但可以利用已知的全局信息 和局部信息做到局部规划和全局最优的折衷1 4 1 。 总体来讲，目前路径规划方法都是相互结合，相互补充向着快速前进发展，目前很多 学者已经成功地将几种算法相互有效的结合起来使用，达到的效果远远超过了单一的算 法。根据路径规划中所出现的多种制约，国内外的研究已经由起初的二维已知平面转向了 三维未知空间的路径规划，并有机地和其他学科相互结合，提出了更为优化的算法，这些 都很好的解决了路径规划中出现的问题。 4 第一章绪论 1 3 研究内容及结构安排 根据文献所提出的路径规划方法，在室内结构化环境中，由于行为状态变量速度 对于动力学模型影响比较大，通常的方法都是将速度假设为一恒量，或与距离呈线性关系， 未充分考虑速度的变化规律和行为变量间的耦合作用及对于控制系统延迟时间的影响，通 常适合于速度较低工作场合，当速度较高时，控制系统稳定性差，易出现碰撞现象“1 。动 力学模型中的某些重要变量的取值，都取恒定值，从而影响路径规划的优化程度，使路径 规划的不够精确。 针对上述所存在的问题，本文做了以下的改进，在相同的室内环境条件下，将视觉系 统与基于行为动力学的移动机器人滚动窗口路径规划方法相结合，对视觉系统中的障碍物 识别方法进行改进，使机器人能够精确的识别到障碍物，建立局部环境模型，并加入强化 学习算法对行为动力学模型进行优化，使机器人在运动时所规划出的路径最优，能够安全 地到达目标点。 结合当前移动机器人a g v ( a u t o m a t e dg u i d e dv e h i c l e ) 的研究状态，使a g v 在未知环 境下进行路径规划，并能够成功地避障且能够成功到达目标点的目的，本文以a g v 为研 究对象，应用视觉导航方式、基于行为动力学模型的滚动窗口路径规划方法，利用强化学 习算法n 妇中的q 学习算法对动力学模型重要参数进行优化，并给出仿真结果；运用运动 学模型n 2 1 和路径规划结果实现对a g v 的运动控制，最后做实验控制a g v 避障并规划出 一条最优的路径。 全文内容安排如下： 第一章：本章主要介绍课题研究意义与背景，路径规划以及相关算法的研究现状，并 提出新的解决方案。 第二章：本章主要研究基于双目视觉的环境建模技术 1 3 1 。包括摄像机标定方法、障 碍物检测、图像预处理和图像分割等。通过标定获得简化投影矩阵和单应性矩阵，根据这 两个矩阵进行投影变换，利用双目视觉系统计算视差获得障碍物在世界坐标系中的位置， 为路径规划提供数据信息。 第三章：本章主要研究具有学习能力的行为动力学模型与滚动窗口法相结合的路径规 划方法。将强化学习算法应用于行为动力学模型当中，对其模型中的参数进行优化，可以 较快地规划出一条最优的路径。将上一章的视觉系统与该模型相互结合应用于a g v 当中， 进行相关的仿真。 第四章：本章是在v c 环境下对四轮全方位移动机器人a g v - 1 进行软件编程、实验， 对路径规划方法的有效性及强化学习算法对于模型优化的准确性进行验证。 第五章：总结与展望。 1 4 本章小结 本章在阅读大量国内外相关文献的基础上，对移动机器人视觉系统及路径规划技术上 西安理工大学硕士学位论文 的研究现状和相关技术作了详细地介绍，并介绍了本文主要内容。 第二章基于y , k 目视觉的环境建模技术 2 基于双目视觉的环境建模技术 2 1 引言 视觉技术是移动机器人获得环境的基本手段之一。本章将先介绍移动机器人在运动过 程中遇到障碍物时，需要采取的图像处理方法；其次，双目摄像机从环境中获取图像信息， 对障碍物进行判断，在判断之前先对双目摄像机进行标定，获取世界坐标到图像坐标的简 化投影矩阵和左、右像机图像对单应性矩阵，然后标定结果，采用基于逆投影变换的方法 进行障碍物判断。 2 2 摄像机的标定n q 双目视觉的标定，首先是要对每个摄像机进行标定，然后计算得出两个摄像机的几何 位置，图像上的位置与空间物体表面相应点的几何位置有关。这些像点位置的相互关系是 由摄像机成像的几何模型所决定的，几何模型由许多参数组成，这些参数分为两类：外部 参数和内部参数，对于每一帧图像而言它的外部参数都是不同的，如摄像机坐标相对于世 界坐标系的平移和旋转，而内部参数是不变的，摄像机的焦距，比例因子和镜头畸变，计 算的结果就是摄像机的总参数，即此计算和实验的过程就是摄像机标定n 日0 用摄像机标定建立各个坐标系之间的映射关系，投影矩阵表达的是世界坐标到图像坐 标的映射关系，本文利用透视变换矩阵的标定方法进行标定，它是不需要考虑镜头畸变的。 在进行障碍物识别时候需要单应性矩阵，它表达的是左、右摄像机图像坐标之间的映射关 系。以下是对其整个标定过程的描述。 2 2 1 图像坐标系、摄像机坐标系和世界坐标系 在进行双目立体视觉模型分析时，一般先对整个视觉系统建立相应的坐标系，并建立 左右摄像头之间的相互映射关系：图像坐标系、摄像机坐标系和世界坐标系。 对于摄像机所拍摄的图像用一个m x n 的二维数组表示，m 行n 列的图像数组中每 个元素被称为像素，其值表示的是该图像点的亮度。如图2 1 所示，在图像平面上定义直 角坐标系u 、v ，其原点o o 一般选在左上角，每个像素坐标为( u ，v ) ，由于该坐标只表示 像素位于图像中的列数和行数，并不是物理单位表示出该像素在图像中的位置，因此，需 要建立以物理单位表示的图像坐标系0 1 x y 。x 轴和y 轴分别与u 轴和v 轴相互平行，( u ， v ) 代表的是图像坐标系的坐标单位( 像素) ，( ) ( ，y ) 代表的也是图像坐标系的坐标，但 是其单位为毫米，若0 l 在u 、v 坐标系中的坐标为( u o ，v o ) ，d x 、d y 为x 轴、y 轴方向上 的物理尺寸，( u o ，v o ) 代表的就是图像中的某一个像素，则图像中任意一个像素在两个坐 标系下的坐标有如下关系： x “2 一+ u o ， d x ” 归专+ 咖 ” ( 2 1 ) 西安理工大学硕士学位论文 ( u o v o ) 0 1 ， 图2 - 1 图像坐标系 f i g 2 - 1i m a g ec o o r d i n a t e 若采用齐次方程，则上式可表示为如下的矩阵形式： 1 一 _-0u 0 a x 1 0 _ v 0 d v 001 ( 2 2 ) 刚孑弓硼 晓3 ) 在摄像机进行标定时，摄像机成像几何关系起着重要的f f - n ，因此对其进行分析：如 图2 - 2 所示。其中0 点成为摄像机光心，摄像机坐标系中的x 轴和y 轴与图像坐标系的x 轴和y 轴相互平行，z 轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点即为 图像坐标系的原点0 l ，摄像机坐标系o x y z ，0 0 1 为摄像机焦距。 j z w z 入 y w x w 图2 - 2 摄像机坐标系和世界坐标系y 、x w z w f i g 2 - 2c a m e r ac o o r d i n a t es y s t e ma n dt h ew o r l dc o o r d i n a t es y s t e my w x w z w 由于摄像机可以安装在机器人的任何地方，为求出摄像机所在环境中的位置，就得划 分一个基准坐标系，用来描述其位置，则该基准坐标系就被称为世界坐标系，它由x w 、 y w 、z w 三维坐标组成。式( 2 4 ) 中r 为旋转矩阵，t 为平移向量，表示的是摄像机坐标 系与世界坐标系两者之间的相互关系，因此可以根据两者之间的关系建立一个齐次方程 第二章基于双目视觉的环境建模技术 组，对于空间任意一点p 在两个坐标系中的齐次坐标分别是x w = ( x w ，y w ，z w ，1 ) t 与x = ( x ，y ，z ，1 ) t 关系式为： = 鲫 x w 乙 l = m z x w 弓 z w l ( 2 4 ) r 为3 x 3 正交单位矩阵，t 为三维平移向量，o = ( 0 ，0 ，o ) 1 ，m 2 为4 x 4 矩阵。 2 2 2 基于透视模型的摄像机线性标定 根据摄像机的几何关系可以看出，三维空间坐标系与二维图像坐标系的相互关系n 钉 描述的就是摄像机内部参数与外部参数的非线性方程。对于非线性方程来说，就意味着摄 像机镜头存在非线性畸变，本文所研究的主要是线性标定方法，忽略摄像机镜头的非线性 畸变，将透视变化矩阵中的元素作为未知数，提取到地面上的一些点与图像上的点对应， 利用线性方法就可以求解透视矩阵中的各个元素，此种方法就是线性模型摄像机标定方 法。该方法的优点就是运算速度比较快，能够实现摄像机参数的实时计算；缺点就是对于 摄像机参数标定的精度不够，因为没有考虑摄像机镜头中的非线性畸变，且对机器人导航 精度的要求不是很高，不需要考虑镜头的畸变，所以选择此方法满足机器人的导航精度要 求1 6 1 。 透视模型又称线性模型或针孔模型1 1 8 1 是最简单的成像模型。从1 9 9 2 年h a r t l e y n 钉 首次提出线性摄像机标定的思想后，线性摄像机标定已广泛应用于摄像机标定上。标定所 获得的简化投影矩阵主要是用于定位测距，摄像机的焦距，可得出摄像机坐标点 d c k 匕z c n n a p ( x c ，y c ，z c ) 与坐标系鹚y 中的像点p ( x ，y ) 之间存在如下关系： x ：垒，y ：盟 ( 2 5 ) z cz c 将上式用齐次坐标和矩阵的形式表示为： 料匿 00 o l f 00 1 01o j y c z c 1 ( 2 6 ) 摄像机投影矩阵的计算：根据标定的目的，三个坐标系的映射关系，图像坐标系中的 坐标( u ，v ) 与世界坐标系中的坐标d w z w ，将式子( 2 4 ) 和( 2 6 ) 代入( 2 2 ) 可 以得出： 9 西安理工大学硕士学位论文 u 乙” 】 0 a x ，、 1 u _ a y oo1 - q 0 = lo哆 1 0 0 1 一 - 0 n o d x 1 0 砂 o01 _ f 00 o 厂 o 001 l 孙uo r j h y w 1 】 0 d x 】 0 a y oo1 = m 2 x w y w 1 x w y w z w 1 厂 0甜o 0 d x 厂 0 屹0 a y oo10 = 坞 x w y w z w 1 y c 乙 1 x w y w z w 1 ( 2 7 ) lq 0 u o 0 其中，a x = f l d x ，a y = f d y ，m - - 1 0 哆v o 0l ，q 、哆、v 0 为摄像机的内部 0010 lj 参数，与摄像机的内部结构有关，则m 称为内部参数矩阵，鸩= i 苫：i ，它为摄像机 的外部参数矩阵，表示摄像机坐标系与世界坐标系之间的关系，坛= m m 2 ，为3 x 4 矩 阵，称m 为投影矩阵。设： | - m 。，m l z m l s m 1 。 坞= im 2 1 m 2 2m 2 3m 2 4i ( 2 8 ) 1 1 鸭2 他3 4 j 根据上述的方法求得摄像机的参数矩阵，然后就可以求得投影矩阵的数据，检测障碍 物到机器人之间的距离和障碍物在世界坐标系中的位置，此处障碍物到机器人的距离为障 碍物底部与机器人前端之间的距离。在世界坐标系中障碍物的位置可以表示为 ( x w ，y w ，z w ) ，由于该方法只用于测距和定位，知道障碍物的位置即可，因此，无需计算z w 值的大小。利用公式求解投影矩阵，首先要在世界坐标系中选取若干组点坐标并与图像坐 标系中的组点坐标值相互对应，从而利用公式( 2 7 ) 反求投影矩阵。假定有n 个世界坐 标系中的点( p 1 ，p 2 ，p n ) ，其中第i 个点在世界坐标系中的坐标为( x ，。，y ，。，z ，；) ，其 在图像坐标系中的对应点的坐标为( u i ，v i ) ，对于第i 个点，由式( 2 7 ) 可得 1 0 门列 门刈 第二章基于双目视觉的环境建模技术 制锥捌朝 1y w l 100 0 一u l x w l u l y w l 000 x w ly w l1 一巧x w l一巧。x w l h y m1 00 0 一u n x w 疗一u 。y w ” 000 x w ”y w 玎 1 一心x w 厅一吒工懈 m l m 2 铂3 l ，吃2 聊2 3 鸭l 鸭2 u 1 m 3 3 h 。鸭3 。鸭3 。，伤3 ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) 由式子( 2 7 ) 可知，对于简化之后的投影矩阵m 乘以任意不为零的常数是不会影响 世界坐标系中点的坐标与图像坐标中的对应点的坐标之间的映射关系的，因此可以在式 ( 2 7 ) 两端同时除以m ，以m m ，。作为简化投影矩阵( 即令m 。= 1 ) ，对式子( 2