（电路与系统专业论文）基于计算机视觉的移动机器人路径识别与跟踪[电路与系统专业优秀论文].pdf

西北大学硕士学位论文 a b s t r a c t m o d e mr o b o tt e c h n o l o g yg a i n si t ss p e e d yd e v e l o p m e n tb yt h ep r o m o t i n go fa r t i f i c i a l i n t e l l i g e n c e ，c o m p u t e rt e c h n o l o g ya n ds e n s o rt e c h n o l o g y a sa ni m p o r t a n tb r a n c ho ft h e r o b o ts u b j e c t ，m o b i l er o b o ti sw i d e l yu s e di nt h ef i e l d so fl o g i s t i c s ，e x p l o r a t i o n , m i l i t a r y a n ds e r v i c e sa n ds oo n o n eo ft h ec o r e t e c h n o l o g i e so fm o b i l er o b o ti sn a v i g a t i o n t e c h n o l o g y a st h ed e v e l o p m e n to fi m a g ep r o c e s sh a r d w a r ea n dd i g i t a li m a g ep r o c e s s t e c h n o l o g y , t h ew a yo fn a v i g a t i o no nt h eb a s eo fc o m p u t e rv i s i o ni sw i d e l yc o n c e r n e di n t h ef i e l do fr o b o tn a v i g a t i o n t h en a v i g a t i o ns y s t e mb a s e do nt h es t a n do fm o b i l er o b o t , w h i c hi sp r o v i d e db y l e g oc o m p a n y sl e g om i n d s t o r m sn x t , w a sb u i l ti nt h i st h e s i s ，a n dt h ep a t h r e c o g n i t i o na n dt r a c k i n go fm o b i l er o b o tw a sp r e l i m i n a r yr e s e a r c h e d t h ec o n t e n t i n c l u d i n g ： 1 t h em e t h o d so fi m a g ep r o c e s s i n gw e r ei n t r o d u c e d , a n dt h r o u g he x p e r i m e n t st h e v a r i o u sm e t h o d sw e r ec o m p a r e da n da n a l y z e d t h er e c o g n i z i n go fp a t hi n f o r m a t i o nw a s r e a l i z e da n dt h em e t h o d sf o ri m p r o v i n gt h es p e e da n dp r e c i s i o no fr e c o g n i z i n gp a t h i n f o r m a t i o nw e r ep r e s e n t e d 2 b a s e do nt h em o t i o nm o d e lo fm o b i l er o b o t ，t h en x tm o t i o nc o n t r o lw a sd i v i d e d i n t ot w op a r t s ：l i n e a rm o v e m e n ta n dt u r n i n g t h em e t h o do fc o n t r o l l i n gr o b o td i r e c t l y d e p e n d i n gu p o ni m a g ei n f o r m a t i o nw a sp r o p o s e d , b yi m i t a t i n gt h ea r t i f i c i a lp r e v i e w b e h a v i o r u s i n gc a i n e r ac a l i b r a t i o n , t h ed i s t a n c ef r o mr o b o tt ot h et u r n i n gi nw o r l d c o o r d i n a t e sw a sw o r k e do u ta n dt h er o b o tc o n t r o li nt u r n i n gp a r tw a sr e a l i z e d 3 i no r d e rt oj u d g ew h e t h e rt h eo b s t a c l e se x i s ti nt h ef r o n to ft h er o b o t ，u l t r a s o n i c s e n s o ri su s e dt om e a s u r et h ed i s t a n c eb e t w e e nr o b o ta n do b s t a c l e s ，a n dt h ed a t at h o s e w e r ec a p t a i n e db yu l t r a s o n i ca n dv i s i o ns e n s o rw a sp r o c e s s e d 4 b yr e p e a t e de x p e r i m e n t sf o rv a l i d a t i n ga n da n a l y z i n gt h ee f f e c to ft h em e t h o d s p r e s e n t e di nt h ep a p e r , n x tm o b i l er o b o t sa u t om o v e m e n ts e l f - d e t e r m i n e du n d e rt h e p r e a r r a n g e dp a t ha n do b s t a c l ed e t e c tw e r ef u l l yi m p l e m e n t e d ，t h ed e s t i n e da i mi sa c h i e v e d a n dt h ef e a s i b i l i t yo fa b o v ep r e s e n t e dm e t h o d si sv a l i d a t e d 1 1 西北大学硕士学位论文 k e yw o r d s ：m o b i l er o b o t ，r o b o tn a v i g a t i o n ，c o m p m e rv i s i o n ，p a t hr e c o g n i t i o na n d t r a c k i n g i l i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：氐垂；j 指导教师签名： 2 如0 年6 月o 日3 年6 月d 日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已经 发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构的学位或证书而 使用过的材料与莸一同工作的同志对本研究所做的任何贡献均己在论文中作了明确 的说明并表示谢意。 学位论文作者签名：越粕 2 咖g 年占月o 日 西北大学硕士学位论文 1 1 引言 第一章绪论 世界上第一台试验型机器人于1 9 5 4 年诞生于美国，虽然它是一台样机，但是它体 现了现代工业广泛应用的机器人的主要特征。机器人产品问世于2 0 世纪6 0 年代，代 表性的有美国u n i m a t i o n 公司的u n i m a t e 机器人和美国a m f 公司的v e r s a t r a n 机器人。2 0 世纪7 0 年代，机器人进入了工业生产的实用化阶斟1 1 。到了8 0 年代，工业机器人进入 普及时代，汽车、电子等行业开始大量使用工业机器人，推动了机器人产业的发展。 到了9 0 年代以后，随着世界信息化速度的加快，以及计算机技术、微电子技术、网 络技术等的快速发展，机器人技术也得到了突飞猛进的发展，具有各种特殊功能的 新型机器人不断出现，智能化程度也不断提高：进入2 l 世纪以后，人们更注重机器 人对外界环境的感知能力和自主能力，新的机器人技术必然向着智能化方向发展， 以满足不同使用者的个性化需要。 移动机器人的研究始于6 0 年代末期斯坦福研究院( s r i ) 口】，现在移动机器人已经 是机器人学中的一个重要分支，其研究具有重要意义，可以广泛应用于军事、医学、 家庭服务等领域。移动机器人是一个集环境感知、规划、决策、执行于一体的智能 控制系统，对它的研究涉及多个学科【3 】包括图像实时处理、计算机视觉、传感器技 术、人工智能、自动控制、计算机并行处理、机械学等多学科理论与技术。 1 2 移动机器人的研究内容与发展状况 1 2 1 移动机器人技术的主要研究方向 移动机器人所涉及的关键技术简介。 1 导航技术 导航技术是移动机器人研究的关键技术之一【4 】，是其实现真正智能化和完全自主 移动的关键技术，它通常包括自身和环境信息的获取及理解、运动控制算法等。 移动机器人的导航问题主要涉及d u r r a n t w h y t e 提出的三个问题：“我现在何 处? ”，我要往何处去? ”，“要如何到该处去? 【5 1 。其中第一个问题是导航系统中的定 位问题，即确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态， 1 西北大学硕士学位论文 第二、三个问题是导航系统的路径规划及跟踪。 移动机器人的导航方式根据机器人工作环境的复杂性、配备传感器的种类和数量 的不同，分为以下几种方式： l _ ) 磁导航。磁导航是目前自动导引车( a u t o m a t e dg u i d e dv e h i c l e , a g v ) 的主要导 航方式。a g v 是移动机器人中的一种，同时a g v 也是自动化物流运输系统柔性生产 组织系统的关键设备。磁导航方式要在a g v 运行路径上，开出深度为1 0m m 左右， 宽5m i l l 左右的沟槽，在其中埋入导线。在导线上通以5 3 0k h z 的交变电流，在导 线周围产生磁场。a g v 上左右对称安装了两个磁传感器，用于检测磁场强度引导车 辆沿所埋设的路径行驶。这种导航方式在a g v 中广泛应用，并且该方式技术成熟可 靠，但对环境的适应能力较差，而且在安装维护成本、灵活性、抗干扰能力等方面 尚有很大差距【酬。 2 ) 里程计导航。里程计导航是根据机器人左右两轮上里程计信息推算出当前的 位置和航向，初始位置和航向要已知【7 】。它是实现相对定位最简单的方法且实现成本 低廉，并且能够实现实时性。但是由于是通过对两个轮子在时间上位移增量的累加 来实现定位，因此在长距离的导航时，累积误差将会增加，使得其准确度下降 8 1 。 3 ) 惯性导航。它利用机器人装配的光电编码器和陀螺仪计算机器人航程，从而 推知机器人当前的位置和下一步目的地。惯性导航系统的优点是不需要外部参考， 但是随时间的漂移，经积分后，任一小的常数误差就会无限增长，所以惯性传感器 对于长时间的精确定位是不适宜的1 9 1 。 4 ) g p s 导航。全球定位系统( g p s ) 是适用于室外移动机器人的一种全局定位系 统，是美国第二代军用卫星导航系统，也是目前世界上最先进的卫星导航系统【1 0 1 。 通过接收g p s 卫星信号并分析处理，确定导航对象在地表的位置，由于g p s 定位系统 的精度高、覆盖范围广，一般在军事中发挥着巨大的作用。 5 ) 视觉导航。机器人系统中的视觉子系统获取当前状态下机器人周围环境信息， 通过分析确定环境对象和机器人在环境中的位置。视觉导航主要完成障碍物，路标 的探测及识别，根据路标的不同，可分为人工路标导航和自然路标导航。视觉导航 方式具有信号探测范围广，获取信息较其它传感器更完整、信息量大等优点，是移 动机器人导航的一个主要发展方向。目前国内外主要采用在移动机器人上安装车载 摄像机的基于局部视觉的导航方式，如：d l b o l e y 等研制的移动机器人利用车载 2 西北大学硕士学位论文 摄像机和较少的传感器通过识别路标进行导航【1 1 】；a o h y a 等利用车载摄像机和超声 波传感器研究了基于视觉导航系统中的避碰问题【1 2 】。视觉导航中图像分割、边缘检 测、特征提取等图像处理方法计算量大且实时性较差，解决该问题的关键在于怎样 设计一种快速实时的图像处理方法或者采取多传感器集成与融合的导航方式f 2 】。 6 ) 超声波导航【1 3 】。通过在移动机器人车身上安装超声波的发射和接收装置，测 得移动机器人到障碍物或者路标的距离和方位从而估计机器人的位置。超声波导航 方法的优点是硬件结构简单，价格低廉，容易操作，但是因为超声波传感器自身的 缺陷，如：镜面反射、有限的波束角等，给充分获得周围环境信息造成困难。在实 际应用中，往往采用其它传感器来补偿，或采用多传感器融合技术提高检测精度等。 2 路径规划和路径跟踪技术 路径规划技术是机器人研究领域中的一个重要分支。路径规划是依据某种优化准 则( 如行走路线最短、行走时间最短、行走能量消耗最低等) ，在其工作空间中找到一 条从起始位置到目标位置，且能避开障碍物的最优路径【1 4 】。 对移动机器人的路径跟踪的研究主要集中在两个方向上：一是路径的设置及其信 息的获取；二是控制方法的研究。路径的设置主要有两种方法，即有线路径和地图 路径。移动机器人有线路径可以是埋在地下的电缆、铺刷在地面上的磁性路径或者 有色亮带、自然或人工摆设的墙壁等。地图路径可以是基于全局路径规划的路径， 也可以是示教的路径。移动机器人路径跟踪的控制方法有很多，从经典的p i d 控制到 各种智能控制，都可以来进行移动机器人的路径跟踪。由于移动机器人的运动学和 动力学模型较为复杂，加之一些非线性因素和不定因素的影响【1 5 1 ，使得移动机器人 的运动控制很复杂。 3 多传感器集成与融合 对移动机器人来讲，无论是导航控制，还是路径规划与路径跟踪控制，都要通过 传感器感知外部环境和自身状态。受环境干扰因素的影响和自身性能的限制，单一 传感器提供的信息往往是不完备的，移动机器人很难依此做出合理的判断，因此限 制了系统的感知能力和鲁棒性。因此，移动机器人常采用视觉、超声、红外和激光 等多传感器集成来获得环境信息，这些信息在时间、空间、可信度、表达方式上不 尽相同。但是，这些信息都是同一环境下对目标不同侧面的反映，因此存在一定的 相关性i l 引。利用多传感器信息融合技术，对这些信息进行综合，获得冗余的、互补 西北大学硕士学位论文 的、完整的外界信息，使移动机器人能够做出合理的、高鲁棒性的行动决策。多传 感器信息融合比较确切的定义可概括为：利用计算机技术对按时序获得的若干传感 器的观测信息在一定准则下加以自动分析、优化综合以完成所需的决策和估计任务 而进行的信息处理过程1 1 7 1 。 把信息融合技术应用到移动机器人上的研究，虽然国内外许多研究工作者己经做 了大量的工作，但由于移动机器人平台的多样性，加上信息处理的复杂性和工作环 境的不确定性等原因，对如何有效地、实时地进行信息不同层次的采集、分析、融 合，及信息的不确定推理、理解等方面仍旧没有一个好的统一的解决方案。因此， 深入研究多传感器信息融合技术在全自主移动机器人上的应用，实现信息融合技术 与机器人技术的完美结合，对智能机器人的研究和发展具有重要意义。 4 多机器人协作技术 近年来，多机器人协作系统以其突出的柔性、鲁棒性和自主性逐渐应用于工业生 产的各个领域【1 8 1 。通过多机器人的协作，可以完成单机器人难以完成的复杂作业， 提高机器人系统在作业过程中的效率；当机器人工作环境发生变化或系统局部发生 故障时，多机器人之间通过其固有的自组织能力及协作机制重新确立协作关系，仍 然可以完成预定作业。自上世纪9 0 年代以来，对多机器人系统的研究越来越受到重 视【1 9 】。多机器人系统的研究分为多机器人合作和多机器人协调两大类，主要研究给 定一个多机器人系统任务后，如何组织多个机器人去完成任务，如何分解和分配任 务以及如何保持机器入之间的运动协调一致。多机器人协作新的技术研究和应用领 域不断出现，多机器人协作仍然是一个刚刚起步的研究领域。 1 2 2 移动机器人的发展状况 移动机器人的研究开始于上个世纪6 0 年代末期，1 9 7 2 年美国斯坦福研究院的n i l s n i l s s e n ，c h a r l e sr o s e n 等人研制了名为s h a k e y 的自主移动机器人1 2 0 1 ，实现了人工智能 技术在复杂环境下的应用。上世纪7 0 年代末，随着计算机的应用和传感器技术的发 展，移动机器人又有了新的进展【2 】。从8 0 年代开始，美国国防高级研究计划局专门立 项，制定了地面无人作战平台的战略计划1 2 1 1 。从此，在全世界揭开了全面研究室外 移动机器人的序幕，如d a r p a 的“战略计算机”计划中的自主地面车辆( a l 计划 西北大学硕士学位论文 1 2 1 。进入上世纪9 0 年代，以研制高水平的环境信息传感器和信息处理技术，高适应 性的移动机器人控制技术，真实环境下的规划技术为标志，展开了移动机器人更高 层次的研究【2 】。 美国麻省理工大学人工智能实验室开发的一个人形机器人c o g ( 图1 1 ) ，使用一套 传感器图像来模拟人的感官，包括视觉、听觉、触觉和发声系统。美国佐治亚理工 大学的n o m a d1 5 0 机器人利用激光传感器来构建3 一d 坐标和地图( 图1 2 ) 。为了弥补超 声、红外和激光传感器的不足，许多学者进行了基于视觉导航的研究。例如，美国 卡内基梅隆大学的b o o k s t o r e 计划完全采用了视觉作为导航方式，实行了基于图像表 现的视觉定位和导航；日本的n a g a s a k iu n i v e r s i t y & u b et e c h n i c a lc o l l e g e 的智能轮 椅采用了视内灯光作为导航标记，使用了自然图像和激光反射图像相结合的方法实 现了自定位等1 2 2 1 。 图1 1 机器人c o g图1 2 机器) l n o m a d1 5 0 国内在移动机器人的研究方面起步较晚，研究及应用水平与日美相比存在较大差 距，主要是没有形成机器人产业。2 0 世纪8 0 年代，我国机器人技术的发展得到政府 的重视和支持，机器人步入了跨越式发展时期。1 9 8 6 年，我国开展了“七五”机器人攻 关计划，1 9 8 7 年，我国的“8 6 3 ”高技术计划将机器人方面的研究开发列入其中，进行 了工业机器人基础技术、基础元器件、几类工业机器人整机及应用工程的开发研究。 9 0 年代，确定了特种机器人与工业机器人及其应用工程并重，以应用带动关键技术 和基础研究的发展的方针，研制出了有自主知识产权的工业机器人系列【l 】。 机器人技术的发展，一方面体现在机器人应用领域的扩大和机器人种类的增多； 另一方面体现在机器人的智能化。在2 1 世纪，各种智能机器人将得到广泛的应用， 具有像人的四肢、灵巧的双手、双目视觉、力觉感知功能的仿人型智能机器人将被 研制成功。 西北大学硕士学位论文 图1 3t h m r 。v 清华v 型智能车 图1 4 c a s i a i 图1 5“先行者”机器人 清华大学智能技术与系统国家重点实验室研制的新一代移动机器人t h m r v 清 华v 型智能车，如图1 3 n 示；中科院自动化所研制的集多种传感器、视觉、语音识别 与会话功能于一体的智能移动机器人c a s i a i ，如图1 4 所示；国防科技大学在19 9 0 年成功研制出我国第一台两足步行机器人的基础上，经过十年研究，在2 0 0 2 年研制 成我国第一台类人型机器人“先行者”，如图1 5 所示，等等，这些都是我国在移动机 器人研究方面取得的成绩。 随着技术的进步，移动机器人开始在更现实的基础上，开拓各个应用领域，向实 用化进军。在军事上，移动机器人可以在危险地带代替人类完成侦察、排雷等任务； 在民用方面，减少交通事故的自动或辅助驾驶系统，帮助残疾人士的智能轮椅，家 庭用清扫机器人，通风管道监测机器人等都利用到了移动机器人技术；在科学研究 上，移动机器人可以用于外星勘探，例如中国为奔月卫星研制“移动机器人”月球探测 车，2 0 0 4 年初美国发射的勇气号，机遇号火星车等；同时移动机器人为智能控制、 人工智能及数据融合等学科研究提供了一个非常好的应用平台，得到广泛关注的机 器人足球比赛就是移动机器人一个很好的例子。 1 3 计算机视觉 人们利用自己的眼、耳、鼻、嘴以及其他器官从周围的环境中获取信息，从而在 纷繁的世界上生存与发展。因此，一旦产生了计算机，人们也希望计算机能够代替 他们与周围的环境交换信息，这就推动了计算机视觉的产生与发展。 计算机视觉研究的目标是使计算机通过二维图像理解三维环境信息。三维环境信 息不仅指三维环境中物体的几何信息，还包括物体的位置、姿态、运动等信息，并 且能对物体进行描述、存储、识别和理解等。计算机视觉的研究对提高机器人的自 西北大学硕士学位论文 动化和智能水平、对智能机器人和智能系统的发展都有很大的促进作用。 1 3 1 计算机视觉概述 计算机视觉是在2 0 世纪5 0 年代从统计模式识别开始的，到7 0 年代中期，麻省理工 学院人工智能( a j ) 实验室正式开设“机器视觉”( m a c h i n ev i s i o n ) 课程。同时，m i ta i 实验室也吸引了国际上许多知名学者参与机器视觉的理论、算法、系统设计的研究。 其中的d a v i dm a r t 教授于1 9 7 7 年提出了不同于“积木世界”分析方法的m a r r 计算视觉 理论( m a r r - c o m p u t a t i o n a lv i s i o n ) 2 3 1 ，系统地概括了心理生理学、神经生理学等方面已 取得的所有重要成果，建立了计算机视觉的理论框架，是视觉研究中迄今为止最为 完善的视觉理论刚。m a r r k 信息处理系统的角度出发，认为视觉系统的研究应分为 三个层次，即计算理论层次、表达与算法层次、硬件实现层次。计算理论层次研究 视觉系统的目的和策略，亦即各部分的输入输出是什么，之间的关系是什么变换或 什么约束；表达与算法层次应给出各部分的输入输出和内部的信息表达，以及实现 计算理论所规定的目标的算法；硬件实现层次研究用硬件实现上述表示和算法的问 题，比如计算机体系结构及具体的计算装置及其细节【2 5 1 。在这三个层次中，从信息 处理的角度看，最重要的是计算理论层次，只有正确理解了待解决问题的本质，才 有助于理解并创造算法。m a n 视觉计算理论核心的部分是将视觉过程自上而下地划 分为三个阶段：早期视觉处理、中期视觉处理和后期视觉处理三个阶段。 目前，计算机视觉仍然是一个非常活跃的研究领域。随着计算机科学、神经网络、 人工智能、信号处理、神经生理学、模式识别以及其它相关领域学科的发展，计算 机视觉研究的新概念、新方法、新理论不断涌现，计算机视觉理论的研究得到了更 深入的发展。 1 3 2 基于计算机视觉的移动机器人导航 视觉在人类生活中起着非常重要的作用，人们每天都通过眼睛采集大量的信息， 这些信息经过大脑的处理，成为人们认知和理解世界的基础。科学证明，人类从外 部世界获得的总信息的8 0 来自于视觉。机器人视觉系统正如人的眼睛一样，是机器 人感知局部环境的重要“器官”，同时依此感知的环境信息实现对机器人的导航。 西北大学硕士学位论文 机器人视觉信息主要指c c d 摄像机采集的二维图像信息。视觉信息能否被正确、 实时地处理直接关系到机器人对障碍物的避碰、对路标的识别以及对路径的跟踪， 对系统的实时性和鲁棒性具有决定性的作用。视觉信息的处理技术是移动机器人研 究中关键的技术之一。为了简化视觉信息处理，通常把移动机器人的工作环境分为 结构化道路环境和非结构化道路环境2 6 1 。结构化道路的检测相对来说较易实现，其 检测技术一般都以边缘检测为基础，辅以h o u g h 变换、模式匹配等，并利用最t j 、- 乘 法处理对应于道路边界的线条，得出道路的几何描述。由于非结构化道路的环境复 杂、特征描述困难，使得非结构化道路的检测及信息处理复杂化。 近年来，机器人视觉导航技术有了很大的发展。移动机器人的工作环境可能比较 复杂，因此提高图像识别的准确性以实现移动机器人的准确定位是移动机器人完成 其导航任务的首要前提；同时，由于移动机器人在导航过程中需要实时的采集并分 析图像信息，从而实现对作业环境的识别以进行准确的路径跟踪。因此，如何在提 高图像识别的准确性的同时达到较好的实时性是移动机器人视觉技术的一个发展方 向。 1 4 论文的选题背景与主要内容 现代机器人技术在人工智能、计算机技术和传感器技术的推动下获得了飞速发 展，其中移动机器人因具有可移动性和自治能力，能适应环境变化被广泛用于物流、 探测、服务等领域 2 7 - 3 0 。移动机器人的核心技术之一是导航技术，特别是自主导航 技术。由于环境的动态变化和不可预测性、机器人感知手段的不完备等原因，使得 移动机器人的导航难度较大，一直是人们研究的重点【3 1 1 。随着计算机技术、数字图 像处理技术及图像处理硬件的发展，基于计算机视觉的导航方式在机器人导航中得 到广泛关注。 本论文的主要内容是研究基于计算机视觉的移动机器人导航系统的路径识别与 跟踪。论文的主要工作如下： 1 通过视觉传感器采集路面信息，对采集到的图像进行实时处理，辨识出有用 的路径信息，实现机器人对当前环境的理解。 2 在分析移动机器人运动学模型的基础上，针对本文的工作平台n x t 移动机器 西北大学硕士学位论文 人，完成其直线跟踪和转弯部分的运动控制。 3 采用超声传感器测量机器人与障碍物的距离，对超声波传感器与视觉传感器 获得的数据信息进行组合与处理。 论文的主要内容安排如下： 第一章概述移动机器人的研究内容、发展现状以及计算机视觉在移动机器人 中的应用，其中重点阐述了移动机器人的导航技术、路径规划和路径跟踪技术、多 传感器集成与融合技术；并简要介绍本文的工作和研究内容。 第二章介绍本文的工作平台：对n x t 移动机器人体系结构，n x t 移动机器人 导航系统的子系统通信子系统和视觉子系统的工作原理进行说明，最后概述整 个导航系统的工作原理。 第三章实现了本文提出和采用的视觉子系统的图像处理和路径信息辨识的方 法。首先通过对各种图像处理方法的实验比较和分析，结合本文导航系统实际环境 中的图像特点，确定出适合于本研究的图像处理算法；然后在图像处理的基础上实 现路径信息的辨识，并提出改善路径信息辨识速度和精度的方法。 第四章在分析移动机器人的运动学模型的基础上，将n x t 移动机器人运动控 制分为直线跟踪和转弯两部分；然后根据采集到的路径图像信息，模仿人工预瞄行 为，提出直接依据图像信息设计机器人的输入控制量方法，实现机器人的直线跟踪。 对摄像机标定，由图像信息获得机器人在现实坐标系中的参数，计算出机器人相对 于转角的实际距离，实现机器人自主转弯的控制。并将视觉传感器与超声波传感器 获得的数据进行组合与处理，实现机器人在移动时能对前方障碍物进行检测；最后 对n x t 移动机器人系统的实验结果及性能进行分析和讨论。 第五章总结全文，并提出若干需要进一步研究和改善的地方。 西北大学硕士学位论文 第二章n x t 移动机器人导航系统结构及设计 针对乐高( l e g o ) 乏2 n 的“l e g om i n d s t o r m sn x t 移动机器人【3 2 1 ，研究了基于 计算机视觉导航的移动机器人路径识别与跟踪。本章给出n x t 移动机器人的体系结 构及本文所搭建的移动机器人导航系统。 2 1n x t 移动机器人体系结构 机器人的体系结构是定义一个机器人系统各子系统之间相互关系和功能分配， 确定一个机器人或多个及机器人系统的信息传递关系和逻辑上的计算结构。对于一 个具体的机器人而言，是指这个机器人信息处理和控制系统的总体结构1 1 。 移动机器人基本功能模块如图2 1 所示，其中 决策 感 知 廷 动 控 制 图2 1 移动机器人系统的基本功能和模块 1 感知模块：传感器感知模块是连接现实世界环境与机器人的接口，是机器人 获取信息的窗口。用传感器采集信息可以使机器人具备感知环境的能力，对采集到 的信息进行处理，可以为机器人的运动控制提供决策依据。单一的传感器往往只能 提供外界环境的部分信息，移动机器人很难依此做出合理的判断。为了弥补单个或 单类传感器性能上的差异和探测缺陷，移动机器人常采用多个或多类传感器，利用 多传感器融合技术对这些传感器获取的信息进行综合处理以获得完整的外界信息。 2 决策模块：机器人通过传感器获取外界环境信息之后，对所感知的信息进行 综合判断，并对判断结果做出相应的运动规划，下达移动机器人的自主行进、自主 西北大学硕士学位论文 导航、避障、目标检测等智能化的操作的指令。 3 运动控制模块：该模块根据决策层的路径规划，产生作用于移动机器人执行 机构的命令，使机器人对现实世界环境的变化做出相应的运动响应。 n x t 移动机器人采用模块化的结构，分为动力、控制、传感器三个模块，模块 间通过许多不同的结构件来连接固定，图2 2 是其中的部分结构件。整个机器入由三 点支撑，前面两个驱动轮，后面一个万向轮用于平衡。 图2 2n x t 机器人的部分结构件 邑池板 二卜动力系统 图2 3n x t 移动机器人实物图 n x t 移动机器人底部为动力系统，装有伺服电机，机器人的转弯主要是通过两 个电机的差速转动来实现。控制系统即n x t 处理器，其主处理器是3 2 位a r m 7 处 理器a t 9 1 s a m 7 s ，主频4 8 m h z ，2 5 6 k 闪存，6 4 k 静态内存；协处理器是8 位a v r 处理器a t m e g a 4 8 ，主频9 m h z ，4 k 闪存，5 1 2 b 静态内存。处理器上共有8 个端口， 输入端口为4 个6 线数字接口，支持数字和模拟接口( 可接4 个传感器) ；1 个高速端 口，符合国际总线标准i e c6 1 1 5 8t y p e - 4 及欧洲标准e n5 0 1 7 0 ；输出端口为3 个6 线数字接口，支持解码器信号输入( 可接3 个伺服马达) 。处理器面部装有显示屏，1 0 0 一 一麓露一一 产_二l；? 一誉誉一 西北大学硕士学位论文 6 4 像素黑白图像显示，可视区域2 6 m m 4 0 6 m m 。背部装有锂电池板。处理器四 周安装有传感器系统，n x t 移动机器人配备的传感器系统包括检测距离的超声波传 感器；读取环境光强度的光电传感器；测量噪音( d b 或d 丑 a ) ，识别调制声音模式、 音调、音色的声音传感器及触动传感器。n x t 移动机器人实物图如图2 3 所示。 本文搭建的n x t 移动机器人的导航系统体系结构如图2 4 所示。以通用计算机 作为导航系统的处理核心，通过蓝牙设备实现计算机与n x t 移动机器人之间的无线 通信，采用单目u s b 摄像头作为视觉传感器用于n x t 移动机器人的导航，通过 u s b 2 0 数据线将u s b 摄像头与计算机相连。同时，该导航系统还配有备用超声波传 感器。 伺服电机 图2 4n - x t 移动机器人导航系统体系结构 2 2n x t 移动机器人导航子系统 2 2 1 通信子系统 在整个移动机器人导航子系统中，计算机与n x t 移动机器人的通信是很重要的 一个环节，通信子系统是计算机与移动机器人系统沟通的桥梁。近年来随着蓝牙技 术的发展及其广泛应用，其在短距离无线传输上的绝对优势，使得它的应用范围扩 西北大学硕士学位论文 展到移动机器人领域中。 1 蓝牙技术简介 蓝牙技术是由爱立信、m m 、i n t e l 、诺基亚、东芝等5 家公司于1 9 9 8 年5 月联合 制定的近距离无线通信技术标准【3 3 ，是全球统一、开放的无线数据和语音通信技术 标准【3 4 】。其实质内容是为固定设备或移动设备之间的通信环境建立通用的无线电空 中接1 ：3 ( r a d i oa i ri n t e r f a c e ) ，将通信技术与计算机技术进一步结合起来，提供一种低 价位、低功耗、替代电缆的无线数据和语音链路，使设备能在近距离范围内实现相 互通信或操作。蓝牙技术主要面向网络中各类数据及语音设备( 如p c 、拨号网络、笔 记本电脑、打印机、移动电话等) ，通过无线方式将它们连成一个微微网( p i e o n e t ) ， 多个微微网之间也可以互联形成分布式网络( s c a t t e m e t ) ，从而方便、快速的实现各类 设备之间的通信【3 5 l ，使人们能够随时随地实现个人区域内语音和数据信息的交换与 传输。 2 蓝牙技术的特点 蓝牙技术可以将人们从千头万绪的数据线连接工作中解放出来：将写有蓝牙无线 收发程序的小芯片嵌入蓝牙设备，在1 0 m - 1 0 0 m 范围内不需要任何数据连接线，所 有支持蓝牙技术的设备之间就进行高效的数据连接。 蓝牙技术支持点对点和点对多的通信，可采用无线方式将若干蓝牙设备连成一个 微微网。多个微微网又可以互连出特殊分散网，从而形成一个灵活的区域网，以实 现各类设备间的快速通信。同时由于蓝牙也采用了微波技术，可以绕开障碍物传输 信号。 同时蓝牙还具有以下特点：全球可操作性，蓝牙设备的工作频段选在2 4 g h z 的 i s m ( - - 业、科学、医学) 频段，该频段在全球各个国家都是有效的，没有被任何一个 组织或行业单独占用，可自由使用【3 5 】；体积小，可以直接嵌入主微型设备中；功耗 小，可以用电池供电，工作电压只需3 - 5 v ；低成本；安全性高，体现在：( 1 ) 抗干扰 能力强，蓝牙采取抗干扰措施主要有快调频、自适应功率控制和短数据包等；( 2 ) 保 密性好，蓝牙在其基带协议中加入了鉴权和加密措施；( 3 ) 低辐射，蓝牙的标称输出 功率仅为1 m w 3 5 q 6 1 。 3 蓝牙技术在移动机器人通信中的应用 目前，机器人的人机交互和信息传输的方式主要有现场总线方式、红外线方式等。 西北大学硕士学位论文 现场总线技术多种多样，通信标准不统一，使得系统的开放性大打折扣。此外，随 着机器人机构的复杂化和集成度的提高，现场总线技术的走线有时非常困难甚至是 不可能的【3 7 1 。而蓝牙技术的首要好处就是消除了这些令人头痛、千头万绪的电缆线， 大大缩小了系统的体积。 红外线通信( i n f r a - r e dd e l i v e r a b l ea c c e s s i r d a ) 方式是一种短距离无线传输技术， 它依靠红外线来传输数据，不像现场总线方式那样需要通信电缆。i r d a 是一种利用 红外线进行点对点通信的技术，是第一个实现无线个人局域网的技术。目前，它的 软硬件技术都很成熟，在小型移动设备p d a ( p c r s o n a ld i g i t a la s s i s t a n t ，掌上电脑) 、 手机上广泛使用。其1 m 内通信速率已达到1 6 m b s ，采用4 p p m ( p u l s ep o s i t i o n m o d u l a t i o n ，脉冲位置调制) 调制方式，适合于传输容量大的数据文件和多媒体数据 流。另外，由于红外线发射角小，因此在物理传输上具有一定的安全性。可应用于 工业测控网络的互连，为工业移动测试和传输提供优良的手段p 4 】。但是，i r d a 同样也 存在明显的缺点，即传输距离短，一般为l m 左右，且视线可及；要求通信设备的位 置固定；点对点的传输，无法灵活组网。与i r d a 相比，蓝牙技术的优势在于：使用 全向天线，更易于发现设备；具有很好的抗干扰能力；支持终端的移动性；传输速 率设计为1 m h z ，全双工通信：信号传输不受视距影响；支持点对多点的连接，易于 组网。蓝牙技术相对于红外线通信的这些优势使得它更适合于机器人，因此将蓝牙 技术应用在机器人系统相对于其他的通信方式有着显著的优势。 2 2 2 视觉子系统 视觉子系统分为图像采集和图像处理两大部分，其中图像采集部分包括摄像器件 和图像采集卡。本节主要概述图像采集部分。 1 图像采集方式 目前的视觉系统根据所使用的摄像机的个数一般分为三类：单摄像头式，双摄像 头式和多摄像头式，大多数采用单摄像头或是双摄像头方式。多摄像头式中，各摄 像头之间有着不同的焦距，视角从小到大。目前，视觉系统采集图像遇到的问题是： 采用大焦距摄像头时，转弯视角过窄，无法观察到两旁的景物。选用广角镜头捕捉 前方场景图像时，拍摄远处则存在图像分辨率较低，非线性畸变大等问题，采用多 西北大学硕士学位论文 摄像头方式可解决这些问题【3 8 1 。但此时需要同时处理多帧图像，计算量巨大，运用 此种方式的系统比较少。双摄像头式对不同视角的摄像机获取的两幅图像进行区域 匹配，实现立体视觉，可以得到相对较多的信息，例如车辆及障碍物的检测等，但 涉及的计算复杂，运算量较大，不容易实现。单摄像头式采用一个面阵型摄像机， 在精度要求不很高的情况下，可以获得足够的信息进行路径跟踪。 在综合考虑了本文中导航系统的工作环境、设计成本等因素后，本系统采用单目 u s b 摄像头作为视觉传感器用于机器人的视觉导航。由于机器人是在环境相对简单 的室内运行，且机器人的主要任务是基于引导线的路径识别与跟踪，因此采用单目 摄像头采集方式可以满足系统需求。当然，采用单一的视觉传感器会增加导航的难 度。 2 图像采集设备 图像采集设备决定着视觉系统数据源头的质量问题。使用黑白摄像机或彩色摄像 机是图像采集模块的两种选择方案。与彩色摄像机相比，虽然黑白摄像机设备成本 低，相同大小图像的图像数据量小，易于实现实时采集和处理，环境噪声对图像质 量的影响较小，但是存在诸如图像的信息量小，不符合人眼的视觉感知特性。结合 实验室环境，并考虑到本文中移动机器人平台研究的发展和继承，选用u s b 彩色数字 摄像头。 摄像头的感光元件一般分为c c d 和c m o s 两种。在摄影摄像方面，由于要求较高， 因此多采用c c d 设计，本文应用c m o s 感光元件已能满足需要。而且c m o s 一个突出 优点就是制造成本较c c d k 毛，功耗也小很多。本系统中所使用的l o g i t c c hq u i c k c a m 摄像头采用v g a c m o s 感应器，动态视频分辨率为6 4 0 x 4 8 0 ( 3 0 万) 像素，静态视频分 辨率：1 2 8 0 x 9 6 0 ( 1 3 0 万) 像素，最高每秒采集3 0 帧图像。 3 摄像机的安装设计 摄像机的视野范围与摄像机的安装高度有关。在相同的俯仰角情况下，摄像机安 装高度增大，摄像机视野范围也随之增大，机器人的预瞄距离也随之增大。所以， 安装时可适量增大安装高度。摄像机镜头俯仰角为摄像机光轴与道路水平面的夹角， 摄像机的预瞄距离定义为摄像机光轴与地面交点到摄像机镜头在地面上的垂直投影 点之间的水平距离。 西北大学硕士学位论文 图2 5 摄像机采集几何关系示意图 如图2 5 所示，h 表示摄像机安装高度，d 表示摄像机的预瞄距离，秒表示摄像机 镜头俯仰角。 针对本系统中的n x t 移动机器人，本论文采用单目摄像头用于视觉系统的图像采 集，摄像头通过u s b 数据线连接到计算机。摄像头以一定俯仰角安装于n x t 移动机 器人的右侧，即右侧驱动轮的上方，其中摄像头的光轴与n x t 移动机器人两个驱动 轮的中轴线基本垂直。摄像头将采集到的数字视频信号通过数据线传递给计算机， 计算机对接收到的图像信息利用数字图像处理技术进行处理，根据处理结果对n x t 移动机器人发送相应的控制指令。 2 3n x t 移动机器人导航系统工作原理 图2 6n x t 移动机器人导航系统工作原理图 n x t 移动机器人导航系统由n x t 移动机器人、视觉子系统、通信子系统及通用 计算机四部分构成。系统工作原理如图2 6 所示，首先n x t 移动机器人通过架设在 机器人上的摄像头采集工作环境的信息，然后由视觉子系统将视频信号输入计算机 进行处理、辨识，计算机根据辨识的结果，由控制算法得到控制量，最后通过通信 子系统与n x t 移动机器人通信，将控制量发送给n