（机械设计及理论专业论文）基于双目视觉智能轮椅导航的关键技术研究.pdf

江苏大学硕士学位论文 摘要 随着现代机器人技术的快速发展，机器人技术在工程领域的应用日益广泛。 智能轮椅作为一种服务机器人，它融合了移动机器人技术、计算机技术、仿生学、 模式识别等领域的先进成果，其发展也受到人们越来越多的关注：同时，具有地 图记忆、自行行走避障，并能通过人机接口与用户进行简单交流的智能轮椅的出 现使智能轮椅的功能出现了革命性的变革。智能轮椅虽然大量应用了移动机器人 技术，但其服务对象是人，因而安全性是其首要问题。能够安全的自主或半自主 导航并规划出一条无碰撞路径是其主要任务，也是当前有关智能轮椅研究的热点 问题。 基于视觉的移动机器人导航是近年发展起来的一种先进导航技术。与其它的 非视觉传感器导航相比，它具有信息丰富、探测范围宽、目标信息完整等优点。 本文以智能轮椅为研究对象，在此平台上分析了基于双目视觉导航的关键技术， 其主要研究结果有： 1 提出了基于b p 神经网络的摄像机标定技术。摄像机标定作为一个完整的 视觉系统工作的前提条件，其精度直接影响后续工作的可靠性。本文先综合分析 了传统摄像机标定方法，指出其在实际具体应用中的局限性。之后结合现代神经 网络技术，提出了基于b p 神经网络的摄像机标定技术。建立了三层神经网络模 型，以双目视觉系统获取的图像作为输入，并在m a t l a b 6 0 试验环境下编程验证 了算法的有效性，使其成为摄像机标定的一种可选的有效方法。 2 系统分析了图像采集的软硬件系统和图像处理的整个流程。图像是视觉系 统工作的最原始的基本数据。恰当合适的图像处理算法能够大量节省系统的工作 时间，并提高系统工作的鲁棒性。基于此，本文分析了图像预处理、图像分割、 图像的边缘检测与提取等领域的常用的算法，并对比讨论了各种算法的适用范 围。这为后续的路径规划工作提供参考。 3 提出了基于遗传算法的智能轮椅路径规划算法。路径规划作为移动机器人 领域里的经典难题，其发展和研究一直受到人们的关注。路径规划的实质是一个 江苏大学硕士学位论文 迭代优化寻找最佳路径的过程，而遗传算法在迭代优化方面具有很好的适用性。 本文建立了简单的环境模型，用来模拟智能轮椅的工作环境，采用v c 算法，仿 真模拟了遗传算法的计算过程，并在环境中找出了可行路径。通过模拟实验证明 了该算法的有效性，可以作为智能轮椅路径规划可选方法。 本文的研究对象是智能轮椅，但是其研究方法和成果对其他移动机器人导航 具有重要参考意义。 关键字：智能轮椅，双目视觉，摄像机标定，立体匹配，路径规划 江苏大学硕士学位论文 a b s t r a c t t h eq u i c k l yd e v e l o p m e n to ft h em o d e mr o b o tt e c h n o l o g yh a sr e s u l t e di ni t s e l fa m o r ea n dm o r em a t u r ea p p l i c a t i o ni nt o d a y se n g i n e e r i n gc o m m u n i t y a sa h i g h t e c h p r o d u c t i o nw h i c hi n t e g r a t i o nm o b i l er o b o t i c s ，c o m p u t e rt e c h n o l o g y , b i o n i c s ，p a t t e m r e c o g n i t i o ne t c ，t h ei n t e l l i g e n tw h e e l c h a i r sa p p e a rh a sd r a w sm o r ea n dm o r ea t t e n t i o n m e a n w h i l e ，w i t hi t sf u n c t i o nl i k em a p sm e m o r ya n dc o m m u n i c a t i o nw i t hi t su 鼹r t h r o u g hm a n - m a c h i n ei n t e r f a c e ，t h ew h e e l c h a i rh a sb r o u g h tar e v o l u t i o ni nt h i sm e d a l t h o u g hi t su s e ds o m et e c h n o l o g yf r o mt h em o b i l er o b o t i c s ，t h ew h e e l c h a i ri su s e d t op r o v i d es e r v i c ef o rp e o p l e ，s ot h ep r i m ef u n c t i o ni st ok e e ps a f ef o ri t si k q e r p l a n n i n gac o l l i s i o nf r e ep a t hw h i c hh a sn oc o l l i s i o nw i t ho t h e r0 b j e c ta u t o m a t i co r h a l f - a u t o m a t i ci st h e i n t e l l i g e n tw h e e l c h a i r sp r i m et a s k a l s ot h ea u t o n o m o u s n a v i g a t i o ni sah o tt o p i ct o d a y s a f e t yn a v i g a t i o nb a s e do nv i s u a ls e n i o ri sa na d v a n c e dt e c h n o l o g yn o w a d a y s c o m p a r e dw i t ho t h e rn a v i g a t i o nm e t h o d s ，i th a ss o m ea d v a n t a g el i k ee n o u g h i n f o r m a t i o nf o rc a l c u l a t e ；w i d ei nd e t e c ts c o p e ；i n t e g r i 哆f o ro b j e c ti n f o r m a t i o ne t c t h es t u d yp l a t f o r mi nt h i sp a p e ri st h ei n t e l l i g e n tw h e e l c h a i r , w h i c hi sa l s ot h em a i n a p p l i c a t i o no b j e c t f o rt h i sp a p e r , t h em a i nc o n t r i b u t i o ni sa sf o l l o w i n g ： 1 p r o p o s e da n e wm e t h o df o rc a m e r ac a l i b r a t i o n - t h eb pn e u r a ln e t w o r kc a m e r a c a l i b r a t i o n a saf i r s ts t e pf o rt h ev i s i o ns y s t e m ，t h ea c c u r a c yo fc a m e r ac a l i b r a t i o n h a v eag r e a te f f e c to nt h er e l i a b i l i t yo ft h es y s t e mw o r k a f t e raw h o l ea n a l y s i sf o rt h e t r a d i t i o n a lm e t h o d so fc a m e r ac a l i b r a t i o n , a n dp o 衄o u tt h el i m i t a t i o no ft h i sm e t h o d s ， t h e ni tc o m b i n et h em o d e mn e u r a ln e t w o r kt e c h n o l o g ya n dp r o p o s e dt h eb pn e u r a l n e t w o r kf o rc a m e r ac a l i b r a t i o n i no r d e rt op r o v et h ee f f e c t i v eo ft h i sm e t h o d ，t h e p a p e rb u i l tat h r e el a y e rb pn e u r a ln e t w o r km o d e ，a n du s i n gt h em o d ei m a g ea si n p u t o fn e t w o r k i nt h es o f t w a r ee n v i r o n m e n to fm a t l a b 6 0 ，t h i sm e t h o dw a sp r o v e d e f f e c t i v e 2 t h ep a p e rg i v e nai n t e g r i 哆k n o w l e d g ef o rt h ei m a g ec o l l e c t i o ns y s t e mi n h a r d w a r e s o f t w a r ea n dt h ep r o c e d u r ef o r t h ei m a g ep r o c e s s a l lt h ed a t eu s e di n v i s i o ns y s t e mi sc o m i n gf r o mi m a g e ，s oag o o da n dp r o p e ri m a g ea l g o r i t h mw i l l s a v i n gm u c hc o m p u t et i m ea n de n h a n c et h er o b u s t n e s so ft h es y s t e m b a s e do nt h i s f a c t , t h ep a p e rs u m m a r i z e dt h ec o m m o n l yu s e da l g o r i t h mw h i c hi n c l u d ei m a g e i h 江苏大学硕士学位论文 _ _ _ _ _ _ _ - - _ _ - - _ _ _ _ 二- - - _ _ _ _ _ _ _ _ - _ _ _ - _ _ - _ _ _ _ _ _ - 。_ _ _ - _ - _ _ _ _ _ _ _ 。- _ - _ _ _ _ - - - - _ _ _ _ - - 。_ _ _ _ _ 。一 p r e p r o c e s s i n g ，i m a g es e g m e n t a t i o na n de d g ed e t e c t i o n t h i sg i v e sa r e f e r e n c ef o rt h e p a t hp l a n n i n g 3 p r o p o s e dan e wp a t hp l a n n i n gm e t h o db a s e do ng e n e t i ca l g o r i o m a ( 6 a ) f o r i n t e l l i g e n tw h e e l c h a i r a sad i f f i c u l tp r o b l e mf o rm a n yy e a r s ，t h er e s e a r c h a n d d e v e l o p m e n t o fi th a da l w a y sb e e nc o n c e r n e db yp e o p l e t h ee s s e n c eo fp a t hp l a n n i n g i sap r o c e s st of i n d i n gt h eb e s tw a yt h r o u g hi t e r a t i v ea n do p t i m i z a t i o n f o rt h eg a i s g o o da ti t e r a f i v ea n do p t i m i z a t i o n ，i ti se a s yt oc o n n e c tt h ep a t hp l a n n i n ga n dg a i n t h i sp a p e r , s e v e r a ls i m p l em o d ew a sb u i l tt os i m u l a t e de n v i r o n m e n gt h e nu s i n gt h e v c + + p r o g r a m m et oi m p l e m e n tt h ep r o c e s so fg a , a n d f i n dt h ef e a s i b l ew a y t h e e x p e r i m e n ts h o w e dt h a tt h em e t h o di se f f e c t i v e t h es t u d ym o d ea n do b j e c ti nt h i sp a p e ri sf o ri n t e l l i g e n tw h e e l c h a i r ss t e r e o v i s i o nn a v i g a t i o n ，h o w e v e r i ta l s oc 姐b ea p p l i c a t e df o ro t h e rm o t i v er o b o t k e yw o r d s ：i n t e l l i g e n tw h e e l c h a i r , b i n o c u l a rv i s i o n , c a m e r ac a l i b r a t i o n , s t e r e o m a t c h i n g , p a t hp l a n n i n g i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密。 学位论文作者签名夸匀z 始指剥雠：彳磊噍 矽f 矿年汐6 月秒6 日 力年月，日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已注明引用的内容以外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：毒手孕 日期：2 玎矿年6 易月日 江苏大学硕士学位论文 1 1引言 第一章绪论 随着现代机器人技术的发展，越来越多的新技术、新概念引入到智能机器人 领域。同时机器人的研究、设计和应用也越来越受到政府以及广大研究机构的重 视。现代机器入技术融合了控制技术、计算机技术、仿生学、材料学、人工智能 等，其发展水平已经是一个国家科技实力的重要象征。现在国际上对机器人普遍 通行的定义是：机器人是靠自身动力和控制能力来实现各种功能的一种机器。目 前在工业、医学、军事等领域中机器人均有重要应用。 现代机器人技术的快速发展和其在各个领域中广泛且日渐成熟的应用，为一 种新的机器人诞生服务机器人创造了条件。服务机器人可以完全或者部分帮 助人类从事各种的事物，提高了人类的自由程度。由于服务的对象变成了入，这 类机器人比传统意义上的工业机器人有了更高的要求。总的来说，就是更加的智 能化。现如今无论是国际还是国内，老龄化的速度都在加快，对老年人的服务和 照顾将会成为未来二三十年社会的主要问题。同时由于各种灾难和疾病以及交通 事故造成的残障人士也逐年增加，他们存在不同程度的能力丧失，如行走、视 力、动手及语言等。为了给老年人和残障人士提供性能优越的代步工具，帮助他 们提高行动自由度及重新融入社会，这种社会现实促进了智能化服务机器入在助 老助残方面的应用，智能轮椅就是在种情况下应运而生。 智能轮椅是将智能机器人技术应用于电动轮椅，并且融合了多种现代技术， 包括机器视觉、机器人定位与导航、模式识别、多息传感器融合及人机接口技术 等，涉及机械、控制、传感器、数字图像处理以及人工智能等领域。经过2 0 多 年的研究和开发，智能轮椅的交互性、自主性以及安全性都得到了很大的发展。 1 2 智能轮椅的国内外研究现状 智能轮椅作为一种智能化的机器人，具有自主导航、路况识别与避障、地图 记忆、人机对话等功能，它可以很好的帮助老年人和残疾人士融入社会中。目前， 美国、加拿大、日本等发达国家都对智能轮椅进行了广泛的研究n 卅。我国在此 1 江苏大学硕士学位论文 领域起步较晚，但已有个别技术达到发达国家的水平州。随着智能轮椅功能的 不断完善，对智能轮椅的研究以及开发新的更加智能化的轮椅获得了各类研究机 构越来越广泛的关注。 1 2 1 国外研究现状 对智能轮椅是早的研究可追溯到2 0 世纪7 0 年代。1 9 8 6 年人们首次利用视 觉传感器对轮椅进行导航协助。之后到2 0 世纪帅年代，智能轮椅获得人们的重 视并得到了广泛的发展。到如今，经过2 0 多年的开发，世界各地的研究者开发 了多种智能轮椅平台，这其中具有代表性的包括：美国m i t 的w h e e l e s l e y 项目；希腊的s e n a r i o 项目：西班牙的s i a m o ：德国不莱梅大学的r o l l a u d 以 及日本残疾人国家康复中心开发的针对残疾者使用的智能轮椅等。 希腊f o u n d a t i o n 妇r o s e a r c h t e z j l n o l o g y h e l l a s 开发了己商业化的智能轮 椅m e y r a ，如图1 所示。该轮椅集成了六个声纳传感器和全景视觉传感器来获 取障碍物信息，之后由一个笔记本电脑进行计算和控制，并为用户提供了友好的 人机界面( 触摸屏、声控命令等模块) 。使用者可以通过操纵杆直接控制或通过 与轮椅串接的电脑间接控制轮椅的运动。全景摄像机具有3 6 0 度视野范围。笔记 本电脑处理视觉信息并通过舍适的软件接口与用户进行通信。该系统可以实现自 主或半自主导航。 瓤k 目11 t r f 毡1 1i u m y r a 图12v 枷 f 螗1 2 v a h m 1 9 8 9 年法国开始研究v a h m 项目，第一阶段的智能轮椅由轮椅、p c 4 8 6 、 超声波传感器、人机界面和一个可匹配用户身体能力转换的图形屏幕组成，设置 2 江苏大学硕士学位论文 为手动、自动、半自动三种模式，手动时轮椅执行用户具体指令和行动任务：自 动状态用户只需选定目标，轮椅控制整个系统，此模式需要高度的可靠性：半 自动模式下用户与轮椅分享控制。为了更好适应用户需求，研究者在康复中心进 行了一系列调查，得出结论：系统必须是多功能的，不仅应适应残障人士的生理和 认知能力，也应适应环境的结构和形态。在此基础上，经改进研制出第二代产品 如图1 2 所示。相对于第一代产品，其功能更丰富，面向用户范围更广，性价比 更好，改进了大量的控制算法。 麻省理工智能实验室开发的智能轮椅威尔斯利如图1 3 所示，为一半自主式 机器人轮椅，配备有计算机控制和传感器的电动轮椅，还装有一个m a c i n t o s h 笔记 本电脑用于人机界面交互。该系统有两种级别的控制：高级方向指令和低级计算 机控制路线，用户拥有最高控制级别。系统由两部分组成，智能轮椅系统提供低 级控制，避障和保证正确的运动方向：用户和轮椅之间的人机界面提供高级控制。 这个智能轮椅允许用户通过三种方式来进行控制：菜单、操纵杆和用户界面。菜 单模式下，轮椅的操作类似一般的电动轮椅。在操纵杆模式下，用户通过操纵杆 发出方向命令来避障。用户界面模式下，用户和机器之间仅需通过用户眼睛运动 来控制轮椅，即用鹰眼系统来进行驱动。该轮椅在国际联合会的机器人轮椅展览 中夺得第一，且是唯一不需要人来指导即穿过门口的机器人。 另据新民晚报记载口1 ，德国亚琛工业大学应用信息专业的研究人员康茨勒博 士( u l d c hc a n z l e r ) 研发了一台可以识别人姿势的电动智能轮椅。该轮椅上安置了 一个活动板，板子上面安着一台笔记本电脑、一台小摄像机。使用者在使用过程 中只要点一下头，轮椅就开始行走了。这样既不需要鼠标，也不需要游戏杆，只 要做出一定的面部动作就可以控制轮椅前行后退了，这些完全由在活动板上的小 摄像机和与其配套的一套高级图像识别软件来完成。摄像机聚焦在使用者的的面 部，每秒钟可以最多生成4 0 张图像，传送给活动板上的笔记本电脑。和摄像机 连接的手提电脑随时对这些图像进行分析处理，化解出眉毛、眼角、嘴角等部位 的特征点，随时跟踪这些特征点的位置变化，判断各个部位比如说眉毛的动作， 然后再根据这个动作发出相应的控制指令，指挥轮椅走、停，左转或者是右转等 等。当然，什么动作对应什么指令，都必须事先非常准确地规定好，并输到计算 机里，这样，控制软件才可以把驾驶者面部的一定动作识别出来，转化成相对应 3 江苏大学项士学位论文 的控制指令。该轮椅的外形如图14 所示。 另外，如果残疾人面部抽筋或者他失去了知觉这套软件就可以非常准确地 识别出来，并指挥轮椅马上停下来，同时发出呼救信号。通过安装在轮椅上的 g p s 全球卫星定位系统，医生就可以马上知道轮椅正在什么地方。 田13 智能轮椅成尔新利 f 适1 3 w 枷曲yh o m m i t c h a i r 1 2 2 国内研究现状 圈1 - 4 盘茨勒博士的智能轮椅 f 毽1 4d o c u h i c ho 撕ki n t d l i g c m 删 我国开展智能轮椅的研究工作比较晚，但是也根据自己的技术优势和特点开 发出了有特色的智能轮椅平台，这其中包括中科院自动化研究所的多模态交互智 能轮椅；嵌入式智能轮椅；上海交通大学的多功能轮椅以及中科院深圳先进技术 研究院的基于头部动作的智能轮椅等。 中国科学院自动化研究所承担了“8 6 3 ”智能机器人智能轮椅项日，并研制 了一种具有视觉和口令导航功能并能与人进行语音交互的机器人轮椅n l p r ，曾 在“8 6 3 ”，计划十五周年成就展展馆的人群中穿梭自如。此项研究成果于2 0 0 0 年1 1 月通过“8 6 3 ”智能机器人主题专家组的鉴定，并研制出我国第一台多模态 交互式智能轮椅样机。此项研究高度重视了智能轮椅人机控制界面的设计，在轮 椅的设计中综合运用模式识别实验室有关图像处理、计算机视觉和语音识别等最 新成果，使人能通过语音控制轮椅自由行走，轮椅可以实现简单的人机对话功能。 江苏太荦硕士学位论文 该轮椅的外形如同15 所示 囝15 中科盹的智能轮椅 h 9 1 5 i m e l l i g t n t w h e e l c h a i r f i o m c a s 上海交通大学开发成功一种声控轮椅。主要是为四肢全部丧失功能的残疾者 设计，使用者只需发出“开”、“前”、“后”、。左”、4 右”、“快”、“慢”、“停”等 指令，轮椅可在12 秒内按指令执行。台湾中正大学电机系以一台工业级p c 为 控制中心，通过马达控制卡驱动放大器，利用操作秆执行基本的电动轮椅操作功 能，采取平行化设计，配备了麦克凤、o ，l c d 、传感器、无线网络通讯界面 等，并搭配了自行开发的软件以达到系统配置最佳效果。 1 3 研究的背景与意义 当今社会，人口老龄化加快是各个国家共同面对的全球性阃题。据联台国一 份报告指出：当二十一世纪上半叶到来时，全球人口将增加0 6 倍，而老年人口 将增加23 倍，老年人口占总人口的比例将上升到2 0 9 5 左右。而同时，各种疾病 和灾难造成的残疾人也占有相当数量。他们不同程度的丧失了部分行走、语言等 能力。因此，作为创建健康文明和谐社会的一部分，通过为老年人和残疾人提供 智能化的代步工具，帮助他们提高生活的自由度，改善老他们的生活品质，智能 轮椅的提出和研究具有重要的社会意义和学术价值。 智能轮椅将机器人和人工智能技术融入刘电动轮椅之中，在整个智能轮椅系 江苏大学硕士学位论文 统中，所涉及到的关键技术主要包括导航技术、模式识别、人机接口技术、轮椅 控制及能源技术等。智能轮椅的主要任务是代替人进行自主或半自主的行驶，因 而通过导航系统进行避障和路径识别并保证人的安全是智能轮椅所要解决的中 心问题阳1 。所谓的导航是指移动机器人按照预先给定的任务或命令，根据已知 的地图信息作出全局路径规划，并在行进的过程中，通过自身的传感器不断获取 周围局部环境信息，经过加工分析道路的情况，自主的作出各种决策，并随时调 整自身位姿，引导自身安全行驶到达目标位置。这些导航技术不仅可以用在开发 智能轮椅上，也可应用于自主导航机械装置的机器，如在民用方面，视觉导航技 术可以作为自动或辅助驾驶系统来减少交通事故；在军事上及工业上，具有视觉 导航技术的a g v 搬运机器人在装备制造企业中己经得到广泛的应用；在科学研 究方面，地面移动机器人可以在外星球从事勘探和采矿等工作。因而，对智能轮 椅视觉导航技术的研究可以在一定程度上推动工业技术的发展。 1 4 视觉导航关键技术分析 一般来说，对视觉导航技术的研究主要分为以下几个方面：第一，数字图像 处理技术。主要是用现代计算机技术对从摄像机或其他成像系统获得的二维图像 进行处理，并从中获取所拍摄环境的主要特征。第二，多息传感器信息融合技术。 由于导航系统作业的环境不唯一，因而单一的视觉传感器难以满足要求。信息融 合主要包括：多传感器定标技术、特征匹配技术、传感器建模技术、数据融合技 术、障碍物检测技术等。多种传感器的信息，经过信息融合模块，使通过局部规 划模块得到环境的局部模型信息。第三，路径规划与导航控制技术。局部路径规 划与导航控制技术根据子任务的要求，结合智能轮椅的状态信息，实时地规划出 可行路径。然后通过已经融合的环境信息，对各种环境条件及意外事件做出迅速、 准确的判断和决策，如避障、转弯等。 1 4 1 数字图像处理技术 数字图像处理p 诤t a li m a g ep 撇豁i i l g ) 又称为计算机图像处理，它是指将图 像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理技术最 早起源于2 0 世纪5 0 年代。当时人们开始用来处理图形和图像信息，其主要是运 6 江苏大学硕士学位论文 用图像增强、复原、压缩、编码等技术改善图像的视觉效果。1 9 6 4 年，美国喷 气推进实验室( j p l ) 用图像处理技术对航天探测器徘徊者7 号发回的几千张月 球照片进行几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置 和月球环境的影响，由计算机成功地绘制出月球表面地图，这是图像处理技术首 次在工程应用中获得的巨大的成功。现如今，由于数字图像处理技术在物体表面 检测的不可比拟的优越性，它在医学、交通运输、航空航天、生物医学工程、工 业检测、农林监测、机器人视觉等学科中获得了广泛的应用并取得了重大的开拓 性成就。这其中最具代表性的应用之一是1 9 7 2 年英国e m i 公司工程师h o u s f i e l d 发明了用于头颅诊断的x 射线计算机断层摄影装置，也就是我们通常所说c t ( c o m p u t e rt o m o g r a p h ) 。该公司又于1 9 7 5 年研制出全身c t 装置，并获得成功。 这项技术在1 9 7 9 年获得了当年的若贝尔奖n 钔。近年来图像处理技术向精细方 向发展，如人脸识别系统，虹膜识别系统等等。 一个典型的计算机图像处理系统示意图如图1 6 所示。 图1 6 计算机图像处理系统 f i g1 1c o m p u t e ri m a g ep r o c e s s s y s t e m 噪声消除 冒 l 圈错八h 圈馕预煺 l 灰度变换 直缦边缘检测 口 f 霞缘分期h 特征r 提取 l 直方壅均衡 图1 7 视觉处理系统流程 f i g1 7t h ef l o w i n gc h a r ti nv i s u a ln a v i g a t i o ns y s t e m 图像处理系统由计算机软硬件系统组成。图像处理软件是基于数字图像处理 的理论和算法而设计的一系列程序，对由摄像机获得的图像进行实时处理。一个 7 江苏大学硕士学位论文 完整的图像处理过程包括图像预处理、图像分割、特征提取等，具体如图1 7 所示。 1 4 2 多传感器信息融合技术 基于两方面的原因，第一：智能轮椅一般处于非结构化环境的中工作，即周 围环境信息往往是多义的、不完全的或不准确的，而且可能随着时间而变化。第 二：由于智能轮椅导航的实时性和避障的可靠性要求，获取环境的传感器既要有 足够的视场用以覆盖整个空间来获得完整的环境信息，又要具有较高的采集信息 速率以保证机器人运动时能提供实时的信息。只靠一种传感器难以完成对环境的 感知，所以一般智能轮椅都装有多种传感器。即除了应用视觉传感器获取信息以 外，还采用其他辅助传感器，如红外传感器、超声波传感器等。通过多传感器收 集数据，获取轮椅活动的周围环境信息，之后用一定算法对数据进行分析、融合， 为导航系统提供正确的决策，这就是所谓的多息传感器融合。能否获取足够信息 以及对信息通过可靠的模型进行融合是轮椅能够实时的避障的关键。因而环境信 息采集和建模是研究的关键问题之一。 对多息传感器信息融合的研究始于2 0 世纪7 0 年代。2 0 世纪7 0 年代末，在 公开出版的技术文献中开始出现基于多传感器信息综合意义的“融合 一词。1 9 8 8 年，美国国防部把多传感器信息融合技术列为9 0 年代重点研究开发的2 0 项关键 技术之一n 胡。国内对信息融合的研究始于2 0 世纪8 0 年代初。但是，直到9 0 年 代初，这一领域在国内才逐渐形成高潮，出现了一大批理论研究成果。但是，与 国外相比，在多息传感器信息融合的理论研究与实践应用方面，我国仍然存在较 大的差距。与单一传感器相比，多息传感器信息融合技术在以下几个方面具有明 显的优点：明 ( 1 ) 增强数据的可靠性，提高系统的容错能力 ( 2 ) 提高系统的可靠性和鲁棒性，降低系统的故障率 ( 3 ) 扩大系统的空间和时间覆盖范围。 ( 4 ) 减少信息的模糊性与多意性，降低了事件的不确定性。 近年来，随着信息融合技术的广泛应用，人们提出许多新的多传感器信息融 合算法，如d e m p a s t e r - s h a f e r n 刀、贝叶斯估计n 胡、卡尔曼滤波法n 9 1 、加权平均法、 人工神经网络数学模型啪1 、人工智能等。数据融合主要包括基础理论、算法与模 8 江苏大学硕士学位论文 型开发、汇集处理所用到的数据与知识库、开发推理系统等四个方面。这也是当 前和今后研究工作的重点。到目前为止，各个领域的发展是很不平衡的。人们从 不同数据融合问题的需要出发，己在低层次上开发了一些数据融合系统，其中有 些系统处于实验演示阶段，有些系统己投入了实际运行，对工程领域的应用产生 了巨大影响。高层次上的数据融合还没有取得突破性的进展。目前，对于多息融 合的研究方向为改进融合算法以提高融合系统的性能和利用先验数据进一步提 高系统的性能。 1 4 3 路径规划与导航控制 路径规划作为移动机器人导航的最基本环节之一，它的最早研究可追溯到 1 9 世纪6 0 年代。路径规划是导航与控制的基础，一般说来，一个功能完善的路 径规划系统应该在多种约束条件下根据各种准则或判据进行规划并给出不同意 义下的最优路径瞳。虽然智能轮椅应用了大量的移动机器人技术，但由于整个轮 椅系统是以人为中心，所以以上这些课题尽管侧重点有所不同，但要解决的中 心问题却是相同的，即轮椅的安全导航。导航系统要解决的问题：一是轮椅空间 位置、方向、环境信息的检测：二是所获信息的分析及环境模型的建立：三是使 轮椅安全移动的运动路径规划。导航方法很多，常用的方法论有基于地图导航、 基于航标导航、基于视觉导航、基于传感器导航等，或是其中一种或几种结合起 来构成导航系统等。无论采用那种方法，智能轮椅都应具有路径规划与避障、探 测与定位等功能。智能轮椅自主导航主要由环境感知、定位、路径规划和目标确 定等几个功能模块组成。一个完整的导航及其控制系统原理结构图如下所示： 环境感知和导航运动控制 l li i 舌：、i 控制算法 组硎异法 - 动力学模型l 上 路径 南 执行 规划 信息融合| 一环境感知 机构 l tli计笪l i 。，。 r 图1 8 导航系统原理结构图 9 江苏大学硕士学位论文 n g 1 8t h es t r u c t u r eo ft h en a v i g a t i o ns y s t e m 对动作规划有两种途径，一种是控制型技术，使用完全或接近完全的信息 来寻找最佳路径；另一种是反应型技术，在未给出多少信息或无优先信息条件下， 使用反作用的基于传感器的动作来寻找路径吻1 。在智能轮椅的路径规划中应该 有阶段性、宏观性，在室内或是已有环境模型的空间使用控制型技术，而在室外未 知环境中使用反应型技术。而大多数智能轮椅把导航过程分为全局路径规划和局 部反应规划乜扣。智能轮椅在运动过程中对多传感器得来的信息进行融合，结合己 知环境信息( 如原先记忆地图和网络节点信息等) 及与用户之间的通讯，再利用控 制算法进行路径规划。 1 5 本文的主要研究工作和应用前景 智能轮椅作为一种服务性质的移动机器入，近年来己经取得了长足的发展。 随着多种智能轮椅的产品问世，它的普及程度越来越高。对于其研究也越来越受 到各个大学、科研单位、以及企业的关注和重视。分析智能轮椅国内外研究现状 及其发展趋势表明：初期的研究，赋予轮椅的功能一般都是低级控制，如简单的 运动、速度控制及简单避障等。随着机器人控制技术的发展，移动机器人大量技 术用于智能轮椅，从而使智能轮椅有更好的交互性、适应性和自主性。然而，由 于其以人为服务对象，因而在安全导航和实用性能方面仍需作深入的研究。 本文紧紧围绕智能轮椅的导航问题，开展了基于双目立体视觉的导航技术课 题研究。具体分析研究了摄像机标定、图像处理、立体匹配、三维重建和路径规 划过程。 本文共分为六章： 第一章绪论中，首先介绍了智能轮椅国内外研究现状，进而论述了智能轮 椅视觉导航研究中关键技术，并简要分析了其发展趋势： 第二章，详述了双目视觉系统的组成和基本原理，并对摄像机标定技术进行 了深入的研究，在此基础上提出了b p 神经网络的摄像机标定方法，并通过实验 验证该方法的可行性。 第三章，在详细分析了图像采集系统的软硬件系统的基础上，总结了各种图 象处理算法，并指出了各种算法的优缺点，为编写图像处理程序提供了理论基础。 】0 江苏大学硕士学位论文 第四章，简要分析了主要立体匹配技术方法以及三维重建的基本原理。 第五章，在综合分析传统的路径规划的基础上，结合轮椅的工作环境，提出 了基于遗传算法的路径规划方法，为智能轮椅的导航提供一种有效方法。 第六章，对本文的研究工作进行了总结与展望。 i i 江苏大学硕士学位论文 第二章双目立体视觉系统摄像机标定方法研究 人类通过眼睛与大脑来获取、处理和理解视觉信息。俗语有云：“百闻不如 一见 ，就是说视觉感知环境信息的效率很高。人类感知外界信息，8 0 以上是通 过视觉得到的乜4 1 。让计算机或机器人具有视觉，是人类多年来的梦想。虽然目前 还不能使计算机具有像生物那样高效、灵活的视觉，但这种希望正在逐步实现。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的 能力啪1 。这种能力将不仅使机器能感知三维环境中物体的几何信息。包括它的形 状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。计算机 视觉发展得益于神经生理学、心理学与认知科学对动物视觉系统的研究，但计算 机视觉已发展起一套独立的计算理论与算法。 计算机立体视觉的开创性工作是从2 0 世纪5 0 年代中期开始的。美国麻省理 工学院的r o b e r t 把二维图像分析推广到三维景物分析，标志着计算机立体视觉 技术的诞生，并在随后的2 0 年中迅速发展成一门新的学科。特别是2 0 世纪7 0 年代末，m a r t 等创立的视觉计算理论对立体视觉的发展产生了巨大的影响，现 已形成了从图像获取到最终的景物可视表面重建的比较完整的体系。 2 1双目立体视觉系统基本模型与原理 双目立体视觉技术是计算机视觉技术的一个重要的分支，是由不同位置的两 台或一台摄像机( c c d ) 经过移动或旋转拍摄同一幅场景，通过计算空间点在两 幅图像中的视差，获得该点的三维坐标值。当一个摄像机拍摄图像时，由于图像 中的像素点坐标g 力相对于真实的世界坐标￥z ) 并不是唯一的，这就造成 深度信息的丢失。然而用两个摄像机同时拍摄图像时，可以获取同一场景的两幅 不同的图像，通过三角测量原理计算图像像素间的位置偏差，复原三维世界坐标 中的深度信息。假定两摄像机的焦距和内部参数都相等，两摄像机的光轴互相平 行，二维成像平面重合，如图2 1 所示：，为c c d 摄像机的焦距，b 为两摄像机 的中心距离，最“，y 。) 和最o ：，y ：) 为目标点p 在两成像平面内的成像点坐标。取 江苏大学硕士学位论文 两摄像机镜头中心连线q o z 向右为z 轴正方向，连线中点d 为世界坐标系的原点， 垂直于x 轴所在的水平面向下为l ，轴正方向，z 轴正方向为垂直于五y 轴所在的 平面离开摄像机指向e l 标点p 点的方向，建立世界坐标系。根据三角测量原理， 目标点p 的世界坐标为yz ) 【2 6 】： x ：垒! 茎! 苎21 z ( 工l 一工2 ) l ，：垒! ! ! ! ；!( 2 1 ) 2 【y l y2 _ ) z ： 图2 1 双目立体视觉技术几何模型 飚2 1g e o m e t r ym o d eo fb i n o c u l a rs t e r e ov i s i o n 由上式可知，由视差计算深度是非常容易的，但视差本身的计算是立体视觉 中最困难的部分，它要求特征匹配，即找出左、右两幅图像中的对应点。而且受 很多因素的影响精度会不一样，另外，在实际应用中，有时摄像机的某些参数是 末知的，而且摄像机在摆放位置上不一定能够像上述系统一样，这就需要进行摄 像机标定。 由上图可见，对于场景中点p ，它在左右两个投影平面上的像点分别是日 和忍，单独从毋或者最无法确定p 的三维坐标，因为以毋为例，在光心0 1 与尸 连线上的任意一点p 的投影点都是b 点。但是若用c 1 和c ：两个摄像机同时观察 1 3 江苏大学硕士学位论文 p 点，且能确定该点在左右两个成像平面上的投影点，则空间点p 的位置可d 1 p 与0 2 p 两条直线的交点唯一确定。这就是双目立体视觉的基木原理。 2 2 坐标系与摄像机成像模型 为了定量地描述光学成像过程，我们首先定义以下几种坐标系：世界坐标系、 摄像机坐标系和计算机图像坐标系。 如图2 2 所示，世界坐标系也称现实世界坐标系，即图中的x 。l z 。坐标系， 它是客观世界的绝对坐标1 。一般的3 d 场景都用这个坐标系来表示。摄像机坐 标系是以摄像机为中心的坐标系统，如图中的x 。o 。在图像上定义直角坐标c y 系u o o v ，作为图像坐标系，每一像素的坐标( v ) 分别是该像素在数组中的列数 与行数。所以( 甜，1 ，) 是以像素为单位的图像坐标系的坐标。由于坐标( ，) 只表 示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在图像中的位 置，因而需要再建立以物理单位( 例如毫米) 表示的图像坐标系。该坐标系以图 像内某一点d 1 为原点，x 轴与y 轴分别与h 轴、 ，轴平行。 图2 2 各种坐标系之间的关系 f i g2 2t h er e l a t i o n s h i pa m o n gt h ec o o r d i n a t e s 在本文以后章节中，如不加特别说明，( 豁，v ) 表示以像素为单位的图像坐 1 4 江苏大学硕士学位论文 标系的坐标，伍，砂表示以毫米为单位的图像坐标系的坐标。在以y 坐标系中， 原点定义在摄像机光轴与图像平而的交点，该点一般位于图像中心处，但由于摄 像机制作的原因，也会有些偏离。若0 。在坐标系“吼，中的坐标为 。，v o ) ，每一 个像素在z 轴与y 轴方向上的物理尺寸为d x 、d y ，则图像中任意一个像素在两 个坐标系下的坐标有如下关系： z 2 忑枷o 2 万y + 改成矩阵形式为： _ 1 0 h 。 d x = 10 0 肿 1 石 01 ( 2 2 ) ( 2 3 ) ( 2 4 ) 摄像机成像几何关系可由图2 2 表示，其中0 点称为摄像机光心，工。轴、e 轴与图像的工轴与y 轴平行，z 。轴为摄像机的光轴，