（机械电子工程专业论文）基于计算机视觉的移动机器人室内导航若干技术研究.pdf

原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他入已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名； 堡垒坠日期! ：! 兰! ： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留 论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名丝蒸! 逝日期：圭! 丛兰 上海大学硕士学位论文 摘要 自主导航的移动机器人可以应用在各种特殊的工业生产环境中，如无人无尘 车间、危险恶劣环境等。视觉导航是移动机器人自主导航的个研究分支，视觉 导航的优点是信息量大，灵敏度高，成本低，并且可根据需要灵活地改变或规划 路径，视觉导航越来越成为移动机器人自主导航中的一个重要研究方向。基于视 觉导航的技术主要包括导航避障、机器人定位和控制系统设计等方面。光流场在 视觉导航避障中具有重要研究价值，通过分析摄像头所采集到的连续序列图像的 光流场信息，可以检测出场景深度和障碍物信息，用于导航。机器人定位所要解 决的是实时地获取机器人在所在环境中的位置信息，并用于机器人运动规划和导 航。 本课题研究工作主要包含室内移动机器人视觉导航技术的两个方面，一是计 算机视觉中光流场技术研究，在该研究中提出两种新的光流场计算算法：五点约 束最小二乘算法和局部与全局相结合的光流计算方法，试验表明，这两种算法具 有较高的准确性和鲁棒性；二是室内移动机器人视觉导航技术的研究，提出了一 种基于特征点识别、跟踪的室内移动机器人导航算法，该算法在地面上布置具有 几何位置关系的特征点序列，利用单目摄像头采集图像、获取环境信息，通过图 像处理提取特征点的坐标值，再利用计算机图像坐标系和世界坐标系之间的转换 关系，计算出移动机器人在世界坐标系中相对特征点的偏移距离和偏转角作为反 馈来控制移动机器人，同时利用计算出的移动机器人和特征点之间的相对距离进 行室内导航。本课题所提出的光流场计算算法和基于特征点视觉跟踪的导航算法 较好地解决了室内移动机器人视觉导航中的运动物体检测、机器人定位问题，为 进一步的视觉避障和机器人运动规划问题的研究奠定了一定的理论基础。 关键词：计算机视觉，室内导航，光流场，图像处理 上海大学硕士学位论文 a b s t r a c t a u t o n o m o u sm o b i l er o b o tc a r lb eu s e di nm a n ys p e c i a li n d u s t r ye n v i r o n m e n t s ， s u c ha sn o n m a na n dn o n - d u s tw o r k s h o p s ，d a n g e r o u sa n dt o x i cs i t u a t i o n s ，e t c v i s u a l b a s e dn a v i g a t i o ni so n eo ft h em a i nr e s e a r c hf i e l d so fa u t o n o m o u sm o b i l e r o b o t b e c a u s eo fi t sa b u n d a n ti n f o r m a t i o n ，s e n s i t i v i t y , l o wc o s t ，a n dm e p r o p e r t yo f e a s i l yc h a n g i n gp a t h a n d p l a n n i n g m o t i o n a c c o r d i n g t ot h e r e q u i r e m e n t ，t h e v i s u a l b a s e dn a v i g a t i o nh a si n c r e a s i n g l yb e e na ni m p o r t a n tr e s e a r c hd i r e c t i o no f a u t o n o m o u sm o b i l er o b o t t h em a i nt e c h n o l o g i e so fv i s u a l b a s e dn a v i g a t i o ni n c l u d e n a v i g a t i o n a n do b s t a c l ea v o i d a n c e ，r o b o tl o c a l i z a t i o na n dt h ec o n t r o l s y s t e m d e s i g n i n g ，e t c t h eo p t i c a l f l o wt e c h n o l o g ys h o w sg r e a tr e s e a r c hv a l u ei nt h e v i s u a l - b a s e dn a v i g a t i o na n do b s t a c l ea v o i d a n c e b ya n a l y z i n gt h eo p t i c a lf l o wf i e l d s ， w h i c ha r eg o t t e nb y p r o c e s s i n gt h es u c c e s s i v ei m a g e s t a k e nb yc a m e r a ，t h ed e p t ho f t h es c e n ea n do b s t a c l e si n f o r m a t i o nc a nb ec a l c u l a t e df o rn a v i g a t i o n t h er e s e a r c ho f r o b o tl o c a l i z a t i o ni st os o l v et h e p r o b l e m o fr e a l - t i m e l y g e t t i n g t h el o c a t i o n i n f o r m a t i o no ft l l er o b o ti nt h ee n v i r o n m e n t ，w h i c hc a l lb eu s e dt op l a nt h ep a t ha n d d r i v et h er o b o t t i l i st h e s i sc o n t a i n st w oa s p e c t so ft h ev i s u a l - b a s e dn a v i g a t i o nt e c h n o l o g i e so f i n d o o rm o b i l er o b o t o n ei st h er e s e a r c ho fo p t i c a lf l o wc o m p u t a t i o n t w on o v e l m e t h o d sh a v eb e e np r e s e n t e d ：t h ef i v e p o i n t - c o n s t r a i n tl e a s t s q u a r e sm e t h o da n dt h e c o m b i n a t i o na l g o r i t h mo fl o c a la n dg l o b a lo p t i c a lf l o wm e t h o d s e x p e r i m e n t ss h o w t h a tb o t hm e t h o d sy i e l dg r e a ta c c u r a c ya n dh i g hr o b u s t n e s s n l es e c o n di sa b o u tt h e r e s e a r c ho f a u t o n o m o u s n a v i g a t i o no f i n d o o rm o b i l er o b o tb a s e do nc o m p u t e rv i s i o n a ni n d o o rv i s u a l n a v i g a t i o nm e t h o db yd e t e c t i n g a n dt r a c k i n gf e a t u r e p o i n t s i s p r e s e n t e di nt h i sp a p e r s o m eg e o m e t r i c a lf e a t u r ep o i n t sa r es e to n t h ef l o o r , a n dt h e i m a g e sg a t h e r e db ys i n g l ec a m e r aa r ep r o c e s s e dt og e tt h ec o o r d i n a t e so f t h ef e a t u r e p o i n t s f r o mt h er e l a t i o no f w o r l dc o o r d i n a t ea n d t h ec o m p u t e r - i m a g ec o o r d i n a t e ，t h e d i s t a n c ea n da n g l eo f f s e tr e l a t i v et ot h ef e a t u r ep o i n t si nt h ew o r l dc o o r d i n a t ea r e c a l c u l a t e da st l l ef e e d b a c kt oc o n t r o lt h em o b i l er o b o t ，a n dt h er e l a t i v ed i s t a n c e b e t w e e nt h er o b o ta n df e a t u r e p o i n t s c a na l s ob e c a l c u l a t e d ，t h u st h e i n d o o r n a v i g a t i o ni s r e a l i z e d t h eo p t i c a lf l o wm e t h o d sa n dt h ev i s u a lb a s e dn a v i g a t i o n m e t h o db yt r a c k i n gf e a t u r ep o i n t sp r e s e n t e di nt h i st h e s i sh a v ec o m m e n d a b l ys o l v e d t h e p r o b l e m o fd e t e c t i n g m o v i n go b j e c t a n dr o b o tl o c a l i z a t i o no ft h ei n d o o r v i s u a l b a s e dn a v i g a t i o n t h ew o r ki nt h i st h e s i sa l s ol a i dt h eg r o u n df o rt h ef u r t h e r r e s e a r c hi nt h ef i e l do f v i s u a l b a s e do b s t a c l ea v o i d a n c ea n d r o b o tm o t i o n p l a n n i n g k e y w o r d s ：c o m p u t e rv i s i o n ，i n d o o rn a v i g a t i o n ，o p t i c a lf l o w , i m a g ep r o c e s s i n g 2 上海大学硕士学位论文 1 1 计算机视觉 第一章绪论 1 1 1 计算机视觉的发展历史 计算机视觉研究的目标是使计算机通过二维图像理解三维环境信息，三维环 境信息不仅指三维环境中物体的几何信息，还包括物体的形状、位置、姿态、运 动等，并且能对物体进行描述、存储、识别理解等【l 】。计算机视觉的研究对提高 机器的自动化和智能水平、对智能机器人和智能系统的发展都有很大的促进作 用。 计算机视觉作为一门新的学科，发展十分迅速，并成为计算机科学的重要研 究领域。计算机视觉主要起源于统计模式识别，最初的工作主要集中在二值图像 的分析和识别上，如字符识别、工件表面质量检测，显微图片、航空图片的分析 和解释等。6 0 年代，r o b e r t s 2 l 通过计算机程序从数字图像中提取出诸如立方体、 楔形体、棱柱等多面体的三维结构，并且描述了物体形状和物体的空间关系。 r o b e r t s 的研究开创了以理解三维场景为目的的三维计算机视觉研究。人们进行 了深入的研究，从边缘、角点等特征提取，到线条、平面、曲面等几何要素分析， 直到图像明暗、纹理、运动以及成像几何等，并建立了各种数据结构和推理规则。 7 0 年代中期，麻省理工学院人工智能实验室正式开设“计算机视觉”课程， 人工智能实验室吸引了国际上许多知名学者参与计算机视觉的理论、算法和系统 设计的研究，d a v i dm a r r t 3 教授在该实验室领导一个以博士为主体的研究小组， 1 9 7 7 年提出了不同于以往的分析方法的全新的计算机视觉理论。m a r r 的视觉计 算理论建立在计算机技术的基础上，系统地概括了人工智能、神经生理学、心理 生理学、模式识别、图像处理等方面己经取得的所有重要成果，是视觉研究中到 目前为止最为完善、系统的视觉理论。 m a r t 把视觉看作一个信息处理系统，并把该系统分为三个层次，即：计算理 论层次、表示与算法层次、硬件实现层次。计算理论层次研究视觉系统的目的和 策略，研究系统的输入和输出，怎样由系统的输入求出系统的输出；表示与算法 层次研究输入输出信息的表示、计算理论所对应的功能的算法实现以及一种表示 如何变换成另一种表示；硬件实现层次研究用硬件实现上述表示和算法的问题， 比如计算机体系结构及具体的计算装置及其细节。在这三个层次中，从信息处理 的角度看，最重要的是计算理论层次，只有正确理解了待解决问题的本质，才有 助于理解并创造算法。 m a r r 视觉计算理论最核心的部分是将视觉过程自上而下地划分为三个阶段： 上海大学硕士学位论文 早期视觉处理、中期视觉处理和后期视觉处理三个阶段，如图1 1 所示。 到视熟剿视熬糊视数芦1 视觉处理广1 视觉处理广1 视觉姓理广。 图1 1m a n 计算视觉理论框架 早期视觉处理是对输入的二维图像进行处理，抽取图像中诸如点、边缘、纹 理、线条和边界等基本几何元素或特征，这些特征的集合构成基元图( p r i m a r y s k e t c h ) 或要素图。中期视觉处理是指在以观测者为中心的坐标系中，由输入图像 和基元图像恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了深度 信息，但不是真正的物体三维表示，人们称为二维半图( 2 5d i m e n s i o n a ls k e t c h ) 。 后期视觉处理是在以物体为中心的坐标系中，由输入图像、基元图和二维半图来 恢复、表示和识别三维物体的过程。 m a r r 理论是计算机视觉研究领域的划时代成就，这一理论第一次把神秘、 复杂的视觉过程变成一个可计算的信息处理过程，首次为计算机视觉研究领域建 立了一个理论框架，并逐步为大多数计算机视觉研究者所接受，从而成为这一领 域的主导思想。该理论使计算机视觉的研究有了一个比较明确的体系，极大地推 动了计算机视觉研究的发展，对神经科学的发展和人工智能的研究也产生了深远 的影响。m a n - 的理论虽然不是十分完善，许多方面还有争议，但是在他的理论 框架的基础上，新概念、新方法、新理论不断涌现，如基于感觉群的物体识别理 论框架、主动视觉理论框架和视觉理论集成框架等。 目前，计算机视觉仍然是一个非常活跃的研究领域。随着计算机科学、神经 网络、人工智能、信号处理、神经生理学、模式识别以及其它相关领域学科的发 展，计算机视觉研究的新概念、新方法、新理论不断涌现，计算机视觉理论的研 究得到了更深入的发展。 1 1 2 计算机视觉的应用 计算机视觉技术正被广泛地应用于许多方面，需要人类视觉的场合几乎都有 计算机视觉技术的应用，特别是在许多人类视觉无法感知的场合，如精确定量感 知、危险场景感知、不可见物体感知等，计算机视觉更能突显其无可比拟的优越 性。目前，计算机视觉主要应用于以下几个方面【4 j ： 机器人自动导航：机器人可同时获取某一场景的两幅图像，并以此恢复场景 的三维信息，利用这些信息来识别目标、识别道路、判断障碍等，实现道路规划、 自主导航、与周围环境自主交互作用等。自动导航装置将立体图像序列和运动信 息组合起来，可以完成所要求的场景深度图，这种技术己经用于无人汽车、无人 飞机、无人战车以及火星探测机器人等。 上海大学硕士学位论文 工业自动化生产线：工业环境的结构、照明等因素可以得到严格地控制，计 算机视觉技术在自动化生产和装配、检测中得到了很好的应用，能够用于识别零 件，为工业机器人或机械手提供定位、操作信息，以便机械手进行准确操作。 航空宇航：航空宇航图像包括三个方面：航空摄影图像、气象卫星图像和资 源卫星图像，这些图像的共同特点是在高空对地表或地层进行远距离成像，这三 种图像的成像原理完全不同，计算机视觉技术在这三个方面都获得了成功的应 用。 医学图像分析：目前，医学图像已经广泛应用于医学诊断，成像方法包括传 统的x 射线成像、计算机层析( c o m p u t e dt o m o g r a p h y , c n 、核磁共振成像( m a g n e t i c r e s o n a n c ei m a g i n g ，m r i ) 、超声成像等。计算机视觉技术在医学图像诊断方面有 两个方面的应用，一是对图像进行增强、标记、染色体处理来帮助医生诊断疾病， 并协助医生对感兴趣的区域进行定量测量和比较；二是利用专家知识系统对图像 或图像序列进行自动分析和解释，给出诊断结果。 安全鉴别、监视和跟踪：计算机视觉可用于车场监视、车辆识别、车牌号识 别、探测并跟踪“可疑”目标；根据面孔、眼底、指纹等图像特征识别特定的人。 国防系统：计算机视觉在国防中的作用越来越重要，主要是可以分析大量先 进成像传感器的输出，可以根据图像，作出各种决策，自主操作，如图像制导与 目标识别。 其它应用：计算机视觉还用于各种体育运动分析、人体测量、食品、农业、 心理学、电视电影制作、美术模型、远程教育、虚拟现实，多媒体教学等场合。 1 1 3 计算机视觉研究的内容 计算机视觉研究的内容主要有输入设备、低层视觉、中层视觉、高层视觉等 h 】。值得指出，低层、中层和高层视觉基本上与m a r t 视觉的三个阶段相对应。 输入设备包括成像数字化设备，成像设备是指通过光学镜头或红外、超声、 x 射线等对周围场景和物体进行探测成像，得到关于场景和物体的二维或三维数 字化图像，获取数字化图像是计算机视觉的最基本的功能。目前用于计算机视觉 的大多数输入设备都是商品仡的产品，如数码相机、c c d 黑臼或彩色摄像机、 c c d 摄像头、数字扫描仪、超声成像探测仪、c t 成像设备等，但这些输入设备 还远远不能满足实际的需要，仍有许多研究人员在研究性能更为先进的成像系 统，如红外成像系统、激光成像系统，还有所谓的计算机成像系统等。 低层视觉主要是对输入的原始图像进行处理，这一过程借用了大量的图像处 理技术和算法，如图像滤波、图像增强、边缘检测等，以便从图像中抽取诸如角 点、边缘、线条、边界以及色彩等关于场景的基本特征，这一过程还包括图像变 换、图像校正、图像纹理检测和图像运动检测等。 中层视觉的主要任务是恢复场景的深度、表面法线方向、轮廓等有关场景的 上海大学硕士学位论文 2 5 维信息，实现的途径有立体视觉( s t e r e ov i s i o n ) 、测距成像( r a n g e f i n d e r ) 、运动 估计( m o t i o ne s t i m a t i o n ) 、明暗特征、纹理特征等所谓的从x 恢复形状( s h a p e f r o m x ) 的估计方法。系统定标、系统成像模型等研究内容一般也是在这个层次上进 行的。 高层视觉的任务是在以物体为中心的坐标系中，在原始输入图像、图像基本 特征、2 5 维图的基础上，恢复物体的完整三维图，建立物体三维掐述，识别三 维物体并确定物体的位置和方向。 1 1 4 计算机视觉研究的复杂性 计算机视觉虽然发展很抉，人们研究出了大量的技术和算法，并且在各个领 域中得到了广泛的应用。但是计算机视觉仍然处于十分不完善的阶段，其发展远 远不能满足人类的要求。对于人类来说，识别和理解周围的场景是一件很容易的 事情，但对于计算机来说，却是一件困难甚至不可能的事情。人类虽然模仿人眼 制造出视觉输入设备，但两者却有如此大的差别，导致这种巨大的差别，使计算 机视觉困难的原因主要表现在成像过程中三维信息的丢失、畸变和噪声、有用信 息的混合，以及对图像的理解等问题上。 三维场景被投影为二维图像，客观世界的深度信息和不可见部分的信号被丢 失，物体的前后关系和阻挡关系的信息也无从得到，不同形状的三维物体投影在 平面上可能产生相同的图像，另外，在不同视角下，同一个物体可以投影成不同 的二维图像，所以要从二维的图像信息恢复空间的三维场景必然是复杂的、甚至 是困难的、不可能的。 二维图像中的有用信息隐含于灰度值之中，但灰度值是从照明开始到摄像这 过程中诸多因素的综合，场景中的诸多因素，如照明、物体的几何形状、反射 特性、表面颜色、摄像机位置以及系统的空间关系等，任何一个因素的变化都将 影响图像的变化。 另外灰度图像、彩色图像、深度图像的位图性质决定了每幅图像都有巨大的 数据量。随着图像色彩位数加大、图像分辨率的提高、序列图像的处理等，对图 像处理技术、图像设备的要求越来越高。”j 1 2 移动机器人导航技术 移动机器人是机器人研究领域中的一个重要分支，移动机器人集人工智能、 智能控制、信息处理、图像处理、模式识别、检测与转换等专业技术为一体，。跨 计算机、自动控制、模式识别、智能控制等多学科，成为当前智能机器人研究的 热点之一。移动机器人主要技术可分为：导航避障、机器人定位和控制系统设计 等方面。根据导航方式的不同，各方面所采用的技术和所要达到的目标不同。 上海大学硕士学位论文 1 2 1 移动机器人导航技术 根据导航用到的设备仪器来分，移动机器人导航方式主要有：电磁导航、超 声波导航、激光导航和视觉导航等。 1 ) 电磁导航：该方法是让低频电流流过埋设在路径下的电缆，然后用安装 在机器人上的线圈检测电缆周围产生的磁场，并根据该信息控制方向，以实现沿 规定路径的导航控制。电磁导航方法的主要优点是导引线隐蔽，不易污染和破损， 导引原理简单，便于控制和通信，对声光无干扰；缺点是灵活性差，改变或扩充 路径麻烦，对导引线附近的铁磁物质有干扰，电缆铺设工作量大，维护困难。 2 ) 超声波导航：如lk l e e m a n 5 1 使用主动超声作为信标，移动机器人车身上 装有超声接收器，测得移动机器人和信标的距离和方位从而估计移动机器人的位 姿。另外也可将超声发射和接收做为一体。超声波导航方法的优点是硬件结构简 单，价格低廉，容易操作，缺点是速度慢，传感器存在较大的波束角( 角度分辨 率低) ，且对光滑表面存在镜面反射，单一传感器的稳定性不理想等。在实际应 用中，往往采用其它传感器来补偿，或采用多传感器融合技术提高检测精度等。 3 ) 激光导航：一种方案是用一个指向标发出旋转扫描激光光束，再利用机 器人上的若干个传感器来检测，从而求出指向标的方向和到指向标的距离1 6 1 ；另 外还有和导向电缆方式类似的采用激光导引机器人的方法；e v a n s 等j 用安装在 移动机器人上的激光扫描器来获取室内环境的三维信息。激光导航的优点是传感 器发散小或没有发散，并对大多数物体无镜面反射现象，缺点是存在潜在的安全 问题( 首先是人眼安全问题) ，且不适用于透明物质。 4 ) 视觉导航：通常采用c c d 敏感元件，如r a j a g o p a l a n 8 】采用摄像机来感知 地面上的有色路径；k a n a y a m a 9 1 、n e l s o n 1 0 1 、s s l e e 1 墚用c c d 记忆示教的 软体路径，用再现的方法来获取路径信息。视觉导航方法的优点是获取信息量大， 灵敏度高，成本低，并且可根据需要灵活地改变或扩充路径，具有很好的柔性， 缺点是对环境光线有一定要求，并且由于计算复杂对导航的实时性有一定影响。 随着视频设备、计算机硬件设备性能的不断改善以及图像处理方法的不断改进， 视觉导航的实时性会有很大提高。因此，移动机器人利用视觉传感器获取的信息 进行定位，从而实现智能行驶是一种大有潜力的技术，是移动机器人导航技术的 一个发展趋势。 根据环境信息的完整程度和导航指示信号类型，可以分为基于地图导航、基 于陆标导航、基于光流导航。 1 ) 基于地图的导航：是在机器人内部存有关于环境的完整信息，并在预先 规划出的一条全局路线的基础上，采用路径跟踪和避障技术，实现机器人导航； m a r g r i tb e n e 等【l2 】用地图上的标记与实际在环境中检测到的标记相匹配的方法 来定位导航。 上海大学硕士学位论文 2 ) 基于陆标导航：当机器人对周围环境并不完全了解时，则可采用基于陆 标的导航策略，也就是将环境中具有明显特征的景物存储在机器人内部，机器人 通过对陆标的探测来确定自己的位置，并将全局路线分解成陆标与陆标之间的片 段，再通过一连串的陆标探测和陆标制导来完成导航任掣1 3 】： 3 ) 基于光流导航：s a n t o s v i c t o r 等f 1 4 】在研究了蜜蜂的视觉行为的基础上， 提出了基于光流的导航方法。在环境信息完全未知的情况下，在移动机器人运动 过程中，可通过摄像机得到周围环境信息的连续图像序列，通过光流计算可以得 出场景的深度信息，并根据光流场的分布，提取出一些参考物体( 如墙壁、走廊、 障碍物等) 的相对位置信息，根据这些信息来达到导航的目的。 1 2 2 移动机器人定位技术 移动机器人定位指确定其在工作环境中的位置和姿态，它是移动机器人导航 控制中的一个重要问题。目前，移动机器人的定位方法主要有：利用内传感器进 行定位；信标定位；基于环境模型的方法；基于多传感器融合信息的定位等。 基于内传感器的移动机器人导航方式主要是惯性导航，这种方法是通过测量 机器人自身参数( 位置和加速度等) 来进行导航的，它所使用的传感器是陀螺仪。 根据陀螺仪的偏差进行惯性导航的主要优点是技术先进，准确性高，灵活性强， 便于组合和兼容，适用领域广，缺点是成本较高，维护保养等后续问题较难解决， 地面也需要磁性块作辅助定位。 信标定位比较普遍，当移动机器人识别信标后，通过传感器测量其与信标的 相对距离和方向，通过三角法等几何运算获得移动机器人的位置和姿态。这种方 法由于能够产生与环境状态变化无关的可检测标记，所以能保证位置和姿态识别 的高可靠性。 基于环境模型的定位方法不需要人为放置信标，而是利用环境中自然存在的 特征来实现移动机器人的定位，例如在室内环境下有墙壁、走道和门窗等；在室 外环境下有交通路标、道路线和树木等。m m a t a 等利用一些二维或近似于二 维的自然环境的标志，通过传感器识别并估计标志的位置，提出了一种基于标记 学习和识别的拓扑导航定位方法。 另外，基于多传感器融合信息的定位【m 】也是机器人定位的有效方法。 1 2 3 移动机器人控制技术 路径跟踪控制是移动机器人导航中的一个关键任务。路径跟踪控制的方法有 很多，例如在笛卡儿坐标系中利用误差矢量的反馈进行纠偏，利用p i d 滤波将 期望位姿和当前位姿之间的误差进行分解【1 7 】，简化控制算法，应用拉氏函数 实现路径跟踪控制，利用模糊逻辑控制1 1 9 - 2 0 】和神经网络技术【2 m 2 1 进行路径跟踪控 制等。由于模糊逻辑控制技术和神经网络技术不需要输入和输出之间的精确数学 上海大学硕士学位论文 描述，而且具有较高的鲁棒性和容错能力，因而是实现移动机器人路径跟踪控制 的有效方法。 1 3 基于视觉的移动机器人导航技术 1 3 1 视觉导航技术 机器人视觉系统正如人的眼睛一样，是机器人感知局部环境的重要“器官”， 同时依此感知的环境信息实现对机器人的导航。移动机器人的视觉系统是导航中 重要的关键技术，和激光、雷达和超声在导航方面相比，视觉导航具有以下几个 优点：首先，即使在丢弃了绝大部分的视觉信息后，所剩下的关于周围环境的信 息仍然比激光雷达和超声更多更精确：其次，激光雷达和超声的原理都是通过主 动发射脉冲和接受反射脉冲来测距的，因此当多个机器人同时工作时，相互之间 可能产生干扰，而视觉由于是被动测量，因此多个机器人相互之间的干扰可以减 少到最小；最后，激光雷达和超声数据的采样周期一般比摄像机长，不能及时对 高速运动的机器人提供信息并作出规划，因此视觉传感器被大量地采用。但是视 觉目前还存在着缺点，如在雾天、阳光直射以及晚上还远远不如毫米波雷达等主 动式传感器；而且主动式传感器可以直接测量目标的距离、运动速度等参量，不 象视觉方法那样需要相当大的计算量才能从图像中间接得到，而且占用的计算资 源也少得多。所以能够在实际环境中运行的移动机器人，一般都可以看到多种传 感器一起协同工作。 机器人视觉信息主要指二维c c d 摄像机信息。视觉信息能否正确、实时地 处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰，对系统的实时 性和鲁棒性具有决定性的作用。视觉信息的处理技术是移动机器人研究中关键的 技术之一。目前视觉信息处理的内容主要包括：视觉信息的压缩和滤波、道路检 测和障碍物检测、特定交通道路标志的识别、三维信息感知与处理。其中道路检 测和障碍物检测是视觉信息处理中最重要的过程，也是最困难的过程。视觉信息 的获取是局部路径规划和导航的基础，道路检测的成功与否决定了机器人能否正 确识别当前的道路环境，能否正确作出局部路径规划并执行g 筏径跟踪。为了简化 视觉信息处理，降低开发难度。通常把移动机器人的工作环境分为结构化道路环 境和非结构化道路环境。结构化道路的检测相对来说较易实现，其检测技术一般 都以边缘检测为基础，辅以h o u g h 变换、模式匹配等，并利用最小二乘法处理 对应于道路边界的线条，得出道路的几何描述。由于非结构化道路的环境复杂、 特征描述困难，使得非结构化道路的检测及信息处理复杂化。目前对非结构化道 路的检测主要采用三种方法：边缘抽取法、阙值法和分类法。障碍物检测原理与 道路检测原理差不多，但其重点是对障碍物位置和大小的描述。 机器人视觉可以看作从三维环境的图像中抽取、描述和解释信息的过程，它 上海大学硕士学位论文 可以划分为以下几个主要部分：图像的采集、量化、存储、变换、编码、分割、 特征提取、图像数据库的建立、图像的分类和表示、图像识别、模型匹配、图像 理解等。再根据实现上述各种过程所涉及的方法和技术的复杂性将它们归类，可 分为三个处理层次：低层视觉处理、中层视觉处理和高层视觉处理。虽然各层次 间没有明确的界限，但是这种划分对于机器人视觉系统的固有处理过程加以分类 提供了一种有用的结构。它的工作过程可用图1 2 表示： 图像输入 视频图像 数字化 数字图像 预处理 压缩图像 特征提取图像分割 丁一 二值图像i 图像识别 实体位置坐标 输出结果 初 始 人 机 交 互 图l 一2 机器人视觉系统工作流程图 1 3 2 光流方法在视觉导航中的应用 光流场的概念由g i b s o n ”l 于1 9 5 0 年首先提出的，它在运动图像的理解中有 很重要的作用。所谓光流场是图像中各象素点运动的速度分布。因此，光流场是 一种瞬时速度场。它是一种向量场，每一个向量表示了景物中一个点在图像中位 置的瞬时变化。用人的视觉系统来说明：当人在观察动态景象时( 无论是景物在 运动或者观察者在运动) ，在人眼的视网膜上产生的不是静止的图像，而是一系 列连续的变化，即产生的是一系列连续的输出信息，这种连续变化的信息不断流 过”视网膜，好像种光的“流”，称之为光流( o p t i c a lf l o w ) 。显然，对于图 像平面上每一点，这种光流都有一定的瞬时速度。这是由运动的情况决定的，光 流就是表示这种瞬时速度。光流有三个要素口4 j ：一是运动( 速度场) ，这是光流 形成的必要条件；二是带光学特性的部位( 例如灰度的象素点) ，它能携带信息； 三是成像投影( 从场景到图像平面) ，因而能被观测到。 上海大学硕士学位论文 基于光流的方法来测定场景的深度，在昆虫视觉中非常常见。由于昆虫的眼 睛是固定焦距的，因此不可能是利用变焦的方法，而且由于两个眼睛之间的基线 长度非常小，因此也不可能利用立体视觉，在对蝗虫视觉的实验中证明了：在跳 往附近的物体前，蝗虫利用头部的左右摆动产生的图像运动来测量物体距离。许 多研究者对昆虫视觉的研究启发下，提出了许多模仿昆虫视觉、利用光流的导航 方法，比如d l a m b r i n o s l 2 5 l 模仿蜜蜂的视觉机理研制了基于光流场的能在走廊行 走的机器人。s a n t o s v i c t o r 2 6 用两个摄像头安装在移动机器人的前端两侧，它并 不用障碍物的深度信息，而是通过出定性地计算光流场的信息，得到两个摄像头 所覆盖的视觉区域的信息来导航。在m vs r i n i v a s a n 2 7 关于昆虫视觉在机器人导 航中的应用的综述性文章中还介绍了许多类似的工作。 光流的方法利用同一个摄像机在不同时间得到的多幅图像来估计光流。光流 在导航中的应用主要有两个方面：场景深度检测和检测障碍物避障。分析单个运 动摄像机在不同时刻拍摄的图像光流场，由于障碍物的深度相对于旁边的背景往 往是一个突变，因此障碍物往往会和背景有不同的光流场，因此利用光流场可以 分割出障碍物区域并估计大致形状。如果进一步己知摄像机的自运动，那么根据 目标光流就可以得到目标的深度。例如：a n d r e ag i a c h e t t i 等【2 8 】提出了一种利用 光流场的导航方法，用安装在移动机器人上的摄像机拍摄到一组图像序列，然后 用基于相关的光流方法得到了图像序列的光流场，并且从光流场得到了深度信 息、速度信息和角度信息，然后用这些信息来导航；k r 6 s e 2 9 1 用光流场来预测机 器人的行进道路。 1 3 3 室内移动机器人视觉导航 本课题主要研究方向是基于视觉的室内导航机器人。对于这方面的研究，国 内外学者提出了很多的算法： d i c k m a n n s 加，3 l 】提出了结合时间和空间的方法，充分利用环境中的有用信息， 例如室内走廊的墙壁线，室外公路的边沿线等。对这些信息进行识别和定位，以 达到导航的目的。类似的，b o u g u e t 等【3 2 】用单目摄像机进行室内导航，通过对 走廊两壁上的特征点的检测、提取和跟踪，利用回归估计算法进行导航。l a r s s o n 等【3 3 】采用h o u g h 变换从图像中提取墙壁等直线信息，然后通过对多个墙壁的距 离来实现自身的定位。 g o r d o nc h e n g 等 3 4 】提出了在一个室内未知的环境中利用视觉来引导机器人 的方法，在导航避障和搜索目的地目标的过程中，用了匹配的方法，即先把地毯 背景作为一个模扳，在导航过程中，摄像机拍摄前方的图片，把图片分割成若干 小栅格，对于每一个小栅格用地毯模板做匹配运算，把相匹配的小栅格组合起来， 找到一条没有障碍的路径；对于目的地的目标物体，同样预先做好目标物体的模 板，然后在采集到的图像中不断搜索匹配直到找到为止。 上海大学硕士学位论文 a n u jd e v 等p5 j 用视觉作为反馈信息，用基于光流场的方法，使移动机器人 能够在走道的中间行进。为了达到这个目的，用视觉传感器得到视觉深度信息和 环境的结构信息。光流场提供了系统的相对的深度信息，为了计算环境的空间结 构，如表面流( s u r f a c en o r m a l s ) ，通常要用到光流场的空间梯度，结合光流场的 时间梯度可以用来估计环境结构。这种方法能够提取出墙壁的方位，而不仅仅是 尺度距离，这样移动机器人就能得到更好的鲁棒控制。 1 4 本课题研究主要内容 本课题研究工作包含了室内移动机器人视觉导航技术的两个方面，一是计算 机视觉中光流场技术研究，并提出了两种算法：五点约束的最, j 、- - 乘算法和局部 与全局相结合的光流算法；二是移动机器人室内导航的研究，提出了一种基于特 征点识别提取并跟踪的移动机器人室内导航的算法，该算法仅用单目摄像机获取 环境信息，结合特征点的几何位置关系能够确定场景的深度信息。通过图像处理 得到偏移距离和偏离角来控制移动机器人，计算效率高，而且特征点标记的方法 可以灵活用于各种室内场合。 本文主要内容安排如下： 第一章绪论主要介绍了计算机视觉的发展历史、应用、研究内容和复杂性； 移动机器人导航技术、定位技术和控制技术；视觉导航技术，光流场在视觉导航 中的应用和基于视觉的室内移动机器人导航。 第二章数字图像处理介绍了数字图像的表示、图像预处理、图像分割、种 子填充和图像的形态学处理，作为后面三章所要用到的图像处理的基础。 第三章基于光流场的运动分析介绍了光流算法和光流的理论基础，并提出 了两种算法：五点约束最小二乘光流算法和局部与全局相结合的光流算法；并对 算法进行了验证和结果比较，以及误差分析。 第四章基于视觉的跟踪特征点的室内导航包括摄像机坐标变换分析，摄像 机定标，并提出了一种基于特征点识别提取并跟踪的移动机器人室内导航的方 法，利用计算得到的偏移距离和偏转角度进行导航，以及卡尔曼滤波在室内导航 中的应用；最后提出室内导航的控制策略并进行了仿真。 第五章软件界面设计用v c + + 作为编程工具，编写了光流算法和室内导 航算法的程序和界面。 第六章结论总结了课题研究的创新之处、结论和进一步研究的展望。 上海大学硕士学位论文 第二章数字图像处理 数字图像处理就是利用计算机或者其它数字硬件，对从图像信息转换而得的 电信号进行某些数学运算，以提高图像的实用性。视觉导航技术的发展得益于近 年来图像技术的长足发展。图像技术在广义上是各种与图像有关的技术的总称， 目前人们主要研究的是数字图像，主要应用的是计算机图像技术。“图像工程” 这一概念的提出为图像技术研究中出现的新理论、新方法、新算法提供了一个整 体框架。根据抽象程度的不同可将图像工程分为3 个层次：图像处理、图像分析 和图像理解。图像处理着重强调在图像之间进行变换，泛指各种图像技术，如： 图像变换、图像增强、图像压缩编码等。图像分析主要是对图像中感兴趣的目标 进行检测和测量，建立对图像的描述，如：图像分割，边缘检测，目标表达、描 述、测量等。图像理解的重点是在图像分析的基础上得出对图像内容含义的理解 以及对原来客观场景的解释，从而指示和规划行动，如：图像解释、推理等【3 6 】。 在移动机器人视觉导航中利用图像处理技术对图像进行预处理，改善了图像的视 觉效果并为自动识别打下基础；利用图像分析中的图像分割和边缘检测，可将机 器人所处的环境分成自由活动区和障碍区；经过对图像的特征识别和提取，获得 视觉导航所感兴趣的图像信息。本章结构如下：先介绍数字图像的表示方法，之 后介绍了后面三章将用到的图像预处理方法、图像分割、种子填充和图像形态学 运算。 2 1 数字图像的表示方法 一幅黑白图像可用二维函数m ，川表示，其中 力是平面的二维坐标，批，圳 表示点“的亮度值( 灰度值) 。如果是一幅彩色图像，各点值还反映出色彩变 化，即可用讹矽表示，其中a 为波长。对模拟图像来讲，净，纠显然是连续函 数。为了适应数字计算机的处理，必须对连续图像函数进行空间和幅值数字化。 空间坐标力的数字化称为图像采样，而幅值数字化被称为灰度级量化。经过数 字化后的图像称为数字图像。数字图像般有两种常用的表示方法： 1 ) 灰度图像的阵列 设连续图像f ( x ，纠按等间隔采样，排成肘阵列( 一般取方阵列n x n ) ， f ( x ，y ) = 厂( 0 ，o ) f ( 1 ，o ) f ( o ，1 ) f ( 1 ，1 ) f ( o ，n 一1 ) f ( 1 ，n 1 ) f ( n 一1 , 0 ) f ( n t , 1 ) f ( n 一1 ，n 一1 ) ( 2 1 ) 图像阵列中每一个元素都是离散值，称为象素( p i x e l ) 。在数字图像处理中， 上海大学硕士学位论文 般取阵列n 和灰度级g 都是2 的整数幂。 2 ) 二值化图像表示法 在数字图像处理中，为减少计算量，常用灰度图像转为二值图像。所谓二值 图像就是只有黑白两个灰度级，即象素灰度级非1 即0 。 2 2 图像预处理 2 2 1 图像增强 一般情况下，由于各类图像系统中图像的传送和转换( 如成像、复制、扫描、 传输以及显示等) 总要造成图像的某些降质，会使图像模糊；在传输过程，由于 噪声污染，图像质量会有所下降，必须对这些降质的图像进行改善。常用的方法 是采用图像的增强技术。图像增强技术通常有两类方法：空间域法和频率域法。 空间域法主要是在空间域中对图像象素灰度值进行运算处理。可用下式来描述： g ( x ，y ) = f ( x ，y ) h ( x ，y ) ( 2