（控制科学与工程专业论文）基于双目立体视觉的机械臂伺服定位系统研究.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 关于论文使用授权的说明 日期：趔q ：生：鲨 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名：主垒! 竺日期：迎l q ：塑 。 摘要 摘要 服务型机器人不仅需要在非结构化环境中运动，更为重要的是需要具有操作 能力，就好比人类做任何事情都离不开灵巧的手臂。服务型机器人的操作能力主 要通过其安装的机械臂来体现。当被操作目标在机器人坐标系中的确切位置不可 能预知时，仅仅依靠运动学和运动规划的方法不可能实现机械臂对目标的操作。 立体视觉是服务型机器人获取环境信息最主要的传感系统，因此，对基于双目立 体视觉的机械臂伺服定位系统进行研究成为完成机器人操作任务的必要选择，具 有现实意义和理论意义。 本文在构建灵活度较高的六自由度虚拟机械臂和立体视觉系统的基础之上， 研究了固定于工作空间之中的摄像机引导机械臂跟踪目标小球的定位视觉伺服 系统( e c l 系统) 。论文完成的主要工作包括： ( 1 ) 根据服务型机器人实验平台的需求，确定了机械臂的自由度及各关节和 杆件间的结构。在s o l i d w o r k s 环境下构建了一个六自由度开链式机械臂的三维 仿真模型，并建立了该机械臂的运动学模型。借助a d a m s 虚拟样机软件进行仿 真，以验证该机械臂机械结构的合理性。 ( 2 ) 研究了基于双目立体视觉的小球位姿检测方法。采用双目立体摄像机对 处于复杂静止背景下的运动小球进行检测、跟踪以及特征提取。利用双目视差原 理获取特征点的深度信息，最终较准确地得到了小球的圆心三维坐标和旋转姿 态。 ( 3 ) 在e y e t o h a n d 视觉伺服系统结构下，研究了以双目立体摄像机测得的运 动目标位姿作为给定信息的位置给定型视觉伺服系统控制方法。利用a d a m s 与m a t l a b 进行联合仿真实验，实现了用实际双目立体摄像机控制虚拟机械臂跟 踪运动目标小球的实验。 ( 4 ) 研究了模型预测控, u ( m p c ) 方法，并将该方法进行改进应用于机械臂关 节的伺服控制。实现了关节空间内的轨迹跟踪控制，仿真试验结果显示该算法具 有抑制干扰和受系统中不确定因素影响较小的特性。 本论文的研究工作得到国家自然科学基金( n o 6 0 7 7 4 0 7 7 ) 、国家8 6 3 计划 ( n o 2 0 0 7 a a 0 4 2 2 2 6 ) 、北京市教育委员会科技计划面上项目 ( n o k m 2 0 0 8 1 0 0 0 5 0 1 6 ) 和北京市教委科技创新平台项目( n o 0 0 2 0 0 0 5 4 6 6 0 1 8 ) 的资助。论文的研究工作对于提高机械臂的工作效率以及拓展服务型机器人的应 用范围具有参考价值。 关键词：机械臂；视觉伺服；双目视差；特征提取：位置定位；轨迹跟踪 i i a b s t r a c t s e r v i c er o b o t i c si sr e q u i r e dn o to n l ym o v i n gi nt h eu n s t r u c t u r e de n v i r o n m e n t ， b u ta l s on e e dt oh a v et h eo p e r a t i n gc a p a c i t yi m p o r t a n t l y , l i k eh u m a nc a nd on o t h i n g w i t h o md e x t e r o u sa r m s s e r v i c er o b o t i c s o p e r a t ec a p a c i t yi sm a i n l yr e a l i z e db yi t s m a n i p u l a t o ri n s t a l l e d 喊l et h ep o s eo ft a r g e tb e i n gu n p r e d i c t e d ，t h eo p e r a t i o n i sn o t a c h i e v e db ym a n i p u l a t o ro n l yr e l y i n go nt h ek i n e m a t i c sa n dp l a n n i n gm e t h o d s s ot h e s t e r e o s c o p i cv i s i o ni st h em a i ns e n s o ro fs e r v i c er o b o t i c s a c q u i r i n ge n v i r o n m e n t i n f o r m a t i o n b e c a u s eo ft h a t ，b a s e do ns t e r e oc a m e r a , t h er e s e a r c ho ft h em a n i p u l a t o r r o b o ts e r v o i n g p o s i t i o ns y s t e mi sn e c e s s a r y s e l e c t i o nt oo p e r a t i n g ，a n d a l s o s i g n i f i c a n t i nt h i st h e s i s ，b a s eo ns t r u c t u r i n gas i x f r e e d o md e g r e e sm a n i p u l a t o rw h i c hh a s h i g h e rf l e x i b i l i t ya n da n a l y z i n gt h ew o r k i n gp r i n c i p l eo fb i n o c u l a rs t e r e oc a m e r a , a s t e r e oc a m e r af i x e dv i s u a ls e r v os y s t e m ( e c ls y s t e m ) i ss t u d i e d t h ew h o l e w o r k si 1 1 t h i st h e s i sa sf o l l o w i n ga s p e c t s ： ( 1 ) a c c o r d i n gt ot h ee x p e r i m e n to ft h ep l a t f o r m ，t h ef r e e d o md e g r e e sa n dj o i n t c o n f i g u r a t i o no ft h em a n i p u l a t o r c a nb ed e t e r m i n e d af l e x i b i l i t y s e r i a ll i n k m a n i p u l a t o ri sb u i l tb ys o l i d w o r k s ，w h i l e t h ek i n e m a t i c so ft h i si m p l e m e m i n g m e c h a n i s mi sd e r i v e d m o r e o v e r , b a s e do nv i r t u a lp r o t o t y p ea d a m s ，s i m p l e k i n e m a t i c ss i m u l a t i o no ft h i sm a n i p u l a t o ri su s e df o rv e r i f y i n gt h er a t i o n a l i t yo fi t s w h o l es t r u c t u r e ( 2 ) t oa i ma td e t e c t i o ni nc l u t t e r e db a c k g r o u n d ，am e t h o do fe x t r a c t i n gt h e m o v i n gb a l l sp o s ei ss t u d i e d t i l i sm e t h o dc a nm o r ec o r r e c t l ye x t r a c tt h ec e m e ra n d p o s eo ft a r g e tb a l lb yu s i n gas e q u e n c eo fi m a g i n gp r o g r a m m i n gi n c l u d e i n gc o l o r s p a c ec o n v e r s i o n , n o i s e se r a s i n g ，h o u g ht r a n s f o r m a t i o na n d s oo n b a s eo nb i n o c u l a r d i s p a r i t y t oe x t r a c tt a r g e tb a l l sd e p t hi n f o r m a t i o n ，a n df i n a l l ya c q u i r e t h e3 - d i n f o r m a t i o no fb a l lc e n t e ra n dp o s eo fr o t a t i n gb a l lv e c t o r ( 3 ) ac o n t r o lm e t h o do f t h ep o s i t i o ng i v e nv i s u a ls e r v o i n gs y s t e mi ss t u d i e d ，u n d e r t h es t r u c t u r eo fa ne y e - t o h a n dv i s u a ls e r v o i n gs y s t e m ，u s i n gt h et a r g e tp o s ek n o w f r o ms t e r e o s c o p i cv i s i o n c a r r yo u tt h ev i r t u a lm a n i p u l a t o ri sg u i d e db ys t e r e o s c o p i c v i s i o nt ot r a c k i n gm o v i n gt a r g e tb a l lt h r o u g ha d a m sa n dm a t l a b c o m b i n a t i o n c o n t r 0 1 ( 4 ) t h em o d e lp r e d i c t i v ec o n t r o l ( m p c ) a l g o r i t h m i ss t u d i e d m o r e o v e r , m o d i f i e da l g o r i t h mi su s e df o rm a n i p u l a t o rj o i n ts e r v o i n gc o n t r 0 1 t r a c k i n gc o n t r o l i i i p r o g r a ma c h i e v e db yt h i sm e t h o di ns i m u l a t i o n i na d d i t i o n ，i ts h o w st h a t t h e a l g o r i t h mc a ne f f e c t i v e l ys u p p r e s si n t e r f e r e n c ea n d l e s sa f f e c tb yu n c e r t a i n t i e so f s y s t e m i nt h i s t h e s i s ，t h es u b j e c t i ss u p p o r t e db yn a t i o n a l s c i e n c ef o u n d a t i o n ( n o 6 0 7 7 4 0 7 7 ) ，n a t i o n a l8 6 3p r o j e c t ( n o 2 0 0 7 a a 0 4 2 2 2 6 ) ，b e i j i n gm u n i c i p a l c o m m i s s i o no fe d u c a t i o n sp r o g r a mo ft e c h n o l o g y ( n o k m 2 0 0 8 10 0 0 5 016 ) a n dt h e e d u c a t i o n a lc o m m i s s i o no fb e i j i n gs c i e n t i f i ca n dt e c h n o l o g i c a li n n o v a t i o np r o g r a m ( 0 0 2 0 0 0 5 4 6 6 0 18 ) r e s e a r c h e si nt h i sp a p e rc a ni m p r o v et h ee f f i c i e n c yo fm a n i p u h t o r a n de x p a n dt h ea p p l i c a t i o no ft h er o b o t sf o rs e r v i c eh o m ei sv e r yi m p o r t a n t k e y w o r d s ：m a n i p u l a t o r ；v i s u a ls e r v o ；b i n o c u l a rd i s p a r i t y ；f e a t u r ee x t r a c t i n g ； l o c a t et h ep o s i t i o n ；t r a j e c t o r yt r a c k i n g i v 目录 目录 摘要i a b s t r a c t i i i 目录v 第1 章绪论一1 1 1 课题研究的背景及意义一1 1 2 服务型机器人研究现状一2 1 2 1 服务型机器人系统介绍一3 1 2 2 运动目标的检测和特征提取方法一6 1 2 3 视觉测量技术的发展一7 一 1 2 4 机器人系统控制方法一9 1 - 3 视觉伺服系统的类型与结构分类一1 1 1 3 1 基于位置的视觉伺服系统一1 2 一 1 3 2 基于图像的视觉伺服系统一1 3 1 3 3 混合视觉伺服系统一1 4 1 4 基于视觉的机械臂伺服系统发展趋势一1 4 1 5 论文的课题来源及主要研究内容一1 5 1 5 1 论文的课题来源一1 5 1 5 2 论文的主要研究内容一1 6 一 第2 章机械臂的造型与运动学模型的建立一1 7 2 1 机械臂的自由度及关节和杆件间的结构一1 7 2 1 1 机械臂的结构设计方法概述一1 7 2 1 2 构建机械臂三维模型一1 8 2 2 各关节驱动电机选型一2 0 一 2 3 刚体的位置与姿态描述一2 1 2 3 1 位置描述一2 1 2 4 2 方位描述一2 2 2 4 3 位姿描述和齐次变换一2 2 2 4 六自由度机械臂运动学分析一2 3 2 4 1 运动学概述一2 3 2 4 2 建立各杆件局部坐标系一2 4 2 4 3 齐次变换法求解正运动学方程一2 6 2 4 4 逆运动学的推导一2 8 2 4 5 雅克比矩阵的计算一3 0 2 4 6 验证逆运动学推导一3 l 一 2 5 本章小结一3 3 一 第3 章双目立体视觉下目标小球的检测一3 5 3 1 双目立体摄像机标定一3 5 3 1 1 摄像机成像模型一3 5 一 v 北京1 _ 业大学工学硕士学位论文 3 1 2 摄像机标定常用坐标系及其变换一3 6 3 1 3 双目立体摄像机的标定一3 8 3 2 双目立体视觉的视差原理一列一 3 3 目标的特征提取一4 上一 3 3 1 颜色空间及其相互间的转换一4 1 3 3 2 彩色分害0 一4 z 一 3 3 3 目标区域确定一4 3 3 3 4h o u g h 变换一4 3 3 4 目标的位姿计算一4 b 一 3 4 1 目标的位置一4 b 一 3 4 2 目标的姿态一伯一 3 5 本章小结- 一4 8 一 第4 章基于双目视差的机械臂定位系统研究一4 9 4 1 系统组成与各部分之间变换关系一4 9 4 2 基于位置的视觉伺服控制一5 l 一 4 3a d a m s 环境下机械臂运动学仿真一5 l 一 4 3 1 计算机辅助工程( c a e ) a d a m s 虚拟样机介绍一5 1 4 3 2 六自由度机械臂运动学仿真一5 2 4 4 机械臂定位控制a d a m s m a t l 镪交互式仿真实现一5 4 4 4 1 仿真设置一b 4 4 4 2a d a m s 与m a t l a b 的链接一5 5 4 4 3 实验结果分析- 一b ，一 4 5 本章j 、结一b d 一 第5 章基于m p c 方法的关节伺服控制算法研究一5 9 5 1 预测控制的基本原理一b g 一 5 2 预测控制算法介绍一b u 一 5 2 1 预测模型一b u 一 5 2 2 反馈校正一b l 一 5 2 3 滚动优化一b z 一 5 3 机械臂关节伺服控制一6 z 一 5 3 1 机械臂的动力学模型一6 2 5 3 2 关节伺服控制器的设计一6 2 5 4 仿真实验及结果分析一b b 一 5 5 本章硝、结一b 了一 结论一f l 一 附录错误! 未定义书签。 参考文献一内一 攻读硕士学位期间所发表的学术论文一8 l 一 致谢一酗一 v i 第1 章绪论 第1 章绪论 1 1 课题研究的背景及意义 机器人是作为人类自动化发展程度的最高体现，创造各种类型的机器人代替 人们劳动一直是人类的梦想和追求。机器人技术是多学科的综合性技术，其中自 动控制理论与技术对机器人的研发起着关键性作用。近年来，随着科学技术的不 断进步和发展，机器人技术已成为高科技术领域内具有代表性的战略性技术之 一，机器人的出现使得传统工业生产过程以及人们的日常生活发生了很大的变 化，并对人类社会的文明与发展产生深远的影响。 在早期，机器人大多采用示教在线的控制方式，其动作比较简单并且单 一，大都是抓取一个方向、位置均为已知的物体。当物体的位置和姿态发生变化 时，机械臂不能随之适应产生相应的动作变化，常常会导致抓取操作的失败。因 此，人们希望研制出一种有视觉导向的机械臂能够从诸多物品种检测出目标物体 的确切位置，并能准确地从中抓取获得该物体。基于这样的目的，人们开展对带 有机器视觉系统的机器人的研发，并且国内外相继出现了基于机器视觉的各类型 智能机器人u j 。 随着人们对机器人运动特性的要求不断提高，带有视觉感知的智能机器人的 研究成为各国高科技术计划的重要内容之一。在国防航天等领域，机器视觉占据 了极其重要的位置。自动跟踪与识别运动物体，自治战车导航，登月舱的自动着 陆以及空间机器人的视觉控制等都离不开机器视觉系统。在人们的日常生活中， 智能服务型机器人的应用越来越广泛。服务型机器人能够处理人类日常的工作任 务，比如帮我们拿一件东西，或者帮我们洗碗、洗衣、做饭等。对于这一类型的 机器人来说，不仅要求较高的控制精度，还要求控制运动的实时性。然而，很多 工业领域以及人类的生活环境是一个复杂的多变的系统。要使机器人要能胜任各 种各样的工作环境，就需要引入机器视觉系统，研制出基于机器视觉的各类型智 能机器人。这种智能机器人打破了传统意义上的机械臂，不仅在控制方式区别于 早期的离线编程或者示教方式，而且在组成结构与功能上也有所不同。在可以灵 活行动的轮式基座平台之上，对机械臂系统引入机器视觉，这样一来，不仅使机 械臂的活动空间增大，也使得机械臂的灵活度和精准度增强，更能体现了服务型 机器人服务于人类的功能。 尽管机械臂伺服控制系统与控制理论的研究已经发展得颇为成熟。在工业机 械臂领域，系统的控制已经达到相当高的精度要求。但在灵活度与实时性方面仍 北京t 业大学工学硕士学位论文 有不足的地方。控制过程中虽然能够成功地抓取物体，但是均是以物体的方向位 置已知为前提条件的。如何利用视觉信息引导机械臂的运动或是补偿机械臂运动 过程中存在的误差，使机械臂不仅可以灵活地适应环境变化，又能更准确完成指 定任务成为基于视觉的机械臂控制系统研究的重要课题。 伴随着计算机图像处理能力和技术的飞速发展以及大量的数字图像处理设 备性能价格比的逐步提高，视觉伺服系统吸引了众多研究人员的注意并引发了研 究的热潮1 2 j 。目前，国内外学者在智能视觉机器人系统的理论研究及实现方面已 经进行了大量、深入的研究，并取得了令人瞩目的成果，而且一部分智能视觉机 器人系统已经投入使用。比如如美国斯坦福大学和s r i 共同开发的 s r i v i s i o n m o d u l e 和s t a i r 机器人【3 】；德国航天中心研制的i 沁b u t l e r 【4 】；荷兰p h i l i p s 公司研制的队p s 系统；西班牙开发的图书馆机器人u j i 5 】；以及拥有机器人王国 之称的日本，接二连三地推出服务型机器人更是将智能机器人的研究提高到了一 个新的层次。 综上所述，基于视觉的机器人伺服系统研究一直是各类智能机器人研究的一 个热点，但由于实际问题的复杂性，视觉伺服控制算法有待进一步研究，具体实 现过程中仍存在视觉信息处理瓶颈、适用范围窄、系统造价昂贵等实际问题。尤 其在国内，基于视觉的机器人伺服系统方法的研究起步较晚，主要以国家科委 8 6 3 计划中自动化领域智能机器人主题等研究为主。大约九十年代初，我国清华 大学、哈尔滨工业大学等高校和科研院所也开始研制自己的机器人视觉系统，但 都处于实验室研究阶段与实际应用还有距离。 本文将机器视觉与机械臂的控制进行有机结合，形成了基于视觉的机械臂伺 服系统。如何将视觉系统与机械臂的配合达到人的手眼的配合程度是这一控制系 统需要研究的主要内容。基于视觉的机械臂伺服系统是一个非线性强耦合的复杂 系统，涉及众多的研究领域。主要包括计算机视觉，图像处理，运动目标检测， 机器人运动学和动力学，控制理论，实时计算等【6 】。针对这一系统进行本文的研 究工作，对于提高机械臂的工作效率以及拓展服务型机器人的应用范围具有参考 意义。 1 2 服务型机器人研究现状 服务型机器人是机器人研究领域的一个重要分支。如何更有效地代替人类从 事各类工作推进着智能机器人技术的发展方向。尤其在负增长现象较严重的日 本，服务型机器人占据了该技术研究领域中一个相当重要的位置。 服务型机器人不仅需要在非结构化环境中运动，更为重要的是需要具有操作 能力，就好比人类做任何事情都离不开灵巧的双手。服务型机器人装备的操作机 第1 章绪论 械臂，精密性一般较差，因此，视觉传感器亦是服务型机器人必不可少的组成部 分。另外，日常生活环境属于非结构化环境，被操作目标在机器人坐标系中的确 切位置不可能预知，仅仅依靠运动学和运动规划的方法不可能实现服务机器人对 目标的操作。尽管视觉系统被称之为机器人的眼睛，但与人的眼睛相比，无论其 适应性还是灵活性方面都还有很大差距。因此视觉测量与控制成为服务型机器人 实现上述任务的必要选择 7 1 。 1 9 6 7 年，w i c h m a n 设计开发了一台电视摄像机作为输入机构的计算机装置， 能够实时地识别物体，并能够判断其位置。1 9 7 0 年，斯坦福大学f e l d m a n 研制 一台带摄像机的机械臂计算机，这一系统会玩摆积木游戏。1 9 7 3 年，学者s h i r a i 和i n o u e 最先将视觉信息引入控制回路，通过视觉反馈控制提高了机器人定位的 精度，通过视觉反馈成功地将一个方块放入盒子里，其中用到了图像边缘提取和 线匹配的方法来确定盒子的位置与方向。1 9 7 9 年，h i l l 和p a r k 首次“视觉伺服 这一术语，完成了对机械手的视觉伺服控制。在他们的工作中，使用了二值的图 像处理方法来提高处理速度和提高可靠性，并提出利用平面位置与已知特征的距 离简单的深度估计方法，同时研究还涉及视觉闭环控制中的动力学问题。 目前的机器人视觉伺服系统通常由一台或多台机器人本体及其关节控制器、 不同数量的视觉传感器( 通常是c c d 摄像机) 、自然光源或主动光源以及计算机 视觉信息处理、视觉控制系统( 独立或与机器人控制器合为一体) 组成。对于不同 的应用场合，智能机器人视觉伺服系统的结构是灵活多变的，从单机器人、单摄 像机非实时的“l o o k - a n d m o v e 系统到多机器人、多摄像机实时的“手眼”协调 机器人视觉伺服控制系统。 1 2 1 服务型机器人系统介绍 目前国内基于视觉的机械臂伺服系统的研究还主要是注重理论方面的发展， 研究使用的机械臂多是成熟的工业产品，如p u m a - 5 6 0 等。而基于视觉的主要由 机械臂为执行机构的服务型机器人都在研究实验过程中，还没有形成成熟的并投 入实际使用的产品。 在国外，为了使服务型机器人能够更好地服务于人类，实现更多项的服务任 务，他们对服务型机器人的研究主要是将机器视觉与多种传感器以及新的智能算 法相融合方面，使得基于视觉的机械臂伺服系统已经逐渐成熟，并且他们已经研 制出从事不同工作任务的服务型机器人系统。下面分别对几种较典型的服务型机 器人系统进行说明。 斯坦福大学的s t a i r ( s t a n f o r da ir o b o t ) 是一个研究人工智能的平台，如图 1 1 所示的s t a i r1 ，是由一个五自由度机械臂，一个具有两个手指的机械手和 双目、单目摄像机视觉部分组成。它可以完成从洗碗机中卸出任意餐具的任务。 北京t 业大学t 学硕十学位论文 大多数机械臂的抓取方法都是在假设已知被抓取物体完整的三维模型情况下进 行的，但实际中通常无法准确得获取到物体的三维模型。如图1 - 2 ( a ) 所示，当目 标物为无明显结构、透明、反光的物体时，由立体视觉系统得到的物体点云经常 受到噪声的干扰导致许多点的丢失，如图( b ) 中黑色的区域显示了深度恢复失败。 而图( d ) 所示对图( c ) 中桌面上放置的杯子通过激光系统获得的物体三维模型也是 非常稀疏的。这些情况均能导致机械臂的抓取动作在实际控制过程中难以实现。 针对这一问题，斯坦福a i 所设计了一种智能学习算法使机械臂可以抓取日常的 任意物体，哪怕这一物体是机器人第一次看到，其抓取的精准程度高达8 7 8 【8 】o 图1 - 1 ：s t a i r1 从洗碗机中取出餐具 f i g u r e1 - 1 ：s t a i rlu n l o a di t e m sf r o mad i s h w a s h e r 圈匾 ( 砂f o )(c)(d) 图1 2 ：识别物体的三维模型 f i g u r e1 - 2 ：p e r c e p t i o nt h e3 - dm o d e lo f t h eo b j e c t 针对二维平面物体的定位与抓取，先前的工作主要集中于根据目标物体的轮 廓特征得到手指的定位位置。该任务也只局限于物体的色彩均匀并且放置于同样 是色彩均匀的桌面上。图1 - 3 所示是s t a i r2 机器人，由一个七自由度机械臂， 三个手指的机械手和一个双目立体摄像机组成。它能够任意抓取厨房环境中的餐 具。整个平台实现的算法步骤包括四大部分：推断被抓取物体上的三维点和姿态 向量，推导出机械臂和手爪的运动学模型；感知环境信息，区别目标物体和障碍 物，确定目标物体的最终位姿；根据所要到达的抓取位置和抓取姿态进行路径规 划，躲避障碍物；较低水平地控制机械臂手臂和移动基座的运动。 第1 章绪论 图1 - 3 ：s t a i r2 抓取厨房中的某一餐具 f i g u r e1 - 3 ：o r a s p i n ga no b j e c ti nan o r m a lk i t c h e ne n v i r o n m e n t 凰一一 图1 - 4 ：物体。司供抓取的视觉特征点 f i g u r e1 - 4 ：f e a t u r ep o i n to f t h eo b j e c t 每一个物体都有可供抓取的视觉特征点。比如图1 - 4 ( a ) 的杯子把柄可以作为 抓取位置，比如图( b ) ( c ) 中的碗和杯子的口边缘( 唇部) 可以作为抓取位置。分 析所有可能被作为抓取的三维点和物体姿态，让机器人进行学习，并根据机械臂 运动学分析和机器人所在工作空间的环境状况来决定最终抓取点。从长远的角 度，以上这些机器人平台是建立一个符合住户要求的家用机器人项目的一部分。 该服务型机器人可以在室内环境进行自主导航，抓取和作用于某物体或者某工 具，以至于完成打扫房间和准备简单的晚餐。 图l 一5 ：八自由度的r a n g e r 灵巧机械臂 f i g u r e1 - 5 ：8 - d o fr a n g e rd e x t e r o u sm a n i p u l a t o r 图1 5 为一个拥有八自由度的灵巧机械臂r a n g e r 。美国马里兰大学的研究者 利用两个机械臂r a n g e r 组成了机器人的双臂。在这个机器人平台之上，研究了 基于视觉的机械臂伺服系统。其考虑了机械臂在运动过程中机器眼观察目标物体 北京工业大学工学硕十学位论文 时视线受到阻挡的问题，并提出一种基于直线的避障方法来跟踪物体运动，最终 实现了视觉伺服控制机械臂抓取物体。机械臂在运动过程中绕过机器眼与目标物 体之间的直线区域，保证机器人运动过程中视线畅通【9 】。 德国卡尔斯鲁厄大学设计的仿人机器人a r m a r - i i i ( 图1 6 ) 拥有4 3 个自 由度。该机器人属于服务型机器人，从运动学控制角度来说该机器人是由七个子 系统组合而成：头部子系统；左、右手子系统；左、右臂子系统；躯干子系统； 可移动基座子系统。其中头部子系统包括了机器人的眼睛，其拥有和人类同样的 视觉范围和感知能力，能够进行物体乃至人脸的识别，利用视觉信息指导机器人 行走，机械臂的操作【1 0 1 。 图1 6 仿人机器人a r m a r - i i i f i g u r e1 6 ：t h eh u m a n o i dr o b o ta r m a r - i i i 1 2 2 运动目标的检测和特征提取方法 实施视觉伺服的前提是整个机器视觉系统需要具有高效、快速的图像处理算 法。当前视觉伺服中的图像处理过程可以概括为运动目标检测以及目标的特征提 取两大步骤。 首先，目标的运动检测是各种后续高级处理如目标分类，行为理解等的基础， 是处于整个视觉监视系统的最底层。运动检测可以分为静止背景下的运动检测和 运动背景下的运动检测。对于静止背景下序列图像的变化检测，主要有三种方法 u u ：连续帧间差分法、背景差分法和光流场法。其中连续帧间差分法【1 2 】对于动态 环境有很好的适应性，在运动目标和背景有明显区别的时候且目标运动较快的时 候比较有效，算法简单，计算复杂度低，但不能完全提取出目标的所有相关点。 背景差分法【1 3 】能够较完整地提取目标点，对于背景较为稳定的情况，检测效果好。 对于背景变化的场景，例如光照、背景的抖动、背景中新物体的加入等情况比较 敏感。光流场法【1 4 1 ，基于光流的变化检测采用了运动目标随时间变化的光流特性， 虽然能够直接用于摄像机运动下的目标检测，但大多数光流方法运算量较大，若 第1 章绪论 没有特定的硬件支持一般很难满足实时处理的要求。在实时跟踪系统中，人们更 热衷于使用帧差法或背景减法来获得期望的结果。 颜色是物体表面的基本特征，颜色信息不但丰富而且易于应用，同时具有对 物体大小，方向都不敏感等特点。近些年来，基于色块的视觉检测与跟踪方法的 研究吸引了不少研究者的兴趣。所谓基于m e a n - s h i f t 算法的颜色跟踪方法，即就 是基于区域具有颜色特征比较单一等特点，选择颜色特征对图像进行区域分割， 进而得到目标区域基。其中，m e a n s h i f t 这一概念最初的含义是偏移的均值向量。 最早是由f u k u n a g a t ”】【1 6 l 等人于1 9 7 5 年在一篇关于概率密度梯度函数的估计中提 出来的。沉默许久之后，于1 9 9 5 年y i o 皿g c h n e 7 】对基本的m e 趾s b i r 算法做了两 个的方面推广：定义了一族核函数，使得随着样本与被偏移点的距离不同，其偏 移量对均值偏移向量的贡献也不同；设定了一个权重系数，使得不同的样本点重 要性不一样。这一定义的推广扩大了m e a n s h i f t 的适用范围。目前多采用 m e a n s h i f t 1 8 】算法对图像进行跟踪。针对颜色特征容易受到光照影响，产生的图 像存在较大差异的问题，可将具有相似颜色的像素区域统一赋值为该区域的颜色 均值。使得到的图像能够很好的保留具有相似颜色的区域，克服了光照的影响， 同时也在一定程度上消除了遮挡带来的信息暂失。 其次，另一部分为目标的特征提取。被选择的特征点应对目标的位置具有灵 敏性、可操控性等显著特点。对于选择了不合适的特征点容易使目标离开视场或 者提供的目标信息不充分，导致视觉伺服过程失败。而且特征点数量的选择也对 系统性能具有重要的影响。合适地增加图像特征，即冗余特征，可以增加视觉伺 服系统的灵敏度。但当选择的特征数量过多时，也会造成图像处理的负担过重。 特征提取时大多采用点、直线、圆等简单的几何特征或者点之间的距离、直线斜 率、椭圆的轴长等几何参数1 1 9 1 。此外，还可采用基于目标轮廓的特征选择和基于 区域的特征选择 2 0 1 。对于摄像机运动的情况，简单几何特征的选择属于局部特征 选择，容易造成特征点无法观察得到。基于区域的特征选择不要求特殊的图像结 构，且对图像的畸变具有较强的鲁棒性，但对背景变化较敏感，不适用于运动背 景下的目标特征提取。因此，需要根据目标物体所在的空间环境来决定需要被提 取的图像特征点。 1 2 3 视觉测量技术的发展 视觉测量是计算机视觉研究的一个分支，包括空间几何尺寸测量，位置姿态 测量，三维形状测量等等。其中视觉位姿测量即利用计算机视觉的方法获取物体 的相对位置、姿态等方位信息【7 j 。 在上个世纪8 0 年代初，当发现碰到检测物体重叠时，对物体的识别过程易 受光照的影响，图像数据处理的速度不够快等这些问题都会导致基于视觉的机器 北京工业大学工学硕十学位论文 人控制实现过程复杂化。于是对各类型机器人的研究便从二维机械臂开始逐渐增 加自由度来调整其灵活度【2 1 1 。与此相对应，机器视觉为了不局限于单纯的平面显 示，而强调“沉浸感 ，即提供机器人更真实的环境效果，出现了立体视觉 ( s t e r e o s c o p i cv i s i o n ) 这一概念。能够对目标在三维笛卡儿空间的位置进行测量 的视觉系统，称为立体视觉系统。立体视觉比较常见的方式有双目视觉、多目视 觉以及结构光视觉田】。 单目视觉适用于工作任务比较简单而且深度信息要求不高的工作环境，常用 于平面视觉，如机器人足球，工业机器人的e y e i n h a n d 系统以及移动机器人的 变焦距视觉系统等无法得到目标的三维信息，一般通过移动获得深度信息。较单 目视觉系统来说，双日视觉是通过两台摄像机采集的图像上的匹配点对，计算出 空间点的三维坐标。假设空间一点在左摄像机的光轴中心点与成像点构成的直线 上；同样这一空间点也在右摄像机的光轴中心点与成像点构成的直线上，这两条 直线的交点即为该空间点的空间位置。双目立体视觉系统与人类的双眼更为相 近，这一特点适用于服务型家庭机器人。它能够得到更多的视觉信息，其中最重 要的是深度信息。但是双目视觉系统在测量目标的三维信息时，需要对两台摄像 机的内参数和外参数进行标定。 另一种结构光视觉是采用结构光形成特征，利用特征点的图像坐标、摄像机 参数以及摄像机和结构光的几何关系，根据三角测量原理求取特征点的三维坐 标。与双目视觉相比，它的测量精度和测量实时性明显提高。但只能对激光条纹 上的点进行三维位置测量，具有局限性，且系统标定比较困难。 经过了二十多年的研究，立体视觉在机器人视觉、航空测绘、军事应用、医 学诊断及工业检测中的应用越来越广泛。研究方法从早期的以统计相关理沦为基 础的相关匹配，发展到具有宁尺强生理学背景的特征匹配，性能不断提高，其理 论正处在不断发展与完善之中。 ( 1 ) 国外针对立体视觉系统的研究工作开展的比较早，也取得了相当大的成 果，双目立体视觉技术已广泛应用于生产、生活中。 美国斯坦福研究所( s t a n f o r d re s e a r c h in s t i t u t e ) 早期研制的机器人s h a k e y ( 沙 克依) ，它是一种典型的“眼一车 系统。s h a k e y 的主要感觉器官是“眼，也就 是它的视觉系统，安装可动头部的摄像机和光学测距器。s h a k e y 的主要功能是 在视野范围内识别对象，依靠积累的经验求解行动规划，以及对识别出的目标物 体进行跟踪幽j 。 日本东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真 机器人动态导航系统。该系统实现分两个步骤首先，利用平面分割算法分离所拍 摄图像对中的地面与障碍物，再结合机器人身体姿态的信息，将图像从摄像机的 二维平面坐标系转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地 第1 章绪论 图：其次根据实时建立的地图进行障碍物检测，从而确定机器人的行走方向【2 4 】。 ( 2 ) 我国对机器人立体视觉系统的研究开始于八五期间，目前已经也取得了 一定的研究成果。 中科院自动化研究所机器人视觉研究组的雷成博士实现了c v s m m 软件，该 软件主要完成了特征点的提取，特征点的匹配、相机的自标定、模型的三维显示 的功能。尽管它所使用的其他方法和原理都是基于双目立体视觉的，但这对于类 似机器人视觉的工作环境显然不允许；其次在实际的匹配过程中效率不高，速度 非常慢田】。 清华大学计算机系徐光佑教授领导的机器人视觉科研组研制的基于c a d 模 型的多传感器视觉系统c m m s ( c a dm o d e lb a s e dm u l t i p l es e n s o rv i s i o n s y s t e m ) 。 c m m s 是适用于装配机器人的视觉系统，将c a d 技术与机器人视觉相结合，以 c a d 三维建模系统为基础，自动生成视觉系统模型及识别定位策略。装配机器 人的视觉引导除了要求实时以外，主要的特点是要满足空间路径规划、装配操作 的多层次、多