（机械电子工程专业论文）视觉引导技术在工业机器人智能抓取中的应用.pdf

视觉引导技术在工业机器人智能抓取中的应用 摘要 目前，在生产中应用的工业机器人，一般采用示教再现或离线编程的方式工 作，只能重复完成预先规划好的动作，对于加工对象以及工作环境的感知能力 低。近年来兴起的计算机视觉技术以其获取的信息量大、检测精度高、检测范 围广等特点，已在众多领域中得到了应用，从而为提升工业机器人智能化程度 提供了新的思路。 从工作场景中识别并准确抓取指定物体，是工业机器人应用中的基本问题之 一。本文以该问题为切入点，以计算机视觉的理论与技术为基础，对面向工业 机器人智能抓取的视觉引导技术进行了研究，提出了一种基于计算机视觉引导 的解决方案，并对该方法中的目标识别、目标位姿计算等关键问题给出了求解 方法。旨在将计算机视觉这一新兴技术引入工业机器人应用当中，以提高工业 机器人的感知能力和智能水平。 关键词：工业机器人；视觉引导；目标识别；位姿计算 a p p l i c a t i o no f v i s i o ng u i d i n g t e c h n i q u ei n i n t e l l i g e n tg r a s po fi n d u s t r i a lr o b o t a b s t r a c t a tp r e s e n t ，t h ei n d u s t r i a lr o b o t sw h i c ha r eu s e di np r o d u c t i o ng e n e r a l l yu t i l i z e t e a c h i n go ro f f - l i n ep r o g r a m m i n gm o d e ，a n dc a l lo n l yr e p l a yt h ep r e t a u g h tm o t i o n s h e n c e ，t h e yh a v el o wp e r c e p t i o na b i l i t yi nh a n d i n go b je c t sa n dw o r ke n v i r o n m e n t s i nr e c e n ty e a r s ，c o m p u t e rv i s i o nf e a t u r i n gp r o c e s s i n gal a r g ea m o u n to fi n f o r m a t i o n ， h i g ha c c u r a c yo fd e t e c t i o n ，a n daw i d er a n g ed e t e c t i o n ，h a sb e e na p p l i e di nm a n y f i e l d s ，a n dp r o v i d e san e ww a yo fe x t e n d i n gi n d u s t r i a lr o b o ti n t e l l i g e n c e t o r e c o g n i z ea n da c c u r a t e l yg r a s po b j e c t so nt h es c e n ei so n eo ft h e f u n d a m e n t a l sf o ra p p l i c a t i o no fi n d u s t r i a lr o b o t s a st h ee n t r yp o i n to ft h i sp r o b l e m a n db a s e do nc o m p u t e rv i s i o nt h e o r ya n d t e c h n o l o g y ，t h i sp a p e rs t u d i e dt e c h n i q u eo f v i s i o ng u i d e di n d u s t r i a lr o b o to r i e n t e di n t e l l i g e n tg r a s p ，p r o p o s e sam e t h o db a s e do n c o m p u t e rv i s i o ng u i d i n g ，a n de x p l o r e dt h es o l u t i o nt ot h ek e yp r o b l e m ss u c ha s t a r g e to b j e c tr e c o g n i t i o na n dp o s ee s t i m a t i o n t h i sp a p e ra i m sa ti n c o r p o r a t i n g c o m p u t e rv i s i o ni n t oi n d u s t r i a l r o b o ta p p l i c a t i o n s ，a n di m p r o v i n gt h el e v e lo f i n d u s t r i a lr o b o tp e r c e p t i o na n di n t e l l i g e n c e k e y w o r d s ：i n d u s t r i a lr o b o t ；v i s i o ng u i d i n g ；t a r g e tr e c o g n i t i o n ；p o s ee s t i m a t i o n 图1 - 1 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图2 10 图2 1 l 图2 1 2 图2 1 3 图2 1 4 图3 1 图3 2 图3 3 图3 4 图3 5 图3 - 6 图3 8 图3 - 9 图3 1 0 图3 1 1 图3 1 2 图3 1 3 图4 1 图4 2 图4 2 图4 3 图4 4 图4 5 插图清单 计算机视觉技术在机器人抓取中的应用5 b h 3 灵巧手8 n a s a 多指灵巧手8 回转型手爪传动机构9 平动型手爪传动机构9 平移型手爪传动机构lo 抓取物l0 夹持规划13 工业机器人与摄像机的位置关系15 图像坐标系1 7 摄像机坐标系18 摄像机标定的立体标靶2 0 e y e i n h a n d 系统的手眼标定2 2 双目立体视觉示意图2 4 结构光视觉原理示意图2 6 视觉引导系统组成2 8 视觉引导系统各功能模块2 8 视觉引导系统控制流程图2 9 视觉系统3 d 模型数据结构31 模型数据的拓扑结构3 1 夹持坐标系3 2 频域滤波原理3 4 空域滤波原理3 5 图像灰度变化与导数3 6 直角坐标中的h o u g h 变换3 7 由三条棱线构成的顶点3 9 模型特征示例4 1 假设检验识别方法4 3 标靶图像5 1 原始图像5 2 边缘检测图像5 2 角点检测图像5 3 直线检测图像5 3 图4 6 图4 7 图4 8 图4 9 图4 1 0 顶点图像5 4 模型坐标系5 4 匹配模板5 5 匹配结果5 6 投影图像5 6 表格清单 表4 1摄像机内参数51 表4 2顶点的图像坐标5 4 表4 3顶点在模型空间中的坐标5 5 表4 4 顶点的投影图像坐标5 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得金月巴互些态堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 叼、 ld 学位论文作者签字：匆纺签字日期：j 呵年4 月心日 学位论文版权使用授权书 本学位论文作者完全了解金目巴王些太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金目曼工些太 ! l 可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名： 昌数 导师签名： 功舷哆 签字日期：扣r 年乒月，r 日签字日期：刁年中月日 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 致谢 本文的全部工作是在我的导师王健强教授的精心指导下完成的。从论文的选 题到方案的拟定，以及整个论文的工作过程中都倾注了王老师大量的心血和辛 勤的汗水。王老师严谨治学的态度，开阔的思维，渊博的知识以及细致认真的 指导给我留下了深刻的印象，令我终身受益，这将是我人生中一笔宝贵的财富。 在此表示衷心的感谢和深深的敬意。 感谢我所在实验室的全体同学，感谢他们近三年来在学习上为我提供的无私 而热心的帮助。 感谢我的家人，他们的支持和理解是我完成学业的前提和动力。 最后，向在百忙之中评审本文的各位专家老师表示诚挚的谢意。 作者：吕 游 2 0 0 9 年4 月 第一章绪论 1 1 计算机视觉技术简介1 1 , 1 4 , 3 6 i 正如我们所熟知的，人类感知外界信息8 0 以上是通过视觉得到的。视觉 对于人类而言，其重要性不言而喻。让计算机或机器人也具有视觉是人类多年 以来的梦想。虽然，目前我们还不能让计算机也具有像生物那样高效、灵活的 视觉，但是通过人们不断的努力这种希望正在逐步实现。 人类通过眼睛与大脑来获取、处理与理解视觉信息。周围环境中的物体在可 见光的照射下，在人眼的视网膜上形成图像，再由感光细胞转换成神经脉冲信 号，经神经纤维传入大脑皮层进行处理与理解。视觉不仅指对光信号的感受， 它还包括对视觉信息的获取、传输、处理、存储与理解的全过程。信号处理理 论与计算机出现以后，人们用摄像机获取环境图像并将其转换成数字信号，试 图利用计算机实现对视觉信息处理的全过程。这样就形成了一门新兴学科 计算机视觉。 虽然用离散化的方法处理图像早在2 0 世纪二十年代就出现了，但作为一门 学科，计算机视觉开始于2 0 世纪六十年代初。真正的计算机视觉技术的成熟是 在8 0 年代初，m a n 首次从信息处理的角度综合了图像处理、心理物理学、神经 生理学及临床精神病学的研究成果，提出了第一个较为完善的视觉系统框架。 这一理论在视觉理论领域的地位，就如同牛顿的力学在传统物理学中的奠基地 位。它规范了明确的研究体系，大大推动了计算机视觉的发展。 m a r t 从视觉计算理论出发，将系统分为自下而上的三个阶段，即视觉信息 从最初的原始数据( 二维图像数据) 到最终对三维环境的表达经历了三个阶段 的处理。第一阶段构成所谓“要素图 或“基元图 ( p r i m a r ys k e t c h ) ，基元图由 二维图像中的边缘点、直线段、曲线段、顶点、纹理等基本几何元素或特征组 成；第二阶段，m a r r 称为对环境的2 5 维描述或2 5 维图，是指在以观察者为中 心的坐标系中，景物表面的法向、深度及轮廓等。第三阶段是由第一和第二阶 段的结果获得物体的三维表示。所谓物体的三维表示，是指在物体坐标系中表 达各物体之间的空间关系。 计算机视觉发展至今已经成为一门由计算机科学、信号处理、人工智能、模 式识别、人工神经网络等多学科综合而成的交叉学科。它侧重于研究视觉理论， 它的研究内容以图像分析、图像理解为主。它为视觉研究提供了统一的理论框 架，但是难于直接应用于工程中。因为视觉问题毕竟过于复杂，目前仍没有一 种理论可以完整的对其进行描述。另外，运用计算机处理视觉问题时的巨大的 运算量也在一定程度上限制其应用。因此，在计算机视觉的实际应用中，通常 是以计算机视觉理论为指导，根据具体的问题以及人们的先验知识对需要解决 的具体问题进行适当的简化。这也是目前计算机视觉应用的主要形式。 1 2 国内外研究与应用状况 8 0 年代至今，各国研究者们按照m a r r 所提出的基础理论框架，对理论所述 的各个研究层次与视觉系统的各个阶段中的各种功能模块进行了大量的研究。 现在，国际上以计算机视觉为主题或主要以计算机视觉为主题的国际会议有： 国际计算机视觉会议( i c c v ) ，国际模式识别会议( i c p r ) ，欧洲计算机视觉会 议( e c c v ) 与亚洲计算机视觉会议( a c c v ) 。以计算机视觉为主要内容之一的国 际刊物也很多，如：i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ，i e e et r a n s o np a m i i e e et r a n s o nr o b o t i c sa n da u t o m a t i o n , i e e et r a n s o ni m a g ep r o c e s s i n g ， c v g i p ( c o m p u t e rv i s i o n ，g r a p h i c sa n di m a g ep r o c e s s i n g ) ，v i s u a li m a g e c o m p u t i n g ，i j p r a i ( i n t e r n a t i o n a lj o u r n a lo fp a t t e mr e c o g n i t i o na n da r t i f i c i a l i n t e l l i g e n c e ) ，p a t t e mr e c o g n i t i o n 等【l 】o 1 2 1 计算机视觉技术的研究现状 计算机视觉牵扯的问题非常广泛，由于篇幅所限，这里仅简要介绍计算机视 觉中与机器人领域相关的研究方向及其现状。 l 、摄像机与视觉系统标定 摄像机与视觉系统的标定是机器人视觉中的一个基础而重要的问题，它是机 器人视觉领域中许多其他研究工作的前提条件。所谓摄像机的标定，就是根据 给定的摄像机模型求取摄像机的内外参数。而视觉系统的标定则求取的是摄像 机与机器人之间的关系。因此，国内外许多学者对此进行了大量的研究。 对于摄像机标定的研究，经历了立体标靶、平面标靶、运动自标定、在线自 标定几个阶段。传统的摄像机标定方法是在摄像机前放置一个立体标靶，标靶 上具有一系列位置己知的特征点，得到摄像机拍摄的标靶图像后，利用这些特 征点的图像坐标和这些点的已知三维空间坐标建立方程，通过求解方程获得摄 像机的内外参数，如f a u g e r a s 等【2 8 】在1 9 8 6 年提出的线性模型摄像机标定方法。 由于立体标靶制作不方便，许多学者在此基础上进行了改进，将立体标靶改为 平面标靶。如k i m 等【2 9 j 利用平面上的同心圆实现摄像机内外参数标定，微软的 张正友等【l7 】利用多幅平面方格标靶实现摄像机的内外参数标定。有的学者摆脱 了特定标靶，通过摄像机自身做特定的运动实现了摄像机的自标定。如加拿大 a l b e r t a 大学的b a s u 3 0 】通过摄像机的四组运动，每组包括两次相互正交的平移运 动，计算出摄像机的内参数。马颂德【3 l 】提出的摄像机标定，通过摄像机在三维 空间内作两组平移运动，其中包括三次两两正交的平移运动，对摄像机进行自 标定。近年来，许多学者将目光转向摄像机的在线自标定。在线自标定利用场 2 景中的点、直线或圆弧等线索，在视觉系统工作的过程中完成摄像机的标定。 如美国i l l i n o i s 大学的y a n g 等【3 2 】利用对称的标定，巴西的c a r v a l h o 等1 3 3 j 基于球 场特征的标定。目前，实现在线自标定需要具有一些较强的约束条件。如何使 约束条件变弱，在更一般化的环境中实现摄像机的在线标定将是今后摄像机标 定研究的重要方向。 2 、目标运动分析 对运动目标的检测是计算机视觉领域中重要的研究方向，其研究成果在移动 机器人导航，图像监控，交通管理等众多方向得到应用。目前，对于运动分析 主要的研究方法可以归纳为四种：相邻帧差法，背景减法和光流法。相邻帧差 法的基本思想是通过将摄像机拍摄的视频序列中相邻的两帧图像作相减预算， 得到图像中发生灰度变化的部分。该方法主要用于背景变化不剧烈的情况下的 运动目标检测。如机器人足球比赛中，可以用该方法检测出球场上的机器人和 足球的运动。背景减法与相邻帧差法类似，不同之处在于该方法预先选取不包 含前景运动目标的背景图像，然后将当前帧与背景图像相减，从而检测出在场 景中运动的目标。其不足之处在于对环境的适应性低，只能检测固定场景中的 运动目标。光流是空间运动物体在观测成像面上的像素运动的瞬时速度【lj 。光 流法是利用图像序列中像素灰度数据的时域变化和相关性来确定各自像素位置 的运动。b a r r o n 等【3 4 1 按照理论基础与数学方法将光流法分为4 种：微分法、区 域匹配法、基于能量的方法和频域法。常用的方法是微分法和区域匹配法。 3 、目标识别 目标识别是从物体图像中找出与已经存储的模型所描述的物体相匹配的过 程。模型的表达以及目标识别一直是计算机视觉研究中的难点之一，目前尚无 很好的，适用范围很广的理论和方法。现有的一些方法也往往是针对某些物 体和一些特定的应用领域，在通用性上还有所欠缺。目前，一般的识别原理分 为基于统计的方法和基于结构的方法两大类。基于统计的方法抽取信号的各种 统计特征，并用这些特征组成特征向量，在特征向量空间进行分类。基于结构 的方法则将复杂物体分为基本单元，并用基本单元的特征与描述基本单元间的 结构关系进行分类。如特征关系图匹配方法【i 】就属于基于结构的识别方法。另 一种非常重要的识别方法是“假设检验”识别方法【l 】，它基于模型知识，采取 了自上而下与自下而上相结合的识别策略，可以较大地减少图像低层次处理和 识别的计算时间。对于复杂的识别任务，通常是根据具体任务的特点将多种识 别方法有机组合起来进行识别工作。 4 、视觉测量 视觉测量按照被测对象的不同可以分为二维视觉测量和三维视觉测量两种。 二维视觉测量通常采用单摄像机测量目标在特定平面中的位置，如机器人足球 3 比赛中的视觉测量。三维视觉测量根据原理的不同分为双目或多目视觉测量和 结构光测量等类型。其中，双目视觉测量是根据大家广为熟悉的三角测量法原 理进行测量，虽然其原理较为简单，但其难点在于如何有效的建立两台摄像机 拍摄图像之间正确的匹配关系。因此，对于双目视觉测量的研究的重点是图像 匹配技术。目前常用的方法是基于灰度相关的匹配和基于特征的匹配两大类。 视觉测量研究中最为成熟的是结构光测量，其应用也最为广泛。结构光测量利 用光学系统产生结构光，在被测目标表面形成特征，利用这些特征点的图像坐 标，摄像机参数以及结构光源与摄像机间的几何关系，由三角测量原理求取特 征点的三维坐标。结构光测量技术具有抗干扰能力强，实时性好，测量精度高 等优点，因而在工业检测领域内得到了广泛应用。 1 2 2 计算机视觉技术的应用 计算机视觉经过不断发展，已经开始广泛应用于各个领域之中，从遥感图像 到各种医学图像，从车辆视觉导航到工业检测，工业机器人焊接，喷涂等等。 1 、计算机视觉在工业检测中的应用 目前，计算机视觉技术已经成功的应用于工业检测领域，大幅度地提高了产 品的质量和可靠性，保证了生产速度。例如产品包装印刷质量的检测、饮料行 业的容器质量检测、饮料填充检测、饮料品封口检测、木材厂木料检测、半导 体集成块封装质量检测、卷钢质量检测和水果分级检测等。在制药生产线上， 应用计算机视觉技术可以对药品进行检测，以确定是否装入正确的药粒。 2 、计算机视觉在医学中的应用 在医学领域，计算机视觉用于辅助医生进行医学影像的分析，主要利用数字 图像处理技术、信息融合技术对x 射线透视图、核磁共振图像、c t 图像进行分 析或对其他医学影像数据的统计和分析。例如，可以将反映骨骼组织状况的x 射线图像，反映有机组织的核磁共振图像等多种医学图像融合在一起综合分析， 得到更为全面的人体组织的数字图像，以便于医学分析。 3 、计算视觉在机器人导航及视觉伺服系统的应用 赋予机器人视觉是机器人研究的热点之一，其目的是要通过图像处理、图像 理解，向机器人运动控制系统反馈目标或自身的状态与位置等信息。典型的应 用之一就是利用计算机视觉技术引导机器人去抓取目标物体。图1 一l 是文献j 中介绍的机器人视觉抓取系统。图中的摄像机被安装在机器人手爪上，在机器 人抓取工件的过程中，利用图像识别与跟踪等算法，先识别出目标，改变手爪 形态以方便抓取目标，然后将目标相对于机器人手爪的位置关系反馈给控制系 统，控制系统再根据这些信息控制机器人手爪的运动，直到抓住工件。 4 图i - 1 计算机视觉技术在机器人抓取中的应用 4 、计算机视觉在图像监控、安防、交通管理中的应用 在闭路电视监控系统中，计算机视觉技术被用来增强图像质量，捕获突发事 件，监控复杂场景，鉴别身份跟中可疑目标等，能大幅度的提高监控效率， 减少危险时间发生的概率。在交通管理系统中，计算机视觉技术可用于车辆识 别、调度，向交通管理与指挥系统提供相关信息。 计算机视觉技术在工业机器人领域中的应用在困外已经有许多成果，主要集 中在汽车工业、电子工业、机械制造、焊接工业等。近年来，在食品加工，甚 至农业生产中也出现许多成熟的应用。具体如：1 9 9 2 年至今，v a l m e t 汽车公司 的车身密封生产线使用1 2 台摄像机进行模式识别和3 d 定位，生产出欧宝、 保时捷等知名品牌汽车；1 9 9 9 年，瑞乳a b b 公司展示的f l e x p i c k e r 工业机器人， 在简单有效的2 d 视觉的帮助町以快速完成传送带上的多种拣选工作，速度高 达2 次秒；芬兰r t s 研制的机器人视觉系统成功地用于舰船螺旋桨推进器生产， 该系统可按照c a d 模型监督精密的螺旋桨叶片的磨制”i 。国内，计算机视觉在 机器人领域的研究与应用近年来也得到迅速发展。以中科院北京、沈阳自动化 所、哈尔滨工业大学等单位为代表，在主动视觉，机器人导航，机器人手眼协 调，三维重建等许多方向上都有深层次的理论和实验性研究。与此同时，在具 体的应用上也有不少有价值的实践，例如：哈尔滨工_ k 大学研制的“基于视觉 传感器的管内作业机器人”用于机器人自身位胃的检测。哈工大的另套“机 器人卫星地面试验平台全局视觉系统”尝试根据视觉反馈进行机器人的运动规 划。但是国内视觉技术在实际的牛产线应用较少，在技术水平上也与国外存在 较大的差距。 总之，计算机视觉坎术的诞生和应用为人类提供了+ 种与以往技术小同的强 有力的技术手段和解决问题的思路。它以人类最为直接，最为熟悉的视觉的形 式来处理问题，因此不但更容易被人们所接受而且具有极为广阔的应用前景。 目前，在国外计算机视觉技术已经开始以各种形式广泛应用于生产、生活中， 而我国正处于起步阶段，急需各行各业的广大科技工作者的共同努力，来迅速 提高我国计算机视觉应用技术的发展水平，为我国的现代化建设做出自己的贡 献。 1 3 本课题的研究内容和意义 目前，在生产中应用的工业机器人，一般采用示教或离线编程的方式根据所 要完成的任务进行路径规划和运动编程。机器人工作的过程只是简单地重复执 行预先编制好的程序，完成程序设定的动作【4 ，5 ，6 1 。对于这类机器人，一旦加工 对象的位姿状态或机器人的工作环境发生一定的变化，那么采用示教或离线编 程方式工作的机器人通常对这些变化缺乏足够的感知能力，不能做出相应的调 整，从而导致加工质量不能满足要求，甚至无法继续工作。另外，示教或离线 编程会花费大量的生产准备时间。对于小批量多品种的生产模式，该问题将尤 为突出。而小批量多品种的生产模式是未来制造业的发展趋势【2 1 。因此，将计 算机视觉技术应用于工业机器人领域，用于提高提高机器人的加工质量、工作 效率、对环境的适应能力以及拓展机器人应用范围都具有十分重要的意义。 从工作场景中识别并准确抓取指定的物体，是工业机器人应用领域中的基本 问题之一。对于该问题的研究将有助于提高工业机器人在零件装配、码垛、焊 接等领域应用的技术水平，研究意义重大。因此，本文以该问题为切入点，以 计算机视觉技术为手段，对面向工业机器人智能抓取的视觉引导技术进行细致 深入的研究。旨在发挥计算机视觉技术检测形式灵活，获得的信息丰富等优点， 用以提高工业机器人在抓取操作过程中对外界的感知能力以及工业机器人的智 能。 解决这一问题的关键点在于以下三点： ( 1 ) 对象识别：从工业机器人的工作环境中正确地识别出指定的目标。 ( 2 ) 位姿确定：获得目标相对于机器人手爪的位置和姿态等信息。这些信息是 引导机器人按照适当的姿态移动到抓取位置并进行抓取操作的最为关键的 信息。 ( 3 ) 抓取规划：获得目标本身的几何尺寸，用于指导机器人根据目标的形状将 调整手爪的姿态，对目标进行夹持操作。 因此本文研究的主要内容也是围绕以上各关键点来展开的，概括如下： 工业机器人视觉引导技术的基本理论和方法 面向工业机器人智能抓取的视觉引导方案 6 目标的识别方法 目标位姿的估算及优化算法 工业机器人手爪姿态规划 本文对以上内容进行了研究，并提出了一种基于计算机视觉以及已知目标三 维数据模型的工业机器人引导方法。期望实现工业机器人由指定的三维数据模 型自主识别工作环境中与模型相匹配的真实目标，并计算所识别的真实目标相 对于机器人的位置和姿态，为引导机器人执行抓取操作提供必要的信息。为验 证本文提出的方法，借助o p e n c v 计算机视觉掣7 】在v c + + n e t 开发环境下进 行了位姿估算等核心算法的验证。 1 4 论文的组织安排 根据视觉引导技术在工业机器人智能抓取中的应用的研究内容，本论文的章 节安排如下： 第一章：介绍计算机视觉技术的产生、发展、应用以及国内外计算机视觉的 研究状况，本论文的研究内容和意义。 第二章：介绍工业机器人智能抓取技术，机器人视觉引导技术及其基本理论 和方法。 第三章：介绍本文所提出的面向工业机器人智能抓取的视觉引导系统的方案 设计、系统组成以及视觉系统中图像的采集与预处理等技术。 第四章：对视觉引导系统中的目标识别、目标位姿的估算及优化算法、机器 人手爪的位姿规划等核心问题进行详细阐述。 第五章：根据实验结果，总结本文所作的工作，并提出改进和进一步研究的 建议。 7 第二章工业机器人智能抓取技术与视觉引导技术 2 1 引言 目前，针对机器人智能抓取的研究，按照机器人手爪的形式可以租略的分为 以f 两个人的方面： 1 、以仿人手为代表的多指手，灵巧手等 这一类型的于爪，一般都拥有多个可以独立活动的手指，有的甚至苴接模仿 人手的结构，具有与人手功能类似功能。因此，这样的手爪在抓取过程中可以 根据所要抓取的物体对各个手指做出有钊对性的姿态调整，可以抓取各种各样 的物体，适应性高，抓取形式灵活多变。而且这类手爪上通常还装有众多传感 器能够感知抓住的物体。 图2 一l 所示，北京航空航天大学机器人研究所研制的b h 一3 灵巧手。该手爪 有三个于指，每个手指有三个关饥共9 个自由度。微电机放在灵巧手的内部， 各关节装有关节角度传感器，指端配有二维力传感器，聚用两缴分布式计算机 宴时控制系统。该手爪能够灵巧地抓取和操作不同材质、不同形状的物体，能 够完成装配、搬运等操作，叫以j j 来抓取鸡蛋，既币会使鸡蛋掉r ，也不会捏 砰鸡蛋”l 。 蹬二1 甲 匕 图22n a s a 多指灵巧手 例2 2 所示，美国宇航局( n a s a ) 研制的具有多种抓取功能的n a s a 多指灵 巧手。该手爪包括两个部分：一是用于操作的灵巧部分：另一部分用f 在操作 中保持抓取的稳定。手爪形状和人手相似，共有五个手指和一个手腕，具自1 4 个自由度，手腕2 个自由度，拇指、食指和l | 指各有3 个自由度，末端的两个 关节通过连杆传递运动。共有1 2 个无刷电机柬驱动整个手爪，具有冗余关节。 除了触觉传感器以外，共有4 3 个传感器。整个手爪非常灵巧，可以拿着镊予夹 住小金属挚圈，迹可以通过改变用力大小来调整电钻的转速”j 。 国内外关于多指手的研究主要集中在以下几个方面【9 】： 机械本体设计，涉及精密关节设计、关节驱动等问题 接触机制与抓取规划的研究 抓取和操作的运动学及动力学研究 控制系统研究 总体上讲，以仿人手为代表的多指手的研究难点在于手指之间的协调控制。 随着自由度的增加，控制难度趋于复杂，目前还难于用于实际生产。 2 、以夹钳形式为代表的传统手爪 这一类型的手爪结构简单，通常为二指或三指，按照运动形式大致分为【lo j ： 回转型( 图2 3 ) ：当手爪夹紧和松开物体时，手指做回转运动。当被抓物体 直径大小变化时，需要调整手爪的位置才能保持物体的中心位置不变。 平动型( 图2 4 ) ：手指由平行四杆机构传动，当手爪夹紧和松开物体时，手 指姿态不变，做平动。和回转型手爪一样，夹持中心随被夹物体直径的大小 变化。 平移型( 图2 5 ) ：当手爪夹紧和松开物体时，手指做平移运动，并保持夹持 中心固定不变，不受物体直径变化的影响。 图2 - 5 ( a ) 所示是靠连杆和导槽保持手指做平移运动，并使夹持中心位置不 变。图2 - 5 ( b ) 所示是齿轮齿条推动手指平移。图2 - 5 ( c ) 是经双向螺杆驱动 手指平移。 ( b ) 闭开 ( c )( 鸯 图2 3回转型手爪传动机构 图2 4平动型手爪传动机构 9 簿妪 手 闭 一、 厂几_ 1厂_ 熊如越 蟛必 一一 ( b )( c 刚2 - 5 平移型手爪传动机构 由n 宣类传统手爪结构简单，在央持物体时，其适应性和灵活性相对与多指 于完全没有优势。安装这种手爪的机器人只能按照已经规划好的夹持方案，以 一定的手爪姿态去夹持物体，其自身不具任何智能的特征。另外，它自b 够兴持 的物体相对于多指手来说也是很有限的。因此，基于传统央钳形式于爪的机器 人智能抓取研究的内容土要更多是倾向于：机器人对抓取日标的识别，对环境 的感知，趴及综台这些因素来自土的规划抓取方案，井控制机器人对日标进行 抓取操作。例如文献1 1 1 所做的研究：在一台机器人手腕l 安装，个二指手 爪以及一台摄像机，摄像机拍摄到的图像经过边缘检测、角点检测等一系列图 像处圳，最终诎 别出待抓取的类似积水的目标( 如图2 - 6 所不) ，并枷划出抓敢 图2 - 6 抓取物 操作时的于爪位姿以及抓取路径。控制机器人对其进行抓取操作。虽然文献【】i 的研究只能针对形状简单的物体进行抓取，并不能识别和抓取真正的i 维物体， 但是相对于不教编程机器人，这无疑是在机器人智能抓取上的大进步。 综合 所述，机器人智能抓取技术研究的两个方向备有特点：以仿人手为代 表的多指手在机构上接近人手，它集成了数量众多的驱动部件和各种传感器， 具有很强的感知能力。因此有能力完成精巧和复杂的任务。但如此高度集成的 智能化的机电系统，咀及它所涉及的多研究领域，多学科交叉的特点也为其应 蝌 用与普及带来了巨大的困难。要在短期内将其应用于实际生产或现实生活当中 还有诸如稳定性、可靠性、维护性等许多问题尚待解决。另一方面，以夹钳形 式为代表的传统机器人手爪都是一些针对具体应用而设计的简单机械装置。在 抓取对象以及抓取形式上也都是非常有针对性的。其结构简单，可靠，容易制 造，非常适合应用于实际生产当中。 随着科学技术的进步，尤其是计算机视觉技术的进步，在传统工业机器人应 用领域，引入计算机视觉技术来增强机器人的感知能力、提高其智能水平已经 成为当今机器人技术的一个研究热点。相对于仿人手的研究，在成熟技术的基 础上适当地引入新技术，循序渐进地提高机器人智能化水平，无疑更加利于发 挥新技术的力量，提高工业机器人实际应用的技术水平。因此，本文按照这样 的思想对视觉引导技术在工业机器人抓取操作中的应用进行研究。 2 2 工业机器人智能抓取技术 对于工业机器人产品，其控制器已经为我们实现了各种稳定可靠的运动控制 功能，例如：关节插补运动、直线插补运动、圆弧插补运动。只要我们给出运 动轨迹的几何参数，运动的速度以及插补类型等信息，控制器就能根据我们给 出的这些信息控制机器人本体准确地运动到我们所期望的位置。因此，针对工 业机器人的智能抓取，我们不必考虑这些基本的运动控制细节。研究的关键问 题是以下三点： ( 1 ) 如何从工作场景中识别出所要抓取的目标； ( 2 ) 如何确定目标与机器人手爪之间的位置和姿态； ( 3 ) 如何针对选定的目标规划出适当的夹持策略。 通俗地说，第一个问题要解决的是机器人抓取什么的问题，第二个问题要解 决的是在哪里抓取，第三个问题要解决的是怎样抓住。 计算机视觉以其信息量大、精度高、检测范围大等特点，近年来在工业机器 人应用领域得到了广泛应用，为实现工业机器人柔性自动化提供了有力手段。 在目标识别和求取目标位姿方面，计算机视觉技术更是有着巨大的技术优势。 应用视觉测量技术可以实现对于抓取目标的识别和抓取目标的位置以及姿态的 测量。在获得了目标相对于摄像机的位置及姿态，再求得摄像机与机器人手爪 之间的位姿关系，通过空间坐标系转换就能求得机器人手爪相对于目标之间的 位姿关系。最后再根据机器人手爪与目标间的位姿信息进行抓取规划，给出工 业机器人接近目标的路径，机器人手爪的抓取点以及夹持方案等控制信息，从 而引导工业机器人自主的进行抓取操作。 2 2 1 目标识别和目标位姿求取 对目标进行识别和求取目标位姿可以使用不同的视觉测量技术来实现。一种 思路是通过深度信息恢复，三维重构等技术对目标在三维空间内的位置进行测 量，并由测量结果建立目标三维数据模型。这种视觉系统也被称为立体视觉系 统。立体视觉的优点是经过三维重构之后，得到的是目标在某一摄像机坐标系 下的三维数据模型，已经完整地描述了目标的几何尺寸以及在空间中的位置。 仅使用该数据模型，就可以对工业机器人进行抓取规划，设计其接近目标的路 径和夹持策略。但在通常情况下，立体视觉需要处理的数据量非常大，同时目 标深度信息恢复，三维重构等过程的算法也非常复杂，计算量很大。如果要恢 复出完整的目标深度信息，则需要摄像机从多个角度拍摄目标的图像，并在各 个图像间进行匹配，再根据三角测量原理恢复目标的完整的深度信息。因此， 立体视觉系统也往往非常复杂。目前常见的立体视觉的方式有双目视觉，多目 视觉和结构光视觉。其原理的介绍将安排在本章2 4 节中专门讨论。另外，由于 多目视觉实质上是多个双目视觉系统的组合，因此在本章2 4 节中将只介绍双目 视觉和结构光视觉的原理，对于多目视觉的原理不作专门介绍。 对目标进行识别和求取目标位姿的另一种思路是通过图像匹配实现对目标 的识别，再通过拾取目标图像上的一些几何特征来测量目标的位姿。相对于第 一种方法，该方法的优点是需要处理的数据量小，计算快，系统实时性好，另 外对摄像机的数量需求也少得多。因此，该方法中的视觉系统相对简单。但是， 由于在目标位姿测量的时候仅仅是测量了目标图像上的一些特征相对于摄像机 的位姿，该方法对于目标的几何尺寸方面的描述显然是很有限的。所测量到的 位姿信息仅能用于引导工业机器人手爪接近目标。要完成引导机器人手爪进行 夹持操作，这些信息还显太少。因此，还需要额外提供目标的三维数据模型作 为补充。 目标识别主要包括四个要素：模型库，特征检测，假设生成和假设检验1 1 4 j 川。 识别的过程就是使用各种匹配技术从真实图像中搜寻出与目标模型最相似的物 体。目前普遍使用的匹配技术包括模板匹配，局部特征焦点法，位姿聚类，解 释树等【3 6 1 。其中，模板匹配技术最为常见。其原理是用一个事先建立好的图像 模板放到待匹配的图像当中进行平移并计算相关值，相关值最大的区域即为匹 配最好的区域。或者设定一定的阈值，如果相关值大于设定的阈值，则认为此 时模板在待匹配图像中的位置处存在期望的目标。 求取目标位姿的主要方法包括：基于立体视觉的位姿测量，基于矩形的位姿 测量，基于p n p 问题的位姿测量和基于消失点的位姿测型2 | 。其中，基于立体 视觉的位姿测的前提条件是：已经利用立体视觉技术测量出目标在空间中的三 维坐标。而基于矩形的位姿测量要求被测目标上具有矩形特征，而且要求摄像 1 2 机能够拍摄到目标上完整的矩形。因此，这两种位姿测量方法的局限性较大。 基于p n p 问题的位姿测量的原理是利用目标上n 个空间相对位置己知的点作为 控制点，再根据目标图像中拾取对应点的图像坐标来计算目标相对于摄像机的 位姿。基于消失点的位姿测量基于这样一个特殊现象：对于空间中平行线，当 摄像机的光轴与其不垂直时，其在拍摄图像中不再是平行线，它们的交点称为 消失点。只要目标上存在平行线这样的特征，就可以利用该方法求取目标的位 姿。因此，基于消失点的位姿测量以及基于p n p 的位姿测量这两种方法在实际 应用中的更具普适性。 2 2 2 抓取规划 在获得了目标的三维数据模型以及其位姿之后，就可以进行抓取规划。工业 机器人的抓取规划相对与仿人手这样的智能手爪来说要简单得多。因为工业机 器人腕部通常配备的两指或三指夹钳式手爪其自身的自由度较少，夹持的方式 非常有限。对这工业机器人的抓取规划的主要内容是确定工业机器人手爪接近 目标的路径，以及确定抓取目标时机器人手爪的姿态。 1 l 图2 7夹持规划 以两指夹钳式手爪抓取一个立方体为例，如图2 7 所示，机器人手爪坐标系 原点0 ，建立在两指连线的中点上，其z 轴设在手指接近物体的方向，y 轴设在 两手指连线的方向上，x 轴有右手法则确定，手爪坐标系的各个轴分别记为x ， 巧，z r 。图中直角坐标系p ) 为目标坐标系。 目标上的p l ，p 2 为期望的夹持点，那么p l ，p 2 连线的中点就是当手爪夹持 住目标时手爪坐标系原点所在的位置，记为o ，。显然，以d ，为原点建立的角坐 标系 q 可以用来表示机器人手爪夹持住目标时的位置和姿态。这样，机器人 手爪从等待抓取到抓住目标的运动过程，就可以用坐标系 d 丁 移动到坐标系 d ， 并与之重合的过程来描述。 在建立坐标系 d ， 时，由点p 1 ，p 2 的连线可以确定一个坐标轴，定为坐标 系的l ，轴，记为y = 。坐标系的x 轴和z 轴，还需要人为的设定。图中所示坐标 系 d ， 的z 轴设定为与目标坐标系 d 的z 轴平行，但方向相反，记为z ，；x 轴 由右手法则确定，记为x ，。坐标系 o ， 设定完成之后，求出 d ， 到 d 的齐次 变换矩阵? 丁，并将该变换矩阵添加到目标的3 d 模型的数据结构中。这样，当 视觉系统测量出目标的位姿，即从目标坐标系 o ) 到手爪坐标系 d ， 的齐次变 换矩阵三t 之后。将? r 左乘：r 就得到从坐标系 0 t 到手爪坐标系 o ， 之间的变 换矩阵：t ，即：7 ：z = z zo r 。所得到的齐次变换矩阵i z 就是用于引导机器 人手爪从坐标系 q 移动到夹持位置 d ， 的控制信息。 对机器人人手爪抓取路径的规划，实质上就是这样一系列过程：在坐标系 0 ， ， o ， 之间选取适当的路径控制点，并建立其相应的坐标系，如： d ， d ， o t o ，然后依次计算相邻坐标系之间的齐次变换矩阵：7 ；丁， 焉r ，砌二 ：r ，二r 。其中变换矩阵弓r 用于将机器人手爪从坐标系 d 7 ， 引导 至坐标系 d r ， ，翟z 将机器人手爪引导至坐标系 d r ： ，依此类推，直到将手爪 引导至夹持位置，即坐标系 d ， 。 2 3 工业机器人视觉系统 基于计算机视觉引导的工业机器人智能抓取技术，对于其中的视觉系统，按 照摄像机与机器人的相互位置、使用的摄像机数目、控制模型的不同可以分为 多种类型。每种类型具有不同的特点和适用范围，下面分别予以介绍。 2 3 1 根据摄像机与工业机器人的相互位置分类 摄像机与工业机器人的腕部末端构成手眼系统。根据摄像机与工业机器人的 相互位置的不同，手眼系统可以分为e y e i n h a n d 系统和e y e t o h a n d 系统u 川， 如图2 8 所示。e y e i n h a n d 系统的摄像机安装在机器人腕部末端，在机器人工 作过程中随机器人一起运动，而e y e t o h a n d 系统的摄像机安装在机器人本体外 的固定位置，在机器人运动过程中不随机器人