（检测技术与自动化装置专业论文）基于机器视觉的工业机器人作业路径规划研究.pdf

摘要 随着计算机科学、图像处理技术和机器人技术的迅速发展，机器视觉的研究 与应用得到了越来越多的重视，并在许多领域不断取得成果。本文以m o t o m a n u p 6 工业机器人为基础，利用机器视觉获得的图像作业信息为依据，提出了基于 机器视觉技术实现机器人的离线编程和实时控制的方法，该方法简单实用，精确 快捷，可以广泛应用于工业机器人的弧焊、切割和涂胶等作业。 作者在m o t o m a nu p 6 机器人的基础上，构建了一个机器视觉系统。这 个机器视觉系统由摄像机、图像采集卡、计算机、机器人以及系统软件所组成。 通过这个机器视觉系统，获取机器人作业路径的图像信息并进行分析处理，然后 对图像中的特征点定位，实现作业路径规划，最后控制机器人完成作业任务。 本文首先阐述了工业机器入的相关知识，并运用机器人运动学理论，对机器 人作业路径规划进行了分析。然后详细介绍了一个工业机器人视觉系统的软硬件 组成。在获取机器人作业路径图像方面，作者根据摄像机成像原理，建立了图像 标定方法。在传统定标方法的基础上，作者结合本系统实际情况，提出了摄像机 内外参数的定标与修正方法。在作业路径图像处理方面，作者探索了针对作业路 径的图像处理方法及图像识别过程，并求出了图像特征量信息。根据求解出的图 像特征量信息，通过自开发的软件产生相应的机器人运动控制程序，实现了对机 器人作业路径的规划。 通过多次试验、调试和修改程序，作者完成了基于机器视觉的工业机器人作 业路径规划和跟踪的联机实验。实验结果证明了该项研究的可行性和实用意义， 同时也获得了该研究有待改进处和今后努力的方向。 关键词：机器视觉；图像处理；工业机器人；实时控制；作业路径 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rs c i e n c e ，i m a g ep r o c e s s i n gt e c h n o l o g y a n dt h er o b o tt e c h n o i o g y ，r e s e a r c ha n da p p l i c a t i o no fm a c h i n ev i s i o nh a sd r a w n m o r ea t t e n t i o n ，a n dc o n t i n u et oa c h i e v ea c c o m p i i s h m e n t si nm a n ya r e a s t h i sd i s s e r t a t i o ni sb a s e do nm o d e l m o t o m a nu p 6i n d u s t r i a lr o b o t w h i c h c a nu s ei m a g eo p e r a t i o n si n f o r m a t i o no b t a i n e df r o mm a c h i n ev i s i o n i t b r i n g s f o r w a r dam e t h o dt or e a l i z er o b o t i co f b l i n ep r o g r a m m i n ga n dr e a l t i m ec o n t r 0 1 t h i s m e t h o di ss i m p l e ，p r a c t i c a i ，a c c u r a t ea n df a s t ，w h i c hc a nb eu s e dw i d e l yi ni n d u s t r i a l r o b o to p e i a t i o no na r cw e i d i n g ，c u t t i n ga n dg e l a c i n i z a i o n t h ea u t h o rc r e a t e sam a c h i n ev i s i o ns y s t e m sb a s e do nm o t o m a nu p 6r o b o t ， w h i c hi sm a d eu pw i t hc a m e r a ，i m a g eg r a b b i n gc a r d ，c o m p u t e r ，r o b o ta n ds y s t e m s o f t w a r e b yu s i n gm a c h i n ev i s i o ns y s t e m s ，t h ea u t h o ra c q u i r e si m a g ei n f o r m a t i o no f r o b o t o p e r a t i o np a t h ， a n dp r o c e s s e sa n d a n a l y z e st h e m ， t h e nl o c a t e st h e c h a r a c t e r i s t i cp o i n t so ft h ei m a g e ，a c h i e v e so p e r a t i o np a t hp l a n n i r l g ，c o n t r o l sr o b o t t oa c c o m p l i s hi t st a s k sf i n a l l y i nt h i sp a p e r ，w h i c hc o m e sf i r s ti si n d u s t r i a lr o b o ta n dr e l a t e dk n o w l e d g ea n d t h e na n a i y z e sr o b o tw o r k i n gp a t hp l a n n i n gw i t hr o b o tk i n e m a t i c st h e o r y a n dt h e ni t d e s c r i b e si nd e t a i li nh a r d w a r ea n ds o f t w a r ec o m p o n e n t so fa ni n d u s t r i a lr o b o tv i s i o n s y s t e m s o nt h ea s p e c to fg e t t i n gi m a g e so fr o b o tw o r k i n gp a t h ，t h ea u t h o r e s t a b l i s h e st h ei m a g ec a l i b r a t i o nm e t h o da c c o r d i n gt ot h ec a m e r ai m a g i n gp r i n c i p l e o nt h eb a s i so ft r a d i t i o n a lm e t h o do fc a l i b r a t i o n ， c o n s i d e r i n gw i t ht h ea c t u a i s i t u a t i o n ，t h ea u t h o rp r o p o s e sm e t h o d so fc a l i b r a t i n ga n dc o r r e c t i n gc a m e r a si n s i d e a n do u t s i d ep a r a m e t e r s o nt h ea s p e c to fp r o c e s s i n gi m a g e so fr o b o tw o r k i n gp a t h ， t h ea u l h o re x p l o r e si m a g ep r o c e s s i n gm e t h o d sa n di m a g er e c o g n i t i o np r o c e s sa i m i n g a tw o r k i n gp a t h ，a n do b t a i n si n f o r m a t i o no ft h ei m a g ef e a t u r e w i t hw h i c ht h ea u t h o r r e a l i z e st h ep l a n n i n go fr o b o tw o r k i n gp a t hb y u s i n gr o b o tm o v e m e n tc o n t r o l p r o g r a m sc o m i n gf r o ms e l f - d e v e i o p e ds o f t w a r e t or e p e a tt e s t i n g ，d e b u g g i n ga n dr e v i s i o np r o c e s sm a n yt i m e s ，t h ea u t h o r c o m p l e t e st h eo n l i n ee x p e r i m e n to fi n d u s t r i a lr o b o tw o r k i n gp l a n n i n ga n dt r a c k i n g b a s e do nt h em a c h i n ev i s i o n t h er e s u l to ft h er e s e a r c hp r o v e si tf e a s i b l ea n d p r a c t i c a l ，b u ta l s oi th a ss h o r t c o m i n g sn e e dt ob ei m p f o v e da n dp o s s i b l ed e v e l o p d i r e c t i o ni nf u t u r e k e yw o r d s ：m a c h i n ev i s i o n ；i m a g ep r o c e s s i n g ；i n d u s t r i a lr o b o t ；r e a l t i m ec o n t r o l ； w o r k i n gp a t h i i 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行的研究工作 所取得的成果。尽我所知，除文中已经特别注明引用的内容和致谢的地方外，本 论文不包含任何其他个人或集体已经发表或撰写过的研究成果对本文的研究做 出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全意 识到本声明的法律结果由本人承担 学位论文作者( 本人签名) ：绝4 仗谥 心年6 月哆日 学位论文版权使用授权书 本学位论文作者完全了解南京林业大学有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版( 中国科学技术 信息研究所；国家图书馆等) ，允许论文被查阅和借阅本人授权南京林业大学 可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以汇编和综合 为学校的科技成果，可以采用影印、缩印或扫描等复制手段保存扣汇编本学位论 文全部或部分内容 保密口，在年解密后适用本授权书。本学位论文属于不保密“ ( 请在以上方框内打“” ) 学位论文作者( 本人签名) ：杯q 久 i 考 指导教师( 本人签名 ( 月，孑日 6 月，吵 致谢 三年的时光匆匆而过，我的硕士研究生阶段的学习和生活即将结束了。 在即将离开母校之际，首先衷心感谢导师焦恩璋几年来在学习、工作上给予 的指导和关怀，从课题的确定到研究方法的选择都给了我极大的帮助。他对 科研工作认真严肃、精益求精的态度以及踏实勤恳的工作精神都给我留下了 深刻的印象，这些无疑将成为我受益终生的宝贵财富。在此衷心祝愿焦思璋 老师工作顺利、合家欢乐! 在学习和工作上各位同学、师弟的默契配合和大力支持，协助我顺利完 成了硕士学位论文。特别要感谢师弟杜荣在整个科研和论文写作阶段给予的 帮助。 衷心感谢所有曾关心我、帮助我的师长、朋友和同学们，你们使我在南 京林业大学求学经历更加美好，终生难忘。 我还要深深感谢我的爸爸妈妈，感谢他们多年来所给予我的无私关爱和 支持。 最后，向百忙之中抽出时间审阅本论文的教授、专家和学者表示衷心的 感谢! 第一章绪论 1 1 引言 工业机器人的诞生和机器入学的建立，是2 0 世纪人类科学技术的重大成就。 工业机器人是典型的机电一体化的高技术产品，在许多生产领域对提高生产的自 动化水平，提高劳动生产率、产品质量、经济效益，及改善工人作业条件等方面 起到不可替代的作用。许多劳动条件恶劣，要求生产质量稳定的场合使用工业机 器人是社会发展的必然趋势。 当今，工业机器人在各个工业领域得到了更为广泛的应用，成为工业现代化 程度的一个重要标志。但是，目前即使是世界上智能化最高的机器人，它对外部 环境变化的适应能力也是非常有限的，距离人们预想的目标还差之甚远，这极大 地限制了机器人的推广和应用，而这其中一个重要的原因就是机器入缺乏像人一 样的感知能力。为了解决这一问题，研究者们开始为工业机器人安装上各种传感 器，其中比较重要的一种就是视觉传感器，并将机器视觉引入到工业机器入系统 中。在现代工业自动化生产过程中，机器视觉技术正成为一种提高生产效率和保 证产品质量的关键技术，如机械零件的自动检测、智能机器人控制及生产线的自 动监控等。在军事领域，机器视觉也有相当重要的应用意义，如运动目标的自动 追踪和识别、机器人扫雷、机器人排爆等l i 】。但在目前机器视觉领域里，大部分 研究是建立在解析式描述的基础上，并以满足某些特定任务为目标，因而在实际 中的应用十分有限，如何让机器人具有像人类一样的视觉能力，是一个需要长期 研究的问题。 1 2 国内外研究现状 1 2 1 国外研究状况 对基于机器视觉的机器人的研究，美国、日本、瑞土、德国、澳大利亚等国 最为活跃。日本学者s m u r a k a m i 等研究的弧焊机器人焊缝跟踪控制系统，采用 了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据，能有效地进行 焊缝跟踪。澳大利亚w e s t e r n 大学研制的a u s t r a l i a st e l e r o b o t ( 图l 1 ) ，它是一 个带有摄像机的具有六个自由度的工业机器人，用户可以控制它来摆设基于x 、 y 、z 坐标系的一些积木块，用户每控制一次，就得到一幅静态的图像，通过不 断更新的图像来进行操作【7 1 。瑞士s i g 公司的并联机器人x r 2 2 ( 图l 一2 ) ，是一种 适用在高速输送机上取件的机器人，结合视觉系统，机器人可以迅速将输送机上 随机的货物抓取，有秩序的放在包装盒中。日本f a n u c 公司用两个m 4 3 0 i a 机 器人构成的超快双臂工业机器人系统( 图1 3 ) ，装备有可视跟踪功能，可充分应 用在食品和制药生产线上，该机器人在2 4 小时持续工作，每分钟有可以达到1 2 0 件。 图卜l 澳大利亚的t e l e r o b o t图1 2 瑞士s i g 公司的x r 2 2 机器人 图l _ 3 日本f a n u c 公司的m 一4 3 0 i a 机器人 国际上机器视觉系统的应用方兴未艾，目前世界上首屈一指的机器视觉系统 厂商是美国d a t at r a n s l a t i o n 公司，其m a c h 系列( 如d t 3l5 5 ) 和m v 系列 p c i 工业视觉卡已经成为业界标准；配套软件可以帮助用户快速开发复杂高级的 应用。还有美国n i 公司在使机器视觉和运动控制功能与其被广泛应用的l a b v i e w 虚拟仪器软件相结合方面做的比较突出l 引。其他如s i e m e n s ，i n t e l ，m o t o r o l a ， p a n a s o n i c ，o m r o n ，n o k i a 和e r i c s s o n 等国际知名大公司也都有自己各有特色 的机器视觉系统【10 1 。 1 2 2 国内研究状况 国内对基于机器视觉的工业机器人研究起步比较晚，研究手段和方法还处于 探索期。1 9 8 6 年在我国高科技发展计划的自动化领域专门设置了智能机器人课 题，开始跟踪国际上机器人先进技术的研究。到现在，我国的智能机器人开发研 究己从单纯“跟踪”转到部分创新和为国民经济建设服务的轨道上。清华大学潘际 銮院士、陈强教授和何方殿教授等人提出一种基于焊缝c c d 图像模式特征的焊 缝轨迹识别的新算法1 8 j ，实现焊缝识别。东北大学研制的视觉定位脑外科手术机 器人系统，能够利用计算机视觉、机器人和医学影像三维重建技术，辅助医生完 成脑外科手术。阳新松机器人研究院研制的研磨抛光机器人系统，采用了先进视 觉测量与定位技术，可以根据不同的制件外形完成曲面透明壳体的3 d 数模重建， 2 并保证了曲面重建精度与运动机构的重复性一致。 1 3 本课题研究目的和意义 本课题是对机器视觉在工业机器入控制中的应用研究，主要是为工业机器人 系统探索出一套具有对摄像机视场中特征点的自动定位及为机器人提供作业路 径功能的视觉系统。 机器人自阀世以来，已经被广泛的应用于各个工业领域，如应用于焊接、搬 运、装配和喷涂等。不过这些应用大多基于示教再现和离线编程。示教再现过程 中操作人员劳动强度大，示教过程占用机器人运行时间，机器人利用率低，示教 再现的精度也不高。离线编程是采用c a d 技术建立起机器人及其工作环境的几 何模型，通过算法在离线的情况下进行作业路径规划。离线编程不占用机器人运 行时间，提高了效率，精度也比示教再现有所提高。但是，对于复杂的作业路径， c a d 模型的建立存在一定的难度，离线编程也无法实现机器人的实时控制。我 们在工业机器人系统中引进了机器视觉系统，能够及时采集机器人工作环境信 息，实现对机器人的实时控制，提高了机器人工作效率。同时，基于机器视觉的 机器人系统能够自动生成机器人控制文件，不需要c a d 技术的支持，增强了机 器人系统的灵活性和适应性。 1 4 基于机器视觉的机器人作业路径规划关键技术的发展概况 1 4 1 机器视觉 机器视觉又称为计算机视觉，发展已经有几十年的历史，它是一门研究通过 图像或视频数据观察周围世界的学科，主要以摄像机拍摄的图像或视频为原始数 据，提取出在图像或视频中能观察到的特征事物。2 0 世纪7 0 年代中期，以m a r r ， b a r r o w 和t e n e b a u m 等人为代表的一些研究者提出了一整套视觉计算的理论来描 述视觉过程，其核心是从图像恢复物体的三维形状。在视觉研究的理论上，以 m a r r 的理论影响最为深远。其理论强调表示的重要性，提出要从不同层次去研 究信息处理的问题。对于计算理论和算法实现，他又特别强调计算理论的重要性。 m a r r 提出，对于视觉信息处理过程的研究应分为三个层次，即计算理论层，表 示算法层，硬件实现层。三者分别回答了信息处理过程中的输入和输出及两者之 间的约束，输入和输出的表示和相应的算法，以及在物理上如何实现这种表示和 算法。这一框架虽然在细节上甚至在主导思想上还存在不完备的方面，许多方面 还有很多争议，但至今仍是目前机器视觉研究的基本框架【2 l 【引。 几十年来，机器视觉的研究已经深入到许多不同的应用领域，出现了为数不 少的专用机器视觉系统，用于身份识别的人脸识别和指纹识别系统、智能交通管 理系统、视觉自动监控系统。用于军事目的的自动目标检测系统、用于医疗外科 手术及研究的医用机器人等。足球机器人的视觉系统，海洋机器人的视觉系统， 行走机器入的视觉系统，远程控制机器人的视觉系统等等，都是机器视觉技术在 3 机器人上的视觉应用。机器视觉在机器人技术中的应用已经发展成一门独立的学 科一机器入视觉。机器视觉的研究正在不断的向前发展。 1 4 2 图像处理 机器视觉可以看作是从图像中抽取、描述和解释信息，其核心内容是图像的 处理和识别。通过摄像机直接获取的原始图像往往不尽如人意，需要对图像进行 各种处理，如滤波以消除各种噪声和干扰，加强处理增强图像的信息，以及用各 种变换手段改善图像的质量，以利于计算机对图像的分析、处理、理解和识别等。 图像处理主要包括图像的预处理，图像的边缘检测和细化，图像特征的提取和图 像特征量的计算等内容，经过这些处理后，图像的质量得到了较好的改善，便于 计算机对图像进行分析处理岭j 。 ( 1 ) 图像的预处理 图像的预处理主要是对图像的灰度化处理和平滑滤波处理，以去除噪声和干 扰，突出图像中的有用信息i 抑制无用信息，提高机器视觉功能，增强计算机的 分析和处理能力。它包括如下两个内容： 图像的增强 图像的增强技术通常有两类方法：空问域法和频率域法。空间域法主要是在 空间域中对图像像素灰度值直接进行运算处理。空间域法的图像增强技术可以用 1 1 式来描述： g ( x ，j ，) = 厂( x ，j ，) 木 ( x ，y )( 1 1 ) 其中f ( x ，y ) 是处理前的图像：g ( x ，y ) 表示处理后的图像；h ( x ，y ) 是空间运算数。 图像的频率域法就是在图像的某种变换域中( 通常是频率域) 对图像的变换 值进行某种运算处理，然后变换回空间域。例如：可以先对图像进行傅立叶变换， 再对图像的频谱进行某种修正( 如滤波等) ；最后再将修正后的图像进行傅立时 反变换回空间域中，从而增强图像。它是一种间接处理方法，可以用图1 1 来描 述改过程。 图l i 频翠域增强模型 其数学描述如下： f ( “，v ) = y 厂( x ，y ) g ， ，) = ，v ) 宰f ， ，) g 瓴力= 7 q g 阮力 其中丫 表示频域正变换，y 。 表示该频域变换的反变换。f ( u ，v ) 为原始图 像，f ( x ，y ) 频域正变换的结果，h ( u ，v ) 为频域中的修正函数，g ( x ，y ) 为修正后的结 果，g ( x ，y ) 为g ( x ，y ) 反变换的结果，即变化后的图像。 4 平滑滤波处理 图像平滑的主要目的是为了减少噪声，一般情况下，在空间域内可以用于平 均法来减少噪声。在频率域，因为噪声通常多在高频段，因此可以采用各种形式 的低通滤波的办法来减少噪声。 模板操作是数字图像处理中经常用到的一种运算方式，图像的平滑、锐化， 以及边缘检测。细化等都用到模板操作。模板操作实现了一种领域运算 ( n e i 曲b o r h o o do p e r a t i o n ) 即某个像素点的结果不仅和本像素灰度有关，而且 和其领域点的值也有关。模板运算在数学中的描述是卷积( 或互相关) 运算。模 板运算在图像处理中经常用到，但当图像很大时，运算量非常可观，如对一幅 n n 的图像，运算复杂度为o ( n 2 ) ，所以，常用模板并不大。也有很多的专用图 像处理系统：用硬件来完成模板运算，大大提高了速度。 ( 2 ) 图像的边缘检测和细化 图像处理关键二步是对包含大量各样景物信息的图像进行分解，分解的最终 结果是图像被分解成一些具有某种特征的最小成分，称为图像的基元。相对于整 幅图像来说，这种基元更容易被快速处理。图像的特征可以分为图像的统计特征 和图像的视觉特征，图像的统计特征是人为定义的特征，通过变换才能得到，如 图像的直方图、矩、频谱等等；图像的视觉特征是指人的视觉可以直接感受到的 自然特征，如区域的亮度、纹理或轮廓等，图像的边缘是图像的最基本特征。边 缘是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。物体的边缘是 由灰度不连续性所反映的。经典的边缘提取方法是考察图像的每个像素在某个领 域内灰度的变化，利用边缘邻近一阶或二阶方向导数变化规律，用简单的方法检 测边缘，这种方法称为边缘检测局部算子法，比较常用的边缘检测算法有r o b e r t s 边缘检测算法、s o b e l 边缘检测算法、p r e w i t t 边缘检测算法、高斯拉普拉斯边 缘检测算法等。图像细化的目的是提取源图像的骨架，即是将原图像中线条宽度 大于1 个象素的线条细化成只有一个象素宽，形成“骨架”，形成骨架后能比较容易 地分析图像，提取图像的特征。 ( 3 ) 图像特征量的计算 图像的基本特征有点、线、面。其中点特征是它的灰度，而图像中的线特征， 如图像的边界，它包含了比点更丰富的信息，可以用强度、长度、方向、起点和 终点等来描述【4 j 。还有一种图像的基本特征是面，它表现为较均匀的区域。对图 像进行相应的处理后，得到一幅二值化图像之后，我们就需要计算图像中对应特 征的特征量。图像中点特征对应的特征量为该点在图像坐标中的坐标值；直线特 征的特征量则为其对应的起点、终点的坐标值以及直线的斜率；面特征对应的特 征量为其面积、形心坐标值和包含的像素点的数日。 1 4 3 机器人技术 近十年来机器人技术发展迅速，已经对许多国家的工业生产、太空和海洋探 索、国防以及整个国民经济和人民生活产生了重大影响【6 l 。一个机器人系统一般 由三部分、六个子系统组成，如图1 2 所示。这三部分是机械部分、传感部分、 控制部分；六个子系统是驱动系统、机械系统、感知系统、人机交互系统、机器 人环境交互系统和控制系统等。 控制部分 机械部分 图l 一2机器人系统基本结构 驱动系统主要指驱动机械系统的驱动装置。根据驱动源的不同，驱动系统可 分为电动、液压、气动三种以及把它们结合起来应用的综合系统。驱动系统可以 与机械系统直接相连，也可以通过同步带、链条和齿轮等与机械系统间接相连。 机械系统又称为执行机构系统，它是由一系列连杆、关节或其他形式的运动 副所组成。工业机器人的机械结构系统由机身、手臂、末端执行器三部分组成。 每一个部分都有若干自由度，构成一个多自由度的机械系统。末端执行器是直接 装在手腕上的重要部件，它可以是喷漆枪、焊枪等作业工具。 感知系统由内部传感器模块和外部传感器模块组成，获取内部和外部环境状 态中有意义的信息。智能传感器的使用提高了机器人的机动性、适应性和智能化 水平。 控制系统的任务是根据机器人的作业指令程序以及从传感器反馈回来的信 号支配机器人的执行机构完成规定的运动和功能。 机器人环境交互系统是实现工业机器人与外部环境中的设备相互联系和协 调的系统。 人机交互系统是使操作人员参与机器人控制并与机器人进行联系的装置。 1 5 基于机器视觉的机器人作业路径规划简介 本课题是在m o t o m a nu p 6 工业机器入系统上的二次开发。在原有工业机器 人基础上，添加了一套视觉系统，使其成为一个具有视觉功能的工业机器入系统。 利用高级程序语言编译一个系统，实现工业机器人的自动定位功能。通过软件平 台，及时获取像机下方的图片，通过图像处理获取特征值，并通过平台把获得的 特征值转换成控制命令，由机器人控制系统对控制命令加以解释、执行，并由机 6 器人完成相应动作。 如图1 3 所示，本课题所构建的硬件系统主要由摄像头、图像采集卡、机器 人系统和计算机等组成。硬件系统与软件平台构成具有视觉功能的机器人系统。 摄像头采集到外部环境的图像信息，软件平台通过采集卡实现对图像的获取。获 取图像后，通过图像的增强、滤波、边缘检测、细化等处理技术对图像信息进行 分析处理和重建。软件平台对这些处理后得到的数据进行实时计算，计算出图像 中作业对象的特征点的位置信息。对获取的特征点信息，软件平台有两种功能， 其一是通过m o t o c o m 3 2 的库函数与机器入通信，实现对机器人的实时控制， 完成指定作业；另一功能是快速生成机器入控制文件，并可对文件编辑修改，当 把这些文件导入机器人控制柜后，则可控制机器入完成指定作业。 图1 3具有视觉系统的工业机器人的结构原理图 1 6 论文的主要内容 围绕基于机器视觉的工业机器人系统的开发和研究，本文主要内容包括： 第一章：绪论。介绍了机器视觉的发展及应用概况，课题研究的意义，实现 机器视觉机器入系统的关键技术。 第二章：m o t o m a nu p 6 工业机器人系统。首先简要介绍了工业机器人的相 关知识。然后介绍m o t o m a nu p 6 工业机器人系统组成，重点阐述了机器人运动 学方面的知识，并将其应用于工业机器人路径的实时规划。 第三章：机器视觉硬件系统。本章节主要介绍机器视觉硬件系统的构建，讨 论了c c d 、采集卡、光源、镜头的主要参数以及选择标准。 第四章：机器视觉软件的研究和设计。本章节主要探索了机器视觉软件所用 到的算法和图像处理技术的应用，包括图像的采集，图像的增强，图像的平滑及 细化等，还讨论了图像标定的理论。 第五章：基于机器视觉的机器入作业路径的规划和实现。本章节主要讨论了 7 本实验所设计的机器人控制硬件及软件系统，应用这些硬件和软件所得到的实验 结果以及对实验误差的分析。 第六章：总结。本章节主要介绍了论文所获得的成果以及进一步研究方向。 8 第二章m o t o m a nu p 6 工业机器人系统 m o t o m a nu p 6 工业机器人是由日本安川公司生产的，它包括m o t o m a nu p 6 机器人本体( 图2 一1 ) 、y a s n a c x r c u p 6 控制柜、示教编程器以及外部设备。其 中，机器人本体具有六个自由度，各个关节均为旋转关节，它的主要性能指标如 表2 1 所示。各自由度由交流伺服电机驱动，其重复定位精度可达0 0 8 m m 。最 大载荷为6 k g ，机器人本体重量为1 3 0 k g 。 图2 1m o t o m a nu p 6 机器人 2 1 工业机器人位姿描述及坐标转换 表2 一lu p 6 机器人的参数 可控轴数 6 可带负载6 k g 重复定位精度0 0 8 删 s 由 1 7 0 0 l 由 + 1 5 0 0 一9 0 ! j f _ 车由 + 1 9 0 一1 7 0 0 运动范围 r 一车由1 8 0 9 b 薹由 + 2 2 5 y 一4 5 。 t 由 3 6 0 。 s 一车由1 4 0 。s l 由 1 6 0 。s u 由王7 0 9 s 最大速度 r 由 3 3 矿s b 由 3 3 5 0 s t 由 5 0 0 口s 刚体参考点的位置和刚体的姿态统称为刚体的位姿，其描述方法比较多，如 齐次变换法、矢量法、旋量法和四元数法等。m o t o m a nu p 6 是关节机器人， 是由一系列关节连接起来的连杆组成，把坐标系固定在机器人的每一个连杆的关 节上，本文采用齐次变换来描述坐标系之间的位姿，齐次变换法的优点在于它将 运动、变换与矩阵运算联系起来。 2 1 1 位姿描述 如图2 2 所示，建立坐标系之后，用一个3 l 的位置 矢量可以确定该空间内的任意一点的位置。对于直角坐标 系 a ，空间任意一点p 的位置可用3 l 的列矢量a p ( 2 1 ) 表示， 9 图 2 2 位置表示 仳 ( 2 1 ) 其中，p x ，p v ，p ：是p 点在坐标系 a 中的三个坐标分量。a p 的上标a 代 表参考坐标系 a 。a p 为位置矢量。 为了研究工业机器人的运动和操作，不仅要表示空间某一点的位置，而且需 要表示物体的方位( 姿态) 。物体的方位可由某个固连于此物体的坐标系描述。为 了规定空间某刚体b ( 如机器人的末端执行器) 的方位，设置一个直角坐标系( b 于此刚体固连。用坐标系 b 的三个单位主矢量x 8 ，y b - z b 相对于参考坐标系 a ) 的方向余弦组成的3 3 矩阵，来表示刚体b 相对于参考坐标系 a 的方位， l 厂l l ，1 2r 1 3l ；r = 【 x b 匕 z 占】= l ，2 。，2 ：屹l ( 2 2 ) l ，3 i ，3 2 ，3 3 j 式中；尺称为旋转矩阵，岔只共有9 个元素，但只有3 个是独立的。由习r 的 三个列矢量a x b ，a y b 和a z b 都是单位矢量，并且相互垂直，因此9 个元素满足6 个约束条件： x 占4 x b 2 彳匕幸4 = _ z 8 幸a z b = l z 口宰一= 匕木4 2 8 2 一z b 4 x 口= l 可见旋转矩阵b r 是正交的，并且满足条件 口r 一1 = b r r ；l 口r i = l 式中t 表示转置；l l 为行列式符号。 对应于轴x ，y ，z 作转角为0 的旋转变换，其矩阵分别为： 肌期= 池二割 如耻医 跑聊= 降翠习 i o ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 2 8 ) 2 1 2 坐标变换 当坐标系 b 与 a 具有相同的方位，但 b 坐标系的原点与 a 的原点不重 合时，可以用平移坐标变换来表示坐标系的相对位置关系。如图2 3 所示，用 位置矢量a p b 描述坐标系 b 相对于( a 的位置，即坐标系 b 相对于坐标系 a 的平移变量。如果点p 在坐标系 b 中的位置为b p ，那么它相对于坐标系 a 的 位置矢量a p 可由矢量相加得到，即 _ p = 占p + ( 2 9 ) 称上式为坐标平移方程。 图2 3 平移变换 m o t o m a nu p 6 机器人的各运动杆件可相对于参考坐标系( 通常为机器人 底座) 作平移和转动，机器人手臂的末端执行器在空间的总位移是由各运动连杆 的旋转和平移形成的。1 9 5 5 年j d e n a v i t 和r s h a r t e r b e r g 首先采用了一种系统 性和规范性较强的齐次坐标变换矩阵来表示各坐标系的变换关系，称为d e n a v i t h a r t e r b e r g 矩阵( 简称d h 矩阵) 。d h 矩阵是一个4 奉4 的矩阵( 笛卡儿坐 标系的齐次坐标变换矩阵) ，表示一空间矢量从一个坐标系转换到另一个坐标系。 两个坐标系间的旋转用d h 矩阵( 2 1 0 ) 左上角的一个3 宰3 旋转矩阵来描述， 在右上角用一个3 卑1 的列矩阵来表示两个坐标系间的平移( 位置矢量) ，其中p x 、 p y 、p ：是两坐标系问平移矢量的三个分量。d h 矩阵左下角的1 3 的行矩阵表 示沿三个坐标系的透视变换，右下角的1 宰l 的单一元素矩阵是使物体产生总体变 换的比例因子。在机器人控制中，透视变换值总是取零，比例因子总是取1 。 t = ( 2 1 0 ) 根据d h 矩阵定义，平移齐次坐标变换可以表示为： l loo a i 10lobi t v r a n s ( a ，b ，c ) 。l ool c l ( 2 1 1 ) lo oo l - j 对应于轴x ，y 或z 作转角为0 的旋转变化，可表示为 r d f ( x ，p ) = r o t ( y ，= 足甜( z ，口) = lo oc o s ( 矽) o s i n ( 秒) o0 c 0 s ( 秒) 0 一s m ( 口) 0 c o s ( 口) s i n ( 秒) o o 00 一s i n ( 9 ) o c o s ( 9 ) o ol o s i n ( 矽) o l0 0 oc 0 s ( 秒) 0 o0l s i n ( 日) 0 0 c o s ( 乡) 0 o 0 1 0 ool ( 2 1 2 ) ( 2 1 3 ) ( 2 1 4 ) 齐次坐标及齐次坐标变换矩阵不仅可以对工业机器人的位置和姿态进行描 述，处理机器人运动学和动力学问题还可以用来构成机器人的各种控制算法，为 机器入的运动控制和运动分析提供了一个有效的方法。 2 2 工业机器人运动学 描述机器人每一个活动杆件在空间相对于绝对坐标系或相对于机座坐标系 的位置及姿态的方程，称为机器人运动学方程。机器人末端执行器的位置和姿态 问题，通常可分为两类基本问题：一类是运动学正问题，已知机器人各运动副的 运动参数和杆件的结构参数，求末端执行器相对于参考坐标系的位置和姿态。另 一类是运动学逆问题，根据已给定的满足工作要求时末端执行器相对于参考坐标 系的位置和姿态以及秆件的结构参数，求各运动副的运动参数，这是机器人设计 中对其进行控制的关键，只有使各关节运动到逆解中求得的值，才能使末端执行 器到达工作所要求的位置和姿态。 2 2 1m o t o m a nu p 6 机器人运动学正解 为描述相邻连杆间转动和平移的关系，提出了一种为关节链中的每一连杆建 立附加坐标系的矩阵方法。d h 方法为每个关节处的连杆坐标系建立4 幸4 齐次变 1 2 换矩阵，表示它与前一连杆坐标系的关系。把m o t o m a nu p 6 六关节机器人各轴 固接一个坐标系x i y i z i 如图2 4 所示。各连杆参数如表2 2 ，其中机座坐标 系为x o y o z o ，与机器人基坐标系一致。z i 轴取杆件i 与杆件i + l 副的轴线方 向，而x i 轴则取沿相邻两z 的公垂线方向。杆长h i 是沿x i 轴从z i 1 轴量至z i 轴 的距离，与x i 轴正向一致的距离为正。偏距d i 是沿z i i 轴从x i i 轴量至x i 轴的距 离，与z i 1 轴方向一致为正。扭角a i 是绕x i 轴从z i 1 轴量至z i 轴角位移，从x i 轴方向观察逆时针为正。转角9 i 是绕z i 1 轴从x i i 轴量至x i 轴的角位移，从z i i 轴方向观察逆时针为正u 列。 任意一个坐标系x i y i z i 相对于机座的位姿可以表示为： i ：丁= i ：丁：丁卜：r ( 2 1 5 ) 其中i 丁是由四个参数( 杆长h i 、偏距d i 、扭角a i 和转角o i ) 所确定的两相 邻坐标系的齐次变换矩阵 。? = c o s ( 9 i ) 匆n ( 9 0 - c o s g i ) s ；n ( e i ) 西n b i ) h ；c o s ( e i ) s i n ( oi ) c o s ( oi ) c o s g i ) 喇s ( 。i ) s n b i ) h i s i n ( 0i ) o s i n o i )c o s g ) d i oooi 图2 4u p 6 连杆坐标系示意图 1 3 ( 2 1 6 ) 表2 2u p 6 机器人连杆参数 杆件编号 o j ( o ) 关节变量范围( o ) a i ( o )h i ( m m ) d i ( m m ) o lo e i - 1 7 0 ，+ 1 7 0 】 一9 0 h l = 1 5 0 o i 一29 0 0 2 【一9 0 ，+ 1 5 0 】 0 h 2 = 5 7 0 0 2 3o 0 3 【1 7 0 ，+ 1 9 0 】 一9 0 h 3 = 1 3 0 0 3 4o 0 4 【一1 8 0 ，+ 1 8 0 】 一9 00 d 4 = 6 4 0 4 59 0 0 5 【一4 5 ，+ 2 2 5 】 9 00o 5 6o 0 6 【3 6 0 ，+ 3 6 0 】 oo d 6 = 9 5 由上述m o t o m a nu p 6 机器人连杆坐标系和己知的连杆参数，对于具有6 自由度的m o t o m a nu p 6 机器人，运动学方程可以写成如下面公式： ：r = t ：r：z；z ：2 1：丁：z ；丁= 刀jd j n yo y 刀：d z o0 n lp l n yp y n zp ： 0l ( 2 1 7 ) 其中；丁是从工具坐标系到机械接口坐标系的变换矩阵，机器人工作时，末 端执行器是固定在机械接口上的，：r 是固定的没有相对旋转变换，位置变换因 实际工作时的工具而异。机器人运动学可以讨论从机座坐标系到机械接口坐标系 的变换： ：丁= ：2 1 ：丁；r ：r ：丁：r = 以o j n p 0 y 刀zo z o0 口jp j a y p p o ：pz 01 当u p 6 机器人各关节转角为零时，：r 计算结果如下： ：r = ：r ；r ：丁：r ：丁= loo7 9 0 0一loo o0 一l6 0 5 00 ol 1 4 ( 2 1 8 ) ( 2 1 9 ) 当u p 6 机器人六个关节分别转动一l o 、2 0 、3 0 、4 0 、5 0 、6 0 度时，：丁计 算结果如下： ：r = ：r ：rj r ：r ：丁：r = o 5 6 o 2 6 5 9o 7 8 4 63 3 7 3 3 4 4 o 8 2 4 90 0 9i 0 5 5 7 9q 1 9 3 3 8 4 o 0 7 7o 9 5 9 7o 2 7 0 3l l3 5 13 5 4 o0ol 2 2 2m o t o m a nu p 6 机器人运动学逆解 ( 2 2 0 ) 根据机器人各个关节变量的值，计算出机器人末端执行器的位置和姿态的方 程，称为机器人的运动学正解，反之，为了使机器人末端执行器相对参考坐标系 的位置和姿态满足给定的要求，而反过来计算相应的各个关节变量的值，称为运 动学逆解。机器入运动学逆解比较复杂，一般具有多组解，必须考虑机器入实际 操作的可能，如运动范围、避障等情况，也有可能不存在解。 运动学的逆解有多种方法，例如p a u l 等人提出的反变换法l ，l e e 和z i e g l e r 提出的几何法【1 3j 和p i e p e r 解法1 1 4 j 。前面的两种方法应用较多，这里以u p 6 机器 人为例简要介绍反变换法( 代数法) 求解的步骤和过程。 对于具有6 自由度的m o t o m a nu p 6 机器人