（机械电子工程专业论文）基于scara机器人控制系统的视觉集成技术与研究.pdf

哈尔滨工业人学工学硕i ：学位论文 摘要 随着电子计算机科学、图像处理、模式识别技术与理论的迅速发展，机 器视觉技术的研究与应用日益得到重视，并不断地在许多领域得到可喜的成 果。本文以固高科技( 深圳) 有限公司的四自由度s c a r a 机器人为控制对 象，重点研究并设计了一套机器视觉系统。该系统与通用运动控制器相结 合，为控制领域实现机器视觉技术奠定了基础。 本文基于通用运动控制器，研究了数字图像处理技术，并开发了一套与 控制器相结合的视觉集成软件。作为教学演示用的工业机器人，加入视觉功 能后，要求机器人能在室内自然光线下识别目标物体的位置和方向，并准确 抓取。 本文在摄像机标定过程中，针对本课题的精度要求，采用了一套简单、 快速的摄像机标定方法。在图像边缘检测技术中，对几种算法的实验结果进 行了比较，并针对本实验中目标物体的特点，对传统的l o g 边缘检测算法 进行了改进，最终检测出了好的单一像素边缘。 在边缘检测的基础上，确定了图像中物体的中心位置和直线斜率，利用 标定的结果和机器人运动学方程，得到世界坐标系中物体的中心位置和转 角，从而驱动各个关节运动，准确地抓取目标物体。 本课题完成的视觉集成软件与运动控制系统有效地结合起来，已应用到 f m s ( f l e x i b l em a n u f a c t u r i n gs y s t e m s ) 控制系统中，主要完成物料存储系统中 传送带和加工机床间的物料交换功能，突破了工件机构定位的局限性，大大 提高了系统的柔性。 关键词机器视觉；摄像机标定；图像处理：边缘检测 堕丝堡三些查童三兰塑圭兰堡篁兰 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to fc o m p u t e rs c i e n c e 、i m a g ep r o c e s s i n g 、 p a t t e r nr e c o g n i t i o n ，p e o p l ea r ep a y i n gm o r ea n dm o r ea t t e n t i o no nr e s e a r c ha n d a p p l i c a t i o no fm a c h i n ev i s i o nw h i c hh a sr e s u l t e d i ne x c e l l e n tr e s u l t si n m a n y f i e l d s i nt h i sp a p e r , as e to fm a c h i n ev i s i o ns y s t e mb a s e do nm o t i o nc o n t r o l l e r a n d4 - d o f ( d e g r e eo ff r e e ) m a n i p u l a t o ro fg o o g o lt e c h n o l o g y ( s z ) l t di s s t u d i e da n dd e s i g n e d b e c a u s eo fc o m b i n i n gw i t ht h eu n i v e r s a lc o n t r o l l e r ，t h e s y s t e m e s t a b l i s h e sa c a d e m i cf o u n d a t i o nf o ra d d i n gm a c h i n ev i s i o ni nc o n t r o l f i e l d i nt h i sp a p e r ，d i g i t a li m a g ep r o c e s s i n gt e c h n o l o g yi ss t u d i e db a s e do nt h e u n i v e r s a lm o t i o nc o n t r o l l e r t h e nas e to fv i s i o ns y s t e ms o f t w a r ei sd e s i g n e d c o m b i n e dw i t ht h ec o n t r o l l e r a sar o b o ta c t i n go nt e a c h i n gd e m o ，i tm u s td e t e c t a n dg r a bt h eo b j e c te x a c t l yu n d e rt h en a t u r a le n v i r o n m e n ta f t e ra d d i n gv i s i o n f u n c t i o n ， i nt h ec o u r s eo fc c dc a l i b r a t i o n ，as e to fs i m p l ea n dr a p i dc c dc a l i b r a t i o n m e t h o di sr e s e a r c h e db a s e do ne x p e r i m e n t sc o n d i t i o na n dd e m a n d w er e s e a r c h t h ee d g ed e t e c t i o nt e c h n o l o g ya n dg i v et h ec o n t r a s t i v er e s u l t a tt h es a m et i m e ， i no r d e rt od e t e c tt h eg o o da n ds i n g l ee d g e ，w ei m p r o v et h el o g a l g o r i t h m b a s e do nt h ee d g ed e t e c t i o nt e c h n o l o g y , t h ec e n t e rp o s i t i o na n d l i n e s l o p ei n t h ei m a g ec o o r d i n a t ea r eg a i n e d t h u su s i n gt h ec a l i b r a t i o na l g o r i t h ma n dr o b o t m o t i o ne q u a t i o n w ec a nk n o wt h es a m ei n f o r m a t i o ni nt h ew o r l dc o o r d i n a t e w h i c hc a nm a k er o b o tg r a s pt h eo b j e c te x a c t l y f i n a l l y , v i s i o ns o f t w a r e ，c o m b i n e dw i t ht h eu n i v e r s a lc o n t r o l l e re f f e c t i v e l y ， h a v ew o r k e di nt h ec o n t r o ls y s t e mo ff m s ( f l e x i b l em a n u f a c t u r i n gs y s t e m s ) w h i c ha c h i e v e dt h ee x c h a n g eb e t w e e nt h et r a n s m i s s i o ns t r i pa n dm a c h i n et o o l i n t h em a t e r i a ls t o r a g es y s t e m i ti m p r o v e dt h ef l e x i b l eo ft h ew h o l es y s t e mb e c a u s e o f t h es p e c i a lo r i e n t a t i o nw i t h o u tm a c h i n e k e y w o r d s m a c h i n ev i s i o n ，c c dc a l i b r a t i o n ，i m a g ep r o c e s s i n g ，e d g ed e t e c t i o n 儿 哈尔滨t 业大学t 学颅士学位论文 1 1 课题背景 第1 章绪论 本课题来自固高科技( 深圳) 有限公司，基于该公司的教学演示用 s c a r a 工业机器人( 四自由度机械臂g r b 4 0 0 ) 和运动控制器( g t 4 0 0 s g g ) ，研究一种加入视觉功能，使其在自然光线下能够完成对任意位置和特定 形状的物体识别、定位、抓取的有效方法。 1 1 1 机器视觉概述 机器视觉( 也称计算机视觉或图像分析与理解等) ，是研究用计算机来模 拟生物外显或宏观视觉功能的科学和技术。机器视觉系统的首要目标是用图像 创建或恢复现实世界模型，然后认知现实世界。机器视觉系统获取的场景图像 一般是灰度图像，即三维场景在二维平面上的投影，场景三维信息只能通过灰 度图像或灰度图像序列进行恢复处理。 机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学的 重要研究领域之一。机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当 时的工作主要集中在二维图像的分析和识别上，如光学字符识别、工件表面、 纤维图片和航空图片的分析和解释。6 0 年代，r o b e r t s ( 1 9 6 5 ) 通过计算机程 序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并 对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作开创了以理解三 维场景为目的的三维机器视觉的研究。r o b e r t s 的创造性研究给人们以极大的 启发，到了7 0 年代，己经出现了一些视觉应用系统。 7 0 年代中期，麻省理工学院( m i t ) 人工智能( a i ) 实验室正式开设“机 器视觉”课程。同时，m i ta i 实验室吸引了国际上许多知名学者参与机器视 觉的理论、算法、系统设计的研究。d a v i dm a r t 教授应邀于1 9 7 3 年到该实验 室领导一个以博士生为主体的研究小组。1 9 7 7 年提出了不同于“积木世界”分 析方法的计算视觉理论，该理论在8 0 年代成为机器视觉研究领域中的一个十 分重要的理论框架1 “。 可以说。对机器视觉的全球性研究热潮是从2 0 世纪8 0 年代开始的，到了 8 0 年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现， 哈尔滨工业大学工学硕上学位论文 比如，基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理 论框架等。到目前为止，机器视觉仍然是一个非常活跃的研究领域0 , 4 1 。 机器人视觉是随着机器人的发展，有必要给机器人装上眼睛而发展起来的 一个学科分支，目前己成为高技术领域个重要的研究课题。视觉技术也是实 现智能装配机器人的关键技术之_ 1 5 , 6 1 。 1 1 2 机器视党的应用 随着电子计算机科学、图像处理、模式识别技术与理论的迅速发展，机器 视觉技术的应用日益广泛。从医学图像到遥感图像，从工业检测到文件处理， 从毫微米技术到多媒体数据库，不一而足。可以说，需要人类视觉的场合几乎 都需要机器视觉。应该指出的是，许多人类视觉无法感知的场合，如精确定量 感知、危险场景感知、不可见物体感知等，机器视觉更突显其优越性。典型的 机器视觉技术应用如下1 7 l o 】： ( 1 ) 零件识别与定位在自动化生产线上，利用视觉系统将零件从传输带 上分离出来，并进行识别和定位。识别的目的是为工业机器人提供是否操作或 进行任何操作的信息，定位的目的是导引机器人手爪实时准确地夹取零件，如 图1 1 所示。 矸 图1 1 片j 于生产线上的工业机器人视觉系统示意图 f i g - 1 _ 1s k e t c hm a p o f v i s i o ns y s t e mo f i n d u s t r i a lr o b o to i lt h ep r o d u c tl i n e ( 2 ) 产品检验主要用于产品外形检验、表面缺陷检验等等。如发动机内 壁麻点、刻痕等缺陷检查：钢梁内部裂纹和气孔等缺陷检验以及装配后的位置 检验等。 哈尔滨工业大学工学硕士学位论文 ( 3 ) 移动机器人导航移动机器人利用视觉系统，识别目标、识别道路、 判断障碍物，实现道路规划、自主导航、与周围环境自主交互作用等。 ( 4 ) 遥感航天中的应用主要用于军事侦察、定位、引导、指挥等应用； 多光谱卫星图像分析；自然灾害、环境污染的检测；交通、空中管理、铁路选 线等。 ( 5 ) 生物医学图像分析比如显微图像处理；d n a 显示分析；红白血球 分析计数；虫卵及组织切片的分析；癌细胞识别；生物进化的图像分析等等。 ( 6 ) 安全鉴别、监视与跟踪用机器视觉系统可以实现停车场监视、车辆 识别、车牌号识别、探测并跟踪“可疑”目标：根据面孔、眼底、指纹等图像 特征识别特定人等。 ( 7 ) 国防系统机器视觉在国防系统中的作用越来越重要，主要原因有两 个：一是满足自主操作的需要，二是需要分析大量先进成像传感器的输出。 ( 8 ) 其它用于各种球类运动分析、人体测量、食品、农业、心理学、电 视电影制作、美术模型、远程教育、多媒体教学等场合。 1 2 国内外机器视觉技术的研究现状 1 2 1 国外的研究现状 在七十年代，美国g m 公司试制了能识别传送带上机械零件的视觉检查系 统。到八十年代，由于微处理器的普及，各行业对视觉系统都表现出了极大的 兴趣。以美国国家科学基金委员会为中心的实用视觉系统的研究飞速发展；在 同本的国家产业政策中，也把大力发展实用视觉系统放在了首要地位1 1 ”。进入 九十年代以后，在电子、汽车、制药、食品等高效、劳动密集的生产线上，工 业视觉系统已是不可缺少的一部分，起到了人眼所不能起的作用，有力地保证 了产品质量。 美国a d e p t 公司是全球知名的工业机器人制造公司，它在研制第一代机器 人的时候就考虑了加入视觉系统，因此在二十几年的发展过程中，获得了丰富 的经验和比较成熟的技术，使得其成为美国最大的工业机器人制造公司。 德国s i e m e n s 公司在工业图像处理方面拥有超过2 0 年的经验积累， s i m a t i cv i d e o m a t 是第一个高性能的单色和彩色图像处理系统，并成为 s i m a t i c 自动化系统中极重要的产品。而9 9 年推出的s i m a t i cv s 7 1 0 是业 内第一个智能化的、一体化的、带p r o f i b u s 接口的、分布式的灰度级工业 哈尔滨t 业大学工学硕士学位论文 视觉系统，它将图像处理器、c c d 、i o 集成在一个小型机箱内，提供 p r o f i b u s 的联网方式( 通讯速率达1 2 m b p s ) 或集成的1 7 0 和r s 2 3 2 接1 ：3 。 此外，日本、加拿大、比利时等国，在图像采集、图像处理等方面都具有 丰富的经验。 1 2 2 国内的研究现状 我国对计算机视觉的研究真正开始是在改革开放之后，并且在学术上迅速 追赶国际水平，但作为工业视觉系统，必须有它的应用市场，才能得以发展。 改革开放后，视觉系统检查往往被忽略，这是造成产品不稳定的因素之一【1 2 j 。 随着企业的深化改革，产品质量的竞争己关系到企业的生命，这就为工业视觉 的应用创造了条件。在这种形势下，中国应有自己的工业视觉系统。 我国的视觉机器人主要用于以下方面：代替人类从事危险、有害和恶劣环 境、超静环境下的工作；把人从肮脏、繁重的劳动中解放出来；提高劳动生产 率，改善产品质量，快速响应市场要求，加强在国际市场的竞争能力。但是一 般的视觉应用系统都是在国外软件基础上开发的，例如香港振联科技有限公司 采用美国c o g n e x 机器视觉系统，为包装，电予，半导体，医药，汽车等众 多行业提供自动化检测系统的集成化服务。 还有北京微视新纪元科技有限公司，主要从事视频图像采集卡、模块、系 统、软件、高速、高清晰度摄像头等产品的代理、研制与开发。上海利盟德有 限公司利用视觉系统对硬币边缘字符进行检测。还有北京路科锐威科技有限公 司，深圳步进科技有限公司以及北京四通电机公司等等，都开始重视视觉系统 在工业上的应用。 1 2 3 国内外视觉系统的发展趋势 从国内外研究现状可以看出，国际上视觉系统的应用已经非常成熟，并且 市场规模不断扩大。而在国内，工业视觉系统尚处于概念导入期，各行业的领 先企业在解决了生产自动化的问题以后，将开始将目光转向视觉测量的生产自 动化方面。这样，基于国内已有的控制技术，开发自己的视觉系统，将成为非 常迫切的需要。 目前国内外视觉系统的发展趋势主要表现在以下几个方面： ( 1 ) 提高速度和精度，趋于用硬件模块来完成一些基本图像处理和计算功 能： 哈尔滨t 业大学t 学硕士学位论文 ( 2 ) 从实验阶段走向应用阶段； ( 3 ) 视觉系统应用从工业上的检测、焊接走向更广泛的应用。 13 机器视觉技术的关键问题 1 3 1 照明 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和 应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实 例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见 光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点 是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中 急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加 防护屏的方法来减少环境光的影响i l ”。 1 ，3 2 图像聚焦形成 被测物体的图像通过一个透镜聚焦在敏感元件上，如同照相机拍照一样。 所不同的是照相机使用胶卷，而机器视觉系统使用传感器来捕捉图像，传感器 将可视图像转化为电信号，便于计算机处理。 选取机器人视觉系统中的摄像机应根据实际应用的要求，其中摄像机的透 镜参数是一项重要指标，它包括放大倍率、焦距、景深和透镜安装四个部分。 1 3 3 防震 视觉系统的精度受震动的影响特别大，因此在精度要求较高的工业视觉系 统中，必须考虑防震措施。很明显，在图像处理的过程中，实验室外面的重型 车、空中飞机或者室内其他设备的开动都会影响到图像处理结果，这种实时采 集的图像处理误差映射到整个系统，精度就会大大的降低。 1 1 3 4 图像处理技术 机器视觉系统中，视觉信息的处理技术主要依赖于图像处理方法，它包括 图像平滑、边缘增强、图像分割、数据编码、特征提取、图像识别与理解等内 哈尔滨工业人学工学硕上学位论文 容。经过处理后的图像，输出质量得到相当程度的改善，既改善了图像的视觉 效果，又便于计算机对图像进行分析、处理和识别。 ( 1 ) 图像的增强和恢复图像的增强和恢复属于改善图像视觉质量，突出 图像中重要细节的处理，它用于调整图像的对比度、除去噪声、变模糊为清 晰。图像的直方图是一个重要的图像数据统计特征，它与对比度紧密相连，是 图像灰度分布概率密度函数。如果一幅图像的灰度分布集中在为数不多的几个 灰度级上，则表明该图像对比度太低，这时可以用拉伸图像灰度的方法校正。 平滑处理技术( 也称滤波处理) ，是图像增强和恢复中的重要方法，是为 了去除实际成像过程中，因成像设备和环境所造成的图像失真，提取有用信 息。 ( 2 ) 图像数据编码和传输数字图像的数据量是十分可观的，若将一帧电 视图像数字化为一幅5 1 2 5 1 2 8 比特的图像，其数据量为2 5 6k b y t e 。若以每 秒2 5 帧计算，则传输数字图像的信道的速度应为每秒5 2 4 2 8 8m b i t 。高信道 速度意味着高投资，也意味着难以普及。图像编码的重要任务在于图像数据的 压缩。图像数据的可压缩性在于图像数据存在空间相关性和序列( 时间序列、 普序列) 相关性。 变换是图像数据解相关的种重要手段。人称最优变换的k o h o n e n l o e v e 变换可以将一幅图像的“能量”压缩到为数不多的几十个分量上去。这样，只 需要传输为数不多的分量，在接收端再变换回去就可以达到数据压缩的目的。 只不过在实际应用中，人们常用余弦变换代替k - l 变换，变换也不对整个图像 进行。是将整幅图像分成一个个小的数据块，然后将这些数据块分类、变换、 量化，从而构成一个自适应变换压缩系统。 ( 3 ) 图像分割图像分割是计算机视觉研究中的一个极为重要的基本问 题，分割结果的优劣影响着随后的图像分析、理解和景物恢复问题求解的正确 与否【1 4 1 。它将图像分成若干部分，每一部分对应于某一个物体表面，在进行分 割时，每一部分的灰度或纹理符合某一种均匀测度度量。其本质是将像素进行 分类，分类的依据是像素的灰度值、颜色、频谱特性、空间特性或纹理特性 等。图像分割是图像处理技术的基本方法之一，应用于诸如颜色体分类、景物 理解系统、机器视觉等方面。 ( 4 ) 图像的分析和识别随着图像处理研究工作的深入，自7 0 年代起， 图像的分析和识别越来越多地受到重视。图像的识别过程实际上可以看作是一 个标记过程，即利用识别算法来辨别景物中已分割好的各个物体，给这些物体 赋予特定的标记它是机器视觉系统必须完成的一个任务。 哈尔滨t 业大学工学硕士学位论文 按照图像识别从易到难，可分为三类问题。第一类识别问题中，图像中的 像素表达了某一物体的某种特定信息。第二类问题中待识别物体是有形的整 体，二维图像信息已经足够识别该物体。第三类问题是由输入的二维图、要素 图、2 5 维图等，得出被测物体的三维表示，这存在着如何将隐含的三维信息 提取出来的闻题，是当今研究的热点。 目前用于图像识别的方法主要分为决策理论和结构方法。决策理论方法的 基础是决策函数，利用它对模式向量进行分类识别，是以定时描述( 如统计纹 理) 为基础的：结构方法的核心是将物体分解成了模式或模式基元，而不同的 物体结构有不同的基元串( 或称字符串) ，通过对未知物体利用给定的模式基 元求出编码边界，得到字符串，再根据字符串判断它的属类。这是一种依赖于 字符描述被测物体之间关系的方法。 1 4 本课题的主要研究内容 以固高科技( 深圳) 有限公司的四自由度s c a r a 机器人及其控制系统为 载体，要求机器人能够在室内自然光线下抓取特定工件，经过分析，本文主要 研究内容如下： ( 1 ) 带有角度的摄像机标定从摄像机获取的图像信息出发计算三维空间 中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何 位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的， 这些几何参数模型就是摄像机标定【i “。本文在标定过程中不仅有中心位置的换 算关系，而且涉及到角度的换算。 ( 2 ) 数字图像处理技术数字图像处理技术在灵活性、精度、调整和再现 性方面都是卓越的，它具有用程序能自由地进行各种处理并且能达到较高的精 度的特点【l “。本课题要求机器人抓取工件时位置精度为lr l l m ；角度精度为 1 5 0 。 ( 3 ) 系统集成软件开发在v i s u a lc + + 环境下，利用运动控制器和图像采 集卡函数、图像处理算法等开发一套演示软件，使之能够完成图像采集、标 定、处理、检钡4 、抓取等功能。 哈尔滨工业大学工学硕士学位论文 第2 章机器人运动学分析及摄像机标定 2 1 机器人运动学分析 固高科技( 深圳) 有限公司的四自由度机械臂g r b 4 0 0 是典型的s c a r a 型平面关节机器人，采用19 5 5 年d e n a v i t 和h a r t e n b e r g 提出的描述机构运动的 方法( d h 法) ，建立坐标系如图2 1 所示f 1 7 】。 多娲各惋夕 一 d ， 0 2 一 一 z 3 ( z 4 ) l 如1 11 2 y 3 ( y 4 ) r 、 吼 7 0 3 ( 0 4 ) 一x 3 ( x 4 ) 图2 1s c a r a 机器人与d h 坐标系 f i g 2 1d hc o o r d i n a t e so f s c a r a r o b o t 相应的连杆参数如表2 1 所示。其中连杆长t = 2 0 0 m m ，1 2 = 2 0 0 m l n ，表 中q 、岛、包、吐为关节变量。机器人基坐标系为o x o y o z o ，各个杆件的动坐 标系如图2 1 所示。根据表2 - 1 各杆件之间的关系，可写出相应的位姿变换矩 阵。转动连杆坐标系d h 坐标变换见公式( 2 1 ) 所示：移动关节的坐标变换见 公式( 2 2 ) 所示。 卜1 r = c o s 日 s i n 0 o - s i n o , c o s t ：z i c o s c o s f s l n 口 0 s i n 谚s i n c t ， 一c o s as i n 口 c o s 口 0 a ic o s qs i n 谚 d 。 l ( 2 - 1 ) 竺垒堡三些奎兰三兰塑当耋竺耋兰 表2 - 1s c a r a 机器人的杆件参数 t a b l e2 - 1t h es t a f f p a r a m e t e ro f s c a r ar o b o t 连杆数变量q q c o s t 2 s 1 n 口 1 岛 o 0 10 2 岛 o 之 0l0 3000 如 10 4 包 0o0l0 一r = c o s 醴 s i n 8 0 o s i n o , c o s 6 t i c o s 0 , c o sg t i s l n 口 o s i n 0 , s i n a f c o s as i n 口 c o s 甜 o 引 p ：， 根据坐标变换公式( 2 1 ) 、( 2 2 ) ，各个关节的位姿矩阵就可以表示出来 见公式( 2 - 3 ) 、( 2 - 4 ) 、( 2 - 5 ) 、( 2 - 6 ) 所示。 ：t = i t = 2 3 r = c o s o l s i n 0 1 o 0 c o s a s i n 鼠 0 0 c o s 醴 s i n 0 3 o o s i n o ic o s o e c o s o lc o s o i s i n t 2 1 0 一s i n 0 2c o s 口2 c o s 0 2c o s t 2 2 s 1 1 1 0 4 0 一s i n 8 3c o s t 2 3 c o s 0 3c o s u 3 s i n 口， 0 s i n 岛s i n a lc o s o l c o s o js i n a l s i n b c o s t 2 l 0 o1 s i n 0 2s i n o t 2 一c o s 0 2s i n a s c o s m o s i n 0 3s i n c q 0 - - c o s 0 3s i n a 3 0 c o s t 2 3一吐 01 ( 2 3 ) ( 2 4 ) ( 2 - 5 ) 哈尔演： 业大学工学硕士学位论文 ；t = c o s 0 4 s i n 玩 0 o s i n 只c o s 口4 c o s 吼c o s o 4 s i n 吼 o 2 1 1s c a r a 机器人正运动学分析 s i n 0 4s i n 吼 一c o s 只s i n 9 4 c o s 口d o ( 2 - 6 ) 给定机器人各个关节的角度，计算出机器人末端执行器相对于基坐标的位 置和姿态，就是机器人正运动学问题。各连杆变换矩阵相乘，可得到机器人末 端执行器的位姿方程( 正运动学方程) ，见公式( 2 、7 ) 所示1 8 1 9 。 ：t = ：r ( 岛) ：i 丁( 岛) ? ( 也) j r ( 幺) n xo n y0 y ，l z0 ： o0 q ：p x o yp y 口；p ： o1 ( 2 - 7 ) 其中口( a p p r o a c h ) 接近矢量，z 轴为手指接近物体的方向； 0 ( o r i e n t a t i o n ) 方位矢量，y 轴为两手指的连线方向； 弹( n o r m a l ) 法向矢量，z 轴由右手法则确定，l l t = o x ； p 手爪坐标系原点在基坐标系中的位置矢量 当鼠= 9 0 0 、岛= 0 0 、d 3 = 0 、幺= 0 。时，手臂变换矩阵? 的值，计算结 果见公式( 2 - 8 ) 所示。 ：t = 0一lo0 10 0 0o10 oo0l o一1 1o oo 0o 00 0 + f 2 1 一d 3 ol 1o o1 0 0 0 o 0 1 2 0 0 10 o1 lo o 0 o10 0 0 01 一以 o o 0l 10 ol 0 0 o0 00 0 o 10 o1 ( 2 8 ) 由此结果可知，机器人位姿与图2 - 1 当q = 9 0 。、岛= 0 。、以= 0 、只= 0 。 哈尔滨t 业大学工学硕二l 学位论文 时的情况安全一致，证明计算是正确的。 2 1 2 s c a r a 机器人逆运动学分析 已知机器人末端的位置和姿态，求机器人对应于这个位置和姿态的全部关 节角，以驱动关节上的电机，从而使手爪的位姿符合要求，这就是机器人逆运 动学分析。与正运动学分析不同，逆运动学的解是复杂的，而且具有多解性。 机器人正运动学方程见公式( 2 7 ) 所示，逆运动学求解过程如下： ( 1 ) 求关节变量鼠为了分离变量，对方程的两边同时左乘：r 。( 鼠) ，见 公式( 2 9 ) 所示。 ：t 。( q ) ：r = ：r ( 岛) 2 3 h j 。3 丁( 只) ( 2 9 ) 代入具体数据，见公式( 2 1 0 ) 所示。 c o s s ls i n o t 0 一， s i n o jc o s o l0 0 0o10 o0o1 n t o xd xp x n yo y o yp y n zo znzp z o0 ol c o s 0 2 一s i n 0 20f 2c o s 0 2 s m 岛c o s 0 20f 2s i n 岛 00 1 一以 0001 c o s 0 4 - s i n 只00 s i n 0 4c o s a 4 00 0010 oo0l ( 2 - l o ) 令左右矩阵中的第一行第四个元素，第二行第四个元素分别相等，见公式 ( 2 - 1 1 ) 所示。 j 。8 q n “n q p y - = 。8 幺t ( 2 - 1 1 ) l - s i n o i 以+ c 0 5 岛p y = s i n 岛- ，2 由以上两式联立可得醴，见公式( 2 1 2 ) 所示。 岛一t a n ( 赤) 一妒 舯肚鬻；2 p ，2 + 乃2 口= a r c t a l l 盟 pv ( 2 1 2 ) 哈尔滨_ 业大学工学硕士学位论文 ( 2 ) 关节变量b 由公式( 2 - 1 1 ) 可得公式( 2 1 3 ) 。 0 2 ：a r c 。s ( 型坐窖边玉)( 2 1 3 ) l2 式寺r = 、3 p ? + p ? ； 口= a r c t a l l 笠 pu ( 3 ) 求关节变量破令公式( 2 1 0 ) 中左右矩阵中的第三行第四个元素相 等，得公式( 2 1 4 ) 。 以= 一见( 2 1 4 ) ( 4 ) 求关节变量只令公式( 2 1 0 ) 中左右矩阵中的第二行第一个元素相 等，得公式( 2 一1 5 ) 。 一s i n o l , r x + c o s o i - n y = s i n 8 2 c o s 0 4 + c o s 0 2 s i n 8 4 ( 2 - 1 5 ) 由公式( 2 1 5 ) 求得只，见公式( 2 1 6 ) 所示。 只= a r c s i n ( 一s i n 品n , + c o s o , n , ) 一岛 ( 2 - 1 6 ) 这样，机器人的所有运动学逆解都已经求出，可以把上面的结果代入式子 验证，发现8 = 9 0 。、0 2 = 0 。、d 3 = 0 、0 4 = 0 。是机器入的一组逆解。 2 2 摄像机标定综述 计算机视觉中的一个很重要的问题就是摄像机的标定问题，从二维的图像 对( 序列) 提取三维结构信息，摄像机标定是必须的一步。这方面的工作是由 f a u g e r a sy f 色, j f f 3 【2 0 2 2 1 。 计算机视觉系统应能从视觉传感器( 如摄像机) 获取的图像计算出三维环 境物体的位置、形状等几何信息，并由此识别环境中的物体，才能做出正确反 应。因此计算机视觉的基本任务之一就是从摄像机获取的图像信息出发计算三 维空间中物体的几何信息，利用计算机实现对三维景物的描述和识别。这里所 蜕的描述是指由三维信息获取二维图像的过程，而识别就是二维图像的三维恢 复。无论哪一项任务，首要解决的都是三维物点与二维像点间的对应问题。这 种对应关系是由摄像机成像几何模型决定的，确定这种对应关系的过程，称为 摄像机定标弘“。 哈尔滨工业大学工学硕士学位论文 具体地讲，标定就是通过建立已知物像点的对应关系模型来计算成像系统 内外几何及光学参数，从而获取模型参数的过程。一旦建立了这种对应关系， 就可以通过二维像点坐标推出物点三维世界坐标，或相反的，从已知的三维信 息推出二维信息。由此可知，系统标定是计算机视觉研究的基本问题和实现前 提。 在机器人的视觉系统应用中，目标位姿信息获取通常有一定的精度要求， 机器人视觉系统的性能在很大程度上依赖于标定精度。随着计算机性能的快速 提高，低价位c c d 摄像机的大量使用，计算机标定方法也得到了不断的改 进。摄像机标定在机器视觉中决定于内、外部参数。内部参数，主要是摄像机 的光学和几何特性、焦距、比例因子和镜头畸变；外部参数，主要是摄像机坐 标相对于世界坐标系的位置和方向，如旋转和平移。进行摄像机标定，有很多 方法，传统的摄像机标定方法有直接线性法和非线性法b “。 1 、线陛标定法通过解线性方程获得转换参数，该算法速度快但是没有考 虑摄像机镜头的畸变问题。未知数的数目通常比实际自由度要大，由于这种冗 余，实际的中间参数的约束不满，而且最终结果的正确性受噪声影响很大。 2 、非线性标定方法使用大量的未知数和大范围的非线性优化。非线性模 型越准确，计算代价越高。这样可以补偿镜头畸变允许采纳更为复杂的映像模 型，但是，如果迭代过程设计不恰当的话，尤其在高扭曲的条件下，优化过程 可能不稳定。 2 3 带有角度的机器人抓取系统的摄像机标定 本课题的主要特点是有效使用空间小( 1 0 0 m m l o o m m ) 、精度要求不高、 摄像机垂直安装、除了中心位置标定外，还有角度标定要求，如果采用了传统 的摄像机标定方法，计算量很大。因此本文采用种简单、适用的摄像机标定 方法，分别对中心位置和角度进行标定。 2 3 1 中心位置标定 这里，图像坐标系和世界坐标系的关系示意图如图2 2 所示，图像坐标系 的v 方向与世界坐标系的x 方向相反：而“方向和y 方向相反，这样可以建立 中心位置标定模型，见公式( 2 1 7 ) 所示。 哈尔滨工业大学工学硕士学位论文 州三制+ 阴 p 式中x ，y 世界坐标系的坐标； “，v 图像坐标系的坐标： ，图像坐标系到世界坐标系的比例因子，单位为m m p i x e l ： e ，l 偏移量 这个模型里一共有三个参数r 、正、t ，r 为像素点的间距，可以通过测 试一组直线两点间的长度，并对应像素距离，利用公式( 2 1 8 ) 计算，值。这罩 取几组测试数据，然后计算平均值，如表2 2 所示。 两个端点间的距离( m l t l ) ，、 。 两个端点间的像素数( p i x e l s ) ” 物 体。、 图2 - 2 角度标定原理示意图 f i g 2 - 2s k e t c hm a p o f t h e p r i n c i p l eo f t h ea n g l ec a l i b r a t i o n 这里o x y 世界坐标系； o ，“v 图像坐标系； 瞑机器人关节1 转过的角度； 包机器人关节2 转过的角度； 0 4 物体的直线2 与甜的夹角： 岛机器人关节l 和关节2 转过角度后与”的夹角，酿= o l + 鼠 为确定参数正、l ，见公式( 2 1 9 ) 所示。 v ll 堕玺堡三些查兰三兰堡! ：兰竺篁圣 表2 2 参数，的确定 t a b l e2 - 2c a l c u l a t i o no ft h ep a r a m e t e r “， 测量次数垂直直线水平直线 10 5 4 6 3 1 60 5 3 5 5 7 8 20 5 5 1 0 0 00 5 2 9 8 0 l 30 5 3 2 2 1 00 5 4 6 0 1 2 40 51 9 0 0 00 5 5 0 0 0 0 50 5 3 6 3 7 8o 5 1 8 7 6 4 60 5 2 9 9 7 10 5 3 4 4 1 2 平均值0 5 3 5 8 0 ，5 3 5 8 州三祁 测试数据如表2 - 3 所示，对六组c 、瓦取平均值，得 i r = 1 2 5 9 0 9 6 i f = 4 8 3 4 7 8 8 于是，标定模型为公式( 2 2 0 ) 所示。 f 2 1 9 ) * 彤s s 二- 。1 册u 郴1 2 5 。肿9 0 9 。6 。 陪z 。， 表2 - 3 参数c ，瓦值的确定 组 x v “v 正瓦 数( m m )( m m ) ( p i x e l s )( p i x e l s ) ( m m )( m m ) l1 0 6 9 6 43 0 6 2 31 03 2 62 0 71 2 2 2 0 5 94 8 1 8 8 1 3 2o 0 1 3 33 0 6 4 1 7 83 2 72 3 21 2 4 9 5 8 84 8 2 2 3 1 8 315 2 7 3 92 9 2 1 4 2 53 6 l2 6 41 2 6 9 2 0 14 8 6 6 1 3 7 42 3 1 8 7 32 9 3 9 9 7 83 5 71 8 812 4 5 2 2 24 8 5 9 0 2 2 52 5 9 2 9 53 2 8 6 2 9 l2 8 41 8 712 6 5 5 8 34 8 1 6 0 6 0 62 0 0 4 6 33 2 9 0 4 0 42 8 52 7 913 0 2 9 2 74 8 2 6 3 7 6 2 3 2 机器人手爪角度的标定 各个坐标系的角度关系如图2 2 所示。设机器人手爪转角为曰，则在理论 上，有公式( 2 2 1 ) 。 岛+ 扫= 珐= 1 8 0 0 一只( 2 2 1 ) 哈尔滨工业大学工学碳上学位论文 考虑到两个坐标系对应关系并不理想，于是加入一个调鳃因子k ，则有式 子( 2 2 2 ) 。 目= 1 8 0 。一幺一岛+ k( 2 2 2 ) 给出几组世界坐标系和图像坐标系对应的日、岛、只，并对应能够抓起物 体的实际手爪转角曰，确定调解因子的值，如表2 - 4 所示。取几组k 的平均 值，得： k = - 9 7 5 8 9 这样，就可以计算出手爪应该转过的角度，见公式( 2 2 3 ) 所示。 口= 1 8 0 0 - o , 一岛- o , - 9 7 5 8 9 ( 2 2 3 ) 表2 - 4 参数k 值的确定 t a b l e2 - 4c a l c u l a t i o no f t h e p a r a m e t e r “f 组号 岛岛 只 分_ j 14 7 9 9 9 58 0 0 0 0 04 1 9 8 7 20 0 0 0 01 0 0 1 3 3 24 2 9 9 7 38 0 0 0 0 04 1 9 8 7 25 9 9 9 49 0 1 6 1 34 5 1 3 4 68 2 0 0 0 03 7 4 7 6 25 9 9 9 49 3 8 9 8 44 6 1 3 2 68 2 0 0 0 05 0 0 5 9 58 ，0 0 2 89 8 1 0 7 54 3 8 1 8 l8 0 0 0 0 05 3 5 2 1 08 0 0 2 81 0 6 6 3 7 64 4 0 3 2 78 1 0 0 0 05 6 3 0 9 91 1 0 0 2 5- 9 6 5 9 9 2 4 实验结果 采用深圳市宏威达科技有限公司代理的s h i k a ( 视佳) 摄像机和北京微 视凌志图像技术有限公司代理的m a t r o x 图像采集卡，采集到的图像是 6 4 0 x 4 8 0 像素的。对6 组点进行了标定测试，将空间点的实际世界坐标值与经 过标定后的坐标值进行比较，数据如表2 5 所示。其中“，v 为根据改进的 l o g 边缘检测算法和直线拟合中心提取法得出的图像中物体中心坐标；t ， 儿为实际世界坐标系的坐标；x ，y 为根据标定结果得出的坐标值；日表示 该实验方法的位置精度，这里d 1 = ( h 一工) 2 + ( 儿一，) 2 。 对应于表2 - 5 中的坐标值，各个关节角度鼠、只( 根据机器人运动学方程 求出) 及图像中物体斜率如表2 - 6 所示。其中鼠为实际转角；p 为标定后计算 得到的转角；k ，为图像中直线拟合后得到的物体的一条直线的斜率，对应的角 度为只；d 2 = i 口一o oj ，表示浚实验方法