（检测技术与自动化装置专业论文）工业机器人手眼标定技术研究.pdf

c l a s s i f i e di n d e x ：u 6 61 4 3 u d c ： ad is s e r t a ti o nf o r t h ed e g r e eo fd e n g r e s e a r c ho nh a n d - - e y ec a l i b r a t i o n t e c h n o l o g y o fi n d u s t r i a lr o b o t c a n di d a t e ：z h a n gy u n z h u s u p e r v i s o r ：p r o f y ux i u p i n g a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l t y ：d e t e c t i o nt e c h n o l o g ya n da u t o m a t i ce q u i p m e n t d a t eo fs u b m is s i o n ：d e c e m b e r ，2 0 0 9 d a t eo fo r a le x a m i n a t i o n ：m a r c h ，2 0 1 0 u n i v e r s i t y ：h a r b i ne n g i n e e r i n gu n i v e r s i t y 7 0 加 ， 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 、 作者( 签字) ：名易饧钐弘 日期： 勿夕年溯，旧 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生 在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈 尔滨工程大学有权保留并向国家有关部门或机构送交论文的复印 件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关 数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇 编本学位论文，可以公布论文的全部内容。同时本人保证毕业后 结合学位论文研究课题再撰写的论文一律注明作者第一署名单位 为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文蛔在授予学位后即可口在授予学位1 2 个月后 口解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：劢历礞导师( 签字) ：寻易隔 日期：劢缈年刁月，日 加c o 年；月? j 日 、 t ； 哈尔滨丁稃大学硕十学何论文 摘要 给机器人赋予视觉功能，建立机器人手眼之间的协调关系，是使机器人 走向智能化的一个重要里程碑。机器人的手眼关系是建立机器人与视觉传感 器之间相互联系的桥梁。机器人安装视觉传感器后，可以借助于视觉获取环 境信息以执行一些特定的任务。本文主要研究了机器人在执行任务时所涉及 的关键技术手眼标定技术。具体的研究内容如下： 1 结合本文所要采用的二维标定模板，研究了一种基于张正友的平面模 板摄像机标定方法的改进的摄像机内、外参数优化方法；计算出摄像机的内、 外参数；对未采用优化方法前的投影误差图和采用优化方法后的投影误差图 进行了分析对比。通过对比不同的投影误差图可以得出，这种改进的优化算 法可以极大地提高摄像机参数的精度，与其它优化算法相比，优化步骤更具 体，在实际工程环境中，具有更高的可操作性。 2 总结出手眼方程存在唯一性的条件和具体求解过程；分析了在求解过 程中改善和提高手眼关系的方法和措施；给出了一种改进的手眼标定算法。 这种算法，通过利用矩阵直积和矩阵特征向量推导出了机器人手眼转换矩阵 的线性方程，文中详细地给出了这种算法具体的标定步骤。 3 完成了手眼标定实验。采用传统的手眼标定方法对手眼关系矩阵进行 计算；利用面向对象编程技术，用c + + 在v c 6 0 环境下编写了改进的手眼标 定算法的求解程序，计算出了手眼关系矩阵；计算并分析了传统的手眼标定 方法与改进的手眼标定方法的手眼矩阵误差。通过实验可得，正交化所引入 的误差在绝大多数情况下是允许的，这种改进的手眼标定算法有效的解决了 传统方法所带来的繁琐性，简化了计算，并具有足够的精度，证明了该算法 切实有效。 关键词：工业机器人；摄像机标定；机器人手眼标定；矩阵直积 哈尔滨t 稗大学硕十学位论文 a b s t r a c t g i v i n gt h ev i s u a l f u n c t i o nt or o b o ta n de s t a b l i s h i n gc o o r d i n a t er e l a t i o n s b e t w e e nr o b o th a n da n de y ei sa ni m p o r t a n tm i l e s t o n e ，w h i c hc a nm a k er o b o t r e a c ht h ei n t e l l i g e n t r o b o th a n d e y er e l a t i o ni sa b r i d g ew h i c hc a ne s t a b l i s ha r e l a t i o nb e t w e e nr o b o ta n dv i s u a ls e n s o r a r e rr o b o ti si n s t a l l e db ys e n s o r , r o b o t m a yp e r f o r ms o m es p e c i f i ct a s k sw i t hv i s u a la c c e s st oe n v i r o n m e n t a li n f o r m a t i o n t h i sp a p e rm a i n l yr e s e a r c ho ns o m ek e yt e c h n o l o g i e sw h e nr o b o tp e r f o r m i n g t a s k s h a n d - e y ec a l i b r a t i o nt e c h n o l o g y d e t a i l sa l ea 8f o l l o w s ： 1 u s ea ni m p r o v e do p t i m i z a t i o na p p r o a c hw h i c hc a no p t i m i z ei n t r i n s i ca n d e x t r i n s i cp a r a m e t e r so fc a m e r ab a s e do np l a n a rt a r g e tc a l i b r a t i o nm e t h o do f z b m n g y o uz h a n gw i t ht h et w o - d i m e n s i o n a lc a l i b r a t i o nt e m p l a t eu s e di nt h i sp a p e r c a l c u l a t et h ei n t r i n s i ca n de x t r i n s i cp a r a m e t e r so fc a n l e r a a n a l y s ea n dc o n t r a s t o nt h ep r e - r e p r e j e c t i o ne r r o rf i g u r ea n dt h er e p r e j e c t i o ne r r o rf i g u r eu s i n gt h i s o p t i m i z a t i o na p p r o a c h w ec a l lm a k ea c o n c l u s i o nt h a tt h i si m p r o v e do p t i m i z a t i o n a l g o r i t h mc a ni m p r o v et h ea c c u r a c yo fc a m e r ap a r a m e t e r sg r e a t l yb yc o m p a r i n g t h ed i f f e r e n tf i g u r e s c o m p a r i n gw i t ho t h e ro p t i m i z a t i o na l g o r i t h m s ，t h es t e po f t h i si m p r o v e do p t i m i z a t i o na l g o r i t h mi sm u c hm o r es p e c i f i c ，a n dt h i sa l g o r i t h mi s m u c hm o r es p e c i f i c a tt h es a m et i m e ，t h i si m p r o v e do p t i m i z a t i o na l g o r i t h mh a s m u c hh i g h e ro p e r a b i l i t yi np r a c t i c a le n g i n e e r i n ge n v i r o n m e n t 2 s u m m a r i z et h ee x i s t e n c ea n d u n i q u e n e s s c o n d i t i o n sf o r h a n d e y e e q u a t i o n sa n ds p e c i f i cs o l u t i o np r o c e s s a n a l y z et oi m p r o v ea n de n h a n c et h e h a n d e y er e l a t i o n s h i pb e t w e e nm e t h o d sa n dm e a s u r e si nt h es o l u t i o np r o c e s s a t t h es a m et i m e ，g i v e sa ni m p r o v e dh a n d - e y ec a l i b r a t i o na l g o r i t h ma tt h es a m et i m e t h i sa l g o r i t h mu s em a t r i xd i r e c t - p r o d u c ta n de i g e n v e c t o rr e s e a r c ha n ds o l v et h e l i n e a re q u a t i o no ft h er o b o th a n d e y et r a n s f o r m a t i o nm a t r i x ，w h i c hs o l v et h e c o m p l e x i t yt h a ti sp r o d u c e db yt h eh a n d - e y ec a l i b r a t i o nm a t r i xe f f e c t i v e l y , a n d s i m p l i f yt h ec a l c u l a t i o nw i t hs u f f i c i e n ta c c u r a c y t h ec o n c r e t ec a l i b r a t i o ns t e p s a r c 垂y e ni nt h i sp a p e r h、i h _ i k t i _ 哈尔滨t 稗大学硕十。学：何论文 3 c o m p l e t e t h eh a n d - e y ec a l i b r a t i o ne x p e r i m e n t u s et h et r a d i t i o n a l h a n d - e y ec a l i b r a t i o na l g o r i t h mt o s o l v et h eh a n d e y em a t r i x t h e n ，u s et h e o b j e c t - o r i e n t e dp r o g r a m m i n gt e c h n i q u e st os o l v et h eh a n d - e y em a t r i xw i t ht h e m e t h o do fi m p r o v e dh a n d e y ec a l i b r a t i o na l g o r i t h mi nt h ee n v i r o n m e n to f 酣斗o f v c 6 0v e r s i o n t h r o u g hc a l c u l a t et h ee r r o rb e t w e e nt h et w om e t h o d s ，r e a l i z et h a t t h ee r r o ri n t r o d u c e db yt h eo r t h o g o n a l i z a t i o ni sp e r m i s s i b l yi nt h ev a s tm a j o r i t y c a s e s t h i si m p r o v e dh a n d - e y ec a l i b r a t i o na l g o r i t h ms o l v et h ec o m p l e x i t yt h a ti s p r o d u c e db yt h eh a n d - e y ec a l i b r a t i o n m a t r i x e f f e c t i v e l y , a n ds i m p l i f y t h e c a l c u l a t i o nw i 也s u 伍c i e n ta c c u r a c y k e yw o r d s ：i n d u s t r i a lr o b o t ；c a m e r ac a l i b r a t i o n ；r o b o th a n d - e y ec a l i b r a t i o n ； m a t r i xd i r e c t - p r o d u c t 扣 _ t 卜 哈尔滨t 程大学硕+ 学位论文 目录 第l 章绪论l 1 1 课题的研究背景及意义”1 1 2 工业机器人手眼视觉系统的基本概述2 1 2 1 工业机器人的基本概述2 1 2 2 机器人视觉的基本概念3 1 2 3 手眼系统的基本内容3 1 3e y e i n h a n d 系统的标定研究现状5 1 4 本文主要研究工作及论文的结构6 第2 章改进的摄像机标定优化算法研究9 2 1 摄像机标定问题基本概述9 2 1 1 坐标系定义9 2 1 2 标定参照物1 4 2 2 一种基于张的改进的摄像机内、外参数的优化算法”1 4 2 2 1 张正友的基于平面模板的标定方法概述”1 4 2 2 2 研究这种优化算法的意义一1 6 2 2 3 改进的优化算法基本原理及优化步骤1 7 2 3 标定实验1 9 2 3 1 实验环境1 9 2 3 2 标定参数优化过程1 9 2 4 实验结论及误差分析2 4 2 5 本章小结”2 5 第3 章手眼标定技术方法研究2 6 3 1 手眼标定技术主要原理2 6 3 1 1 手眼标定参数“2 6 3 1 2 手眼标定基本方程式“2 8 3 2 传统机器人手眼标定方法2 8 3 2 1 传统机器人手眼标定模型的建立2 9 - l 一 1 哈尔滨t 程大学硕+ 学位论文 3 2 2 求解机器人手眼关系矩阵x 2 9 3 2 3 本文采用的通用旋转变换转轴与转角的求取方法31 3 3 传统手眼标定算法的分析总结”3 3 3 3 1 机器人手眼标定过程总体步骤”3 3 3 3 2 提高传统的手眼标定算法精度的措施3 4 3 4 一种改进的手眼标定算法3 5 3 4 1 算法产生的意义”3 5 3 4 2 矩阵的直积( 或k r o n e c k e 积) 3 6 3 4 3 改进的手眼标定算法3 7 3 5 本章小结3 9 第4 章手眼标定实验4 0 4 1 实验所用到的主要部件4 0 4 1 1c c d 视觉传感器4 0 4 1 2 图像采集卡4 1 4 1 3 直角坐标机器人4 2 4 1 4p m a c 运动控制卡4 2 4 1 5 系统工作过程“4 3 4 2 实验过程4 4 4 2 1 实验数据采集过程4 4 4 2 2 手眼关系矩阵计算过程4 6 4 3 两种手眼标定算法的计算误差分析”5 l 4 4 实验结论5 2 4 5 本章小结5 3 结论”5 4 参考文献5 6 攻读硕士学位期间发表的论文和取得的科研成果6 0 致谢6 1 - 0 哈尔滨丁稃大学硕十学何论文 第1 章绪论 1 1 课题的研究背景及意义 机器人的应用情况是一个国家工业自动化水平的重要标志，而在机器人技 术的基础上赋予机器人各种高级智能，例如行走能力、触觉、听觉和视觉，是 使机器人更加具有自主能力的技术基础。在国内外已广泛应用于航天、汽车、 电子、化工等行业。其中给机器人赋予视觉功能，建立机器人手眼之间的协 调关系，是使机器人走向智能化的一个重要的里程碑。著名机器人和人工智能 专家b r a d y 教授在他所编著的机器人科学中提出：机器人学的研究方向之 一就是机器人视觉。机器人视觉控制与计算机视觉、控制理论等学科密切相关， 但它采用的概念又有所不同。而手眼系统作为机器人视觉中的一项重要技术， 在生产、生活中发挥了巨大的作用。 研究机器人的手眼协调关系问题，对于它的研究可以追溯到2 0 世纪7 0 年 代，美国麻省理工学院和斯坦福大学联合研制了一个手眼系统，它可以引导机 械手进行跟踪、定位、抓取等规定操作。即用视觉引导机器人的手爪准确地完 成人们预先所需要完成的任务。此后，国外的许多学者对机器人手眼关系的研 究做了大量的理论和实验研究。现如今，手眼标定问题，不仅广泛应用于工业 生产，而且广泛应用于科研领域，机器人安装视觉传感器后，可以借助于视觉 获取环境信息以执行一些特定的任务“1 。 1 、工业领域中的焊缝自动跟踪技术、待切割工件边缘跟踪技术、大尺寸 工件测量中用到的边线跟踪技术等，都要对目标及机器人末端的位置姿态进 行准确的求解。 2 、在机械臂捕获目标物体和执行各种任务时，拍摄和识别特征光标，测 量目标物体或操作工件的位置和姿态。 3 、参与机械臂功能自测试和各种参数的在线标定，提供机械臂末端的位 姿信息。 4 、利用手眼视觉系统对近距离目标进行监测，可为操作人员提供机器人 运动状态的现场实时图像。 5 、在无特征光标的情况下，拍摄和识别目标物体，测量其位姿。 i 因此，近年来，机器人的手眼标定问题越来越多的受到了研究人员的关注。 本论文也对手眼标定技术进行了研究，以便能更好的将该技术运用于实际的工 程中。 1 2 工业机器人手眼视觉系统的基本概述 1 2 1 工业机器人的基本概述 机器人( r o b o t ) 是1 9 2 0 年由捷克作家卡雷尔查培克在剧本中塑造的一个 具有人的外表、特征和功能，愿意为人服务的机器奴仆“r o b o t a 一词衍生出来 的。我们可以这样说：机器人是一个在三维空间中具有较多自由度的，并能实 现诸多拟人动作和功能的机器；而工业机器人( i n d u s t r i a lr o b o t ) 则是在工业 生产上应用的机器人n 。m ，。图1 1 表示一个搬运工业机器人正在进行搬运作业， 它从许多零件中取出所需要的一个，并把它搬到别处。 图1 1 工业机器人搬运作业示意图 美国机器人工业协会提出的工业机器人定义为：“工业机器人是用来进行 搬运材料、零件、工具等可再编程的多功能机械手，或通过不同程序的调用来 完成各种工作任务的特种装置。英国机器人协会、日本机器人协会等也采用了 相类似的定义。国际标准化组织( i s o ) 曾于1 9 8 7 年对工业机器人给出了定义： “工业机器人是一种具有自动控制的操作和移动功能，能够完成各种作业的可 编程操作机。”i s 0 8 3 7 3 对工业机器人给出了更具体的解释：“机器人具备自动 控制及可再编程、多用途功能，机器人操作机具有三个或三个以上的可编程轴， 在工业自动化应用中，机器人的底座可固定也可移动。” 哈尔滨t 稃大学硕十学伊论文 工业机器人不仅要与已知的定义了的外部环境进行交互，而且有可能面临 变化的未知的外部环境。在这种情况下工业机器人仅仅实现可编程控制是不够 的。工业机器人被引导去完成任务时，在任何瞬时都要对实际参数信息与所要 求的参数信息进行比较，对外部环境所发生的变化产生新的适应性指令，实现 其正确的动作功能，这就是工业机器人的在线自适应能力。工业机器人与环境 更高一层的交互是从外部环境中感知、学习、判断和推理，实现环境预测，并 根据客观环境规划自己的行动，这就是自律型机器人、智能化机器人。工业机 器人与环境交互是机器人技术之关键。工业机器人在没有人工干预的情况下对 外部环境的自我适应，行动的自我规划，将是今后机器人技术及其应用的研究 方向。 1 2 2 机器人视党的基本概念 在机器人视觉中，主要分为以下几个方面的研究： 1 ) 摄像机标定( c a m e r ac a l i b r a t i o n ) ：对摄像机的内部参数、外部参数进 行求取的过程。内参数主要包括光轴中心点的图像坐标，成像平面坐标到图像 坐标的放大系数，镜头畸变系数等：摄像机的外参数是摄像机坐标系在参考坐 标系中的表示，即摄像机坐标系与参考坐标系之间的变换矩阵。 2 ) 视觉系统标定( v i s i o ns y s t e mc a l i b r a t i o n ) ：对摄像机和机器人之间关 系的确定称为视觉系统标定。例如，手眼系统的标定，就是对摄像机坐标系与 机器人坐标系之间关系的求取。 3 ) 手眼系统( h a n d e y es y s t e m ) ：由摄像机和机械手构成的机器人视觉 系统，摄像机安装在机械手末端并随机械手一起运动的视觉系统称为 e y e i n h a n d 式手眼系统：摄像机不安装在机械手末端，且摄像机不随机械手 运动的视觉系统称为e y e t o h a n d 式手眼系统。 4 ) 视觉测量( v i s i o nm e a s u r e ) ：根据摄像机获得的视觉信息对目标的位 置和姿态进行的测量称为视觉测量。 此外，还有视觉控制，视觉伺服，平面视觉，立体视觉，结构光视觉，主 动视觉，被动视觉等方面，在此不一一阐述了。 1 2 3 手眼系统的基本内容 哈尔滨t 稃大学硕十学他论文 摄像机与机器人的手部末端，构成手眼系统。根据摄像机与机器人的相互 位置的不同，手眼系统分为e y e i n h a n d 系统和e y e t o h a n d 系统。如图所示 1 2 。 图1 2 手眼系统示意图 e y e i n h a n d 系统的摄像机安装在机器人手部末端( e n d e f f e e t o r ) ，在机器 人工作过程中随机器人一起运动。e y e t o h a n d 系统的摄像机安装在机器人本 体外的固定位置，在机器人工作过程中不随机器人一起运动。 e y e i n h a n d 系统在工业机器人中应用比较广泛，随着机械手接近目标， 摄像机与目标的距离也会变小，摄像机测量的绝对误差会随之降低。在 e y e i n h a n d 系统中，可以采用基于图像的视觉控制、基于位置的视觉控制以 及结合两者的混合视觉控制。对于基于图像的视觉控制，因在图像空间形成闭 环，摄像机的标定误差可以被有效地克服，因而对摄像机标定的精度要求不高。 对于基于位置的视觉控制，虽然摄像机的标定误差不能在控制系统中被有效地 克服，但随着目标的接近，测量出的目标位置的绝对误差降低，即使摄像机标 定存在一定误差，一般也能够满足应用要求。同理，混合视觉控制对摄像机标 定存在一定误差，一般也能够满足应用要求。同理，混合视觉控制对摄像机的 标定精度要求也不是很严格。在实际应用中，e y e i n h a n d 系统视野处在变化 之中，不能保证目标一直在视场中，有时会存在丢失目标现象。 e y e t o h a n d 系统在人形机器人等移动式机器人中具有广泛应用前景。在 4 睁 哈尔滨t 稗大学硕十学何论文 这类系统中，当机器人与目标达到一定距离，目标已经处在机械臂的操作范围 时，机器人停止向目标移动。此后，根据视觉测量的结果，改由机械臂向目标 移动，并对目标进行操作。一般地，机械臂向目标移动及操作时，会对目标造 成遮挡，因此，基于图像的视觉控制和混合视觉控制不适合于这类任务。由于 机械臂在向目标移动过程中，摄像机不随之一起运动，摄像机对目标的测量结 果也就不再发生变化。由于此时摄像机与目标的距离较远，当摄像机标定精度 不高时，会产生比较大的绝对误差。误差较大时，会导致机械臂不能到达目标。 而本文主要是对e y e i n h a n d 系统的标定技术进行研究。 1 3e y e in - h a n d 系统的标定研究现状 对于e y e i n h a n d 系统，由于摄像机随机器人末端一起运动，所以摄像机 坐标系相对于机器人的世界坐标系总是变化的。摄像机固定在机器人的末端， 所以摄像机坐标系相对于机器人末端坐标系的关系是固定的。因此，对于 e y e i n h a n d 系统，手眼标定时求取的是摄像机坐标系相对于机器人末端坐标 系的关系。目前，一般采用的方法描述如下：在机器人末端处于不同位置和姿 态下，对摄像机相对于靶标的外参数进行标定，根据摄像机相对于靶标的外参 数和机器人末端的位置和姿态，计算获得摄像机相对于机器人末端的外参数。 由于求解摄像机坐标系相对于机器人末端坐标系，即手眼关系解时，引起 的非线性和不稳定性，如何实现对手眼关系的有意义解的方法成为一直机器人 学研究关注的焦点之一。由于对求解的不同，因此也出现了许多手眼标定不同 的方法。 1 z h u a n g 的手眼标定方法 z h u a n g 将机器人手眼转动与机器人执行器作为一个整体进行建模，用于 机器人运动学参数校准，但这种方法把机器人校准误差引入到手眼矩阵的识别 中，耦合在一起无法区分。而多数的研究方法都单独考虑机器人手眼校准，而 且把转动部分和平移部分耦开来，先求出空间旋转，然后再对平移部分求解， 采用不同的手段来表示和测量空间旋转和平移。 2 t s a i 的手眼标定方法n 将手眼矩阵分成旋转和平移两个部分分别进行求解，先求转动部分，然后 对旋转部分正交化再求平移部分。但存在的问题是，对旋转部分正交化，后再 哈尔溟t 徉大学硕十学何论文 求平移部分，平移解不再满足手眼矩阵。 3 m a 的手眼标定方法1 采用相互正交的纯平移来线性化手眼矩阵的旋转部分，对旋转部分的求解 需要各三次满足有解的平移运动。但由于机器人的重复定位精度不高，导致求 解的旋转部分不严格是手眼矩阵的解。 4 m a i m 的手眼标定方法伸。 采用光流场的法向导数方法，首先采用两个微小平移运动来计算光轴方 向，然后通过至少两个旋转运动计算平移部分。但微小的平移运动在镜头畸变 影响下都会造成手眼矩阵精度大大降低。 此外，研究人员采用不同的方法来描述空间旋转和平移，采用运动约束来 避免旋转和平衡的耦合。k 6 n s t a n t i n o s l 川采用对偶四元数来表示空间的运动： j a c k t 采用四元数来表示手眼转换的转运部分；n i c o l a s - 引和r u d a 在各自的方 法中都引入了一射影变换比例因子。n i c o l a s 采用直积将手眼矩阵转换成线性 方程组的形式，但在求解中舍去一个方程，使得算法在测量噪声明显的情况下 不稳定；r u d a 采用了先由四元数求出初值并采用非线性优化得出最终解。 1 4 本文主要研究工作及论文的结构 本文是针对于e y e i n h a n d 系统进行的手眼标定技术研究，此系统的基本 结构是把摄像机安装在机器人手部末端，在机器人工作过程中随机器人一起运 动，完成各种任务，如工业领域中的自动焊割、对目标的抓取等。图1 3 为一 爬行式e y e i n h a n d 系统机器人在完成切割钢板边缘的示意图。本文通过对传 统手眼标定算法的研究，给出了一种改进的手眼标定算法，简单准确地求取了 摄像机与机器人末端坐标系之间的转化关系，通过实验，验证了这种算法的有 效性。同时，对于手眼标定中的所涉及的重要环节，摄像机标定算法进行了研 究，给出了一种改进的摄像机参数优化方法的具体优化步骤，对摄像机的内参 数、外参数进行了优化，提高了摄像机标定精度。 6 哈尔滨t 稗大学硕十学何论文 图1 3 爬行机器人切割钢板边缘的示意图 本文在阅读了大量的国内外参考文献的基础上，对机器人手眼标定技术问 题进行了研究。具体内容安排如下： 第一章绪论，阐述了本文的研究背景和意义，对工业机器人手眼视觉系统 进行了综述，同时给出了本文的组织安排和内容安排。 第二章首先对摄像机标定问题进行了基本的概述。然后研究了一种基于张 正友方法的改进的摄像机平面模板的内、外参数的优化方法，完成了摄像机标 定实验，计算出了摄像机的内参数、外参数。对未采用优化算法前的摄像机标 定投影误差图和经采用这种优化算法后的投影误差图作出分析，证明了这种优 化算法的有效性。求取出的摄像机外参数也为下章的手眼标定研究奠定了基 础。 第三章对手眼标定技术做出了全面的研究。首先，对传统的机器人手眼标 定方法进行了研究，总结出了应用传统方法标定手眼关系时的总体步骤以及手 眼方程存在唯一性的条件和具体求解过程，同时分析了提高这种标定算法精度 的措施。在本章的最后，给出了一种改进的手眼标定算法，及这种算法具体的 标定原理与步骤，通过利用矩阵直积和矩阵特征向量推导了机器人手眼转换矩 阵的线性方程，简化了计算并提高了效率。 第四章完成了机器人手眼标定的实验。通过实验室的机器人手眼标定系统 采集到的数据，在传统的手眼标定算法及改进的手眼标定算法下分别计算手眼 关系矩阵，并针对于改进的手眼标定算法编写了求解程序，最后对传统的手眼 标定方法与改进的手眼标定方法的手眼矩阵误差进行了计算，实验结果证明出 哈尔滨_ ：褶大学硕十学伊论文 了这种改进的手眼标定算法计算效率高，算法简单容易理解的特点。 最后对本文的工作进行了总结并对以后的研究进行了展望。 哈尔滨丁程大学硕+ 学位论文 第2 章改进的摄像机标定优化算法研究 对于e y e i n h a n d 系统，手眼标定时求取的是摄像机坐标系相对于机器人 末端坐标系的关系。通常，e y e i n h a n d 系统在机器人末端处于不同位置和姿 态下，对摄像机相对于靶标的外参数进行标定，根据摄像机相对于靶标的外参 数和机器人末端的位置和姿态，计算获得摄像机相对于机器人末端的参数。 摄像机标定是视觉领域里从二维图像提取三维空间信息必不可少的关键 一步，是研究手眼标定问题的基础。图像上每一点的亮度反映了空间物体表面 某点发射光的强度，而该点在图像上的位置与空间物体表面相应点的几何位置 有关。这些位置的相互关系，由摄像机成像几何模型所决定，该几何模型的参 数称为摄像机参数。这些参数必须由实验与计算来确定，实验与计算的过程称 为摄像机标定，。 2 1 摄像机标定问题基本概述 摄像机标定分为内部参数标定和外部参数标定。内部参数指的是摄像机成 像的基本参数，如主点( 图像中心) 、焦距、径向镜头畸变和其他系统误差参 数。外部参数指的是摄像机在空间坐标系中的方位角和位置。内外参数标定的 结合可以建立目标物体的3 d 坐标和2 d 图像坐标的关系，这种关系是进行目 标物体位姿测量所需要的，因此首先必须进行摄像机标定。 2 1 1 坐标系定义 2 1 1 1 图像坐标系 摄像机采集的图像是经过模数转换离散采样后得到的离散数值的数字图 像。每幅数字图像在计算机内为m n 数组。m 行列的图像中的每一个元素 称为像素，每一个元素的数值为图像的灰度值( 针对灰度图像) n ”。如图2 1 所示， 在图像上定义直角坐标系u ，1 ，每一像素的坐标( “，) 分别是该像素在数组中 的列数与行数。所以( 砧，v ) 是以像素为单位的图像坐标系的坐标。同时我们还 需要建立以物理单位( 例如毫米) 表示的图像坐标系。该坐标系以图像内某一点 为原点，x 轴与y 轴分别与材，轴平行。通常原点d 定义在摄像机光轴与图 9 哈尔滨丁稗大学硕+ 学位论文 像平面的交点，该交点一般位于图像中心处，但由于摄像机制作的原因，也会 有些偏离，若0 在“，v 坐标系中的坐标为( “。，) ，每一个像素在x 轴与y 轴 方向上的物理尺寸为以，dr ，则图像中任意一个像素在两个坐标系下的坐标 有如下关系： u 2 + u 0 臼， ( 2 1 ) v ，2 二+ v 0 dv u q 一 “ x d ( “o ，v o ) 1r v 1r y 图2 1 图像坐标系 用齐次坐标和矩阵形式将式( 2 1 ) 表示为： 阡 1一 0u o d ， 1 0 _ d o01 ( 2 2 ) 2 1 1 2 摄像机坐标系 摄像机成像几何关系可由图2 2 表示。其中q 点称为摄像机光心，以轴 和r 轴分别与图像的x 轴和y 轴平行，乙轴为摄像机的光轴，它与图像平面垂 直。光轴与图像平面的交点即为图像坐标系的原点，由点q 与x 。，r ，z 。轴 组成的直角坐标系称为摄像机坐标系。光心到图像平面的距离q d 为摄像机的 l o 哈尔滨t 程大学硕+ 学伊论文 有效焦距厂。 2 1 1 3 世界坐标系 由于摄像机可安装在环境中的任何位置，我们在环境中还需选择一个基准 坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称 为世界坐标系，也称为全局坐标系，由用户任意指定，并且由原点仇，和x ， 匕，z 。轴组成。这是一个假想的坐标系，用作一般参考，可根据具体情况来 选择。如图2 2 所示。 ( 垂直于像平面) 平移过程。设世界坐标系为0 。- x 。匕z 。，物点尸的世界坐标为p ( x 。，y 。，：。) ； 摄像机坐标系为d c 一墨i 互，物点在摄像机坐标系下的坐标为尸( t ，儿，乙) 。则 茎 = 尺 耋 + 丁 c2 - 3 ， 其中，r 是3 3 旋转矩阵，记为尺= 要3薹囊 ，平移矩阵r = 至 。 正交矩阵尺是光轴相对于世界坐标系坐标轴的方向余弦组合，实际只含有 三个独立的角度变量( 欧拉角) ；绕x 轴旋转y 角( 偏航) ；绕y 轴旋转口角( 俯 仰) ；绕：轴旋转矽角( 侧倾) ，加上t 的三个变量共六个参数，称为摄像机外 部参数。设点p 在世界坐标系下的齐次坐标为j 。= x wy 。，：。，1 r ，在摄像机坐 标系下的齐次坐标为j i f = t ，儿，- 。g c ，1 】7 ，则( 2 3 ) 的齐次坐标形式为： t c z c 1 = 瞄 x w y 。 z w 1 = = m x w y 。 ：w 1 广p丁 毫= k ；：i 而j 爰= 一，= m m x l 4 ,m 曩 ( 2 一4 ) 2n 7 1l hj t 2 ，嘞2 。t l 。4 ) l u 1j 因此，世界坐标系与摄像机坐标系之间的坐标变换可以用一个矩阵m 表 示，只要已知m 就可以在两个坐标系之间进行坐标转换。 ( 2 ) 摄像机坐标系与无畸变图像坐标系之间的变换 摄像机坐标与无畸变图像坐标之间的变换由透视变换表示。但实际上摄像 机的图像平面一般并不是方形的，而且由于图像采集的频率与图像传感器的驱 动频率不一致，因此图像的行坐标与列坐标的当量不相等。为了表征这种不一 致关系，我们采用两个焦距( 六，六) 来表示摄像机的焦距，即三维空间中的一 点经摄像机成像后，所投影到图像平面上的坐标在x ，y 方向上的缩放比例不 一样。因此，透视投影变换变为如下形式： 00 o l 0 0 010 t y c ：c 1 ( 2 5 ) 由式( 2 - 5 ) 获取的图像坐标( 毛，y 。) 是坐标原点在图像中心的坐标系的坐 标，而计算机图像坐标系( “，v ，) 是以图像的左上角为原点的，因此还需要将 1 2 六o o 。l = r_j k 虬 。l c _ 、i 哈尔滨t 挥大学硕十学何论文 式( 2 5 ) 获取的图像举标平移，才能获得与实际图像坐标系一样的坐标。设 光轴与图像平面的交点( 称为主点) 为( ，) ，对理想的摄像机，主点一般在 图像的中心，但实际上，由于装配等原因真正的主点并不在图像中心，因此需 要标定。考虑坐标系一般的情况，式( 2 5 ) 变为： mf - 乙忖k 0 0 o 010i x c yc z c 1 工。 y c _ c l = 4 ，lo 羹 ( 2 6 ) 式中么是一个上三角矩阵，称为摄像机内参数矩阵，为一单位矩阵。式 ( 2 6 ) 表示了摄像机坐标到理想的计算机图像坐标之间的变换关系。 ( 3 ) 世界坐标系与无畸变图像坐标系之间的变换 将式( 2 - 4 ) 代入式( 2 6 ) ，可以得到下列表达式： =l口虽u。o。lo尺r0 v o 0000 ； = i i l ，i 1 i l j 工。 y 。 - w l h j ，。 w 1 = m l m 2 舅。= 旌。 ( 2 - 7 ) 其中，口= 六出，= f d y ，m ，为内部参数阵，m ! 为外部参数阵，m 为3 4 的矩阵，称为投影矩阵，它表征了二维图像坐标与三维世界坐标间的基 本关系。己知物点的世界坐标利用该矩阵就可以求出相应的理想图像坐标，反 之，如果知道了m 矩阵和像点的图像坐标，就可以求出通过摄像机光心所对 应的一条空间射线。所谓的摄像机标定就是要获取m 阵里的参数。 r_lllllllll_ o o o o 0 1 o 1