（计算机应用技术专业论文）机械臂视觉伺服系统的研究.pdf

摘要 摘要 近年来，视觉伺服控制系统一直是机器人研究领域的热点课题。它广泛应 用在机械零件的自动检测，生产线的自动监控，运动目标的自动跟踪与识别，自 治战车导航，登月舱的自动着陆以及空间机器人的视觉控制等。视觉伺服是利用 视觉传感器得到的图像作为反馈信息，构造机器人的位置闭环反馈。从利用信息 方式的不同，可以将视觉伺服系统分为两类：一是基于位置的视觉伺服系统 ( p o s i t i o n b a s e dv i s u a ls e r v os y s t e m ，p b v s ) ，一种是基于图像的视觉伺服系统 ( i m a g e b a s e dv i s u a ls e r v os y s t e m ，i b v s ) 。根据摄像机位置的不同，视觉伺服可 以分成全局视觉和局部视觉( e y e i n h a n d ) 两种。全局视觉的优点是视野较宽，缺 点是存在分辨率低和目标遮挡问题；而局部视觉的特征与全局视觉恰好相反。 因此，有人提出全局视觉和局部视觉相结合的视觉伺服控制方法。视觉伺服控 制的性能与摄像机和机器人的标定误差紧密相关，而模型的准确标定是一项复 杂的工作。因此视觉伺服控制的无标定模型引起了广泛关注。其主要优点是不 需要知道机器人模型和标定摄像机参数，具有自适应能力，能够在线估计雅可 比矩阵。 本文研究了两种主要的视觉伺服控制模型：标定模型和无标定模型。首先 介绍了视觉伺服系统的特点和研究现状。由于标定模型需要对摄像机参数进行 标定，因此本文也介绍了标定原理。然后分别详细的讨论了两种模型的控制原 理，由于伺服系统需要对图像进行处理，因而本文也讨论了视觉伺服系统中图 像处理技术。接着介绍了实验环境，设计了采用两种模型分别跟踪一静止目标 和运动目标的实验，给出了具体的实验步骤。最后给出了实验结论和分析。实 验结果表明两种模型都是有效的，都能够很好的跟踪静态目标；标定模型由于 事先已经完成了模型标定，因而跟踪时计算机任务少，时间短，效果好，而无 标定模型不需要标定，具有自适应能力，能够在线估计雅可比矩阵，由于在每 一次的循环控制中都需要进行计算调整，因而计算机任务大，处理时间长。 关键词：视觉伺服，无标定，雅可比估计，图像处理 a b s t r a c t a bs t r a c t t h ev i s u a ls e r v o i n gc o n t r o lh a sb e e na na c t i v ea r e ao fr e s e a r c hf o rm a n y y e a r s t h e r e a r et w ob a s i ca p p r o a c h e st ov i s u a ls e r v oc o n t r o l ，p o s i t i o n b a s e dv i s u a l s e r v o i n g ( p b v s ) a n di m a g e - b a s e dv i s u a ls e r v o i n g ( i b v s ) i np b v ss y s t e m ，t h eo b j e c t s3 d p o s ei sr e c o v e r e dt h r o u g hc o m p u t e rv i s i o na n dt h ee r r o rb e t w e e nt h ec u r r e n tp o s ea n d t h ed e s i r e dp o s ei sc o m p u t e di nt h ec a r t e s i a nt a s ks p a c e i ni b v ss y s t e m ，t h ee r r o ri s m e a s u r e db e t w e e nt h ei m a g ef e a t u r e si nt w oi m a g e sa n di ti sm a p p e dd i r e c t l yt o a c t u a t o rc o m m a n d s t h ep l a c e m e n to fc a m e r ac a nb ep u to nt h er o b o t ( e y ei nh a n d ”) o b s e r v i n gt h eo b j e c t ，o rf i x e di nt h ee n v i r o n m e n ta n do b s e r v i n gt h eo b j e c ta n dt h e r o b o t ap r i o r ik n o w l e d g eo nt h ek i n e m a t i c a ls t r u c t u r ea n dt h ec a m e r ap a r a m e t e r si s r e q u i r e di nt h em o d e l - d e p e n d e n tv i s u a ls e r v o i n gs y s t e m a n dm o d e lc a l i b r a t i o ni sa c o m p l e xw o r k r e c e n t l ya l lu n c a l i b r a t e de y e - i n - h a n dv i s u a ls e r v o i n gs y s t e mh a s a r o s ew i d ec o n c e r n t h i sm e t h o dd o e sn o tr e q u i r ec a l i b r a t e dk i n e m a t i c sa n dc a m e r a m o d e l s ，s oi ti sr o b u s tt ot h es i g n a ln o i s ea n dc a l i b r a t i o ne l r o r s t h er o b o tc o n t r o li s a c h i e v e db yq u a s i n e w t o nm e t h o da n de s t i m a t i n gt h ec o m p o s i t ej a c o b i a nm a t r i xb y b r o y d e n sm e t h o da te a c hs t e p t h e r ea r et w ov i s u a ls e r v o i n gc o n t r o ls y s t e m sa r ed i s c u s s i o ni n t h i s p a p e r ： c a l i b r a t i o nm o d e la n du n c a l i b r a t i o nm o d e l i nt h ef i r s t p a r tt h e c h a r a c t e r sa n d r e s e a r c hc o n d i t i o n sa b o u tv i s u a ls e r v o i n gs y s t e m sa r ei n t r o d u c e d b e c a u s ec a m e r a p a r a m e t e r sa r en e e d e di nc a l i b r a t i o nm o d e l ，t h et h e o r ya b o u tc a m e r ac a l i b r a t i o ni s a l s oi n t r o d u c e d t h e nt h et h et h e o r yo fv i s u a ls e r v o i n gi sd i s c u s s i o ni nd e t a i l t h e i m a g ep r o c e s st e c h n o l o g yi sa l s or e s e a r c h e db e c a u s ev i s u a l s e r v o i n gs y s t e m s a s s o c i a t ew i t hi t i nt h ef o l l o w i n gp a r tt w oe x p e r i m e n t si nw h i c ha s t a t i o n a r yo b j e c t a n dam o v i n go b j e c ta r et r a c e db yt w oc o n t r om e t h o dr e s p e c t i v e l ya r ed e s i g n e d t h e d e t a i le x p e r i m e n to r d e r sa r ea l s og i v e n f i n a l l ye x p e r i m e n tr e s u l t sa r eg i v e n t h e r e s u l ts h o w st h a t t h i st w oc o n t r o lm o d e l sa r eb o t he f f e c t i v e i nc a l i b r a t i o nm o d e l s y s t e mt h ec a m e r ac a l i b r a t i o nh a sf i n i s h e db e f o r ee x p e r i m e n t ，s ot h et a s ko f c o m p u t e ri sn o th e a v y ，a n di ts p e n dl i t t l et i m ep r o c e s s i n gi m a g e h o w e v e ri ti sn o t 2 a b s t r a c t n e e dt ou n c a l i b r a t e dm o d e lv i s u a ls e r v o i n gs y s t e mt oc a l i b r a t et h ec a m e r ap a r a m e t e r s a n dr o b o t i c sm o d e l t h er o b o tc o n t r o li sa c h i e v e db yq u a s i - n e w t o nm e t h o da n d e s t i m a t i n gt h ec o m p o s i t ej a c o b i a nm a t r i xb yb r o y d e n sm e t h o da te a c hs t e p i tc a n a d j u s ti t s e l ft oc h a n g e sa b o u tt h ev e l o c i t ya n dd i r e c t i o no ft h eo b j e c t s oi tw i l ls p e n d m u c ht i m ec a l c u l a t i n gj a c o b i a nm a t r i c si ne a c hl o o pc o n t r o la n dt h ec o m p u t e ri s b u s y k e y w o r d s ：v i s u a ls e r v o i n g ，u n c a l i b r a t i o n ，j a c o b i a ne s t i m a t i o n ，i m a g ep r o c e s s i n g 3 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论 文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷 本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用 影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目 录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按 有关规定向国家有关部门或者机构送交论文的复印件和电子版；在 不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内 容用于学术活动。 学位论文作者签名： 年月日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月日年月日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进 行研究工作所取得的成果。除文中已经注明引用的内容外，本学位 论文的研究成果不包含任何他人创作的、已公开发表或者没有公开 发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个 人和集体，均已在文中以明确方式标明。本学位论文原创性声明的 法律责任由本人承担。 签名： 年月f 1 第1 章引言 1 1 本课题研究的意义 第1 章引言 随着科学技术的发展以及机器人应用领域的扩大，人们对机器人技术提出 了更高的要求，希望机器人具有更高的智能和更强的环境适应能力，机器人视觉 伺服研究币是为了满足这一要求而展开的。机器人视觉伺服在9 0 年代中后期 发展迅速。这是因为机器人应用领域的扩展以及计算机硬件技术的突飞猛进， 极大地提高了图像处理的速度，大幅降低了专用图像处理设备的费用。视觉伺 服控制与基于传统传感器的机器人控制相比，具有比较明显的优点：更高的灵活 性，更高的精度，能够对机器人标定误差具有强的鲁棒性等。以上优点决定了机 器人视觉伺服在较短的时间里成为机器人研究领域中的热点之一，并在工业生 产、海洋探测等众多领域得到了成功的应用。 1 2视觉伺服系统发展历史，方向，以及国内外研究现状 机器视觉是随着上世纪6 0 年代末计算机与电子技术的快速发展而出现的。 把视觉信息用于机械手定位的研究可以追溯至j j 7 0 年代，当时出现了一些实用性 的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料罐装场合的检验 等。到了8 0 年代后期，出现了专门的图像处理硬件，人们开始系统地研究机器人 视觉控制系统，到了9 0 年代，随着计算机能力的增强和价格下降，以及图像处理 硬件$ i c c d 摄像机的快速发展，机器人视觉系统吸引了众多研究人员投身于其 中。9 0 年代后期视觉伺服控制技术从结构形式、图像处理方法、控制策略上都 有了长足的进步。 视觉伺服是利用视觉传感器得到的图像作为反馈信息，构造机器人的位置 闭环反馈。它和一般意义上的机器视觉有所不同，机器视觉一般定义为：自动地 获取分析图像以得到描述一个景物或控制某种动作的数据。而视觉伺服则是以 实现对机器人控制为目的而进行图像的自动获取与分析，因此它是利用机器视 觉的原理，从直接得到的图像反馈信息中，快速进行图像处理，在尽量短的时间 内给出反馈信息，参与控制决策的产生，构成机器人位置闭环控制系统。 第1 章引言 视觉是一种复杂的感官，视觉信息中包含有大量的数据，要从中提取特征信 息，需要复杂的算法及耗费大量的运算时间，视觉通常采用c c d 摄像机来实现， 在成像过程中会受到多种因素的影响( 如摄像机的精度、光照强度、传输噪声等) ， 使得视觉信息中不可避免地夹杂有噪声，增加了图像处理的难度：另外目前的摄 像机采样速率不高，并且在传输大量数据的视觉信息时需占用较多的时间：成像 过程的非线性等等：机器人本身又是一个高度非线性、强耦合、时变的复杂的动 力学系统，而且机器人视觉伺服控制的研究领域众多，主要有计算机视觉、图像 处理、机器人运动学、机器人动力学、控制理论、实时计算等，且多个学科相互 交叉和融合，所以实现机器人视觉伺服控制有相当的难度，是机器人研究领域中 具有挑战性的课题。 1 3视觉伺服系统的内容和特点 机器人视觉伺服系统涉及到多门学科内容，其主要包括三方面内容：系统的 结构方法、图象处理、控制方法。视觉伺服利用视觉传感器得到的图像作为反 馈信息，构造机器人的位置闭环反馈。其从图像中获取目标的某些特征并利用其 来控制摄像机的位姿，从而控制了图像的获取，如此反复进行，即利用目标的图 像特征控制机器人的运动。根据反馈给摄像机用于调整误差的信息可将视觉伺 服系统分为：基于位置的视觉伺服系统和基于图像的视觉伺服系统。 1 3 1基于位置的视觉伺服( p o s i t i o n - b a s e dv i s u a ls e r v os y s t e m ，p b v s ) 在基于位置的控制系统中，输入量以三维笛卡尔坐标表示( 又称3 d 伺服控 制) 。系统的视觉反馈环首先从图像中提取图像特征，然后利用图像特征与目标 的几何模型、摄像机模型来估计目标与摄像机的相对位置：目标与摄像机相对位 置的估计值与其期望值相比较后，产生的位置误差量送入笛卡尔坐标控制模块。 根据是否采用关节控制闭环，基于位置的视觉伺服系统分为动态观察移动系 统和直接视觉伺服两类。基于位置的视觉伺服系统的控制结构见图1 1 和图 1 2 ： 第1 章引言 图1 1 动态观察移动位置控制系统 图1 2直接视觉伺服位置控制系统 其中x + 为期望位置，x 为当前位置估算值。这种方法的主要优点是直接在笛卡儿 空间控制机械手的运动。基于位置的视觉伺服系统存在如下缺点：依赖于摄 像机及机械臂的标定精度，对标定参数误差敏感，有时还依赖于目标模型的正确 性：对目标图像没有任何控制，意味着在跟踪过程中，目标可能逃离摄像机的 视觉范围。由于要对图像进行解释，计算量可能比较大。 1 3 2 基于图像的视觉伺服系统( i m a g e b a s e dv i s u a l s e r v os y s t e m ， i b v s ) 又称2 d 视觉伺服，此类系统的控制策略基于当前图像特征，与理想图像 特征厂+ 间的误差之上，因而对摄像机和机械甓的校准误差、目标模型误差具有 较强的鲁棒性，正好克服了基于位置的视觉伺服系统的缺点。 第1 章引言 图1 3 基于图像的视觉伺服系统 其中广为理想特征，即系统初始化时给系统指定的特征值的参考值，当系统开 始运行后，对于从摄像机中获得的每一帧图像，都要从中找到目标的当前特征 值，。二者之间的偏差p 似= ，聋伉伺服过程就是不断调整偏差使其不断趋于0 的 过程。图像特征厂通常是一些目标特征点的图像坐标集合。见图1 3 ，当e ( d o 时，跟踪达到要求。由于e 是在图像上( 二维空间) 定义，而摄像机运动控 制器的输入量定义在摄像机可能运动的范围之内( 三维空间) ，所以基于图像的 控制法则必须找出表示图像特征参数变化量与摄像空间位置变化量的关系，这 一关系即图像雅可比矩阵 这种方法的主要缺点：计算，需要估计目标深 度，而深度估计一直是计算机视觉中的难点：摄像机位置可能收敛于局部最 小点，而非理想值：跟踪过程中，图像雅可比矩阵可能存在奇异值，使系统不 稳定。 根据摄像机位置的不同，视觉伺服可以分成全局视觉和局部视觉 ( e y e i n h a n d ) 两种。全局视觉的优点是视野较宽，缺点是存在分辨率低和目标遮 挡问题；而局部视觉的特征与全局视觉恰好相反。因此，有人提出全局视觉和 局部视觉相结合的视觉伺服控制方法。视觉伺服控制的性能与摄像机和机器人 的标定误差紧密相关，而模型的准确标定是一项复杂的工作。因此视觉伺服控 制的无标定模型引起了广泛关注。其主要优点是不需要知道机器人模型和标定 摄像机参数，具有自适应能力，能够在线估计雅可比矩阵。 第1 章引言 1 4视觉伺服系统存在的问题及未来发展趋势 由于机器人视觉包括许多自成一体的研究领域，如图像处理、计算机视觉、 运动学、动力学、控制理论及实时计算等，所以要考虑的问题比较多。如计算 机视觉与机器人视觉研究的最终目的不同：前者主要研究视觉检验，精度要求 高，速度不是主要问题：而机器人视觉主要研究在视觉引导下机器人对环境的 作用，对实时性有一定的要求。因此机器人视觉研究存在更多的困难。根据目 前情况，机器人视觉在以下几个方面还有待于进一步加强研究： 1 图像特征参数的选择问题。视觉伺服的性能密切依赖于所用的图像特征， 特征的选择不仅要考虑识别的效果，还要考虑控制性能。从控制的观点看，用 冗余特征可抑制噪声的影响，提高视觉伺服的性能，但又会给图像处理增加 难度。因此如何选择性能最优的特征，如何处理特征以及如何评价特征，都是需 要进一步研究的问题。 2 结合计算机视觉及图像处理的研究成果，建立机器人视觉系统的专用软 件库。在视觉伺服中，需要进行图像采集、图像处理、特征抽取及由二维信息 重构三维信息等，要处理的数据量较大，算法复杂多样。如果有这样的软件平 台，在进行视觉伺服任务时，就可以少走弯路。当然更希望生产出性能价格比 较高的相关硬件。 3 加强系统的动态性能研究。目前的研究多集中于根据图像信息确定期望的 机器人运动这一环节上，而对整个视觉伺服系统的动态性能缺乏研究。 4 利用智能技术的成果。虽然神经网络在机器人视觉伺服中已得到应用，但 多数都是针对具体物体的具体特征，或只进行了仿真实验，还有待于进一步的 研究。考虑到人类看到并拿起某个物体时，事先并没有在数字上准确计算物体 的位置，而是通过不断地观察、判断和推理，其中包含学习和模糊推理的内容， 由此可以考虑用模糊神经技术解决机器人视觉伺服问题。 5 多传感器融合问题。视觉传感器具有一定的使用范围，如能有效地结合其 它传感器，利用它们之间性能互补的优势，便可以消除不确定性，取值更加可 靠、准确的结果。 第1 章引言 1 5本文的主要研究内容及课题来源 图形图像技术是当今比较流行，运用比较广的计算机应用技术之一。图像 识别是从图像中提取目标物并识别目标。图像识别的准确率与选择的识别算法 紧密相关，由于图像识别的复杂性，到目前为止还没有一种通用的识别方法。 本实验是针对具有特定形状和大小的目标验证图像识别算法。视觉伺服控制系 统一直是机器人研究领域的热点课题，它广泛应用在机械零件的自动检测，生产 线的自动监控，运动目标的自动跟踪与识别，自治战车导航，登月舱的自动着陆 以及空间机器人的视觉控制等。本文分别从机械臂标定模型和无标定模型出发， 验证视觉伺服系统的有效性和性能。 1 5 1课题的具体内容 1 搭建实验系统。目标物选择小球，其在水平面内移动，机械臂一端带有摄 像机，俯视目标物，通过计算机来控制机械臂的移动。 2 研究图像识别算法：应用比较广泛的识别算法有以下几种 基于边缘的并行边界技术模板。 基于边缘的串行边界技术。 基于区域的并行边界技术取阈值。 基于区域的串行边界技术区域生长。 比较以上的几种识别算法所适应识别的图象的特点，它们的性能，识别的准确 率，识别所用的时间。并从中选取比较适合本实验的算法，从理论上预测算法 的效果。 1 标定摄像机：建立坐标系，确定摄像机内外参数和计算机图像坐标系中的坐 标和摄像机坐标系中的坐标之间的关系。 2 编程设计软件验证标定模型和无标定模型的视觉伺服系统性能。从以下几个 方面将两种模型对比，分析它们各自的性能。 算法识别小球的精度。 机械臂移动的速度是和小球移动的速度相匹配的程度。 目标做相同运动的情况下，根据两种方法得到的目标运动轨迹分析两种 模型的跟踪性能。 第1 章引言 1 5 2课题来源 本课题得到国家自然科学基金资助，项目编号为：1 0 3 7 2 0 1 4 。 第2 章摄像机标定 第2 章摄像机标定 2 1摄像机标定发展及现状 计算机视觉的基本任务之一就是从摄像机捕获的二维图象信息出发来计算 三维空问中物体的几何信息，并由此重建和识别物体。摄像机标定是机器人视 觉中的一个重要问题，通过摄像机的定标重建三维世界目标物体仍然是重要的 方法。摄像机定标在机器视觉中决定： ( 1 ) 内部参数给出摄像机的光学和几何学特性如焦距，比例因子和镜头畸变。 ( 2 ) 外部参数给出摄像机坐标相对于世界坐标系的位置和方向，如旋转，平移。 在机器人的视觉应用中，目标物位姿信息获取通常需要有一定的精度要求， 机器人视觉系统的性能很大程度上依赖于定标精度。随着计算机性能的快速提 高，低价位c c d 摄像机的大量使用，计算机定标方法也得到了不断的改进，使得 机器人视觉在实际中也得到广泛的运用，主要表现在以下三个方面： 1 用视觉进行产品检验，代替人的目检。包括：形状检验；测量零件的几何 尺寸，形状和位置；缺陷检验；检查零件是否损坏，划伤； 2 在机器人进行装配、搬运等工作时，用视觉系统对一组需装配的零、部件 逐个进行识别，并确定它在空间的位置和方向，引导机器人的手准确地抓 取所需的零件，并放到指定位置，完成分类、搬运和装配任务。 3 为移动机器人进行导航。利用视觉系统为移动机器人提供它所在环境的外 部信息，使机器人能自主地规划它的行进路线，回避障碍物，安全到达目 的地，并完成指令的工作任务。 2 1 1 摄像机模型 摄像机的投影几何模型可以看作这样一个过程，把三维世界透视投影到一 个球面( 视球) ，然后把球面上影像投射到一个平面，理想情况下，平面兀关于 光轴中心对称。从图像中心点出发到投射平面点的距离r ( a ) 与光轴夹角为a 。 其成像简图如图2 1 所示 第2 章摄像机标定 2 1 2透视模型 图2 1成像简图 透视模型公式为 “a ) = kt a n a 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依 据都是基于这个假设。但是，透视投影只是表示了视球的前半部。要是不在光轴 的附近，物体的形状和密度都会发生畸变。这种模型符合人的视觉感受，理想情 况下，直线投影仍为直线。透视模型在定标方法中被广泛采用，在视角不大的镜 头情况下比较符合实际情况。在视角比较大时，透视模型通过对镜头畸变进行校 正来修正模型。根据镜头光学成像原理，畸变的模型为： 么( x ，y ) = k j x ( x 2 + y 5 + ( p j ( 3x 2 + y 5 + 2 p 2x y ) + s jx 2 + y 5 西( x ，y ) = k 2 x ( x 2 + y b + 6 0 2 ( 3x 2 + y 5 + 2 p j x y ) + 眈( x 2 + y 2 ) 式中，破，4 是非线性畸变值，攻，磊第一项称为径向畸变，第二项称为离心畸 变，第三项称为薄棱镜畸变，其中幻，k 2 ，p ，肌，jr ，2 称为非线性畸变参数。并 不是引入较多的参数就一定能提高模型的精度，如果只考虑径向畸变，可以写成 x i - x ( 1 + 幻r 2 ) y ky ( 1 + k 2 r 2 ) 其中，x7 ，y7 为理想无畸变情况下的图像坐标值。 2 1 3立体图投影模型 立体图投影模型为 r ( a ) = kt a n ( a 2 ) f l e c k 等认为这种投影模型是更好的更广泛适用的模型。它的特征是，球形物体 第2 章摄像机标定 经过立体图投影后，仍然保持球形。理想的立体图投影模型只有三个自由度( 图 像中心和焦距) ，而且，小物体的形状不会由于其所处视野的位置发生变化。目前， 从这个模型出发的标定方法并不多见。其他投影模型有等距投影、等立体角投 影和s i n e 法则投影等。 2 1 4 标定方法 有很多方法进行标定，根据标定方式的不同，摄像机标定技术大致可归结 为两类方法：传统标定方法和自标定方法。自标定方法不依赖于标定参照物， 它利用获得的多帧图像信息综合分析而得到摄像机的内外参数，这种方法标定 过程复杂，不宜用于实时性要求较高的场合，并且其最大的不足是鲁棒性不足， 主要用在对精度要求不高的场合，如通讯、虚拟现实等。传统摄像机标定方法是 在一定的摄像机模型下，在一定的实验条件下，利用形状、尺寸已知的标定物， 经过对其图像进行处理，并利用数学变换和计算方法来计算摄像机内外参数，算 法虽然复杂但精度高，能够满足对实时性要求较高的图像伺服系统的需求。对 摄像机标定技术进行详细分类，可以分为以下几类： 1 线性标定 线性方法通过解线性方程获得转换参数。算法速度快但是没考虑摄像机镜 头的畸变问题一未知数的数目通常比实际自由度要大，由于这种冗余，实际的 中问参数的约束是不满足的，而且最终结果的正确性是显著噪声敏感的。由于比 较简单，直接线性转换( d l t ) 在线性标定方法中是应用最为广泛的。 2 非线性标定 非线性方法使用大量的未知数和大范围的非线性优化。非线性模型越准确， 计算代价越高。这样可以补偿镜头畸变允许采纳更为复杂的映像模型。但是， 算法的迭代本质需要良好的初始估计。并且，如果迭代过程设计不恰当的话，尤 其在高扭曲的条件下，优化过程可能不稳定。这些技术包括：f a i g s 方法、s o b e l 标定系统、g e n n e r y 立体视觉标定方法和p a q u e t t e 方法等。 3 两步标定 两步标定方法包括用解析解得到多数标定参数和用迭代解获得其他一些参 数。t s a i 使用径向校准约束来获得外部参数和焦距的线性解。迭代方案又用来 估计处理径向畸变的相关的三个参数，有效的焦距、平移向量的深度组元。 第2 章摄像机标定 s i d a h m e d 考虑了径向和切向畸变，w e n 提出了一种c c d 立体视觉的非线性 畸变模型，考虑了主要的摄像机畸变来源，如径向、离心和薄棱镜畸变。 也有一些其他的特殊标定技术：m a r t i n s 使用两平面方法，f i s h i e r 和b a l l a s 提出了一种几何方法，也有提出不用任何具体模型用人工神经网络和统计方法 来解决问题的。基于透视模型的方法主要有以下几种： 1 t s a i 方法( t s ) 基于切向畸变相对径向畸变可以忽略的假设，t s 方法可以在考虑镜头畸变 的情况下计算摄像头内外部参数。在这种方法中，可以不同的方式安装摄像头， 使用单目非共面点作为计算的依据。 2 f a u g e r a s t o s c a n i 方法( 聊 这种方法不考虑镜头畸变，摄像头由四个参数来描述：两个焦距参数，一个用 于考虑不同分辨率的图像平面轴的参数和图像中心。这种模型不需要知道像素 间距。 3 m a r t i n s 的两平面方法 这种方法不明确地使用摄像机模型，它用世界坐标系下的视线，定义的视 线从工作场景前后两个平面出发，到图像上某点的连线。给定空间的标定点以及 其图像上的对应点，用插入方法可计算出两张图，插入的方法是：对于每个图 像上的点，在前平面和后平面上定义两个对应的点，来定义视线向量。在这种 方法中，考虑用局部插入，图像用顶点和标定格交点一致的三角形标画，然后在 三角形内采用线性样条插值方法。 4 p o l l a s t r i 方法( p l ) 这种方法不考虑镜头畸变，其目标是根据其他摄像机参数独立地算出图像 中心c x ，c y 和焦距，。 5 c a p r i l e - t o r r e 方法( 这种方法考虑了镜头的畸变，它是基于没影点的性质来计算的，如果没影点 和空间三个互相垂直的方向已经给定，那么顶点在没影点的三角形的重心与图 像的中心相对应。内部参数用设计的一个含有三个正交系表面画有平行线正方 体计算得到。与三个坐标系相对应的没影点用来计算g ，c v 和焦距厂。 6 张正友方法 这是一种适合应用的一种新的、灵活的方法。这种方法虽然也是使用针孔 模型，但是它的具体标定是在自标定与摄影测量标定之间的一个妥协方法。这种 第2 章摄像机标定 标定方法既具有较好的鲁棒性，又不需昂贵的精制标定块，推动了计算机视觉从 实验室向实际应用的迈进。该方法假设标定用平面图板在世界坐标系中z = 0 ， 通过线性模型分析计算得出摄像机参数的优化解，然后用基于最大似然法进行 非线性求精。在这个过程中标定出考虑镜头畸变的目标函数，最后求出所需的摄 像机内、外部参数。目前，基于立体图投影模型应用的方法比较少。d a n i e le s t e v e n s o n 等提出的非参数畸变校正的方法使用了这个模型，他们使用一些大 小不等的小黑木球，根据立体图投影的特性，通过图像处理获得图像椭圆，并 使用d e l a u n a y 三角划分法，最后获知每个划分三角的理想输出比例，从而完成对 图像的校正。 2 1 5 发展与展望 标定方法从不同的模型出发有不同的方法，适当地根据镜头应用情况采用 不同的模型是提高标定精度，提高算法效率的重要途径。随着广角镜c c d 摄像 机的广泛使用，计算机性能的大幅度提高，广角镜的定标、镜头畸变校正有相当 大的研究价值和使用价值。 张正友方法是近年来应用较为广泛的一种比较成熟的方法。由线性模型入 手的方法来说，这种方法简单、方便、可靠。无须具备计算机视觉和3 d 图形 学知识就可以应用，把三维计算机视觉从实验室推进到实际应用。 张正友方法在进行线性内外参数估计时，由于假定此时模板图像上的直线 经透视投影仍然为直线，进而进行图像处理，获得亚像素精度的点坐标，实际 上引入了误差，所以在广角镜畸变比较大的情况下，经实验，校正效果偏差比较 大。我们认为，对于广角镜的标定方法，若能先进行畸变校正，然后利用简单线 性模型进行参数估计，求得摄像机内外参数，将可能获得应用更为广泛的摄像 机定标方法。 设计新的比较符合摄像机成像物理模型而又便于分析计算的实用模型是条 另辟蹊径的发展方向。立体图模型由于其自身的特点使得广角镜的定标方法中 的应用具有相当大的发展潜力，我们设想利用立体图模型，经过适当的图像处理 方法，首先一定程度上纠正镜头畸变和相应参数，而后使用线性模型进行摄像机 定标方法是可行的，尤其在广角镜甚至鱼眼镜头的定标中取得良好的效果。 第2 章摄像机标定 2 2摄像机标定原理 0 显示器 图2 2 ：摄像机透视成像模型 c c d 摄像机成像模型如上图2 2 ，该模型中有四个坐标系：物空间坐标系 o w x w y w z w ，摄像机坐标系o c x c y c 乙，成像平面坐标系0 1 x 1 y 1 和计算机图像平面 坐标系o u v 。其中摄像机坐标系定义为：中心o 。点与摄像机光学中心重合，z 轴与 光轴重合，y c 轴分别平行于x w ，y w 轴，o c 0 1 是摄像机有效焦距。成像平面坐 标系o - x l y l ：原点o 定义在摄像机光轴与成像平面的交点，x 1 y 1 轴分别与x 。，y c 轴平行。在计算机图像坐标系o u v 中：原点o 位于显示器左上角，矛i c c d 成像平 面的左上角重合，“，鼬分别与x 1 ，y l 轴平行。空间任意一定p ( x w ，y w ，z ) 经摄像 机成像后其像面坐标( x l ，y 1 ) 和摄像机坐标( x c ，y c ，z 。) 的关系为： x 。厂y ， i 。i 。丁 2 j ) xczc v 、。 p 在物空间中的坐标( x w ，y w ，z w ) 与在摄像机坐标系中的坐标( x 。，y c ，z c ) 之间的 第2 章摄像机标定 关系可以表示为： x c y c z 。 = r x w y ， z w + l r = l 厂4 剽r 5 卜匡矧卜眨 ( 2 2 ) 尺为旋转矩阵，r 为平移矢量。设p 的实际成像点炙 j p d ( x d ，y d ) j 和理想像点p i ( x 1 ， y i ) 之间的位置关系为： 白为镜头径向畸变系数；厂- x ：+ 】，：。实际像点p d ( x d ，y d ) 和计算机图像坐标 p ( u ，v ) 的关系为： 六d ，一一 仁4 ， yd t ，0 一v 。j 、。 o ，v o ) 是成像平面的中心在计算机图像坐标系中的坐标，d x ，d 扮别为摄像机 感光面在x 方向和y 方向上的光敏单元的中心矩；据以上各式有： x 。- dx ( “一“。) ( 1 + 尼。厂2 ) y 。一d ，( v v 。) ( 1 + 尼。，2 ) ，羔羔嚣堕兰。xr7 x r9 zt 。仁5 ， 咿+ 厂8 y 。+ 。+： ，焉羔嚣篙9 z 等t 吼，7 x 。+ ，8 y 。+ 厂 w+： 假定无论径向畸变如何，向量0 1 p 1 和p p 。方向相同。0 1 p , p p c 一0 即： 溉：y 。x 。：y ，。x d ：y d ( 2 6 ) q r 叭， 尼 ， + 易几 0 + x 厂。 。吖 x y 第2 章摄像机标定 ( x 鼠) 雾+ ( y 影) 雾+ 匕) 雾+ ( l ) 雾一( x d ) 雾一( y a 尝一( z d ) 雾2 x d ( 2 7 ) 在( 2 4 ) ( 2 7 ) - 式中x w ，y w ，u ，l ，是观察值，待定的外部参数是：旋转矩阵尺 和平移矢量丁，内部参数包括：摄像机镜头焦距，径向畸变系数白，摄像机光 敏单元中心矩奴，d y ，以及成像平面的中心坐标 d ，助。 第3 章视觉伺服系统控制原理 第3 章视觉伺服系统控制原理 3 1标定模型视觉伺服系统 视觉伺服系统需要对摄像机和机器人进行标定，标定的精度将直接影响视 觉伺服系统的效果和性能。本文将详细讨论伺服系统的原理和标定过程。 3 1 1平移坐标变换 假设坐标系 b ) 和 彳) 具有相同的方位，但 b ) 坐标系的原点和 彳) 的原点 不重合。用位置矢量4 吃描述它相对于 彳) 的位置，如图所示。称a 气为 b ) 相 对于 彳) 的平移矢量。如果点p 在坐标系 口) 中的位置为且p ，那么它相对于坐 标系 彳) 的位置矢量一p 可由矢量相加得出，即 彳尸= 男尸+ 彳& ( 3 1 ) 称卜式为举标平移方棵。 图3 1 平移变换图 第3 章视觉伺服系统控制原理 3 1 2旋转坐标变换 设坐标系 b ) 和 彳) 有共同的坐标原点，但二者的方位不同，如图。用旋转 矩阵n 。r 描述 b ) a x c + i a ) 的方位。同一点p 在两个坐标系 b ) 和 彳) 中描述 曰p 和爿p 有关系变换： 爿p = ；尺曰p( 3 2 ) 称上式为坐标旋转方程。 z b l z a y ： r 0 y a r x ax b 幽3 2 旋转变抉 类似的可以用j r 描述 彳) 相对于 b ) 的方位，则b 。r 和岩尺都是正交矩阵，二者 互逆，即三尺；：尺- 且a r r ，合并( 3 1 ) ( 3 2 ) 式可以得到对于任意一点p 在两个坐 标系中 a ) 和 b ) 的描述一p 和口p 具有变换关系： 么p = ；尺口尸+ 彳p b ( 3 3 ) 易验证坐标轴分别绕x , y , z 轴旋转的旋转矩阵： 第3 章视觉伺服系统控制原理 r o t ( x ，口) = r o t ( y ，口) = r o t 0 ，口) = 3 1 3齐次坐标变换 1oo 0c o s o s i i l 目 0s i n 0c o s o o0o c o s o0 s i n 0 01o s i i l 臼0c o s 0 o0o c o s o - s i n00 s i n 0c o s 00 001 0o0 在以上可以看出任意一点的变化都可以用平移变换和旋转变换来表示，下 面用矩阵来表示坐标变换。方程( 3 ) 对矗p 而言是非其次的，但是可以将其表示 警州司 b 4 ， 令= 警1 综合地表示了平移变换和旋转变换。此时有： 爿p 昌2 丁口尸 这里的一p ，口p 都表示4 x 1 列矢量。 0 0 o 1 0 0 0 1 0 0 o 1 第3 章视觉伺服系统控制原理 3 1 4 运动关节角 对于二度机械臂，已知臂前端坐标( x ，y ) ，如图3 3 ，下面求解关节角q 和吼。 d 从上图可以得到方程组： 图3 3 二度机械臂模型示意图 解该方程可得到： 9 1 - a r c c o s c 方寿，- a r c t a n 丽l 2 s i n0 2 c o s 吼一生篆掣 3 1 5视觉伺服控制过程 视觉伺服过程是一个闭环控制过程，如图3 4 所示： ( 3 5 ) ) )易纯 + + 婀峨 o c s 厶厶 + + q q 誊咖 h l 譬 = x y ，i(1l一， 第3 章视觉伺服系统控制原理 图3 4 闭环控制过程图 通过摄像机获取图像，然后对图像处理，从中提取目标的位置，利用摄像机标 定的结果，利用图像中目标的位置计算出目标在摄像机坐标系下( 以机械臂末端 为原点) 的位置坐标，利用3 1 4 可以推导出两臂的关节角，从而可以建立下一 次控制的变换矩阵。如此反复进行。 3 2无标定觉伺服系统 近年来，视觉伺服控制系统一直是机器人研究领域的热点课题。它广泛应 用在机械零件的自动检测，生产线的自动监控，运动目标的自动跟踪与识别，自治 战车导航，登月舱的自动着陆以及空间机器人的视觉控制等。 假设视觉伺服控制的目的是让机械臂的末端跟踪一个动态目标，采用局部 视觉策略。在图像平面内，目标的位置坐标为) ，木( 力，机械臂的末端的坐标为 y ( 印。跟踪误差可以表示为： 厂p ，t ) = y ( o ) - y p )( 3 6 ) 其中0 表示关节角向量，t 表示时间，最小化的目标函数是均方误差i f ( o ，f ) 一寺fr ( 臼，t ) f ( o ，f ) ( 3 7 ) 假设采用离散控制技术，将跟踪误差函数f ( o ，f ) 在第k 步的数据点处泰勒展开 得： 加，f ) 鲁厂 ，气) + 五( p o k ) + _ a 衍l e 、t 一气) ( 3 8 ) 第3 章视觉伺服系统控制原理 歹。是第k 步雅可比矩阵 。警的估计。将( 3 8 ) 式带入到( 3 7 ) 式，使用高斯 a 口 牛顿公式极小化目标函数得： = 嚷卅a 以t - , ) 1 露( 五+ 警吃) ( 3 - 9 ) 其中无。厂( 吼，t k ) ，九。气“一气，孕吃预测着下一次迭代过