（机械制造及其自动化专业论文）高速并联机械手视觉系统关键技术研究.pdf

中文摘要 本文以自主研发的轻型高速并联机械手为应用对象，研究了该机械手的机器 视觉系统开发的关键技术，主要包括视觉系统的设计、标定、软件开发、系统联 调，并将其成功应用于无序工件的高速抓取操作。本文主要工作和成果可概括为 以下几个方孟： 口 针对高速抓取需求和控制系统硬件环境，确定了机器视觉系统模式。在此基 础上遵循机器视觉的逻辑结构，并结合视觉系统的任务，实现了机器视觉系 统的设计。 口 提出了一种灵活的摄像机标定方法。该方法以平面标定模板代替传统的标定 块，通过构造模板图像和空间坐标之间的单应矩阵，以及内参数约束方程， 利用线性方程求解和非线性误差整定得到摄像机的全部内外参数，进而完成 了整个系统的标定。 口以机器视觉理论为指导，结合虚拟仪器技术，开发了集图像采集、图像处理、 图像分析、数据分析等于一体的机器视觉软件，软件的处理速度和精度均满 足视觉系统要求。 口将该机器视觉系统与机械手控制系统集成，并通过实验验证了该视觉系统的 有效性。 本文的研究成果具有较高的理论意义和工程应用价值，可广泛应用于食品、 轻工等行业中无序物料的高速抓取操作。 关键词：机器视觉视觉系统虚拟仪器摄像机标定 a b s t r a c t t h ed i s s e r t a t i o ni sf o c u s e du p o nt h ed e v e l o p m e n to ft h ev i s i o ns y s t e mf o ra h i g h s p e e da n dl i g h t w e i g h tp a r a l l e lr o b o t t e c h n i q u e si n c l u d i n gs y s t e md e s i g n ， s y s t e mc a l i b r a t i o n ，d e v e l o p m e n t o ft h ev i s i o ns o f t w a r e ，o n l i n ee x p e r i m e n ta r e p r o p o s e dh e r e t h ef o l l o w i n gw o r kh a sb e e nc o m p l e t e d ： 口a i m e da tt h ea p p l i c a t i o nd e m a n da n dt h ec o n t r o le n v i r o n m e n to f t h em a n i p u l a t o r , t h er u n n i n gm o d eo ft h ev i s i o ns y s t e mi ss e t t l e d b a s e do nt h i s ，c o m b i n i n gt h e o b j e c t i v eo f t h ew h o l es y s t e m ，t h ev i s i o ns y s t e mi sd e s i g n e di nt e r m so f t h el o g i c c o n f i g u r a t i o no f m a c h i n ev i s i o n 口af l e x i b l ec a m e r ac a l i b r a t i o nt e c h n i q u ei sp r e s e n t e dh e r e b a s e do nt h e h o m o g r a p h i e so ft h e2 di n f o r m a t i o nb e t w e e nt h ec a l i b r a t i o nm o d e la n dt h e i r i m a g e sa n dt h ec o n s t r a i n t so ft h ei n t r i n s i cp a r a m e t e r s ，t h ei n t r i n s i ca n de x t r i n s i c p a r a m e t e r so ft h ec a m e r aa r eo b t a i n e dv i as o l v i n gl i n e a re q u a t i o n sa n dn o n l i n e a r o p t i m i z a t i o n t h ew h o l es y s t e mi sc a l i b r a t e di ns u c c e s s i o n 口g u i d e db yt h em a c h i n ev i s i o nt h e o r y , t h ev i s i o ns o f t w a r ea d a p t i n gt ot h e m a n i p u l a t o ri sd e v e l o p e db a s e do nv i r t u a li n s t r u m e n tp l a t f o r m a sam o d u l e c o n t a i n i n gi m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i n g ，d a t aa n a l y s i se t c ，t h ep r e c i s i o n a n ds p e e do f t h es o f t w a r ef u l f i l l e dt h es y s t e md e m a n d 口t h ev i s i o ns y s t e ma n dt h ec o n t r o ls y s t e mh a v eb e e ni n t e g r a t e dt ot h er o b o ta tl a s t w h i c ha c c o m p l i s h e dt h ei n t e l l i g e n to p e r a t i o no fp i c k - a n d - p l a c e t h es p e e da n d t h ep r e c i s i o na r ea s s u r e ds i m u l t a n e o u s l y k e y w o r d s ：m a c h i n ev i s i o n ，v i s i o ns y s t e m ，v i r t u a li n s t r u m e n t ，c a m e r ac a l i b r a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得苤星盘堂或其他教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 学位论文作者签名：岔蕙签字日期：。s年1 月肛日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规定。 特授权墨壅盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：刍薄 签字日期：加一j 年7 月i ) 日 第一章绪论 1 1 课题的研究背景和意义 第一章绪论 在医药、食品和电子等轻工行业中，通常需要对产品实施封装、抓取和包装 等操作，为提高生产效率、扩大产业规模，上述操作往往需要用机械手来完成。 但一般的机械手操作主要是针对规则排列的物料进行抓取，或进行单一的包装和 封装等。这类操作仅需机械手遵循事先设置好的程序，重复性地做某种动作，即 可完成任务。为了满足不断变更的市场需求，达到生产所需要的灵活性和可靠性， 智能型操作机械手便应运而生。该类机械手可根据自身的传感装置判断出不同的 工况，做出反应，从而完成操作任务。这主要包括无序排列工件的分拣与抓取、 智能型焊接和智能封装等。在各种传感型机械手中，视觉机械手是功能最强大的 一种，需求量最多，已成为当今研究的热点。 视觉机械手的工业应用始于9 0 年代初。图1 - 1 为日本f a n u c 公司开发的6 轴多功能高速高精度串连视觉机械手r 2 0 0 0 i “，主要可用于随机堆放工件的 p i c k - a n d p l a c e 操作或者大型物体的排列和整理工作。最大抓取速度为 3 0 p i e k m i n 。图1 2 为瑞士a b b 公司开发的i r b1 4 0 2 】六自由度视觉串联机械手， 它具有工作空间与负载大和速度高等优点。主要用于焊接、包装、物料传输和高 速抓取等操作。其工作负载可达5 k g ，最大抓取速度为7 0 p i c k m i n 。然而，由于 上述串联机械手自身难以克服的缺点，并不适用于对物流系统进行高速或超高速 操作。因此，a b b 公司借助于a d e p t 技术开发了基于d e l t a 3 1 1 4 并联机构的视觉 机械手i r b3 4 0f l e x p i c k e r 习( 图1 - 3 ) 。该机械手可以完成无序或任意摆放目标物 体的抓取操作，其最大工作负载为l k g ，抓取速度可达1 5 0 p i c k m i n 。目前，该型 机械手是唯一成功应用于工业中的视觉并联机械手，图1 - 4 为其在食品工业中的 应用。欧洲r t s 技术中心公司发展了v i p ( v i s i o n i n t e g r a t i o n p l a t f o r m ) 概念，利用 以太网技术，集成多个r t sp i x c e l l 5 1 视觉机械手，开发了智能生产线( 图1 6 1 ， 并已在轻工业得到广泛应用，主要用于产品质量控制和物料传输。其中，图1 5 所示的r t sp i x c e l l t m 为智能生产线的一个基本单元，它由d e l t a 机构、传送装置 和视觉系统构成。此外，在集成生产线中，视觉可应用于生产中的多个流程，包 括：质量检测、封装、物料传输等【6 j 。图1 7 为机器视觉在集成生产线中的应用 情况。 然而，以上所述成功于工业中的视觉并联机械手均基于d e l t a 机构，产权为 第一肇绪论 国夕 所有，开发成本缀高，面困内关予智能型p i c k a n d - p l a c e 并联机械手的开发 尚未开始。为此，本研究结合国家自然科学基众项目( 项目编号：5 0 3 7 5 1 0 6 ) ，以 天津大学机械制造装餐与系统研究所予2 0 0 2 年成功磷发的三自由度高速混联机 械手d i a r n o n d6 0 0 1 7 鄙( 圈1 - 8 ) 为对象为其开发视觉系统。由于该类混联机械 手已成功的应用于电池分拣工业中，因此开发攥于d i a m o n d6 0 0 的视觉系统就具 有重要的理论意义和缎高酶工程应用价值。 图i - 1f a n u cr - 2 0 0 0 1图i 。2a b bi r b1 4 0 闰1 - 3a b bi r b3 4 0f l e x p i c k e r 图t - 4i r b3 4 0 在食品行业中的应用 2 第一牵绪谂 圈1 - 5r t sp i x e e l t t m 餮i - 6 r t s 集成装雯系统 鬻l 尊多裔o a 琳e 豫释p e 熟鬃戚褫蛩蒜绫 图卜8 基于d i a m o n d 机构的三自由度溉联机械手 第一章绪论 1 2 国内外研究状况 开发高速机械手视觉系统主袋用到的技术是：机器视觉技术、视觉系统的标 定帮鑫瓠仪器技术。萁中粳器裰爨技术楚整个磷究敦理谂基疆，它逶过计算瓤实 现人的视觉功能对客观世界的三维场景的感知、识别和理解，以控制机器或 避程。褪觉系统栋定豹嚣熬是获缮嚣标豹窆霹缤憨嚣銎缀痿惠豹黠痘关系，繇摄 像机的内外参数，这在获得目标的空间搬标中起到关键作用。虚拟仪器技术是一 牵争基予甚箨枫熬鑫动纯溺试搜器系统，题该视爨系统软传豹开发平台，鼷墩实瑷 系统开发的顶层工作。 1 2 1 机器视觉 机器视觉是个发展速度非常侠的新兴研究领域，已成为计算机科学的重要 磺蠢领域之一f 9 】【lo 】，其发展经历了三个盼段。第阶段始予2 0 谶纪5 0 年代，主 袋是以横型世界为主要对象的视觉摹本方法研究，工作主要集中在二维图像的分 析和识别上。6 0 年代r o b e r t s 开始对三维机器视觉进行研究l l “，采用了简单的边 缘特征掇取方法并弓f 入了组合线段的方法，但这对于稻微复杂的景物便难于奏 效。第二阶段是7 0 年代开始的以计算理论为核心的视觉模型研究，d a v i dm a 玎【挖】 在此期间键出了税觉研究中迄今为止最完善的莺建税觉璁论。该理论将视觉过程 蠢作是一个信息处理的过程，并以3 d 萤建为目的，建立了一套比较完熬的计算 梳视觉韵三维羲建理论。其核心论点在予：1 ) 人类视觉的主体瑟蓬构可冤表面静 几何形状 2 ) 人类视觉的重构过程可以通过计算的方式巍成。但m a l t 的理论同 样存在畿陷，霞为在菜黧情况下，视觉研究并不浠要重麓，而置信患处瑷也不需 要定量毙成。为此，以美国马里兰大学计算机视激研究实验室的a l o i m o n o sy 【1 3 】 酾美国宾夕法尼鹱大学计算辊系b a j c s y 1 4 1 珏l 教授为首的主动视觉学派剐禳据生 物视觉的主动性提出了主动( a c t i v e ) 视擞理论，他强调视觉系统应基于一定的任 务( t a s kd i r e c t e r ) 帮霞的( p u s p o s i v ed i r e c t e d ) ，目辩褫觉系统应该凝存主动感躲的 能力。并且主动学派认为3 d 重建目标太高，计算量太大，要用具体任务来简化 瓣题。遽入2 0 嫠绝9 0 年代，辊嚣褫觉麓掰究方囱获萃统翡理论缓架磅炎转向结 合应用的研究，展开了机器视觉研究的第三阶段以威用为目标的机器视觉。 程该陵段，先嚣整现了蘩予主动筏觉、定瞧褫觉”q 等静薪方法，瓣决了瓿器褪觉 中的计算问题，扩大了机器视觉的应用领域并扩展了机器视觉自身的应用形式。 4 箱一章绪论 机器视觉主要应用于计算机人机交互、自动导航、工业检测、多媒体技术、 数据库与图像通信、医学、三维场景建模与显示等领域f 1 8 】。机器视觉在工业 中的应用所出现的新的形式【1 9 1 包括：s m a r tc a m e r a ( 内置镜头、成像装置、存储 器、植入式处理器、串行接口、数字i 0 置) ；嵌入式视觉系统( 集成的视觉系统) ： 含p c 的视觉工作站等。这些新产品的出现将机器视觉的应用提升到一个新的高 度，更有利于其应用普及化。 1 2 2 摄像机标定 摄像机标定是视觉系统开发的关键步骤，决定着整个视觉系统的精度。标定 方法可以分为两类：1 ) 传统的摄像机标定方法( p h o t o g r a r n m e t r i cc a l i b r a t i o n ) ，侧 重于精确性；2 ) 自标定方法( s e l f c a l i b r a t i o n ) ，注重于标定速度和自治性。 传统摄像机标定方法是指用一个结构已知。精度很高，一般是包含两个或三 个相互垂直的平面的标定块作为空间参照物。通过标定块的3 d 空间坐标和2 d 图像坐标以及摄像机模型约束解得摄像机的内外参数。该方法适应于应用场合要 求精度高且摄像机参数又不经常变化的情况。其主要优点在于摄像机模型非常精 细，标定结果准确；缺点在于计算复杂并且为得到好的收敛结构需要一个良好的 初始值。1 9 8 5 年后，传统标定方法有了更深入的发展。f a u g e r a s 和t o s c a n i 2 0 l 提 出的投影变换矩阵p t m 分解法，将摄像机标定归结为解一个投影变换矩阵的方 法；g r o s k y 和t a m b u r i n o ! ”l ”】对该方法进行改进，并在两个方面提出了创新点： 一是参数矩阵的某些特征可以预置，二是允许标定点处于同一平面。应用较为广 泛的是t a s i l 2 3 1 2 4 1 于1 9 8 7 年提出的基于r a c ( r a d i a l a l i g l m a e n tc o n s l r a i m ) 的两步标 定法，该方法即避免了大规模的非线性最优化，又保证了完整的摄像机模型。它 主要是将标定参数降耦为两组，通过线性方法解得摄像机参数，并且同时考虑了 镜头的畸变。该方法的缺陷在于：1 ) 标定过程中存在误差累计，误差较大。2 ) 由 于噪声的影响，旋转矩阵往往不是标准正交矩阵。其他典型代表还有：a b d e l a z i z 和k a r a r a 提出的直接线性变换法即d l t l 2 5 j 方法( d i r e c t l i n e a r t r a n s f o r m a t i o n ) ，投 影模型为1 1 个参数的线性模型，方法简单、标定速度快，但标定结果受噪声影 响较为显著；物理参数变化法p p t f ；2 6 1 方法( p h y s i c a ip a r a m e t e rt r a n s f o r m a t i o n ) ，该 方法建立于包括1 0 个物理参数的线性投影模型上，但最优化为非线性并且需要 某些参数的近似估计，也存在误差较大的缺陷。 随着计算机视觉应用范围的扩大，传统标定方法已经不适合于某些自治性高 第一章绪论 机器视觉主要应用于计算机人机交互、自动导航、工业检测、多媒体技术、 数据库与图像通信、医学、三维场景建模与显示等领域o 7 l i 1 ”。机器视觉在工业 中的应用所出现的新的形式h 9 1 包括：s m a r tc a m e r a ( 内置镜头、成像装置、存储 器、植入式处理器、串行接口、数字i 0 置) ；嵌入式视觉系统( 集成的视觉系统) ： 含p c 的视觉工作站等。这些新产品的出现将机器视觉的应用提升到一个新的高 度，更有利于其应用普及化。 1 2 2 摄像机标定 摄像机标定是视觉系统开发的关键步骤，决定着整个视觉系统的精度。标定 方法可以分为两类：1 ) 传统的摄像机标定方法( p h o t o g r a r n m e t r i cc a l i b r a t i o n ) ，侧 重于精确性；2 ) 自标定方法( s e l f c a l i b r a t i o n ) ，注重于标定速度和自治性。 传统摄像机标定方法是指用一个结构已知，精度很高，一般是包含两个或三 个相互垂直的平面的标定块作为空唰参照物，通过标定块的3 d 空间坐标和2 d 图像坐标以及摄像机模型约束解得摄像机的内外参数。该方法适应于应用场合要 求精度高且摄像机参数又不经常变化的情况。其主要优点在于摄像机模型非常精 细，标定结果准确；缺点在于计算复杂并且为得到好的收敛结构需要一个良好的 初始值。1 9 8 5 年后，传统标定方法有了更深入的发展。f a u g e r a s 和t o s c a n i t 2 0 l 提 出的投影变换矩阵p t m 分解法，将摄像机标定归结为解一个投影变换矩阵的方 法；g t o s k y 和t a m b u r i n o t 2 1 l 2 2 1 对该方法进行改进，并在两个方面提出了创新点： 是参数矩阵的某些特征可以预置，二是允许标定点处于同一平面。应用较为广 泛的是t a s i j j 1 于1 9 8 7 年提出的基于r a c ( r a d i a l a i i g i m a e n tc o n s t r a i n t ) 的两步标 定法，该方法即避免了大规模的非线性最优化，又保证了完整的摄像机模型。它 主要是将标定参数降耦为两组，通过线性方法解得摄像机参数，并且同时考虑了 镜头的畸变。该方法的缺陷在于：1 ) 标定过程中存在误差累计，误差较大。2 ) 由 于噪声的影响，旋转矩阵往往不是标准正交矩阵。其他典型代表还有：a b d e l a z i z 和k a r a r a 提出的直接线性变换法即d l t ”】方法i r e c c l i n e a r t r a n s f o r m a t i o n ) ，投 影模型为1 1 个参数的线性模型，方法简单、标定速度快，但标定结果受噪声影 响较为显著：物理参数变化法p p t 2 6 1 方法( p h y s i c a lp a r a m e t e rt r a n s f o r m a t i o n ) ，该 方法建立于包括1 0 个物理参数的线性投影模型上，但最优化为非线性并且需要 某些参数的近似估计，也存在误差较大的缺陷。 随着计算机视觉应用范围的扩大，传统标定方法已经不适合于某些自治性高 随着计算机视觉应用范围的扩大，传统标定方法已经不适合于某些自治性高 第一章绪论 的场合。为此，1 9 9 2 年f a u g e r a s 【2 7 】最早提出线性小孔摄像机自标定方法，它克 服了传统方法价格昂贵、费时费力的缺点，不需要标定块，仅仅依靠多幅图像对 应点之间的关系直接进行标定。若摄像机内参数固定，则根据不同物距下的图像 信息获得摄像机的内参数约束关系，完成摄像机白标定。此后t f i g g s 【2 副提出了由 一个平面场景的5 幅以上图像进行摄像机自标定的方法。s t u r m 和m a y b a n k 【2 引 也发展了类似的方法，并对算法的奇异性进行了改进。最近p o l l e f e y s 和v a n g o o l l 3 0 】又提出了一种适应于变化的内参数的自标定方法。摄像机自标定是9 0 年 代中后期在计算机视觉领域兴起的最重要的研究方向之一。 自标定方法虽然简单易行，但是其最大的不足在于精度较低而且鲁棒性差， 这主要是由于自标定方法不论以何种形式出现，均是基于绝对二次曲线( t h e a b s o l u t ec o n i c ) 或者绝对二次曲面( t h e a b s o l u t eq u a d r i c ) 的方法，需要直接或者间 接地求解k r u p p a 方程。自标定方法的特点决定其主要适应于精度要求不高的场 合，这些场合主要考虑的是视觉效果而不是绝对精度，如通讯、虚拟现实技术等 等。 传统标定方法是根据3 d 标定块的空间信息和2 d 图像信息解得摄像机参数， 而自标定方法的数据来源完全是目标的2 d 图像信息。最近张正友所提出的一种 介于传统标定和自标定之间的方法【3 ”，该类标定法基于t a s i 的两步标定法，但 不同的是，它采用平面模板作为标定目标，根据模板的2 d 几何信息和2 d 图像 信息进行标定。分步解得摄像机的内外参数。弗在最后建立畸变模型【”】，解得标 定系数，得到完整的摄像机标定参数。该标定方法的特点在于灵活性、鲁棒性和 精确度都较好，并且标定成本很低，适应于多种场合。针对机械手的技术参数指 标和应用环境，并综合考虑该类标定方法的优势和适应范围，决定采用该类标定 方法进行视觉系统的标定研究。 1 2 3 虚拟仪器 在本研究中，虚拟仪器是视觉系统软件开发的平台，用以实现系统开发的顶 层工作。2 0 世纪8 0 年代中期，美国国家仪器公司( n a f i o n a li n s t r u m e n t 简称n i ) 首先提出了“软件就是仪器这一虚拟仪器概念1 3 。实质是利用计算机技术实现和 扩展传统仪器的功能。 虚拟仪器的发展经历- y _ - 个阶段：1 ) 利用计算机增强传统仪器的功能【3 5 l 3 6 ， 即通过g p i b 和r s 2 3 2 把传统仪器同计算机连接起来，实现用计算机控制仪器； 2 ) 开放式仪器构成，插入式计算机数据处理卡( p l u g i np c d a q ) 和v x i 仪器总 6 第一章绪论 线标准的确立消除了第一阶段内在的由用户定义和供应商定义仪器功能的区别， 使仪器的构成得以开放；3 ) 虚拟仪器框架得到了广泛认同和采用【3 j ，并向编 程平台的图像化和硬件模块的即插即用( p l u g & p l a y ) 化等方向发展。 l a b v i e w ( l a b o r a t o r yv i r t u a li n s t r u m e n te n g i n e e r i n gw o r k b e n c h ) 是n i 公司所 开发的图形化、交互式的编程设计环境【3 9 1 1 4 ，是图形化编程语言的代表。它整 合了诸如满足g p i b 、v x i 、r s 2 3 2 和r s 4 8 5 以及数据采集卡等硬件通讯的全 部功能，内置了便于t c p i p 、a c t i v ex 等软件标准的库函数，以其强大的开发 工具和方便快捷的优势逐渐将成为工业视觉市场上的主流。本文便是考察了 l a b v i e w 的特点，将机器视觉与虚拟仪器相结合，在机器视觉理论的指导下通 过虚拟仪器进行编程，使机器视觉的分析功能和虚拟仪器的控制功能同时为系统 所用。并且机器视觉与虚拟仪器各自的灵活性、可靠性、低成本必将保证系统很 强的灵活性和可靠性，同时也赋予系统高的性价比。 1 3 本文主要研究内容 本课题针对食品和轻工等行业对视觉机械手的需求，以自主研制的高速混联 机械手d i a m o n d 6 0 0 为对象，利用机器视觉、摄像机标定、图像处理、虚拟 仪器等技术，研究了机器视觉系统开发的关键技术，旨在提高高速抓取机械手的 智能性。全文内容安排如下： 第一章：阐述课题的研究背景和意义，综述国内外在该领域的研究状况，并 提出本文主要研究内容。 第二章：结合当今视觉系统的发展趋势以及机械手的应用要求选择视觉系统 模式，并根据视觉系统的任务确定视觉系统工作步骤和构成，实现对整个视觉系 统的设计。 第三章：利用一种新型的摄像机标定方法，通过标定模板空间信息和图像信 息的对应关系，求得摄像机的内外参数，以得到工件像素坐标和空间位置坐标之 问关系，完成视觉系统标定。 第四章：以虚拟仪器为机器视觉软件的开发平台，开发快速而精确的机器视 觉软件，以完成对图像的实时处理处理，并通过实验检验软件有效性。 第五章：研究视觉系统的搭建方法以及系统联调方法，并完成实验。 第六章：给出全文总结和今后工作展望。 第二章机器视觉系统设计 2 1 引言 第二章机器视觉系统设计 机器视觉系统的模式和组成直接决定着整个系统的性能，所以合理的系统设 计对于提高整个系统的处理速度和精度至关重要，这是系统开发的前提和基础。 本章首先介绍机器视觉系统的模式分类，并结合当今的发展趋势和机械手的 应用要求，选择合适的视觉系统。其次，根据视觉系统任务确定系统工作步骤。 最后依据机械手的技术参数指标和控制系统环境，选择机器视觉系统的软硬件， 确定视觉系统基本参数，从而实现对整个视觉系统的设计。 2 2 机器视觉系统运行环境 视觉系统按运行环境的不同，可分为p c b a s e d ( 基于p c ) 和p l c b a s e d ( 基于 p l c ) 两种。其中，p c b a s e d 系统内含高性能图像采集卡，一般可接多个镜头， 并提供库函数支持。其主要优势在于： 口高度的开放性 口 高度的编程灵活性 口 良好的w i n d o w s 界面 口 系统总体成本较低 口数据库容量较大，可以处理大量数据 口提供库函数支持 口处理速度快，精度高 p l c b a s e d 视觉系统中，视觉相当于一个智能化的传感器。图像处理单元独 立于系统，通过串行总线和i o 与p l c 交换数据。系统在技术性能上相对简单， 更适用于做有无判别，形状匹配等，开发周期短可靠性较高。 随着计算机技术和局部总线技术的发展，机器视觉系统已由基于p l c 和专 用硬件实现方式向基于p c 的实现模式逐步转化。结合本应用要求，首先，本系 统中，开发的关键在于保证数据处理的快速性和准确性，基于p c 的视觉系统在 该方面有较大优势：其次，控制系统采用基于p c 的模式，要保证与控制系统及 时地通信。所以综合考虑p c - - b a s e d 视觉系统的优势以及本系统的应用场合， 决定采用基于p c 的视觉系统。 第二章机器视觉系统设计 2 3 机器视觉系统工作步骤 高速并联机械手视觉系统的任务是快速而准确地获得随机摆放工件的空间 位置坐标，提供于控制系统，从而控制机械手运动。系统输入为工件图像，输出 为工件空间位置坐标。系统的设计首先应根据系统的工作任务，定制系统的工作 步骤( 图2 - 1 ) ，主要包括三部分： 图2 - 1 视觉系统工作步骤 准备工作：主要是系统标定和图像采集，该步骤的任务是获得目标点象素坐 标和空间坐标的位置关系并为后续的图像处理提供信息源； 图像处理与分析：该部分为机器视觉系统的核心部分，任务是通过目标识别 和目标定位确定目标点的2 d 象素坐标，并计算出其3 d 世界坐标： 机械控制：该部分为视觉处理的后续部分，任务是实时提供给控制系统机械 手的空间坐标，并将处理结果显示于监控装置。 2 4 基于p c 的机器视觉系统组成 视觉系统的工作步骤决定了整个视觉机器人系统的组成。如图2 2 所示，整 个系统分为机器视觉系统和控制系统。其中基于p c 的视觉系统主要由光源、 成像元件、图像采集卡、工业p c 和图像处理软件组成：控制系统主要 第二章机器视觉系统设计 由工业p c 、控制卡、控制器、伺服电机、 机械装置所组成。 图2 2 系统组成 1 光源 光源是机器视觉系统中重要的组成部分，合适的光源为视觉系统提供良好的 外界条件，使得系统得到的图像信号有高的信噪比，并产生最好和最大可用面积 的图像，提供高的图像分辨率。 2 成像元件( 摄像机和镜头) 摄像机和镜头一起构成成像元件，摄像机是机器视觉系统的信息源，通常为 c c d ( c h a r g ec o u p l e dd e v i c e ) 模式删【4 外。c c d 元件是摄像机的核心部位，被摄物 体反射的光线经镜头聚焦到c c d 芯片上，c c d 根据光线的强弱聚集相应的电荷， 经过周期性放电，即可产生表示- n 画面的电信号。该电信号经过滤波、放大处 理，最终被组合成标准的复合视频信号输出。而合适的镜头则可以使采集目标完 整而清晰地呈现于屏幕中 3 图像采集卡 图像采集卡又称视频抓取卡，通常插于p c 上，通过电缆将摄像头与p c 相 连。采集卡从摄像机中获取视频信号，对其进行解析、数字化后，转换成p c 能 处理的信息，输送给专用的图像处理系统。它同时可以提供控制摄像机的参数f 例 如触发、曝光时间、快门速度等等) 的信号。 4 p c 平台 计算机性能同样也决定蓑机器视觉的速度。计算机的速度越快，视觉系统处 理每一张图片的时间就越短。由于在制造现场中，经常有振动、灰尘、热辐射等 第二章机器视觉系统设计 等，所以一般需要工业级的计算机。 5 视觉处理软件 视觉处理软件用于创建和执行程序、处理采集回来的图像数据。通过对图像 信号施加各种运算来提取目标的特征，得到期望数据，以控制外部的p l c 、电机 等执行机构的动作。 2 5 机器视觉系统设计 高速抓取机器人视觉处理的不及时往往会造成整个机器人系统工作的延误 和停滞，因此视觉系统设计的关键在于在保证成像完整清晰的基础上确保图像处 理的实时性、高速性和准确性。 2 5 1 光源 本系统的光源选择主要考虑以下因素： 口 机器视觉系统应用于工业生产中，要适应不断变化的工业条件 口 本系统的视野较大，要保证足够的整体亮度，达到物体的位置变化不影响成 像的质量。 口 光源亮度要足够，应使得所采集的图像的目标与背景色差强烈，增加对比度， 以减少图像处理的时间和难度。 口 为得到重复性好的图像分析结果，必须为图像区域提供稳定均匀的照明。 将各种光源进行对比后发现荧光灯的亮度较大、适应于大面积均匀照明，而 且性价比高，所以选用荧光灯作为本系统的光源。同时为保证更好的照明效果， 按照图2 3 布置光源和摄像机。 阉摄 f 图2 - 3 光渊、摄像机布局图 第二章机器视觉系统设计 2 5 2 摄像机 摄像机的选择应主要考虑以下原则： 口 因为数字摄像机与模拟摄像机相比，具有较大的分辨率和c c d 芯片尺寸， 并且信号传输过程中损耗少、速度快，所以选用数字摄像机； 口对于本应用而言，黑白图像即能提供全部的可视数据，并且比彩色摄像机价 格低，选用黑白摄像机； 口 采集目标位于运动的传送带上，选用适应于该类型采集的逐行扫描摄像机。 口 在本系统中：传送带的宽度为2 4 0 m m ，视场的长应2 4 0 m m ；系统的 分辨率要o 5 m m 。视场相比较一般的视觉检测视场偏大，选用尺寸为1 2 ” 的c c d 芯片，并且c c d 的分辨率应1 3 3 p m 。 综合以上各指标，决定选用b a s l e r a 3 0 2 b 型摄像机，其主要参数见表2 1 。 2 5 3 镜头 表2 - 1 摄像机参数表 项目参数 摄像机型号b a s l e ra 3 0 2 b 色彩黑白 芯片尺寸 l 2 ”( 6 ，4 r a m 4 ，8 m m ) 传感器大小( 象素)7 8 2 5 8 2 传感器类型逐行扫描c c d 象素大小 8 3 p , m 8 3 呦 视频输出类型c h a n n e ll i n k ( 数字) 镜头安装方式c m o u n t 或f - m o u n t 镜头的选择主要依据以下指标： 口 镜头所支持的最大c c d 芯片尺寸应1 2 4 。 口镜头焦距 f = w d w ( 2 1 ) 其中，d 为物距，w 为c c d 芯片长度，矿为视场长度。 本系统中，因为w = 6 4 m m ；矽= 2 4 0 r a m ；d = l m ；所以透镜焦距，= 2 6 6 6 7 m m 。 1 2 第二章机器视觉系绞设诗 口 视场角 口：2 a t e t a n 旦 f 2 - 2 ) 2 d 其孛，筏溺宽波妒= 2 4 0 r a m ；携距d = 1 2 m ；所瑷褫场角毋= 1 1 4 2 1 2 。 综合以上嚣指标并考虑成本因素，选用镜头型号为f o c u s a b l ed o u b l eg a u s s ， 其参数觅表2 2 。 表2 - 2 镜头参数裟 项目参数 镶头囊号f o c u s a b l ed o u b l eg a u s s m a x c c df o r m a t 2 3 英寸 麴鼯2 5 0 m m 焦距是否_ 町调是 i安装方式 c - m o u n t 视角范围 l8 3 - 4 。9 2 5 4 图像采集卡 图像采集卡的选择主要考虑以下原则： 口 图像的传输方式 目前主要商u s b 总线、i e e e l 3 9 4 总线和p c i 总线三种传输方式。相比较而 言，p c i 总线支持总线主控技术，允许智能设备在需癸孵取得总线攘帝衩；最大 数据传输速率可达t 0 6 4 m b s ；并且容易开发。所以选用p c i 总线方式。 口输岛褫颈镪式 图像采集卡支持的制式必颁与c c d 输出的视频信号标准致，b a s l e r a 3 0 2 b 为羲字整c h a n n e ll i n k 模式，又c h a n n e ll i n k 和c a m e r al i n k 掰| 三l 稳互转换，掰 以选择视频输出模式为c a m e r al i n k 的数字图像采集卡。 o 支褥软俸 鉴于机械手控制部分应用n il a b v i e w 作为开发环境，凰控制卡选用n i p c i 7 3 4 4 运麓控翻卡，为保涯逶藩速度，掰颤聚集卡懿支持软体最簿为 l a b v i e w 。 潋上指标为主要选择指标，综合考虑蓐，选雳n ip c i - 1 4 2 8 5 2 谁为本系统麓 图像采集卡。该硬件支持外部时钟和同步输入，时钟和水平、瓣直同步符合信号 第二章机器视觉系统设计 的输入，可对视频信号和触发信号进行快速转换支持对增益和偏置的编程：使用 p c i 接口和d m a 控制技术保证数据在p c i 总线和f i f o 存储器之间的快速转换； 同时采用了r t s i ( r e a tt i m es y s t e mi n t e r g r a t i o n ) 技术，支持多通道图像采集和外 部触发。 其主要参数见表2 - 3 表2 - 3 图像采集卡参数表 项目参数 图像采集卡型号 n ip c i 1 4 2 8 视频制式 c a m e r al i n k 同步r a m1 6 m b 理想：1 3 2 m b s 传输速度 一般：1 0 0 m b s 象素时钟频率范嗣 5 0 0 k h z 一5 0 m h z 支持软件l a b v i e w 、v c + + 、v b 2 5 5p c 和机器视觉软件 在本系统中，由于图像采集卡和视觉处理软件的要求，所以选用计算机至少 需要满足以下配置要求： 中央处理器：p e n t i t t mi i i 内存：1 2 8m 显存：6 4 m 根据所选择的图像采集卡以及控制系统的开发环境，选用l a b v l e w 作为本 系统视觉软件开发的编程环境，n ii m a q 驱动软件和n ii m a qv i s i o n 5 3 】 蚓图像 处理函数库为处理环境。该开发工具集图像采集、处理和分析为一体，可以处理 灰度、彩色、二值图像并且可以进行基础或复杂的图像处理编程。视觉软件的具 体开发过程见第四章。 第二章机器视觉系统设计 2 6 机器视觉系统参数 机器视觉系统设计完成后，可以得到机器视觉系统的初步的参数，如表4 - 4 所示。 2 7 小结 表2 4 视觉系统参数表 项目参数 光源荧光灯 摄像机 b a s l e ra 3 0 2 b 系统 镜头 f o c u s a b l ed o u b l eg a l l s s 组成 图像采集卡n ip c i - 1 4 2 8 视觉处理软件n ii m a qv i s i o n 视场 2 4 0 m mx2 0 0 m m 物距 lm 视角1 1 4 2 1 o 放大倍数0 0 2 6 7 系统分辨率0 3 1 1 m m 本章根据视觉系统的任务和应用要求确定了系统的模式、工作步骤和构成， 实现了视觉系统的设计，并得到以下结论： 1 基于p c 的视觉系统在系统开发的难易度、开放性、处理速度和精度上有较 大优势，适应于机械手要求。 2 合理的部件选择以及硬件配置方式保证了系统的成像质量和系统的处理速 度和处理精度。 第三章系统标定 3 1 引言 第三章系统标定 系统标定又称摄像机标定，是从二维图像信息获得空间信息必不可少的步 骤，是援凳系统开发静蒺穑。葜器静是获取薅援点像素坐标秘空闻坐标豹耀要 关系，并且系统标定的精度决定了视觉系统的精度。 本攀在阐述摄像懿褥定基零撅念豹蒸疆上，镑瓣凝械手蕊酶整及应翔场台， 提出一种灵活而有效的摄像机标定方法，并通过标定实验检验其精度。 3 2 系统标定 系统标定酋先构造摄像机的成像模溅3 1 】，麓立各相关坐标系，获得空间点 在成像搬标系秘窆阉坐探系下的关系横攫。随鼷采集多姿态救援扳图像，并求 取模板平面和其图像之间的单威矩阵，利用单威矩阵和有关内参数的约束方程 求锝摄像枫的内雏参数势对其优忧。最厩建立误差模型，进l 亍误差修正，得到 完整的摄像机参数，完成系统标定。 3 2 1 摄像机模型 撵像祝投影模型是指不考虑镜头畸变失真瀚清况下，三维场景中瀚点蓟镜 头成像平面上对应点的线性几何投影关系。常用的摄像机模型宥三种：透视投 影模登( 钎孔摄像梳模鹫( p i n h o l em o d e l ) ) 、芷交投影模鍪稷按透亳篦授影模型。其 中针孔掇像机模型是最简单常用并且是最理想的摄像机模型，也是本文采用的 基本模黧( 魏国3 - 1 所示) 。都霰浚镜头光圈中心匏光魏纛隈小，圈像光线聚焦授 影于镜头的成像平面。通常把这种3 d 空间到2 d 平面_ l z 的映射称为透视投影。 魏潮掰示，冀= 9 时，可利用最小二乘法解得x x = ( k 7 五) “k 7 u( 3 - 1 2 ) 解得x 后，日也随之得到，从而解得模板平面和图像平面之间的单应矩阵。 3 2 5 摄像机内参数求取 模板的一幅图像就可得到一个单应矩阵，由3 - 4 l 知，= 1 4 t r , r 2 f ， 设h 的第i 列向量为h ，即h ，= 阮，h ：，h 3 ，r ，则有： 胁。 ：吃】= z 1 一【，l ，2 f 】( 3 - 1 3 ) 又旋转矩阵r 为单位正交矩阵，所以，l 、，2 、，3 标准正交，即上，2 、 呲= ：= 1 ，所以，得到： r 2 = 0 i i ，, l l 。= l i r j ：= 1 r 3 1 4 ) ( 3 1 5 ) 根据式( 3 1 3 ) n 女nr z = l a h 1 ，r 2 = l a h 2 ，将其带入式( 3 1 4 ) 可得： ( l 4 h 1 ) 7 ( l a h 2 ) = 0( 3 1 6 ) 将式( 3 1 3 ) 代入式( 3 1 5 ) 可得： ( 叫h 1 ) 7 ( l 4 一h 1 ) = ( l 4 h 2 ) 7 - ( l 4 h 2 ) = 1( 3 - 1 7 ) 式( 3 一1 6 ) ( 3 - 1 7 ) 整理后得到： 厅