（控制理论与控制工程专业论文）焊缝轨迹跟踪激光视觉伺服控制系统.pdf

摘要 本文主要介绍了焊缝轨迹跟踪视觉伺服控制系统，包括系统软硬件构成，焊 缝视觉识别方法，焊缝跟踪视觉控制方法及实验结果。 以嵌入式工控机为核心，以激光图像传感器为主要部件，建立了用于v 型 坡口和多层多道焊焊缝跟踪的硬件系统，通过该硬件系统配合用v i s u a l c + + 自主 开发的图像处理和控制软件最终实现对焊缝的跟踪。 在总结常用的焊缝图像处理方法的基础上，通过对传统的焊缝图像边缘检测 方法进行说明和比较，提出了焊缝图像识别的新算法并开发了其处理软件，通过 实验证明了该软件的可行性，实现了对v 型坡口、搭接、角接、对接和多层多 道焊缝的识别。 研究了经典p i d 控制和模糊控制以及两者相结合的控制方法，开发了一套 适用于v 型坡口和多层多道焊焊缝跟踪的控制软件。通过该软件可以实现对处 理前和处理后的焊缝图像进行显示监控，处理后得到的焊缝信息通过f u z z y p i d 控制器，经过输出处理最终实现对焊缝的跟踪。 通过实验对焊缝跟踪视觉伺服控制系统进行了验证，说明了该系统的可行 性。 关键字：焊缝跟踪，计算机视觉，伺服控制，焊缝识别，多层多道焊，f u z z y p i d a b s t r a c t av i s u a ls e r v oa n dc o n t r o ls y s t e mf o rw e l d i n gs e a mt r a c k i n gw a s i n t r o d u c e di n 也ea r t i c l e t h ec o n t e n ti sc o n s i s to fh a r d w a r ec o n f i g u r e ，t h em e t h o df o rw e l d i n g s e a d l r e c o g n i t i o n , t h ec o n t r o ls t r a t e g yf o rw e l d i n gs e a mt r a c k i n ga n di t sp r a c t i c a lr e s u l to f e x p e r i m e n t h at h ea r t i c l e ，t h eh a r d w a r ew h i c hb a s e do nn e s t e di n d u s t r i a lc o m p u t e ra n dl a s e r i m a g es e n s o rf o rw e l d i n gs e a mt r a c k i n go fv - g r o o v ea n dm u l t i - l a y e rm u l t i r o a d w e l dw a sd e v e l o p e d ，t h eh a r d w a r es y s t e mc o o p e r a t ew i t ht h es o f t w a r et h a td e s i g n w i t hv i s u a lc + + 6 0t or e a l i z ew e l d i n gs e a mt r a c k i n g w i t ht h eh e l po fi d e ap r e v i o u sf o ri m a g ep r o c e s s i n ga n dv i ai l l u m i n a t e da n d c o m p a r e df o rt r a d i t i o n sf r i n g ed e t e c t i o nw a y s ，an e wm e t h o da n dp e r s o n a ls o f t w a r e f o ri m a g ep r o c e s s i n ga r eo f f e r e di nt h ea r t i c l e t h ef e a s i b i l i t yo ft h em e t h o dw a sa l s o p r o v e db ye x p e r i m e n ti nt h ea r t i c l e t h e n ，s e a mr e c o g n i t i o nf o rv - g r o o v e ，l a p ，f i l l e t ， b u t ta n dm u l t i l a y e rm u l t i - r o a di sc o m et r u e t r a d i t i o n a lp i dc o n t r o ls t r a t e g y , f u z z yc o n t r o ls t r a t e g ya n df u z z y - p i dc o n t r o l s t r a t e g y a r eo f f e r e dmt h ea r t i c l e t h es o f t w a r ef o rt r a c k i n go fv - g r o o v ea n d m u l t i l a y e rm u l t i r o a dw a sa l s op r o v i d e di 1 1t h ea r t i c l e t h es o f t w a r ep r o v i d et h e f u n c t i o no fd i s p l a ya n ds t a k e o u tt h ei m a g ew h i c hd i s p o s i n ga n db e e np r o c e s s e d t h e i n f o r m a t i o nf r o mp r o c e s s e ds e a mi m a g ew a sp u ti n t of u z z y - p i dc o n t r o l l e ra n dv i a o u t p u td i s p o s a l ，w e l d i n gs e a mt r a c k i n gw a s r e a l i z e df i n a l l y t h ev i s u a lse 】i v oa n dc o n t r o ls y s t e mf o rw e l d i n gs e a mt r a c k i n gw e r ev a l i d a t e db y e x p e r i m e n t ，t h ef e a s i b i l i t ya l s ob e e np r o v e d k e yw o r d s ：w e l d i n gs e a r r lt r a c k i n g ，c o m p u t e r v i s u a ls e r v o ，s e a mr e c o g n i t i o n ， m u l t i l a y e rm u l t i r o a d ，f u z z y p i d 独创性声明 淤8 9 8 8 6 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得南昌大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者躲励幻签字隰彬年月脚 学位论文版权使用授权书 本学位论文作者完全了解南昌大学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权南昌大学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 签字日期：埘年 确列 i i 占爿哆曰 学位论文作者毕业后去向 工作单位： 通讯地址： 导师签名 签钠期：妒6 月c 弓日 电话 邮编 第一章绪论 11 1 、课题研究背景及意义 1 1 1 、课题研究的背景 随着电子计算机科学( 包括大规模集成电路、应用软件、计算方法) 、图 像处理、光电技术、模式识别技术与理论的迅速发展，计算机视觉的实际研究与 应用日益得到重视和瞩目，并不断在许多领域取得初步性的成果。例如：机器人 视觉、视觉检测与测量、柔性生产线自动化以及焊接自动化等。许多国际会议， 如自动化会议、工业机器人会议，应用计算机视觉会议，人工智能会议以及焊接 自动化会议等都涉及到它的研究和应用成果。自从1 9 7 1 年开始，每年召开一次 的国际工业机器人会议曾发表了许多关于计算机视觉的论文。特别是自1 9 8 1 年 以来，国际上专门召开了每年一次的“r o b o t sv i s i o na n ds e n s o r yc o n t r o l s ”会议， 更集中了这方面的最新成果和进展，许多机器人视觉都是基于计算机视觉之上 的，机器人的控制离不开计算机的参与。 在焊接自动化的领域，曾研究过许多的类型的传感方法。视觉传感与其它的 传感方式比较主要有以下几个方面的优点0 1 】： ( 1 ) 、图像传感具有非接触的特点； ( 2 ) 、可以传感各种材料，不受导磁和非导磁材料的限制； ( 3 ) 、可以传感各种焊接接头形式； ( 4 ) 、受焊接电弧的电、磁干扰不大； ( 5 ) 、具有较大、较宽的传感距离和范围。 目前这方面的研究大多数应用于焊接过程的焊缝跟踪，也有采用焊接视觉系 统对焊缝宽度和熔池进行控制的。人的视觉实验表明，在通常情况下，仅凭一条 轮廓线就能识别一个物体，而且在图像理解中，物体的边界表示还容易综合成各 种各样的物体识别算法。图像边缘提取算法的研究一直是图像处理领域的熟点之 一。寻找一种对噪声不敏感、定位精确、不漏检真边缘又不引入假边缘的检测方 法，始终是人们努力的目标。其实焊接自动化的过程始终是机器视觉即计算机视 觉研究与应用的过程。 对焊接过程的实时焊缝跟踪的研究应该说是一个古老而又年轻的课题，发达 国家对弧焊过程的自动焊缝跟踪已进行了多年的研究和探索，取得了可喜的成 绩。在近代，由于模糊数学和神经网络的出现，并将其应用到焊接这一复杂的不 确定性的非线性系统，又使焊缝跟踪踏入了一个崭新的时代智能焊缝跟踪时 代。 国内对焊缝跟踪的研究起步较晚，尤其对焊接机器人的研究，研究手段和研 究方法还处在探索时期，但是这些关于焊缝跟踪的研究都对我国焊接行业提供也 很多的有益的启示。国内很多高校都对焊缝跟踪做了较深入的研究并取得了一定 的成就【0 2 】。 1 1 2 、课题研究的意义 由于在焊接过程中存在许多干扰，给焊接近弧区采用计算机视觉直接观察方 法带来很大的问题，但是通过直接观察焊接近弧区能获得更多、更有利于焊接过 程分析和控制的信息，并且具有强烈的直观性和真实性；加之目前我国的焊接自 动化水平相对不高，采用视觉技术的优点，结合焊接过程的特殊性研究计算机视 觉在焊接过程中的应用具有十分重要的意义。 因此，计算机视觉在焊缝自动跟踪中的应用成为迫切需要解决的问题，实现 焊缝自动跟踪也是焊接工业自动化的未来发展趋势，它不仅可以较大程度地提高 焊接过程的生产力，而且可以保证更高的焊接质量，减轻工人的工作强度。但如 何克服焊接过程的干扰得到相对清晰的焊缝图像，并通过图像处理得到焊缝的边 缘轮廓仍然是一个很难解决的问题。 德国m e t a 公司开发了用于v 型坡口和多层多道焊缝信息的采集跟踪控制系 统，但其价格昂贵，一般要2 万美元一套，因此没有得到普遍的应用。国内许多 单位开展了研究，但仍没有比较成熟的产品f 删。因此本课题的研究是具有实际 意义的。 1 2 、计算机视觉系统 人类自古以来一直在进行认识自然和改造自然的活动，创造和发展了各种科 学技术，随着对自然包括人自身的认识的不断加深，人们发明和创造了许多工具 和机器，用来提高自己各种活动的效率以及代替自己的部分劳动，人们甚至希望 用机器来代替自己的劳动和思维活动，从简单的机械运动到具有人工智能的综合 运动，在这种情况下，计算机视觉和人工智能的研究在2 0 世纪6 0 年代初露端倪。 计算机视觉( c o m p u t e rv i s i o n ) 又名图像理解，图像分析或机器视觉，是当今 世界上最引人注目的高技术之一，它是人工智能的子领域。 我个人认为，计算机视觉系统是指用计算机来实现人的视觉功能，它往往 和机器的运动是分不开的，它能够自动地获取分析图像，以得到描述一个景物或 控制某种动作的数据，尔后结合机械运动达到某种目的。 计算机视觉是随着2 0 世纪6 0 年代末计算机与电子技术的快速发展而出现 的。把视觉信息用于机械手定位的研究可以追溯到2 0 世纪7 0 年代 0 5 】。当时出 现了些实用性的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料 罐装场合的检次等。经过1 0 年的发展，8 0 年代后期，出现了专门的图像处理硬 件，人们开始系统地研究计算机视觉控制系统惭j 。到了9 0 年代，随着计算机能 力的增强和价格下降，以及图像处理硬件和c c d 摄像机的快速发展，计算机视 觉系统吸引了众多研究人员的注意。在过去的几年里，计算机视觉控制无论是在 理论上还是在应用方面都有很大进步。最早基于视觉的机器人系统，采用的是静 态l o o ka n dm o v e 形式。即先由视觉系统采集图像并进行相应处理，然后通过计 算估计目标的位置来控制机器人运动，其中的处理过程也离不开计算机的参与。 这种操作精度直接与视觉传感器、机械手及控制器的性能有关，这使得机器人很 难跟踪运动物体。到2 0 世纪8 0 年代，计算机及图像处理硬件得到发展，使得视 觉信息可用于连续反馈，于是人们提出了基于视觉的伺服( v i s u a ls e r v o ) 控制形式 叩”。计算机视觉系统对机器人智能控制都具有非常重要的意义。目前国际国内 都在大力研究，并且有一些机器人视觉系统投入使用。如美国斯坦福大学和s r i 共同开发的s r iv i s i o nm o d u l e ；荷兰p h i l i p s 公司研制的p a p s 系统等【0 8 i 。 但这些系统结构复杂，价格昂贵。我国根据工业生产中需要简单形状识别系统， 于1 9 9 4 年研制成功一套二维视觉系统，并将其安装在一台平面关节机器人上， 进行工件的形状分析和视觉定位，并将位姿信息传递给机器人控制系统，引导机 器人抓取所需的工件【0 9 1 。 计算机视觉研究的目标是使计算机通过二维图像理解三维环境信息，三维环 境信息不仅指三维环境中物体的几何信息，还包括物体的形状、位置、姿态、运 动等，并且能对物体进行描述、存储、识别理解等。计算机视觉内容广泛，涉及 数学、图像处理、计算机图形学、模式识别、人工智能神经网络、模糊控制、数 字信号处理以及计算机硬件知识等。 计算机视觉技术是基于计算机技术之上的，在工业当中，一般用到的计算机 是工业控制机1 0 1 ，工业控制机性能稳定，但其便携性受到了一定的限制。在本 系统中，我们用到了嵌入式的工业控制计算机p r 一1 5 0 0 。 嵌入式系统是后pc 时代的主导，其设计的目的在于满足某种特殊的功能。 嵌入式系统一般指非p c 系统，有计算机功能但又不称之为计算机的设备或器材。 它是以应用为中心，软硬件可裁减的，适应应用系统对功能、可靠性、成本、体 积、功耗等综合性严格要求的专用计算机系统。简单地说，嵌入式系统集系统的 应用软件与硬件于一体，类似于p c 中b i o s 的工作方式，具有软件代码小、高 度自动化、响应速度快等特点，特别适合于要求实时和多任务的体系。嵌入式系 统主要由嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用软件系统等组成， 它是可独立工作的“器件”【1 l j 。 嵌入式系统的硬件部分，包括处理器微处理器、存储器及外设器件和i o 端口、图形控制器等。嵌入式系统有别于一般的计算机处理系统，它不具备像硬 盘那样大容量的存储介质，而大多使用e p r o m 、e e p r o m 或闪存( f l a s hm e m o r y l 作为存储介质。软件部分包括操作系统软件( 要求实时和多任务操作) 和应用程序 编程。应用程序控制着系统的运作和行为，而操作系统控制着应用程序编程与硬 件的交互作用。 近几年来，p c 机技术向嵌入式应用领域渗透的步伐曰益加大，国内外计算 机工业都十分重视发展嵌入式p c 机工业。随着嵌入式p c 机技术的发展和工控 业发展的需要，嵌入式系统臼益被人们采用，它较之般工控技术的特点有：将 嵌入式工控机安装到控制器中，简化了系统硬件，提高了系统的抗干扰能力、防 尘能力、散热能力、防振能力等，从而有利于现场操作。在我国，嵌入式技术还 处在新兴阶段，因此，在本课题中应用嵌入式硬件系统具有重要的实际意义。 1 3 、计算机视觉伺服控制 1 3 1 、计算机视觉伺服控翻的分类 视觉伺服控制系统可以从不同的角度，如反馈信息类型、控制结构和图像处 理时间等方面进行分类。 根据控制结构，可分为开环控制系统和闭环控制系统。开环控制系统的视觉 信息只用来确定运动前的目标位姿，系统不要求昂贵的实时硬件，但要求事先对 摄像机一机器人进行精确标定。闭环控制系统的视觉信息用作反馈，这种情况下 能抵抗摄像机与机器人的标定误差，但要求快速视觉处理硬件，否则实时陛不能 保证。 根据摄像机的安装位置可分为e y e i n h a n d ( 眼基于手) 安装方式和其它安 装方式。前者在摄像机和执行元件末端之间存在固定的位置关系，后者的摄像机 则固定于工作区的某个位置。 根据摄像机观测到的内容可分为e o l ； d e c l 视觉控制系统，e o l 系统中摄像机 只能观测到物体；e c l 系统中摄像机可观测到目标物体和机械手末端，这种情况 的摄像机一般固定于工作区，其优点是控制精度与摄像枫和末端之间的标定误差 无关，缺点是执行任务时，执行机构会挡住摄像机视线。 根据视觉处理的时间，可分为静态和动态两类。 根据所用摄像机的数目可分为单目、双目和多目等“”。 计算机视觉伺服系统根据反馈信号的不同可以分为p o s i t i o nb a s e dv i s u a l s e r v o ( 基于位置的视觉伺服) 和i i n a g eb a s e dv i s u a ls e r v o ( 基于图像的视觉伺服) ，基 于位置的视觉控制的反馈偏差在三维笛卡尔坐标空间中进行计算，而基于图像的 视觉控制的反馈偏差在二维图像平面空间进行计算o ”。 在本文中，我们的反馈信号主要是根据采集到的焊缝图像进行了图像处理后 得到的焊缝与焊枪之间的偏差信号，因此，本伺服控制系统可以归于基于图像的 视觉伺服。 1 3 2 、计算机视觉伺服控制系统的发展与现状 随着计算机视觉的发展，2 0 世纪8 0 年代后出现了专门的图像处理硬件，人们 开始系统的研究视觉控制系统。到t g o 年代，随着计算机能力的增强和价格下降， 以及图像处理硬件和c c d 摄像机的快速发展，计算机视觉控制系统吸引了众多研 究人员的关注，视觉控制在理论和应用方面都有了很大的进步。 计算机视觉伺服控制是以实现对机器的控制为目的而进行图像的自动获取 与分析，因此是利用计算机视觉的原理，从直接得到的图像反馈信息中，快速进 行图像处理，在尽量短的时间内绘出控制信息，构成位置闭环控制从而达到某种 控制目的。 基于视觉的伺服( v i s u a ls e r v o ) 控制形式是在2 0 世纪8 0 年代计算机以及图 像处理硬件得到发展的基础上被人们提出来实现实时控制的目的。这种方式可以 克服模型( 包括执行机构、视觉系统、环境) 中存在的不确定性，提高视觉定位或 跟踪的精度。随之，基于视觉的伺服控制系统广泛用于机器人，机器控制等方面 “。目前，计算机视觉伺服控制研究仍然是一个非常活跃的研究领域。随着计算 机科学、神经网络、人工智能、信号处理、神经生理学、模式识别以及其它相关 领域学科的发展，计算机视觉研究的新概念、新方法、新理论不断涌现，计算机 视觉伺服控制理论的研究得到了更深入的发展。 1 3 3 、计算机视觉伺服控制系统在焊接中的应用与趋势 计算机视觉以其信息量大、精度高、检测范围大等特点，在焊接领域得到了 广泛应用，为实现焊接操作自动化提供了有力手段。借助c c d 摄像机、红外摄像 仪、x 光探伤仪、高速摄像机等图像传感设备及智能化的图像处理方法，许多机 器人及特定的自动焊机也具备了一定的视觉功能，它们不仅可以模拟熟练焊工的 视觉感知能力，而且可以超越人的局限，完成诸如：获取并处理强弧光及飞溅干 扰下的焊缝图像，实时提取焊接熔池特征参数，预测焊接组织、结构及性能等工 作，实现人类难以直接作业的特殊场合( 如水下、空间核辐射环境等) 的自动焊 接施工，确保焊缝质量的稳定性和可靠性“”1 。 在国内外研究人员的共同努力下，计算机视觉广泛应用于焊缝跟踪、熔池 形状与熔透控制、焊道形貌检测与控制等领域，为焊接生产和过程自动化、智 能化作出了重要贡献。鉴于焊接过程的复杂性、先进制造业对焊接技术更高层次 的需求及用户对新型视觉传感系统更高的性能价格比要求，当前还必须解决系统 的复杂性与可靠性、实时性与精确性、可控性与智能化等方面的问题。 展望未来，采用最新的计算机视觉理论，开发焊接机器人视觉传感与控制技 术，研制能够识别目标环境、随时精确跟踪轨迹并调整焊接参数的智能焊接机器 人已经成为焊接领域的重要发展趋势之一。国内外许多研究人员对计算机视觉系 统在焊接接头特征识别、焊接参数优化、焊枪位姿调节、焊接路径规划、焊缝跟 踪、焊缝熔透控制等方面的应用开展了卓有成效的研究。国外知名的焊接机器人 厂家如k u k a 、g m f 、m o t o m a n 、a d e p t 等相继开发出装备有新型视觉传感系统的机 器人1 。与普通机器人相比，新型机器人因其具有更为广阔的应用领域、更为强 大的功能及更为优越的性能，而受到市场广泛欢迎，其售价通常是普通机器人的 两倍。国内也相继开发出具有视觉传感功能的智能化的特种机器人产品。具有视 觉功能的机器人已经应用于汽车、航天和重型构件的生产和用于锅炉、管道、大 型球罐的焊接生产。”。 可以预见，在不久的将来，具有视觉功能的智能机器入必将在深水、外层空 间及核辐射环境等条件恶劣的工作场合中完全代替焊工，完成焊接操作，这些机 器人都有了计算机数据采集、处理和分析功能，是计算机视觉伺服控制系统的典 型应用。 目前，弧焊机器人在工业机器人中占有很大的比例，但绝大部分属于传统 的机器人焊接系统，即非自适应、无视觉焊接机器人，从整体上看基本都属于第 一代或准二代的焊接机器人。由于焊接路径和焊接参数是根据实际作业条件预先 设置的，在焊接时缺少外部信息传感和实时调整控制功能，这类弧焊机器人对焊 接作业条件的稳定性要求严格，焊接时缺乏“柔性”，表现出明显的缺点。在实 际弧焊过程中，焊接条件是经常变化的，如加工和装配上的误差会造成焊缝位置 和尺寸的变化，焊接过程中工件受热及散热条件改变会造成焊道变形和熔透不 均。为了克服机器人焊接过程中各种不确定性因素对焊接质量的影响，提高机器 人作业的智能化水平和工作的可靠性，要求弧焊机器人系统不仅能实现空间焊缝 的自动实时跟踪，而且还能实现焊接参数的在线调整和焊缝质量的实时控制，因 此，采用视觉传感器反馈信息导引焊接机器人并控制焊接过程以达到高质量焊接 目的是极其必要的。要实现机器人焊接过程完全的智能化，远距离的初始焊位导 引系统是必需的。针对这一课题的特点我们决定采用计算机视觉伺服控制方法来 解决。在基于视觉的伺服控制中，从激光图像传感器获取的视觉信息用于机器人 本体和十字滑块的运动控制。从激光图像传感器观察到的图像将随机器人的运动 而改变，伺服控制利用这一图像变化来确定所希望的机器人本体和十字滑块的运 动。 1 4 、论文的中心内容 本课题来自于国家高新技术研究发展计划( “8 6 3 ”计划) “爬行式全位置焊 机器人系统与产品开发”( 2 0 0 1 a a 4 2 2 2 2 0 ) 。 本课题力求研究出可靠性高、抗干扰能力强和适用较为普遍的焊接视觉传感 系统和焊缝识别算法，同时以嵌入式工业控制机代替普通工控机系统，诣于建立 一套完整的小巧便携的焊缝跟踪视觉伺服控制系统，满足弧焊机器人自动控制的 要求，从而将焊接工人从恶劣的工作环境中解放出来，提高焊接工艺质量和焊接 效率。主要内容有焊缝视觉伺服系统硬件的完善、焊缝视觉识别软件和焊缝跟踪 控制器的设计以及系统控制软件的开发等。 第二章焊缝跟踪视觉伺服控制系统构成 2 1 、系统构成及工作原理 2 1 1 、系统的硬件构成 本视觉伺服控制系统主要由焊接对象、十字滑块、运动小车、c g 4 1 0 图像采 集卡、激光图像传感器、p r 一1 5 0 0 嵌入式工业控制机、输入输出i o 板6 4 1 0 、继 电器板p c l d 8 8 5 、焊机、送丝机等组成。其中图像采集卡、嵌入式工业控制机、 输入输出板、继电器板和液晶显示屏都装在了弧焊智能控制器中，控制器的面板 控制功能将在第四章介绍。运动小车、送丝机和十字滑块的电源也都装在了控制 器中，以方便操作和通过电压表监控电压。控制器体积较小，有一定的机械硬度， 方便携带，可以满足工业现场应用的需要。本硬件系统主要是用来实现对各种坡 口( v 型坡口、多层多道焊、l 型坡口等) 的图像进行采集和实时处理，经过一 视觉惜癌系统 控制电路及接口 图像采集和信息处理系绕 图2 - 1 系统硬件组成框图 图2 - 2 焊缝跟踪视觉伺服控制系统实物图 定的控制算法最终实现焊缝跟踪。传感器为激光图像传感器，装在工件的正面相 对于爬行机构小车的运动方向稍超前焊枪的地方，用来拍摄焊缝图像。硬件系统 结构图如2 - i 所示。图2 - 2 为系统硬件实物图。 2 1 2 、系统的工作原理 本系统的工作原理为：激光图像传感器将获取到的焊缝信息转换为视频信 号，视频信号一方面送装在控制器上的液晶显示器显示作为监控，另一方面经图 像采集卡转换为数字信号送计算机处理，通过w i n d o w s 9 8 操作环境中自编v c 十+ 软件对数字信号进行处理，提取焊缝的信息，提取到的焊缝信息与所要求的期望 值相比较，得到的焊缝与焊枪之间的偏差和偏差变化率，把偏差与偏差变化率送 控制器( 模糊控制器和p i d 控制器) 协调控制输出。输出的数字量经i o 板6 4 1 0 中的上拉电阻的作用直接转换为模拟量用来控制继电器板上对应继电器的动作， 从而控制了十字滑块电机正反转的供电和断电，最后通过执行机构十字滑块动作 来调节焊枪与焊缝之间的相对位置关系，从而达到焊缝跟踪的目的。在本系统中， 我们用到的焊接件为平板工件，因此在焊接的过程中并没有用到十字滑块的上下 运动，十字滑块的上下运动只是用在了对焊枪的初始定位中。 2 2 、视觉传感系统 随着科学技术的发展，检测技术已应用于人类科研生产、生活等活动中。在 非电量测试技术中，首先遇到的是将各种非电量转换为电量，而传感器就是实现 这一功能。传感器是实现自动检测和自动控制的重要环节，如果没有传感器对原 始参数进行可靠的测量，那么无论是信号转换或信息处理，或者最佳数据的显示 和控制都是不可能实现的。正是由于传感器这种“能感受到被测量的信息，并能 将检测感受到的信息，按一定的规律变换成电信号后以其他所需形式的信息输 出，以满足信息的传输、处理、存储、显示、记录和控制等要求”的功能【， 传感器在航天航空、国防、科研、工农业、生物、医学、交通运输、铁路、新材 料、新能源、军事，机器人等领域发挥着重要的作用。 在焊接自动化的研究中，曾研究过许多类型的传感方法f 2 3 _ 26 1 ，前文已经讲过 视觉传感器用在焊接中同其它的传感器比较具有的几个优点。 在焊接控制系统中，传感器提供系统赖以进行处理和控制所必须的有关焊缝 信息，因而焊接自动化的发展与传感器的开发是密切相关的，传感器的发展在多 半程度上决定了自动化焊接的发展。因此，只要掌握了传感器技术，就等于拿到 了开启焊接技术之门的钥匙。 2 2 1 、视觉传感系统的分类 近年来，随着计算机视觉技术的发展，利用机器的视觉能力获取图像信息， 通过软件处理，对焊接进行质量控制，已成为重要的研究方向。根据视觉检测系 统中成像光源是辅助光源还是焊接区自身产生的光源，直接视觉检测可分为主动 式和被动式两大类。 为了减小弧光对图像质量的影响，主动式直接视觉检测方法采用激光等辅助 光源对焊接区进行人工照明，以提高图像的质量。由于激光具有单波长，方向性 好，相干性好等特点，所以采用激光作为辅助光源可以获得较清晰的图像。主动 视觉由于其所需设备较为昂贵，系统较为复杂，常常限制了其应用推广。这里不 作详细介绍。可见参考文献 2 7 2 8 。在本系统中，对v 型坡口、多层多道焊、 对接、搭接、角接的焊缝跟踪用到的都是主动式直接视觉传感器。 目前作为焊接过程视觉图像传感的一种实用技术，研究较多的是不另加辅助 光源，而是利用弧光本身照明焊接区，即被动式直接视觉检测方法。 对被动式直接视觉传感较为深入的研究起步于八十年代中期，国内外研究工 作者曾直接利用电弧光照射熔池前方的工件间隙获取焊接区焊缝信息，根据熔池 前方不同远近处电弧光强度的闪烁来实现焊接过程中的焊缝跟踪：利用带有c c d 摄像机的微型计算机控制系统对脉冲m i g 淞g 焊熔池行为进行了观察和控制的 研究；美国o h i o 大学开发了一套放置在焊枪内部与电极同轴观测焊接熔池的集 成化视觉传感系统，在t i g 焊熔池观察和m i g 焊焊缝跟踪等方面进行了初步的研 究。 2 2 2 、激光图像传感器 在焊接的过程中，无论哪种传感器，它们的作用都是为系统提供赖以实现的 焊缝信息。传感器的好坏直接关系到焊接质量的好坏。在焊接的过程中，有极强 的弧光和大量的飞溅( 高温液态金属) 干扰，而焊缝信息的采集所用的方法是采 集焊缝的正面图像，为了提高信源的信噪比，使视觉传感系统能够在如此恶劣的 环境下正常工作，视觉传感器作了特殊的设计，图2 - 3 为本课题中用到的激光图 像传感器实物图，图2 4 为激光传感器传感一多层多道焊缝时的原理图。 图2 - 3 激光传感器实物图 图2 - 4 激光传感原理图 激光图像传感器主要是由激光器和c c d 摄像机两部分组成。半导体激光器具 有体积小，重量轻，性能稳定等优点，激光本身具有很高的单色性，方向性好， “方向性愈好，聚焦斑愈小，聚焦点上的能量密度愈高”，则形成高亮度的激光 线，所以半导体激光是焊接机器人主动光源式视觉传感器的首选光源。c c d 摄像 机将局部视场内的光学图像信号转换成带有图像空间的电信号与同步信号合成 完整的视频信号，经同轴电缆输入至图像采集卡，存放在图像采集卡的帧存贮体 中，供计算机进行各种处理操作。本系统采用香港吉川公司的j c b s 6 2 9 型超微 型黑白c c d 摄像机，其中的c c d 图像传感器芯片采用的是日本s o n y 公司的芯片， 型号是i c x 2 5 8 a l 。 为了防止弧光和金属飞溅直接的干扰，我们把激光器、透明塑料片、滤光片 和c c d 摄像机四部分封装在一个铝制金属盒内”1 。 透明塑料片的主要功能是防止焊接时的飞溅损伤视觉传感器，及防止焊接时 的烟雾影响激光的质量和c c d 摄像机拍摄图像的质量。但是当铝制金属盒内的 激光器发射激光时，激光将在透明塑料片的内表面发生反射，这样将会提高金属 盒内的亮度，从而使拍摄的焊缝图像信噪比降低。因此，金属盒内全部涂黑，用 于抑制反光，达到降低背景噪声的目的。 - 1 2 从视觉传感器实物图可以看到其下部有一片金属小挡板，其主要功能是阻挡 焊接飞溅和焊接弧光以提高焊缝图像的质量和防止c c d 摄像头被烧坏。 滤光片的主要功能是只允许激光波长( 6 5 0 + - 2 n m ) 附近的光线进入c c d 摄 像机。焊接时的弧光光谱是宽光谱，滤光片可以抑制焊接弧光，大大提高图像信 噪比，文献【3 3 l 中实验表明滤光片可以减少图像中的激光条纹的变形达1 0 一2 0 倍。 在焊接拍摄图像的过程当中，激光器的放置角度对焊缝图像的质量有着至关 重要的作用，从图中我们可以看出，激光器所发射出来的激光经工件的反射， c c d 摄像头接收激光形成焊缝光纹，因此在采集的过程中先要打磨掉工件表面 的铁锈和脏物。另外，要使得c c d 摄像头能够垂直于工件表面，以便最大限度 的接收工件表面反射回来的激光，提高焊缝的图像质量和图像处理的精度。 2 2 3 、图像采集卡 在本系统中，采用的是北京大恒公司的图像采集卡d h c g 4 t 0 视频采集卡， 它具有灵活、集成度高、功耗低等特点。由于采用p c 总线，所采集的图像数据 v ) e 0 1 v ) e 0 2 d e 0 3 v d e 0 4 v i 【) e 0 5 v ) e 0 6 图2 - 5c g 4 1 0 工作原理框图 线 传输基本不占用c p u 空间，并可将图像直接传送到计算机内存或显存。其基本 结构和工作原理如图2 - 5 所示。视频图像经多路切换器、解码器、a d 转换，将 数字化的图像数据送到数据缓冲器。经裁减、比例压缩及数据格式转换后，由内 部控制图形覆盖与数据传输，数据传输目标位置由软件决定，可以是显存，也可 以是计算机内存，该图像采集卡支持多种格式的视频输出，本系统中用到的是8 位位图格式。 2 3 、系统接口与驱动 2 3 1 、输入输出系统 在本系统中，我们采用的输入输出系统模块是a c 6 4 1 0 。a c 6 4 1 0 是一款通用 光电隔离i o 板，具有1 6 路输入、1 6 路输出、一路1 6 位计数器。采用p c i 总线支持 即插即用、无需地址跳线。a c 6 4 1 0 具有3 2 路开关量一1 6 路输入及1 6 路输出。a c 6 4 1 0 采用大规模可编程门阵列设计，提高可靠性。如果需要更多的路数，可以选择 a c 6 4 1 2 ，a c 6 4 1 2 具有隔离3 2 路输入3 2 路输出。 a c 6 4 1 0 的1 6 路输入支持5 4 8 伏输入，同时输出为大功率集电极开路输出( 0 c 输出) ，可以方便的驱动继电器、l e d 等负载。输出级同时提供了上拉电阻，借用 外部电源可以直接输出电压。 在本系统中，我们对a c 6 4 1 0 f f ? 用到的是它的输出而没有用到输入，其输出 级原理见图2 6 。e x t 为外部电源、r l 输出上拉电阻、s 1 输出上拉容许( 设置 1 白，6 呷 眵本8 出 o n 时容许) 。如果加入上拉电阻，输出的商电压为外部电源电压、低电压小于1 伏，输出的上拉电流为：v e x t 2 k ( m a ) ( v e x t 外部输入电压的数值) 、输出下 拉电流为1 0 0 毫安。 2 3 2 、p c l d 8 8 5 继电器板 p c l d 8 8 5 功率继电器输出板为1 6 通道s p s t 常开继电器输出，在本系统中 是通过a c 6 4 1 0 的模拟量输出来驱动，一根数据线对应于一个继电器的动作。这 些继电器能够用来作为开关来应用，也能用来驱动和继电器相连的l e d 的显示。 其一些技术参数如下： 触点负载：5 a 3 0 v d c 或2 5 0 v a c 阻性 触点电阻：3 0 m f l 最大 运行时间：6 m s 最大 释放时间：3 m s 最大 击穿电压：开接点之间7 5 0 v a c1 分钟线圈和接点之间2 5 0 0 v a c1 分钟 隔离电阻1 0 0 g m i n 由p c l d 8 8 5 继电器的技术参数可以看出，其运行和释放时间短，隔离电阻 大，能够满足在该系统应用中的要求。p c l d 8 8 5 提供1 6 路输出通道，满足机 器人本体和装在机器入本体上十字滑块的控制要求，另外还可以提供以后的扩展 应用。 第三章焊缝激光视觉识别方法 3 - 1 、常用的边缘检测方法 在焊接的自动控制系统当中，焊接质量的好坏直接决定于图像处理的效果， 笔者认为图像处理没有规定的模式，应用很多方法都可以实现焊缝图像的处理， 得到焊缝的信息。而边缘检测在焊缝图像甚至各种图像的分析中都占有重要的地 位，在本文的焊缝图像处理中也用到了边缘检测方法，因此在这对常用的边缘检 测方法做个综述和比较。 边缘检测是图像处理和计算机视觉领域的一个重要而困难的课题。其困难主 要来自两个方面，一是边缘的成因复杂，实际景物图像中的边缘往往是各种类型 的边缘以及它们模糊化后结果的组合【3 4 】。对它的确认甚至涉及心理学的因素； 第二个困难是要在噪声和边缘间做取舍，二者是高频信号，很难用频带区分。边 缘和噪声的显著区别是二者能量不同，边缘有较大的能量和范围，因此，在平滑 滤波作用下，它不会像噪声那样消失，而是表现为模糊化，此时，再用空间导数 提取边缘往往是移位以后的结果【3 ”。 目前人们已经设计出许多边缘检测算子，如s o b e l 算子，r o b e r t 算子， l a p l a c e 算子等，这些传统边缘检测方法运算简单，抗干扰能力差，常常把噪声 当作边缘点一起检测出来。因此，很长时间以来，各国学者在如何提高边缘的检 测性能方面做了大量的工作。1 9 8 0 年m a r r 和h i l d r e t h 提出所谓的l o g 边缘检 测算子【3 印( 也称m a r t 算子) ，首先对原始图像用g a u s s 函数平滑，然后再将l a p l a c e 算子作用于平滑后的结果，用提取零交叉点的方法进行边缘检测；1 9 8 6 年c a n n y 应用变分原理推导出一种用高斯模板一阶导数逼近的最优算子f 3 7 】，可以有效的 确定信号突变位置。但由于这两种算子都基于g a u s s 函数空间，g a u s s 函数的方 差直接影响到边缘检测的效果。如果用方差较大的高斯滤波器( 对应较大的窗口) 虽然抗干扰能力强，但边缘细节丢失较多；如果采用较小的窗口，虽然能获得较 高的边界定位精度，但它对滤波除噪声又不够有效。实用时，窗口参数难于自动 调整，且窗口尺寸大小直接影响到算法计算量。 下面对一焊缝图像用各种边缘检测算子进行边缘检测的性能比较。 原图 r o b e r t 算子边缘检测 s o b e l 算子边缘检测p r e w i t t 算子边缘检测 k r i s c h 算子边缘检测 g a u s s l a p l a c e 算子边缘检测 图3 1 无干扰边缘检测器性能比较图 我们用进行了图像分割后的图像作为原始图像来进行边缘检测。 从图中可以看出，由于p r e w i r 算子并不是各向同性的，所以在用p r e w i t c 算子进 行边缘检测得到的图中我们看到的边缘并不是完全连通的，有一定的断开，s o b e l 算子也存在这样的问题。g a u s s l a p l a c e 算子把高斯平滑滤波器和拉普拉斯锐化 滤波器结合起来，先平滑掉噪声，再进行边沿检测，所以效果较好，但它产生的 边缘较粗，这样很容易产生一定的移动。而k r i s c h 算子检测出来的边缘看起来 比较理想，但这不过是在没有电弧干扰的情况下。图3 2 中，( a ) 图为一加了弧 光干扰和严重噪声的图像经过图像分割后得到的图像，用该图像作为原图来进行 边缘检测分析，( b ) 为k r i s c h 算子检测到的边缘，可以看出，在有干扰情况下 用k r i s c h 算子检测焊缝的边缘，效果不是很好，虽然该方法也把图像的边缘检 测出来了，但是它对于弧光干扰和噪声干扰没有过滤作用，这对后面的特征提取 带来了困难，而( c ) 是本文中提出的用小波变换检测到的边缘，其效果较好， 边缘轮廓清晰，很好的清除了各种干扰。因此，在焊接领域，用以上传统算子 来检测焊缝的边缘都不是很理想。 ( a ) 、原图 ( b ) 、k r i s c h 算子边缘检测 ( c ) 、基于小波变换边缘检测 图3 - 2 有干扰边缘检测性能比较图 3 2 、基于小波变换的多尺度边缘检测 在本系统中，采用的边缘检测方法是基于小波变换之上的，我们采用4 阶b 样条函数的导数三次样条小波作为检测焊缝位置的小波。文献 3 8 中利用 m a t l a b 语言编程进行边缘的检测，取得了一定的效果，但其在算法上没有考虑无 边缘点的情况，因此得出的边缘图像中具有一些离散的点，不利于后面的特征提 取。本文用v c 语言编程，在算法上做了改正，完善了不足之处，取得了很好的 边缘处理效果。 本文用到的小波滤波器系数和尺度滤波器系数3 9 1 如表3 一l 所示，其g ( n ) 为尺 度滤波器系数，h ( n ) 为小波滤波器系数。 表3 - 1 小波变换系数 n321o1234 g ( n ) 0 0 0 0 00 0 6 2 50 2 5 0 0o 3 7 5 00 2 5 0 00 0 6 2 50 0 0 0 00 0 0 0 0 h ( n ) 0 ，0 0 0 0 80 0 1 6 4 3 0 1 0 8 7 2 0 5 9 2 6 10 5 9 2 6 1 o 。1 0 8 7 2 o 0 1 6 4 30 0 0 0 0 8 在本文中，用多尺度的小波变换来实现焊缝的边缘检测的原理是：以图3 2 ( a ) 为例，取原始图像的第1 列( 图中以第1 0 0 列为例) 分别进行尺度1 和尺 度2 的尺度滤波，分别得到a l ，a 2 ；再进行尺度l ，尺度2 ，尺度3 上的三层小 波滤波，突现出灰度曲线突变点的位置，分别得到d 1 ，d 2 ，d 3 。 滤波的主要表达式为： “) = u ( j ) v ( k + l 一，) ( 3 1 ) 其中，w ( k ) 为滤波后得到的第k 个像素的灰度值，u ( j ) 为第j 个滤波系数g ( ，) 或 h u ) ，v ( k + l j ) 为以第1 0 0 列中所有像素为元素组成的数组中第( k + l - j