（材料加工工程专业论文）基于形态学的焊接区熔池图像的处理与识别.pdf

基于形态学的焊接区熔池图像的处理与识别 摘要 近年来，对于基于c c d 视觉传感器的弧焊自动控制系统成为国内外焊接界 学术研究的热点问题之一。因提取由c c d 拍摄到的焊接熔池的轮廓边缘是焊接 过程控制和质量控制的第一步，所以焊接熔池边缘轮廓提取算法和步骤受到越 来越多的科研工作者关注。本文针对现有算法在提取焊接熔池轮廓时不能兼顾 滤除噪声和精确提取边缘的不足，主要研究了以下内容： 1 在分析焊接熔池图像的特点基础上，通过程序设计演示不同的预处理平 滑算法和二值化方法在焊接熔池图像中的应用，证明中值滤波在消除焊 接熔池图像噪声点有更好的优势。 2 在分析传统梯度算子在数字图像处理中应用的不足的基础上，通过程序 设计实现了非线性数字图像处理算法：二值形态学和灰度形态学，证明 灰度形态学梯度运算在焊接熔池边缘提取中可以在保留熔池原有形状 的同时去除噪声点。 3 在分析焊接熔池图像处理系统平台实际需求的基础上，提出了图像处理 平台的设计原则和功能要求，利用面向对象的c + + 语言实现基于 w i l l d o w s 平台下的焊接熔池图像处理系统平台。 关键词：弧焊机器人，c d d 视觉传感，数字图像处理，形态学 p r o c e s s i n ga n di d e n t i f y i n gi m a g eo fw e l d i n gm o l t e np o o l b a s e do nm o r p h o l o g y a b s t r a e t t h er e s e a r c ho na r c - w e l d i n ga u t o m a t i cc o n t r o ls y s t e mb a s e do nc c dv i s i o n s e n s o rh a sb e c o m eo n eo ft h eh o ts p o t si nt h ef i e l do f w e l d i n gb o t ha th o m ea n d a b r o a di nr e c e n ty e a r s e x t r a c t i n gb o r d e r l i n eo ft h ew e l d i n gm o l t e n p o o l i m a g e t r a c k e db yc c di st h ef i r s ts t e po fw e l d i n gp r o c e s sc o n t r o la n d q u a l i t yc o n t r o l ，s o m o r ea n dm o r es c i e n t i f i cr e s e a r c h e ra n dt e c h n i c a ls t a f f b e g a nt op a yc l o s ea t t e n t i o n t ot h e a l g o r i t h md e s i g na n ds t e p s c o n c e r n i n gt h es h o r t c o m i n g so fc u r r e n t a l g o r i t h mi nt h a t i tc a nn o th a n d l e f i l t e r i n gn o i s ew h i l ee x t r a c t i n gb o r d e r l i n e e x a c t l y ，t h r e ea s p e c t sa r ec a r e f u l l ys t u d i e di nt h i sp a p e r ： 1 b a s e do nt h ea n a l y s i so ft h ec h a r a c t e r i s t i c so fw e l d i n gm o l t e n p o o l ，t h e d i f f e r e n t p r e t r e a t s m o o t h a l g o r i t h m s a n db i n a r i z a t i o n a l g o r i t h m s a r e p r o g r a m m e dt od e m o n s t r a t et h er e s p e c t i v er e s u l t si nt h em o l t e np o o li m a g e ， a n dp r o v et h a tt h em e d i a nf i l t e r i n ga l g o r i t h mi sm o r ea d v a n t a g e o u si nf i l t e r i n g p o i n tn o i s e 2 b a s e do nt h ea n a l y s i so fs h o r t c o m i n g so ft r a d i t i o n a lg r a d i e n to p e r a t o ri ni t s a p p l i c a t i o ni nd i g i t a li m a g ep r o c e s s i n g ，t h en o n l i n e a rd i g i t a li m a g ep r o c e s s i n g a l g o r i t h m sa r ec a r r i e do u tb yd e s i g n i n gp r o g r a m ：b i n a r ym o r p h o l o g ya n dg r a y s c a l em o r p h o l o g y t h u sw ep r o v et h a tt h eg r a ys c a l em o r p h o l o g yg r a d i e n t o p e r a t o rc a nk e e pt h eo r i g i n a ls h a p eo ft h em o l t e np o o la n df i l t e rt h en o i s e p o i n ta ts a m et i m ew h i l ee x t r a c t i n gt h eb o r d e r l i n eo ft h ew e l d i n gm o l t e np 0 0 1 3 b a s e do nt h ea n a l y s i so fa c t u a ld e m a n do f w e l d i n gm o l t e np o o li m a g e p r o c e s s i n gs y s t e mp l a t f o r m ，t h ed e s i g np r i n c i p l ea n df u n c i o n a lr e q u i r e m e n to f t h ei m a g ep r o c e s s i n gp l a t f o r ma r eb r o u g h tf o r w a r d i nt h ee n d ，t h eo b j e c t o r i e n t e dp r o g r a m m i n gl a n g u a g e sc + + i su s e dt or e a l i z et h ew e l d i n gm o l t e n p o o li m a g ep r o c e s s i n gs y s t e mp l a t f o r mi nw i n d o w so p e r a t i n ge n v i r o n m e n t k e yw o r d s ：a r c w e l d i n gr o b o tc c dv i s i o ns e n s i n gd i g i t a li m a g ep r o c e s s i n g ， m o r p h o l o g y 插图清单 图2 1 弧焊机器人系统结构7 图2 。2 弧焊机器人视觉采集系统示意图9 图2 3 焊接区熔池图像1 4 图2 44 邻点和8 邻点示意图15 图2 5 三种不同滤波器的效果图1 8 图2 - 6 不同二值化方法得到的效果图2 0 图3 一l 阶跃性边缘和屋顶状边缘处一阶及二阶导数变化规律2 2 图3 2 采用不同梯度算子对焊接熔池图像边缘提取的效果图2 5 图3 3 二值膨胀运算示意图2 9 图3 4 二值腐蚀运算示意图3 0 图3 5 二值丌运算示意图3 1 图3 6 二值闭运算示意图3 1 图3 7 二值形态学运算在焊接熔池图像中的应用3 3 图3 8 灰度形态学运算在焊接熔池图像中的应用3 7 图4 1 焊接熔池系统功能分类图4 2 图4 2 焊接熔池图像处理软件系统总界面4 7 图4 3 电子束焊接微孔显微图像与对应的次度直方图分割效果图4 8 图4 5 基于灰度形态学梯度运算提取焊接熔池轮廓过程4 9 表格清单 表2 i 常见图像文件类型1 2 表2 2b m p 图像文件结构1 2 表2 3b m p 图像位图文件头结构1 3 表2 4b m p 图像位图信息头结构1 3 表3 1 梯度边缘分割算子介绍 2 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究丁作及取得的研究成果。据我所 知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果 也不包含为获得盒罂王些盍堂或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谤 意。 学位论文作者签等葑栩铸签字目期：妒6 年午月f 日 学位论文版权使用授权书 本学位论文作者完全了解盒鲤兰、业太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权盒目b 王些盔 ! 兰一可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密历适崩本授权书) 学位论文者签名暂相舒导师签名：剞萄矿妻 签字日期：h 饵q 月f 日 签字日期： 年 月日 爿妒c )屯嘻 工作单位：j 可牝眨7 5 研咒p 戈电话：；j ，玎j ；一 通讯地址：五敦伍游萄净夫f q ；j ；邮编：t 劫“l f 致谢 值此论文完成之际，衷心感谢培育我的导师胡小建副教授，向他表示崇高 的敬意和深深的谢意。作为计算机工学博士和焊接领域副教授，他具有博大精 深的知识、严谨的学风、敏锐的洞察力值得我终生学习：他的积极开拓、勇于 进取的科研精神，学生引为楷模：他对学生至真至诚的关怀，学生将铭记在身。 自读研究生以来，无论是生活上还是学业上，胡老师一直给予我极大的关爱、 帮助、支持和鼓励，从论文的选题构思到撰写及修改完成都自始至终得到了胡 老师的启发、指导、支持和信任，在此再次向胡老师表示感谢! 感谢合肥工业大学材料科学与工程学院为本人提供良好的研究条件，感谢 徐道荣、李萌盛等老师对我的关心、鼓励和帮助，感谢李蕴泽、胡志田、何前 进等同学对我的热心帮助，感谢所有关心我过的老师和同学。 本论文采用的焊接熔池图像照片来自华南理工大学薛家祥老师的焊接熔池 图像处理系统采集的熔池图片，这为论文提供了主要的数据来源。另外，由合肥 工业大学徐道荣老师提供了f e 。a i a 3 0 4 合金电子束焊接头a 3 0 4 侧拉伸断口微观形 貌图片也丰富了该论文的研究内容，在此特别感谢薛老师和徐老师无私帮助。 感谢各位评审专家，感谢你们在百忙中抽出时间对论文进行了仔细的评阅。 在此向所有帮助和关心过我的人们表示衷心的感谢。 最后，我从内心深处感激我的家人多年来对我的鼓励、支持和关爱，正是 他们的理解与支持下，才使我更好地完成学业和论文，他们也是我今后工作和 学习中不可缺少的动力与源泉。 作者：郑相锋 2 0 0 6 年3 月 第一章绪论 自1 9 6 2 年美国推出世界上第一台u n i m a t e 型和v e t s a t r a 型工业机器人以 来，到2 0 0 2 为止，据国际机器人联合会及联合国欧洲经济委员会统计，全世界 安装的工业机器人己达约1 2 0 万台，其中用于焊接的机器人占5 5 以上。在我 国，焊接机器人由“一五”期间仿制生产的自动焊机、半自动焊机和焊枪自动 行走系统起步，到1 9 8 5 年哈尔滨工业大学研制成功中国第一台h y l 型焊接机 器人以及在i 9 9 7 年沈阳第一机床厂与沈阳自动化研究所合作，北京首都钢铁公 司与日本株式会社安川电机等合作，丌始建厂生产以焊接机器人为主的专业合 资公司，实现了国内焊接机器人的从仿造、研发和批量生产的产业化过程。 但是，在我国已经应用于工业生产线的弧焊机器人，点焊机器人，机器人焊 接工作平台等焊接自动控制系统从整体上看基本上都属于示教再现型，功能较 为单一，且只有在焊接条件比较稳定的情况下可以保证焊接质量。但是，实际 的焊接条件经常发生变化，如强烈的弧光辐射、高温气氛、烟尘飞溅、坡口状 况、加工误差、表面状态和工件热变形等，这些因素都将使得焊矩偏离焊缝， 进而造成焊接质量的下降甚至失败。因此，这种焊接条件的不稳定性就要求焊 接机器人能够实时检测出焊缝的偏差，并调整焊接路径和焊接参数，保证焊接 质量的可靠性。 焊接机器人的实时检测模块和反馈控制模块必然涉及到包括几何量、物理量 在内的多种参考变量，但到目前为止，测量这些参数而采用的传感器，主要是 电弧传感器和光学传感器。电孤传感器“利用焊接电极和被焊工件之间的距离 变化能够引起电弧电流或电压变化这一物理现象来检测接头坡口的中心，因而 不占用额外的空间，使机器人可达性好，信号处理也比较简单，但是应用范围 有很大局限，必须在电弧点燃下才能工作，电弧在跟踪过程中要进行摆动或旋 转，不能用于薄板工件的对接、搭接、坡口很小等情况下的接头，在熔化极短 路过渡模式也存在应用困难。 但是，光学传感器0 3 利用光学成像原理借用c c d ( c h a r g ec o u p l e dd e v i c e ： 电荷耦合器) 摄像机、红外摄像仪、高速摄像机等硬件设备，克服了电弧传感 器的不足，但是价格比较昂贵，跟踪反馈控制比较繁琐，但是近年来，c c d 硬 件价格的下降，d s p ( d i g i t a ls i g n a lp r o c e s s i n g ：数字信号处理器) 图像处 理专用集成电路的普及，越来越多的科研工作者关注于基于c c d 传感器的焊接 机器人系统。 1 1 焊接区熔池视觉信息处理的研究意义 一个完整的焊接机器入系统除了对焊接设备本身的性能要求外，必定涉及焊 接过程传感、焊接过程建模和控制器设计三方面关键技术，其中由传感器得到 各种几何参数和物理参数是焊接过程控制和质量控制的原始变量，它将影响到 最终焊接件的机械性能和焊缝外观。由于基于c c d 视觉传感器具有灵敏度和测 量精度高、动态响应特性好、信息量大、抗电场和强磁场干扰能力强、与工件 无接触等优点，通常是焊接视觉传感器中的首选，它已在焊接工艺、焊接过程、 质量信息检测与控制中等得到广泛应用。 在如何更精确，更快速地获取这些原始的控制变量，研究学者认为主要从 c c d 传感器的拍摄条件和焊缝熔池图像特征参数提取两方面进行改进。在国内 外，对基于c c d 传感器的焊接自动控制系统的焊缝熔池图像拍摄研究相对比较 成熟，但是在熔池图像特征参数提取方面相对比较落后，因此研究熔池图像处 理技术对实现焊接机器人自动化和智能化具有重大意义“3 。 焊接区视觉信息包括几何信息与非几何信息”，几何信息传感是以空间位 置、尺寸为传感物理量，经分析可以得到接头位置、熔池尺寸等反映信息量， 主要的应用范围是路径规划、焊缝跟踪、成型控制和无损检测等；非几何信息 传感是指温度场、辐射等信息。在实际应用中，视觉信息可根据弧焊自动控制 系统分为过程控制视觉信息和质量控制视觉信息，前者主要包括焊炬及接头焊 缝的空间位置信息，后者主要指熔池形态的尺寸信息。 过程控制信息主要是得到焊缝和焊枪偏差量，其基本步骤：提取熔池边缘一 寻找中心点( 焊枪) 一焊缝中心一得到反馈变量即偏差。质量控制信息主要是 得到熔池的几何参数如：熔宽、熔池的半长、熔池面积、熔池后拖角等，其基 本步骤：提取熔池边缘一保存边缘点位置一利用几何参数计算公式计算。由此 可见，无论是质量控制还是过程控制，提取熔池边缘都是第一步，也是最重要 的一步，它的成功与否，精确与否，提取速度快慢等都关系着下一步熔池图像 处理的精度和速度。因此研究焊接熔池边缘提取对于提高焊接机器人智能控制 的实时性、智能性、多样性具有重大意义。 1 2 焊接区熔池视觉信息处理的研究现状与分析 焊接图像获取的目的就是利用其丰富的信息量来控制弧焊机器人行走和焊 接熔池成型。但是在粗糙表面和强烈弧光等焊接条件下，所采集的焊缝图像受 到飞溅、烟尘的干扰，且含有强烈的电磁干扰，导致检测到的焊接熔池信号受 到噪声的影响。因此，必须采取合适的图像降噪方法对图像进行处理以获取清 晰的焊缝图像。 现行图像滤波除噪”1 的常规算法有两种。一类是频率域方法，主要通过对图 像进行傅氏变换以后，选取适当的频域带通滤波器进行滤波处理，经傅氏反变 换后获得去噪声图像。这种方法对周期性特征较强的噪声较为有效，但在处理 过程中，由于难于区分与噪声频率相近的图像信息，以至往往造成大量图像信 息的损失。另一类方法是空间域方法，主要采用各种图像平滑模板对图像进行 卷积处理，以达到压抑或消除噪声的目的，如邻域平均、中值滤波等都属于这 一类方法。这类方法在消除或压抑噪声的同时，往往使图像变得模糊，损失了 图像中大量的微细影纹和边缘特征信息。 黄石生”3 等在研究焊接电弧时提出了一种新的简单实用快速的识别焊缝的 方法，该方法由c c d 摄像机得到的图像用直方图分析可以得到适当的阈值，使 图像三值化，然后对处理后的图像分析可以看到，如果图像每行的相邻像素相 减，可发现通过焊缝的行至少有四处差值为5 6 ( 黑点噪声行也会出现这种情 况) ，而不通过焊缝的行大多只有二处差值为5 6 ，但是多次试验表明含有黑点 噪声的行不会连续出现五行。因此，根据其特点可以通过程序控制来搜索到真 正的焊缝中心线。 陈章兰”1 在如何精确得到焊缝中心位置的研究中，通过大量的实验，用各种 不同的滤波器进行噪声滤波，发现w ie n e r 滤波方法得到的焊缝图像效果最好， 滤波后的灰度值沿着焊缝方向的相邻像素狄度值变化不大，使焊缝挺直，断层 少；在焊缝垂直方向灰度值相同的像素增多，焊缝约加宽1 2 个像素；高斯低 通滤波、平滑滤波去噪效果其次。对于焊缝边缘灰度突变，可采用检测梯度突 变的算子检测边缘信息，其中s o b e l 算子、r o b e r t 算子对灰度突变的图像边缘 检测效果较好。由w ie n e r 滤波和s o b e l 边缘检测得到的焊缝图像中心的精度可 达0 15 m m 内。 梁明”1 在设计熔池图像处理系统中利用小波变换的时一频分析的优点实现了 既降低图像噪声又能保持图像细节的焊接图像降噪。基本思想：首先，是将信 号进行小波变换，得到小波系数；其次是在小波变换域上利用信号与噪声的不 同形态，对小波系数进行阈值化处理，把噪声从信号中区分开来；最后利用重 构算法重构信号。 屈稳太”等在小波分析理论和边沿检测技术的基础上，提出了一种检测埋 弧焊焊缝位置的新方法：先将二维图像信号通过求均值转化为一维信号( 减少 计算量) ，然后利用小波变换的极大值点与极小值点来分析信号的边沿特性， 进而来确定焊缝的位置，并通过仿真得出小波变换的尺度a 取值为l 时效果比较 好。最后由于在连续的几帧焊缝图像中，焊缝位置之间存在着很强的相关性， 利用这种相关性可以进一步减小噪声的影响，提高检测的准确性。 薛家祥3 在实验中发现用c c d 捕获的c o 。焊熔池图像中存在大量的弧光噪声 和飞溅形成的点噪声，要准确地检测熔池图像的边缘较为困难。他先采用中值 滤波和乘法运算对c o 。焊图像进行降噪处理，然后用基于零交叉边缘检测方法 和多孔算法的b u b b l e 函数而构造的小波基对提取熔池边缘效果较好。 王建军“”将图像处理与模式识别技术用于铝合金t i g 焊接过程信息提取过 程，根据铝合金熔池图像随机噪声强的特点，采用加权中值滤波、统计灰度边缘 检测、统计期望阈值法和投影方法对铝合金熔池图像进行了预处理，采用b p 神经网络对二值化熔池图像进行边缘提取，取得了理想的效果：研究大电流条 件下铝合金熔池图像的对称性，通过单面图像，得到了完全的熔池边缘图像。 但是。对于较长的假边缘效果不是很明显。 m r l 一3 3 先生在提取焊缝图像时，在o t s u 阀值分割方法的基础上引入了遗 传算法的思想，提出一种自适应阀值算法，该算法在分割焊缝图像时，表现了 很强的稳定性和高效性。但是只限于焊缝区灰度值为焊接图像中最小值。 薛家祥”们在t i g 焊实验中发现，该焊接方法在没有外加送丝系统时，熔池区 的飞溅和烟尘的影响很小，可以直接进行二值化图像，而不用考虑二值化前的 去噪处理，采用二值化阀值自适应算法进行二值化，然后采用二值形态学方法 分析了膨胀、腐蚀和开、闭四种基本运算方法的图像处理效果，并在此基础上 从图像的预处理到边缘检测，做了更加深入的研究，并由此设计了一套具有阀 值自适应功能的二值形态学算法。实验结果表明，采用二值形态学对t i g 焊视 觉图像进行图像处理和特征提取，可以取得很好的效果。 谷春艳“5 1 利用c c d 摄像系统得到c o ：焊接熔池图像后，先采用局部均值滤波增 强图像，用迭代式阀值算法进行二值化，再利用二值形态学中的膨胀运算是对 图像外部滤波和腐蚀运算是对图像内部滤波，经过腐蚀及膨胀后，最后采用边 缘跟踪和形心公式计算熔池中心，用h o u g h 变换成功拟合了焊缝直线。 石圩“”在获耿清晰铝合金脉冲m i g 焊熔池图像的基础上，分析了铝合金焊 接熔池图像的灰度等高线，选用灰度阀值为2 3 0 进行了二值化处理，通过二值 形态开闭运算去除图像中的噪声，处理后的熔池图像中还包括阴极雾化区的图 像，所以需要通过腐蚀操作去除，然后对图像进行膨胀操作以恢复腐蚀处理前 熔池图像的尺寸，最后进行边缘检测获得了满意的熔池边缘特征图像。 基于c c d 传感器的视觉信息系统具有性能可靠、使用方便、图像清晰、信 息量大等优点，特别是随着计算机视觉技术和相对应的软硬件的迅猛发展，大 有逐步取代传统接触式焊接机器人传感系统的趋势。但是随着人们对生产效率 和焊接质量的要求越来越严格，基于c c d 传感器的焊接熔池图像处理系统仍有 以下几点问题： 1 ) 焊接熔池图像处理在传统的数字图像处理的基础上，引进了大量的新的 图像处理技术特别是小波理论和二值形态学理论，但是处理思路仍旧是 先进行滤波除噪，然后再提取边缘的老思路，其结果是不可避免得丢掉 大量的边缘细节，尽管后继处理过程中尽量保持细节，也只是保留了除 噪后的图像细节，而不是原图像的细节。 2 ) 目前焊接视觉信息控制系统主要集中与t i g 焊，m i g 焊，脉冲g t a w 焊等 焊接过程，但作为“十五”重点推广的高效率、低成本、节省能源的c o ： 气保焊却少有报道。这是因为这种焊接方法飞溅大，烟尘多等特点，从 而使得由c c d 获取得图像出现了有弧光和飞溅形成的点噪声和飞溅颗粒 飞过视图区形成的线状噪声，且其烟尘也使得图像变得更加模糊，因此 常见的图像处理方法很难应用于c o ：电弧焊 1 7 - 2 2 1 3 本课题的研究目标、主要研究工作 1 3 1 研究目标 本课题的研究目标主要包括以下两个方面： 1 ) 针对传统数字图像处理技术不能兼顾平滑噪声和精确提取轮廓的缺点， 在现代智能图像处理技术中寻找一种新的方法在满足系统响应实时性 的基础上，更加精确的提取出焊接熔池边缘轮廓。 2 ) 针对目前没有专业的焊接熔池图像处理实验平台，自主开发一个具有开 放性、专业性和通用性的图像处理实验平台，通过后继丌发以满足对各 种熔滴、熔池和焊缝的测试、处理与识别。 1 3 2 研究内容 本课题的研究内容主要包括以下三个方面： 1 ) 研究现有的线性滤波和非线形滤波平滑除噪算法，通过程序设计，观察 效果图找出可以有效滤除点噪声的算法；通过二值化程序设计，对比不 同二值化方法对焊接熔池图像的处理结果的差异。 2 ) 分析现有的梯度型边缘检测算法在焊接熔池图像处理中的优缺点：研究 新颖的非线性数字图像处理技术一二值形态学和灰度形态学；通过程序 设计，分析这种图像处理技术在焊接熔池图像处理中的应用。 3 ) 研究基于w i n 平台下，如何利用m f c 在v c 环境下进行数字图像处理程 序设计；根据研究目标制定和实现焊接熔池图像处理实验平台。 1 3 3 研究重点、难点和解决方法 本课题的研究重点和难点归纳起来有以下两个方面： 1 ) d i b 图像文件处理和各种图像处理算法设计。解决方法：利用面向对象 设计语言的优势，自定义d i b 图像文件函数；算法设计通过加强自身程 序设计能力，搜寻现成算法程序和根据算法原理自编程序来实现尽量多 的图像处理函数功能。 2 ) 灰度形态学结构元素设计。解决方法：借用二值化取阀值的思想，在设 计结构元素时，着重研究确定结构元素值，使之达到平滑噪声的同时， 可以精确提取焊接熔池的轮廓。 1 4 论文组织结构 论文共包括五个章节，每个章节的研究内容概述如下： 第一章：介绍了焊接区熔池信息处理与识别的研究意义，分析了国内外学 者对熔池边缘轮廓提取的研究现状，最后提出了本文的研究内容、解决的关键 问题等。 第二章：论述了基于c c d 视觉系统的弧焊机器人系统结构，特别是视觉信 息采集系统传感方法的选取与c c d 成像原理；剖析了b m p 图像文件格式的结构 和主要参数；在分析焊接熔池图像的特点基础上，演示了不同的预处理平滑算 法和二值化方法在焊接熔池图像中的应用。 第三章：介绍了图像边缘分割中常用的梯度算子，并分析了它们各自的优 缺点：然后分两节分别对二值形态学和灰度形态学算法原理，编程实现方法做 了详细的探讨；最后演示了基本的形态学运算在焊接熔池图像中的应用。 第四章：论述了w i n d o w s 平台下的数字图像的编程方法，提出焊接熔池图 像处理系统平台的设计原则和功能设计以及如何编写d i b 图像处理类的原理和 方法，最后通过三个实例演示了焊接熔池图像处理系统平台的强大功能。 第五章：结论与展望。 6 第二章熔池图像的获取与预处理 基于c c d 视觉传感系统的弧焊机器人系统结构一般包括c c d 传感器、p c 处 理机、驱动控制器及执行机构和弧焊设备等，其工作原理是传感器采集到信号 传送到p c 机，经过一系列的数据处理过程和图像显示后，p c 机与驱动控制器 进行数据通讯，然后将控制信号传送给驱动执行机构，控制焊接过程的正确运 行。该系统如图2 一l 所示。 图2 - 1 弧焊机器人系统结构 信息采集模块主要完成图像信号的采集和转换功能，主要由c c d 传感器、 图像采集卡和滤光片等组成；图像处理模块完成数字图像的边缘提取和焊缝中 心位置偏差计算等功能，主要由p c 机或工控计算机和图像处理软件构成：调整 执行模块完成焊缝中心偏差量的实时、准确地调节，主要由驱动控制卡、电机 驱动电源和三维驱动执行机构组成；控制对象即为焊接过程中调整焊炬相对于 焊缝的位置，该模块主要包括电焊机、夹具等附件构成。 2 1 弧焊视觉图像采集系统 2 1 _ 1 视觉图像传感方法的选择 在弧焊过程中，由于存在弧光、电弧、飞溅以及烟雾等多种外界因素的干 扰，使用何种视觉传感方法是首先要确定的问题。在弧焊机器人中，根据是否 使用的照明光的不同，可以将视觉方法分为“被动视觉”、“主动视觉”两种 ”。这里被动视觉是指利用弧光或普通光源和c c d 传感器组成的系统，其特点 是采用适当的光学系统滤去大部分弧光，使熔池区图像清晰真实。主动视觉一 般指具有特定结构光源与摄像机组成的视觉图像传感系统，其特点是使用适当 波长的光源，使之与电弧区别开来，从而光学传感器仅仅接受该波长的光线， 而将弧光滤去。 1 ) 传统被动式视觉图像传感所用传感器的设计原理是：根据光谱图找到某 一波长范围，此波长对应的金属谱线的光谱强度大于焊接电弧的辐射强 度，因而可以利用熔池自身的辐射成像。例如，若取光谱中波长为6 0 l 2nm 区域，通过选择高性能的滤光玻璃，传感器只允许电弧和熔池 以及工件表面的反射光中波长为 = 6 0 1 2nm 的光通过，形成熔池图 像，并以此来观测焊接熔池变化。 2 ) 主动视觉一般是基于三角测量原理的视觉方法，其光源为单光面和多光 面的激光或扫描的激光束。为简单起见，分别称之为结构光法和激光扫 描法。由于光源是可控的，所获得的图像受环境的干扰可去掉，真实性 好。因而图像的底层处理稳定、简单、实时性好，但是价格昂贵。 随着计算机处理速度的增加和现代智能图像处理技术的发展，越来越多的 科技工作者偏向于使用被动式基于c c d 视觉图像传感方法即无外加光源的传感 方法，其原因如下： 1 ) 被动式视觉传感通过改进c c d 传感器的光学设计，增加窄带滤光片和修 正焊接图像采集与控制时序参数，可以拍摄到比较清晰的熔池和焊缝图 像。 2 ) 被动式视觉传感不用辅助光源，直接利用弧光成像，具有适应性强、结 构紧凑的优点且可以改善装备视觉传感系统的焊枪的灵活性和可达性。 3 ) 被动式视觉传感利用自然弧光作为光源，c c d 直接拍摄焊接近弧区，这 样可以降低系统成本，有利于焊接机器人的推广和普及。 2 1 2 视觉图像c c d 成像原理 c c d 是一种特殊的半导体材料，它是由大量独立的光敏元件组成，这些光敏 元件通常是按矩阵排列的”“。开始作为一种新型的p c 存储电路，但科研工作 者很快发现c c d 具有许多其他潜在的应用，包括信号和图像处理。 c c d 成像原理可以简单的说，光线透过镜头照射到c c d 上，并被转换成电荷， 每个元件上的电荷量取决于它所受到的光照强度。当你按动快门，c c d 将各个 元件的信息送到模数转换器上，模拟电信号经过模数转换器处理后变成数字 信号，数字信号以一定格式压缩后存入缓存内，即称为一幅图像。 c c d 工作过程一般认为可分成下列四步： 1 ) 产生电予 c c d 器件内有许多线形排列的微小m o s ( m e t a lo x i d es i l i c o n ：金属氧 化硅) 光电导元件。物体通过c c d 相机时，众多的m o s 光电导元件产生光 8 电效应，将物体的反射光线按亮度强弱转变成相应数目的电子。光的强度 越大，m o s 元件上产生的电子数目就越多。 2 ) 积累电子 弧 光 滤 光 片 镜 头 c c d 图2 - 2 弧焊机器人视觉采集系统示意图 当光信号变成电子数量信号后，线形排列在c c d 器件内的每一个m o s 光 电导元件( 像素) ，开始收集移动到m o s 金属电极( 门极) 上的电子数量。 同样，光强越大，门极上堆积的电子数目越多。 3 ) 传送电荷 在某一个时钟周期内，c c d 器件将门极上收集到的电子量送到一个读出 寄存器，在该寄存器里，c c d 器件根据每一个门极( 像数) 对应的节点位置 将电子数量转换为m v 级电压信号。 4 ) 放大、编码、成像 经过转换后的m v 级电压信号经过放大电路放大后变为对应的o l o v 电 压信号。而每个彩色摄像机则有三组c c d 器件，通过三条通道输出代表三 基色的0 n l o v 模拟信号。然后将这些信号经过a d 转换后( 对于彩色摄像 机而言，a d 转换位为8 位：即o 2 5 5 表示该摄像机能识别1 6 7 8 万种颜色； a d 转换位为1 2 位：即0 4 0 9 5 表示该摄像机能识别约6 7 9 亿种颜色) 送 到计算机中进行编码成像处理。 2 1 3 视觉图像处理系统组成 信息采集模块是该系统的信号输入源，后续的所有有关于信号处理的工作 都源于此，该模块主要包括无辅助光源c c d 视觉传感器、干涉滤光片和图像采 集卡“。干涉滤光片在摄像头的前端放置，用于滤除不感兴趣的光。c c d 与焊 炬钢性连接，放置于焊接方向前方。图像采集卡放置于工业控制机的p c i 插槽 内与工控机通信。干涉滤光片过滤掉大部分的噪声干扰和不感兴趣的光，而将 部分弧光透漏给c c d 传感器，c c d 将其转换为模拟电信号传到图像卡，由图像 9 卡完成a d 转换功能，转换为数字信号并缓存，为后续的图像处理模块所处理。 所以，在整个焊缝跟踪系统中，信息采集模块是系统工作的发起端，它把焊缝 的视觉信号经由模拟状态到数字状态的转换，然后传送到微机进行后续的图像 处理、焊缝检测等工作。 1 ) c c d 传感器 c c d 是7 0 年代发明的光电效应固体成像器件，因其具有灵敏度高、噪音 低、寿命长、检测精度高等优点，在数字存储、模拟信号处理及作为图像 传感器方面得到广泛的应用。依据弧焊视觉信息采集系统设计的需要，可 选用了电荷耦合器件面阵c c d 二维线性传感器，该传感器的光检测器是按 矩阵形式排列，可以产生二维图像。此面阵c c d 传感器包括三部分：光电 转换、存储和输出移位寄存器。存储部分都是光屏蔽的，经过电荷积累后， 快速把图像传送到存储部分，在光电转换重新积累电荷时，存储在存储部 分的电荷图像便逐行送到移位寄存器，后者再逐行经过输出门和输出二极 管送到放大器输出。 2 ) 窄带滤光片 在明弧焊的条件下，对光学跟踪传感器来讲，强烈的弧光是对c c d 传感 器接收信号的主要干扰源。通过研究电弧的光学特性，从硬件和软件两方 面采取必要的措施，达到排除弧光干扰的目的。根据明弧焊方法的电弧光 谱曲线可知，当弧光波长在6 0 0 0 7 0 0 0 a 这一波段内时，其相对光强度最弱， 同时也最稳定。由于干涉滤光片的特性曲线在红光外波段还有较高的次峰， 如果不加以排除，则弧光中强烈的红外辐射会给工作信号带来较强的干扰， 甚至淹没信号。为此在使用干涉滤光片的同时，又在光路中加上防热玻璃， 它可以有效排除红外光的干扰，在此基础上再通过计算机的软件处理，最 终达到了完全排除弧光干扰的目的。 3 ) 图像采集卡 图像采集卡采用m a t r o x 采集卡，它可将c c d 视觉传感器采集到的模拟 图像信号转化为数字图像格式，并存储在视频卡的视频子系统中。根据异 步时钟频率，该过程分为两个独立的可编程过程。获取部分中视频获取窗 口坐标是可编程的，可以对输入图像进行剪裁和扩大。数字视频信号通过 视频卡的视频子系统内部的帧输入输出存储在帧缓冲区中，图像灰度数据 通过视频随机存储器而被利用。数据从视频内存的串行口输出，视频图像 可以显示在任何矩形窗口中和v g a 屏幕中。卡上a d 转换电路将视频模拟 信号转换成8 位数字信号。0 对应黑色，2 5 5 对应白色，共有2 5 6 个灰度等 级。 1 0 2 2 熔池图像的存储 一般情况下，从传感器摄取到的模拟图像需要经过数字化后以帧格式，一 帧一帧地存储在图像采集卡上的视频r a m 中( 帧存储器) ，因此帧内存的大小直 接影响到焊接过程中图像采集的速度。对于一个固定的硬件来讲，内存的大小 是固定的，因此提高采集速度主要问题是如何减少每帧图像的数据量即图像的 数据结构一图像文件格式的选择”“。 2 2 1 数字图像文件介绍 数字图像是图像的数字表示，当用数学方法描述一幅图像时，常常着重考 虑它的点的性质，它可以被看成是各个坐标点上光强度的集合。图像上的点通 常称为像素( p i x e l ) ，像素是其最小的单位图像的最普遍的数学表达式为： i = f ( x ，y ，z ，九，t ) 其中x ，y ，z 为空间坐标，九为波长，t 为时间，i 为像素的光强度。从结构上 看，最基本的图像是黑白灰阶图像，它可以看成光强度的二维函数，黑白图像 像素的光强度通常称为灰度，灰度可在最亮值和最暗值之间取值。黑白二值图 像是黑白灰阶图像的一个特例，它的灰度值只有两种可能，即黑色与白色，没 有中间色，其中，o 表示全黑，2 5 5 表示全白。7 “2 。彩色图像可看成三幅灰阶 图像的合成，它们分别表示图像的红绿蓝分量。 图像数据在计算机中是以文件的形式存储在外存储器中的。图像文件就是 以数字形式存储起来的图像。为了便于读写，图像数据一般以一定的格式存放。 现在已有几十种图像文件格式，它们有计算机软件公司、计算机设备制造厂商 等制定的。他们虽各不相同，但都具有相似的特征。 图像文件一般由文件头、调色板数据和像素数据3 部分组成。 1 ) 文件头 文件头用于存放图像的各种特征参数，如像素数据与调色板数据在文 件中的存储位置，以及文字注解等。它有固定格式及灵活格式两大类，前 者如b m p 、p c x 文件等，他们存储规定的参数以及数据在文件中的存储位置 是固定的。后者t i f 文件格式，文件中除了规定的参数外，还可自行定义 特征参数，数据在文件中存储位置也不固定，且同一文件中还可存放多幅 图像。还有一些格式介于两者之间，如g i f 和t g a 文件格式。图像文件中 显示图像所必需的参数为图像的宽度、高度，每个像素的总位数、位平面 数、压缩类型、像素数据的存储首地址、像素类型、有无调色板数据和调 色板数据的存储首地址等。 2 ) 调色板数据 调色板数据分为二值、1 6 色和2 5 6 色彩色图像的色调数据，真彩色图 像的像素数据中已有颜色分量，故不再需要调色板数据。有些图像文件格 式中调色板数据放在文件头中。有的文件中还有输入、输出设备、及存储 介质的光学特征曲线等，视使用场合的不同而不同。图像显示时只需要调 色板数据即可。 3 ) 像素数据 像数数据以位图的形式存放，有压缩、不压缩之分，压缩数据可以节 省存储容量，但在存取时需进行压缩和解压缩处理，处理速度稍微慢些。 不压缩的像素数据在不同格式的图像文件中存储结构基本相同，与显示存 储器中的存储形式相似。常用的压缩方法为行程编码、霍夫曼编码和l z w 压缩编码等。 表2 - 1 常见图像文件类型 位数 l482 4 类型黑白二值1 6 彩色灰阶2 5 6 色2 5 6 彩色真彩色 l11141111ll3 位平面 b ww b p a lp a lp a l嘶w bp a lp a l r g br g br g b b g p 年 p e x 木 女 g i f 毒毒 t g a 木 t i f 女女木丰 女 木女女 对于现存的所有的图像文件格式中，b m p 文件中的的像素数据是未压缩的。 因为图像的数字化处理主要是对文件中的各个像素进行相应的处理，而未压缩 的b m p 图像中的像素值正好与实际要处理的数字图像相对应。所以这种格式的 文件最适合数字化处理与识别。另外，b m p 格式的图像文件是微软公司为 w i n d o w s 操作系统设置的标准图像格式，也是图像格式中使用最广泛的格式文 件。几乎所有的视觉信息采集系统的数字图像文件的输出都支持b m p 类型文件。 2 2 2 熔池图像文件结构和主要参数” 基于c c d 的焊接熔池图像采集系统数字图像的输出格式b m p 格式文件，它 由位图文件头、位图信息和像素3 部分组成。位图信息又由信息头和调色板数 据组成，如表2 - 2 所示。位图文件头、位图信息头为固定长度，分别为1 4 、4 0 字节，他们构成通称的图像文件头。调色板数据的多少与图像所用的色彩数有 关，它的字节数是色彩数的4 倍。真彩色图像的b m p 文件中没有调色板数据。 每个调色板单元的前3 个字节分别表示彩色的蓝、绿、红分量，第4 个字节备 用，如表2 - 2 所示。像素数据存储则在最后面。 表2 - 2b 肝图像文件结构 位图文件头( 1 4 字节) 位图信息头 位图信息头( 4 0 字节) 调色板数据( 8 ，6 4 ，1 0 2 4 ) 真彩色图像无调色板 像素数据i 有压缩与无压缩之分 1 ) b m p 文件头与位图信息头 位图文件头给出了图像文件的特征字符、图像文件的尺寸和像素数据的 1 2 存储位置，如表2 3 所示。位图信息头则给出了图像的其他特征参数，如 表2 - 4 所示。 表2 - 3b m p 图像位图文件头结构 数据类型 标识符 内容 c h a r b f t y p e 2 a s c i i 字符b m d w o r d b f s i z e 文件太小( 以4 字节为单位) w o r db f r e s e r v e d l备用单元1 w o r db f r e s e r v e d 2备用单元2 d w o r d b f o f f b i t s图像开始处的字节偏移 表2 4b m p 图像位图信息头结构 数据类型 标识符内容 d w o r db i s i z e信息头大小，4 0 字节 d 毋o r d b i w i d t h 图像宽度，以像数为单位 d w o r d b i h e i g h t 图像高度，以像素为单位 d w o r db i p l a n e s位平面数，总为1 r db i b