（工程热物理专业论文）弧焊机器人焊缝视觉信息检测与识别研究.pdf

abs tract t h e s e a m t r a c k i n g c o n t r o l o f a r c - w e l d i n g r o b o t i s t h e k e y d u r i n g w e l d i n g p r o c e s s , i t i s a l s o t h e i m p o rt a n t c o m p o n e n t w i t h a u t o m a t i c a l ly c o n t r o l l e d o f w e l d i n g q u a l i t y . r e a l i z e t h e c o n t ro l o f w e l d i n g s e a m t r a c k i n g , w e l d i n g s e a m d e t e c t i o n a n d r e c o g n i t i o n t e c h n o l o g y a r e o n e o f t h e k e y a m o n g t h e m . i t i s a t r e n d t e c h n o l o g y t h a t i m p l e m e n t i n g s e a m s d e t e c t i o n a n d r e c o 脚t i o n u s i n g v i s i o n s e n s o r . t h e s y s t e m a d o p t v i s i o n s e n s i n g e x p e r i m e n t a l b a s e d o n t h e s t r u c t u r e l i g h t , c c d r e c e i v e t h e s tr i p e l i g h t t h a t a b o v e t h e w o r k p i e c e o f d i f f u s e r e f l e c t i o n o n t h e d i ff e r e n t w e l d i n g s e a m s f o r m , t h r o u g h t h e s i gna l g a t h e r a n d i m a g e p r o c e s s , c a n k n o w t h e m id d l e p o s i t i o n o f t h e w e l d i n g s e a m . t h e w o r k i n g e n v i r o n m e n t o f th e a r c- w e l d i n g r o b o t i s v e ry a b o m i n a b l e f o r v i s i o n s e n s o r , it i s s t r o n g a r c l i g h t , s p l a s h i n g a n d f o g t h a t a r e i n t e r f e r e d . t h i s t h e s i s h a s s t u d i e d t h e r e s u l t o f t r e a t m e n t t o w e l d i n g s e a m im a g e b y t h e i m a g e p r o c e s s m e t h o d o f t h e i m a g e s e g m e n t a t i o n , i m a g e e n h a n c e m e n t , i m a g e f i l t e r a n d i n v o l v e s t h e t r e a t m e n t m e t h o d o f m o r p h o l o g y . a ft e r t h e i m a g e p r o c e s s i n g , s h o u l d c a r r y o n f u rt h e r c h a r a c t e r i s t i c a n a l y s i s , n a m e l y d r a w t h e w e l d i n g s e a m c h a r a c t e r is t i c p o i n t , w h i c h p ro v i d e i n f o r m a t i o n o n n e e d i n g f o r t h e a u t o t r a c k i n g o f t h e w e l d i n g s e a m , s e e k in g p o s i t i o n b e f o r e w e l d i n g o f a r c - w e l d i n g ro b o t s y s t e m a n d t h e p a r a m e t e r o f c o n t r o l . t h i s t h e s i s h a s s t u d i e d t h e a l g o r i t h m s o n t h e c h a r a c t e r i s ti c p a r a m e t e r o f s e v e r a l k i n d s o f c o m m o n l y u s e d w e ld in g s e a m f o r m s , s u c h a s b u tt j o i n t , o v e r l a p j o i n t , v g r o o v e , t h e a u t o m a t e r e c o gni t i o n a n d c h a r a c t e r i s t i c p a r a m e t e r o f t h e w e l d i n g s e a m a t t h e s a m e t i m e . t h e s o f t w a r e s y s t e m a d o p t v i s u a l c + + 6 .0 t o d e v e l o p a s e t o f d e t e c t i o n a n d r e c o g n i t i o n o f w e l d i n g s e a m s b a s e d o n v i s io n s e n s i n g o f t h e s t r u c t u r e l i g h t , t h e s y s t e m a t i c m a n - m a c h i n e i n t e r f a c e i s f r i e n d l y . k e y w o r d s : s t r u c t u r e d l i g h t , i m a g e p r o c e s s in g , w e l d i n g s e a m r e c o gni t i o n , w e l d i n g s e a m t r a c k i n g , p a tt e r n r e c o gni t i o n 学位论文独创性声明 学位论文独创性声明 本人声明 所呈交的学位论文是本人 在导师 指导 下进行的 研究工作及取得的 研究成果。据我 所知，除了文中 特别 加以 标注 和致谢的地方外，论文中不包含 其 他 人己 经发 表 或 撰 写 过的 研究 成 果 ， 也 不 包 含为 获 得 狂4 j -11 -色或 其 他 教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示谢意. 学 位 论 文 储 签 “ 手 “ :孙 叫 “ 触 字 日 期 一夕 年 ” 亦 学位论文版权使用授权书 本 学 位 论 文 作 者 完 全了 解 直b有 关 保 留 、 使 用 学 位 论 文的 规 定 ， 有权保留并向 国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅 和 借 阅。 本 人 授 权 直星人堂可 以 将 学 位 论 文 的 全 部 或 部分 内 容 编 入 有 关 数 据 库 进行检索， 可以 采用影印、 缩印或 扫描等复制手 段保存、 汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 ( 手写) :叫明人 i 斤 、 导师签名 ( 手写) : a 卜 忆 签 字 日 期 :夕 年d 月 签字日期:对年 月 日 学位论文作者毕 业后去向: 工作单位; 通 讯地址 : 电话: 邮编: 第 1 章 引言 第1 章 引言 .1机器人视觉概述 视觉是 一个古老的 研究课题， 到了7 0 年代末8 0 年代初， m1 t 的马尔( d . m a r r ) 教授创立了 视觉计算理论，使视觉的 研究 前进了 一大步 i l l 机 器人视觉是一门 新兴的发展 迅速的 学科， 自 八十 年代以 来， 机器人视觉的 研究已 经历了从实验室走向实际应用的发展阶段， 从简单的二值图像处理到高分 辨率多灰 度的 图像处理， 从一般的二 维信息 处理到三维视 觉机理以 及模型和算法 的研究都取得了很大的进展. 而计算机工业水平的飞速提高以及人工智能、 并行 处理和神经元网络等学科的发展更促进了 机器人视觉系统的实用化和涉 足许多 复杂视觉过程的研究。目前， 机器人视觉系统正在广泛地应用于视觉检测、机器 人的视觉引导和自动化装配领域中。 在现代化的大生产之中，视觉检测往往是不可缺少的环节。比如， 汽车零件 的外观、药品包装的正误、i c字符印刷的质量、电路板焊接的好坏等，都需要 众多的检测工人， 通过肉眼或结合显微镜进行观测检验. 大量的人工检测不仅影 响工厂效率， 而且带来不可靠的因素，直接影响产品质量与成本。另外，许多检 测的工序不仅仅要求外观的检测， 同时需要准确获取检测数据， 比如零件的宽度、 圆孔的直径、以及基准点的坐标等，这些工作则是很难靠人眼快速完成。 近年来发展迅猛的机器视觉技术解决了这一问题。机器视觉系统一般采用 c c d摄像机摄 取检测图 像并 转化为数字信号，再采用 先进的计算机硬件与软件 技术对图像数字信号进行处理， 从而得到所需要的各种目标图像特征值， 并由此 实现模式识别， 坐标计算， 灰度分布图等多种功能。 然后再根据其结果显示图像， 输出数据，发出指令， 配合执行机构完成位置调整， 好坏筛选，数据统计等自动 化流程。与人工视觉相比较， 机器视觉的最大优点是精确、快速、可靠以及数字 化。 由 于机 器视觉系统可以 快速获 取大量信息， 而 且易 于自 动处 理， 也易于同设 计信息以 及 加工控制信息集成， 因 此， 在现代自 动化生产 过程中， 人们将 机器视 觉系 统广泛 地用于工况监视、 成品 检验和质量控制等 领域。 机器视觉系统的特点 是提高生产的 柔性和自 动化程度。 在 一些不适合于人工作 业的危险工作环 境或人 工视觉难以满足要求的场合， 常用机器视觉来替代人工视觉; 同时在大批量工业 生产过程中， 用人工视觉检查产品质量效率低且精度不高， 用机器视觉检测方法 可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成， 第 1 章 引言 是实现计算机集成制造的基础技术。 总 之， 随着机 器视觉 技术自 身的成熟和发展， 可以 预计它 将在现代和未 来制 造企业中得到越来越广泛的应用. 1 . 2计算机图像处理技术的发展 当 前是信息时 代， 对 信息的获 得、 加工、 处理和应用 等都有了飞跃进展。 2 0 世纪 5 0年代，计算机技术发展到相当水平后，计算机图像处理才迅速发展并形 成新的 学科。 这项技术首 先用于 宇航领域中， 在太空照片的处 理上获得成功， 收 到明 显的效果。 随 后在 卫星遥感、 军事侦察、 生物医学工程 等应用中又都取得极 大的成功，从而更促进这个新学科理沦、技术的完菩和发展， 并进一步扩大其应 用领域。 同时各 个应用领域对计算机图像处理不断的提出更 新、 更高的要求， 例 如: 实时处理、 计算机视觉、与图形学 密切关联的处 理等z ; 00年代的计算 机 多媒体技术对计算机的图像处理、 图像信息的压缩和图像档案的传输以及计算机 声 音信号的处理 等都 提出了 更高的要求; 在图 像数据库、 存档、 检索等相应的软 件、 硬 件、 接口 等特别是 对实时 性和多媒体的 适应性、 兼容 性以 及在图像的兼容、 互 补的虚 拟现实 ( a r t i f i c i a l - r e a l i t y ) 技术等方面， 不但对计算机提出高要求， 对 计算机图 像处理 技术也要求向 更高级方向发展 1 4 1 。随 着社会的发 展， 对图像处 理 的要求不断提高，目前已在以下各方面做出了显著成果: ( 1 )从可见光谱扩展到各 波段如遥感图 像的多 光谱图像 处理、 雷 达波段的 侧视雷达遥感图像处理、红外光波段的图像处理 ( 如夜视仪、热像仪等) 。 ( 2 )从静止图 像到 运动图 像的处理， 如运动模糊图 像的恢复、 心 脏搏动 序 列图像的处理、对运动目标的跟踪、巡航导弹的地形识别及瞄准等。 ( 3 )从物体的外部到物体的内部图像的处理， 如人体的无损检测设备 c r . m r i 及宇航用密 封零件的无 损检测、 海关用的集装箱不开 箱检查等。 ( 4 )从整体到局部图像的处理， 有选择性地对人类感兴趣的局部图像进行 处 理， 如空间、 灰度、 颜色、 频域都可以开窗口进行加 工处理 ( 如放大、 变换、 校正等) 。 ( 5 )提取图像中 特征的处理， 从图像中抽出感兴 趣的 区域、 物体以 特征的 形 式表现出来， 以使计 算机识别控制. ( 6 ) 智能化的图像处理，用计算机去理解景物图像。如计算机视觉系统、 自 动驾驶系统和机器人的操纵系统等。 由于对图像处理的要求在不断增加，图像的应用领域还在不断的扩大，因此 对图像处理的理论要不断地补充和发展。 例如近来的形态学、 混沌学和分维理论 第 1 章 引言 的引入就使图像处理技术更加丰富了。 计算机图像处理的目 的是 在计算机上实现和强化人的视觉以及人对视觉信 息的加工处理能力。 用离散 化方 法处理图 像早在2 0 世纪2 0 年代己 在报纸上铜版 印 刷照片中使用， 但当 时 用电 子方式传送这样的一 幅照片需要 七天， 因而无法广 泛应用。直到6 0 年 代电 子计 算机的处理速度和存储能 力迅速提高后，用计算机 处理离散图像的方法 才得以广 泛应用，并形成计算机图 像处理这一新兴学科is ) 从6 0 年代开始，首先 在航天 领域采用计算机图 像处 理方法处理从月球传回的照 片取得硕果。 迄 今为 止已 在 各行业、 各学科广泛应用， 较典型的如遥感图像处理 中气象的大区形 势、 地 理地图绘 制、 地质勘探、 农业估 产、 森 林资 源调查、 海洋 监测等。 另一典型应用是 在生物医学工程领域，如人体内 部无损诊断的 m r i , x c 7 ， 和 超声等， 对d n a的电 子显微图像研究更是 探索 生命奥秘的重大步骤。 在 电子领域，从 计算机多媒体、网 络传送图像直到v c d和食品行 业中无 不用到图 像信息的压 缩的 处理。 其它各 行业从航空到娱乐、 电 子游戏到美容美发 等采用计 算机图像处 理后， 取得了 开拓 性成果， 可以 说它是各行 各业科学化、自 动化、 可 视化以及开拓新领域的基础。 用计算机去处理图 像首先应把模拟图 像变为 数字形 式才能 进到计算机中去 处理。 计算机图 像处理按 其输入输出 形式分为 下述几种类型。 ( 1 ) 从图像到图像:输入为图像，输出也是图像。主要应用于处理的最终 结果，是以图像形式给人观看的。明显的例子是医学应用，不论是 x光照片还 是c t 图片都是 为了 给医生 作诊断的根据。 又 如运动图 像模糊的 恢复是 为了 在交 通管理 或体育 运动中 动态 地判断汽车和人的形 象。 其它例子 还有历史古物珍品图 像的复原，宇航图片干扰的去除等。 ( 2 ) 从数据到图像:输入为数据、公式、计算结果和曲线而输出为图像。 如模式识别中大量数据的预处理用图像显示， 则易于做出判决函数。 从投影重建 图像如( t就是 利用收集的 多组投影数据， 最后形象 地给医 生作诊断辅 助，实际 上用计算机的数据、公式产生的图像正是图形学的新发展。 ( 3 ) 从图像到特征数据、特征图像:输入为图像， 输出是一些极简单的图 像或数据。 例如输出为一物体边缘或某种特征句法的一个句子。 这些输出的简单 数 据和图 像是 供计算机理 解分析、 判断图像所必需的。 这实际 上是人对客观事物 模式的识别过程，也可称为计算机视觉。 ( 4 )从图 像的数据 到图像: 主要用在图 像的传送、 要求把图像压缩成为 便 于传 输的 数据而不能丢 掉 信息， 传到远端后再形成保 真度高的图像以 供观看。 显 然，任何 处理当 中只 要有 一个环节与图 像有关就需要图 像和图像处理知识。 图像 处理的 研究己 有3 0 多年的历史。 最初从文 字识别开 始， 然后逐步发 展 第 i 章 引言 到识别静止图 像 和运动图 像， 接下来是对三维物体的 处理和识别。 图像处理的应 用甚广， 目 前己 深 入到国民 经济的各个领域。 随着计算 机科学的发展， 图像处 理 在理论研究和实际应用中都取得了 飞速的发展，目 前己 经进入全面应用的 新时 代。图像处理的 研究涉及到很多学 科，如数学、生 物学、 物理学、计算机 科学、 自 动检测等等. 它的研究 受到国内 外各学科的极大重视， 许多不同领域的 科技工 作者都在从事这方面的工作。 例如生物医学图像的检测和疾病的诊断， 人造卫星 遥感图像和航空 照片的识别， 机器人和工业检测等。 每年都有大量的文章发表和 日 益增多的专 著出版。 国 际上成立了 图像识别及人工智能的专 业委员会， 经常召 开有关专业性的会议， 并出版各种会议的报告集及有关资料。 各种图像识别与图 像处 理系 统亦陆 续出 现6 1 1 .3视觉传感技术 根据传感器的的传 感方式， 焊缝跟踪传感器可以 分为以 下两大 类若干 种伙 如图 1 - 1 . 电弧传感器 附加式传感器 . 并 列 双 摆 式 钨 极 摆 动 式 弯 泛 轮 式 高 速 旋 转 式 其 他 熔 化 极 摆 动 式 光 学 式 电 磁 式 接 触 式 涡 流 式 图1 一 1焊缝跟踪传感器 随着计算机视觉 技术的发展， 焊缝跟踪引 入视觉传感技术， 与其他传感器相 比， 视觉传感器具有 提供信息量丰富、 灵敏度和 测量精 度高、 抗电 磁场干扰能 力 强， 与工件无 接触的 优点， 适合于各种坡口 形状， 能同时 进行焊缝跟踪控制和焊 接质量控制。 计算机技术 和图 像处理技术的不断发展， 使得实时性容易满足， 视 觉传 感是一种很有前 途的 传感方法。 随着电子 工业和图像处理 技术的发展， 在红 外 和可见 光范围 内的视觉 传感器发展日 益成熟。 光学器件成本 下降， 器件工作的 可 靠性和保 护措施得以提高 和完善、 图像处 理硬件和软件算 法得以改 进， 许多 焊 第 i 章 引言 接视觉传感器被研制出来并得到广泛应用. 视觉传感方法不但可以提供焊缝跟踪 所需的 高精度的 焊缝中心位置信息， 而且可以 检测焊缝断 面几何形状、 面积等特 征的定量信息，为焊接速度、焊接姿态和焊接质量控制提供依据。 视觉传感 与其他传感器相比， 它在像焊接过 程需要大量视 觉信息检 测的 场合 非 常适用。 在弧 焊机器人焊前的工件焊缝空间 位姿和几何形状的确定、 焊接 过程 中 焊缝轨迹和焊接参数的实时 控制d 、 焊后 焊缝表面的形状分析、 焊接熔池 表面 及附 近 温 度 场 的 检 测 l9 -l j熔 透 信 息 检 测 1z 、 熔 滴 过渡 过 程分 析 等方 面 都 有 成 功 的 应 用 实 例 1 1气 直接视觉根据是否加辅助光源可以分为主动式和被动式的直接视觉传感。 这 里被动视觉指利用弧光 或普通光源和摄像机 组成的 系统， 而主动视觉一般指使用 具 有 特 定 结 构 的 光 源 与 摄 像 机 组 成 的 视 觉 传 感 系 统 16 1 。 由 于 采 用 的 光 源 的 能 量 大 都比电弧的能量要小，一般把这种传感器放在焊炬的前面以避开弧光直射的干 扰。 1 3 . 1被动视觉 被动视觉主要采用电弧光作为光源， c c d 摄像机直接摄取焊接熔池图像， 通 过图像处理检测出熔池中心位置， 将焊接熔池中心位置和焊炬位置的偏差送入控 制器， 控制执行 机构调 整偏差， 直至偏差消 除为止 l l 。 其优点是检测对象 ( 焊缝 中线) 与被控对象( 焊炬) 在同一位置， 不 存在检测对象与被控对象的位置偏差， 即时间差问题， 更容易 实现较为精确的跟 踪控制。 但其缺陷也是显而易见， 由于 是在极为强烈的弧光下摄取焊接熔池的图像， 焊接熔池的弧光对所摄取的图像有 很大的影响，图像噪声很大， 因此如何在极为强烈的弧光作用下，获取包括焊丝 或钨极端头及熔池在内比较清晰的图像，将成为跟踪系统的关键之一。 被动视觉方法中， 电弧本身就是监测位置， 所以没有因热变形等因素所引起 的超前检测误差， 并且能够获取接头和熔池的大量信息， 这对于焊接质量自 适应 控制非常有利。 但是， 直接观测易受到电弧的严重干扰，信息的真实性和准确性 有待提高。 它较 难获取焊缝的三维信息， 也不能用于埋弧焊。 因而在视 觉传感 焊 在视觉焊缝跟踪系统中， 被动视觉不是主流， 而主动视觉特别是基于激光结构光 的视觉焊缝跟踪会成为 主要采用的方 法 ia 1 3 .2主动视觉 主动光源一般为单光面或多光面的激光或扫描的激光束。 分别称为结构光法 和激光扫描法。结构光法的敏感器是面型的。激光扫描方法中光束集中于一点， 第 1 章 引言 因而信噪比要大得多。 1 3 .2 . 1基于激光点扫描的主动三角法 如图1 - 2 所示，一光束投到待焊工件的表面，其反射光通过一套光学成像系 统返回 到光电 传感器 ( 比 如线阵c c d ) ， 根据反 射点在 光电传感器中的位置 就能 计 算出 表面的深度信息。 如果利用 一个转动装置， 使激 光束在 焊缝所在区 域附 近 扫描，那么根据测得的各点的深度值就能推算出实际焊缝的形状和位置。l a s e r t r a c k 弧焊跟踪系统就是一个利用上述原理的典型例子。这种视觉传感器装在焊 炬旁 并能绕焊炬作士 2 7 0 0 旋转。激光扫描的频率为2 0 r z ，在每次扫描每隔 0 .5 m s 取一个采样点。为使测得距离更精确， 需要激光束在工作表面形成光斑聚焦，该 系统的 激光光 斑在与光束垂直的平面 上测量直径为0 . 3 m m 。 系统内 部的计算机一 边处理传感器进来的数据， 检测出焊缝， 并把焊缝形状和位置等信息传输给机器 人的控制器，一边还控制着激光扫描器，为获取下一个焊点做准备。 这 种基于点 扫描方 法的最大 优点 在于其较高的精度. 比 如l a s e r t r a c k 系统的 垂直方向与水平方向的精度分别达到0 . 0 4 m m 和0 . 0 2 m m。但是这种系统需要一个 精度 相当 高的激光扫描装置， 同 时对于比 较粗 糙的 工件， 往往因为距离数 据缺乏 规律 性而不能很好地搜索焊缝， 另 外， 对于较深的 焊缝， 由于 其光电 传感 器的尺 寸有限 制， 也没法 检测出 来， 从而 限制了 这一方 法只能 应用于 一些较 理想的 环境 当中，比如需要高精度焊接的光洁薄板等。 扫描电 机 角度传感器 线阵光敏感器 扫描角度范幽 图1 - 2激光扫描法传感原理 1 . 3 . 2 . 2基于激光点扫描的 飞行时间法 顾名思义， 这种方法也是向 工件表面 投射一 束激光， 根据激 光返回的时间计 算出 到工 件表面的距离。 在测得焊缝所在区 域的 大量距离数据之后， 系 统就可以 利用与前面类 似的方法检测出焊 缝， 并给 焊缝定 位。 这些 相对于 摄像机坐标系的 距离 数据及位置数据可以 根据当前 机器人的位置而转化为相对于机器 人基坐标 第 1 章 引言 系的坐 标值。 这种方法区 别于 三角 法的 最明 显之处是: 它的出 射光束与返回光束 是共线的， 所以就能克服所谓的 “ 盲区”问题， 而且由于不再利用光电传感器来 检测发 射光， 所以 也能检测出各 种深 度的 焊缝而且不必 担心会逸出光电 传感器的 敏感区域。 但是这种方 法存在着一个最大的缺陷， 即由于光速非常大而所测距离又很 小， 所以激光飞 行时间 极短。 为了克 服这一困 难， l e w i s a n d j o h n s o n h 9 】 曾 经利用 一串激光脉冲发射到工件表面上然后检测出返回的脉冲， 实验结果表明一分钟可 以得到1 0 0 个点的 距离值，在1 - 3 m的 测量范围内 精度为 2 c m ， 这种精度不能满足 一般的焊接任务。 后来美国 的s r i m l 采用了 连续激光 波.根据出射和反射回 来的 激光相位差求出时间， 但是这种系统速度很慢， 不适合实时焊接， 而且所需 激光 的能量足以烧毁工件。 由于这种种原因， 基于 “ 飞行时间”测距离的方法一直未 能得到实用。 1 3 . 2 3 结构光方法 目前焊接机器人应用较多的就是结构光的方法。 结构光法的系统组成一般为 激光管发出点光源经一柱面镜转换成条形光，投射到工件表面各种类型的焊缝 上， 发生 相应的 形变， 并 在工 件上方漫反 射。 c c d 接收从 工件上方漫反 射的 反映 不同焊缝坡口 类型的条形光， 通过信号采集和图像处理环节， 可知条形光变形处 的中间位置即焊缝中心线的位置。 若将光源安装到焊接机头上， 在开始焊接前让 条形光的中心位置对应焊炬的位置， 则可根据c c d 接收到的变形条形光反映的中 点位置与焊炬位置的关系， 获得焊炬与接缝中心线的偏离方向及偏移量的大小信 息 1 21 1 。 系统发射光的形 状根据实际需要千差万别， 与此 对应， 对反射光的处理的 方法也各不相同，主要有几何法 ( 三角法)，衍射法和干涉法三种。由于结构光 的三角法 使用 得最多， 所以下面 着重 讨论这 一方法。 用于 三角 法的结 构光主要是条 状的， 在目 前出 现的视觉系统中， 有用一条条 带的，也有用多条条带的，主要原理大体相同。 当摄像机摄取经形变的结构光之后， 系统内部的计算机需要检测出每条光带 的畸变处，比如断点或最大曲率点。这些畸变处反映了焊缝的形状，当光源的位 置已知时，就能求出焊缝的实际位置。 基于三角测量原 理的激光视觉传感器系统由 于其具 有的优异性能而获得了 高度重视 和发 展。与 其他类型的 传感器相比， 这种传 感器具 有很多优点122 1 , ( 1 ) 获取的信息量大，精度高。 可以获得接头截面精确的几何形状和空间 位置姿态信息。 ( 2 )检测空间范围大， 误差容限大， 焊接之前可以在较大范围内寻找接头。 ( 3 ) 具有智能化特点，可自 动检测和选定焊接的祝点和终点. 判断宁价悍 第 1 章 引言 点等接头特征。 ( 4 ) 通用 性好， 适用于各种接头类型的自 动 跟踪和参数适应押制， 还可用 于多 层焊的焊道自 动规划、参数适应控制和焊后的 接头外观检查。 ( 5 ) 实时性能好。 目前业己 问世的基于结构光三角法的视觉系统很多，典型的有:西德的 p a s s 2 11 ， 英 国 的 m e ta m a c h in e s l td 的 m e ta t o rc h 2 0 0 和 5 0 0 124 1系 统。 以 p a s s 系 统 为例，它由 一个激光投射 器， 4 个 c c d 摄像机 ( 与激 光带成一定 角度)，以 及一 个完成图像处理的计算机组成。 在摄像机摄取了一幅图像后，即与预先存储的关 于焊缝的标准图像进行匹配，由此检测出焊缝的形状，形状的检测约需2 0 m s , 在得到焊缝形状后， 焊缝位置则可以 根据激光带相对于 摄像机的 位置关 系而计算 出来。 把实际得到 的焊缝位置与预先存储的焊缝位置 进行比 较， 得到偏差， 这样 该视觉系统就能 使机器人及时修改预先示教的路径以 便正确的焊接。 这种基于结 构光的视觉系统有其独特之处， 这 种方法能适用于较粗糙的工 件 而无损焊接的精 度， 而且由 于整个视觉系 统装在机器人 手上， 机器人在进行焊 接 作业的同时就能 采集到图 像， 所以 不需要复杂的 传动扫 描装置， 但是这种系统 需 要 较复杂的图 像处理技术，要实时处理就需要 较高 的计 算机运行速度。 1 .4视觉系 统的 信息处理技术 1 . 4 . 1信息处理的三个阶段 ma r r从计算机理论出发将系统分为自下而上的三个阶段，即视觉信息从最 初的原始数据( 二维图像数据) 到最终对三维环境的表达经历了三个阶段的处理。 第一 阶段构 成所谓的 “ 要素图” 或 “ 基元图”( p r i m a ry s k e t c h ) ， 基元图由二维 图像中的边 缘点、 直线段、曲 线、 顶点、 纹理等基 本几何元素或 特征组 成: 第二 阶段， m a r r 称为对 环境的2 . 5 维描述， 用 “ 计算” 的 语言来讲， 就是重建 三维物 体在观察者 为中心的 坐标系下的 三维形 状与位置 1 25 1 . 当 人眼或摄像机观察周围 环 境物体时， 观察者对 三维物体最初是以自 身的 坐标系 来描述的， 另外， 我 们只能 观察 到物体的 一部分( 另一部分是物体的背面和 被其他 物体遮挡的部分) 。 这样， 重建 的结果是以 观察者 坐标系下描述的 部分三维物 体形状， 称为2 . 5 维描述. 这 一阶段中存在许多并行 的相对独立模块， 如立体 视觉、 运 动分析、 由 灰度恢复 表 面形状等不同处理单元。 对一个弧焊视 觉系 统， 焊 缝位置的检测是 核心问题。 一个 基于 视觉引 导的 弧 焊机器人不仅有着焊接速度和精度的要求， 而且需要广泛的适应性， 使之能够悍 第t 章 引言 接多 种焊缝并能工作于一些不能人为控制的环境当 中。 为了 满足 这些要求， 弧焊 视觉系 统的数 据处理方法也相应有其特殊性。比如，为了 满足实时焊接的要求， 同时 又不降 低焊接的精度， 人们想方设法设计出 种种主 动光源来简化输入系统中 的数据，以便 针对这种特殊的主动光源设计出 实用的焊缝检测方法26 .29 1 1 .4 . 2焊接视觉中的倍息处理技术 如前所述， 信息处理方式取决于输入信息的表达方式。 对于弧焊视觉系统， 常见的 输入信息是一些距离数据， 或者一幅图 像， 在信息处理上， 两者存在着很 大区别。 1 .4 . 2 .1以数据作为箱入源的信息处理技术 对于激光点扫描系统， 输入的是一系列距离数据， 这些数据在一条扫描线上， 当 扫描线经过焊缝时， 距离值存在突变， 如果焊缝的类型已知， 距离数据的变化 规律就已知， 这样就能方便地定出焊缝所对应的数据点。 由于数据点就表示了空 间位置，这样焊缝的 位置也就随之得到了。 瑞典a b b公司的弧焊机器人视觉系 统所采用的就是这个方法。 由于距离数据中免不了带有一定的噪声， 所以可先对 所有的 距离数据求平均， 然后再与原始的距离数据相减而得到一组新的数据， 如 果需要 还可以 进一步对新的数据进行求平均，直到噪声足够小为止. z .s m a t i m 证明了 该方法的有效 性。 o o m e n 3 1 1 等则干脆把一维的 距离数据转化为二维的图像 来处理，他用扫描线作 y轴，用z轴表示深度方向，焊缝检测方法与结构光法 大致相同。 对于光带型主动光源视觉系统，一般分为预处理和高层处理两个阶段进行。 预处理一般在光带检测出来后即告结束， 而高层处理则需要根据所抽取的光带检 测焊缝， 并得到了焊缝点及焊缝所在区域的法矢量。 预处理结果质量好坏对以后 高层处理影响很大， 但由 于受到时间的限制， 又不能在预处理上花费太多的时间。 目前检测光带的一般方法有两种，即空域法和阐值化法。 空域法即常见的模板匹配法。 它基于光带宽度为常数及光带在空间具有连续 性这两个条件， 通过把滤波器直接作用于输入的灰度图像提取出光带。 滤波器的 设计一般是对某特定宽度的波形敏感， 以求滤去斑点或其他噪声， 这样设计的依 据是光带宽度应为一常数。 由于图像光带一般呈横向或纵向， 所以 可以 简化为一 维滤波器， 又由 于激光光带的横截面的光强或者均匀或者呈高斯正 态分布， 所以 一 般 可 用g a u s s - l a p l a c e 算子 作 为 检 测光 强 呈 高 斯 分 布 的 光 带， 或 用 一 维高 斯分 布的 二 阶导 数 来 提 取 光 强 均 匀 分 布 的 光 带 13 2 1 : 也 可以 根 据 激光 光 带 都 具 有的 连续 性这一条 件. 对整幅输入图像进行 行或列扫描， 一旦 遇到非零像素点， 就在附 近 第t幸 引言 开一个窗口 ， 然后施以 对宽 度敏感的 滤波器来检测光带。 二值化方法主要问题在于如何选取阐 值。由于光带一 般都中间亮而两边较 暗， 所以 用二值化方 法提取光带时， 不应该对整幅图像施以同一个阐 值。 为了 使 阐值的 选择有适 应性， 可以 对整幅图 像进 行行或列扫描( 如果光带 横向用 列扫描， 反之用 行扫描) ， 并 对每列或每行求出 直方图， 然后根 据激光光带为 常数这一条 件， 利用 直方图 选取 上、 下阐值， 再对该 行所有元素进行二值化， 这种方法证明 具 有较好的 抗噪 声性能 1 3 3 - 3 气 应该说设计通用的高层次的处理算法比设计通用预处理方法难得多， 至少目 前 还没有一种对 各类焊缝， 各类表面， 各 类工作环境都适用的 焊缝检测方法。 现 在工业上使用的弧焊视觉系统都是针对某个特殊方面应用的。 1 a . 2 . 2以焊缝图 像作为输入源的 信息处理技术 另外一种 输入方式不是数据格式， 而是焊缝的图 像信息， 传感器接 收到的 是 焊缝 ( 或严格说来是待焊部分的焊缝图像信息) ， 这种图像仍然不是直接的信息， 要先将目标、 摄像机的位置坐标确定好之后， 依据空间关系进行转换， 得到焊缝 位置 坐标。 m . k a w a h a a r a l 36 l 所设计的弧焊视觉系统是专门 来检测v形焊缝的， 他 所采用的主动光源是单条带的结构光。 用 c c d摄像机摄出图像，并量化成灰度级为 6 4的 3 2 x 3 2图像，在预处理 阶段， 先对输入图像进行二值化， 然后利用一个延时电路，对先后得到的几幅二 值化图像进行求与运算， 来消除噪声的干扰。 在高层处理过程中， 先对图像按行 进行压缩， 每一行由b d r , b z , d 2 , 巧， y六 个参数来 表示， 其中13 ， 表示从 最左开始到 第一次图像亮点时 所有的 像素， d ， 表示 从b , 最末点开始 包含的连续 亮点数， b 3 表示 珑后的连续暗点数， d 2 表示 巧后的连续亮点 数， d 3 表示 珑 后连续暗点数， y代表所处的行号。 根据每行的这几个值，就可以利用一些关于 光 带 形 状 的先 验 知识 来 获 取 左 右 两边 的斜 边 。 例 如 ， 若在 某 行 上 b 1 + d , + b 2 + d 2 + b 3 = 3 2 ， 而且w, d , w2 , w , d 2 7 m m 出瞳功率:3 0 m w 光束发散角: 0 .5 m / r a d 工作距离:8 0 m m 光学系统:光学镀膜玻璃透镜 工作温度:- 1 0 c -+ 4 0 0c 2 .2 . 2摄像头c c d和法光片的选择 目 前在焊接中应用较广的c c d摄像机， 可分为线阵c c d和面阵c c d两种。 线阵c c d传感器由 一行感光 基元，两个定时地将感光 基元中的内容传给传输寄 存器的传输门，以及一个定时地将传输寄存器中的内容传给放大器的输出门构 第2 章 结构光视觉传感系统 成。放大器输出的电压信号与感光基元行的内容成比例。面阵c c d的工作原理 与线阵c c d相似，但感光基元排成一个矩阵形式。 感光基元列由 传输门和传输 寄存器隔开。 先将奇数列感光基元的内 容顺序送进垂直传输寄存器， 然后再送进 水平传输寄存器。 把水平传输寄存器的内 容送进放大器就得到1 帧隔行的视频信 号. 对偶数感光基元重复以上过程就可得到另1 帧隔行的视频信号。 将2 帧合起 来就可以得到隔行扫描的1 场。 本视觉系统采用的是香港吉川公司的j c - b s 6 2 9型超微型黑白c c d摄像机 圆， 其中的 c c d图 像传感器芯片采用的 是日 本 s o n y公司的 芯片， 型号是 i c x 2 5 8 a l h l . c c d图 像区 域5 .7 8 m m x 4 . 1 9 m m ，自 动曝光时 间1 / 6 0 - 1 / 1 5 0 0 0 8 . c c d摄像机的主要技术参数: c c d图像传感器1 / 3 s o n y e x v i e w h a d i m a g e s e n s o r 图像像素5 1 2 h x 4 9 2 v e i a, 5 1 2 h x 5 8 2 v c c i r 信号系统c c o v e i a制式 清晰度4 0 0 t v l 最低照度0 .2 l u x / f 1 .2 信噪比 4 wb c c d光圈1 / 5 0 ( 6 0 ) t o 1 / 1 0 0 , 0 0 0 s e c 电源d c 1 2 v / 8 5 m a 工作温度。 2 0 c -5 0 c 同 步系统内同 步i n t e m a l s y n c 结构光法利用激光光源的可控性， 并对激光信号和干扰信号进行分离来进行 作用的， 需要选择适当谱值的激光和适当滤光范围的滤波器， 为此对弧光光谱的 分析将是十分重要的内容。 g a g a p io u等 人 【7 0 1通过 测量m i g焊 弧 光 的 光 谱 范 围 ， 提出 弧 光的 范围 为 1 5 0 - 9 7 0 n m。通过比 较弧光波长与普通激光二极管波长， 认为弧焊传感器中所用 激光二极管的中心波长最好为4 6 7 n m, 5 9 4 n m, 6 1 0 n m , 6 3 2 n m和9 5 0 n m。从而 七者沃口乌ul 孟 / j a m 图2 - 3电 弧光谱分析 第2 章 结构光视觉传感系 统 可选择适当波长的激光传感器以减少弧光对激光的干扰。 一般来讲圆， 弧焊光谱由 原 子光谱、离子 光谱和连续谱组成。 弧光是不 连 续成份熔池金属辐射光是连续成份。图2 - 3 是g t a w工艺、焊接电流5 0 a和弧 长3 m m情况下低碳钥阳极的电弧光谱线分布. 整个谱线是在较低的连续谱上盈 加了 许多不连续的 谱线， 这些不 连续的谱成份即弧光成份， 而在6 0 0 - 7 0 0 n m波 长区间弧光成份最弱，同时也最稳定.因此， 在6 0 0 - 7 0 0 m n区间开一窗口，就 可以 避开大部分的弧光千 扰。 因此在接收光路中 采用峰 值波长为6 3 2 .8 n m的 干扰 滤光片，该滤光片的峰值透光率高达 6 3 %，能有效地排除焊接区弧光的干扰， 防止焊缝的特征信号被弧光淹没。滤光片既能保证激光顺利进入 c c d ，又可以 达到最大的信噪比。 2 . 2 . 3图像采集卡的选择 要得到数字图像，一般要把c c d视频输出到一个数字化器中，这需要通过 在计算机中安装专门的图像采集卡实现， 在本视觉系统中选用北京大恒图像视觉 有限公司设计的d h - c g 4 0 0图像采集板卡。该图 像采集卡是基于p c i 总线的高 速彩色/ 黑白图像采集卡。d h - c g 4 0 0基于高性能的p c i 总线，使其能实时传送 数字视频信号到显示存储器或系统存储器. 输入的彩色视频信号经数字解码器、 模/ 数转换器、 比 例缩放、 裁剪、 色空变换等处理， 通过p c 总线传到v g a卡实 时显示或传到计算机内 存实时存储. d h - c g 4 0 0 主要技术性能及指标: . 标准p a l , n t s c制彩色/ 黑白视频信号输入: . 输入方式:软件选择及切换:六路c v b s 输入、 三路y / c输入、 六选一模 拟视频输出: . 图像采集最大分辨率: 7 6 8 x 5 7 6 x 2 4 b i t ( p al ) 6 4 0 x 4 8 0 x 2 4 b i t ( n t s c) . 灵活采集图像: 可按单场 ( 奇场或偶场) 、 单帧、 连续场、 连续帧、间隔几 场或几帧等多种采集方式; . 图像覆盖 ( o v e r l a y)功能:通过填写屏蔽 ( m a s k)模板，可实时显 示和存储任意形状的输入图像: . 硬件完成输入图像的比例缩放( s c a l e ) 、 裁剪( c l i p ) ; 输入图像的大小、 位置可灵活设置; . 支持色度空间变换 ( c o l o r s p a c e c o n v e r t i o n ) : y u v 4 2 2 , r g b 3 2 , r g b 2 4 , r g b 1 5 , r g b 1 6 , y 8 b i t 等多种图像显 示和存储格式; 第z 章 结构光视觉传感系统 . 支持计算机内 容与采集图像同屏显示的工作方式; . 支持软件调整亮度、 色度、色调饱和、对比 度: