焊接质量实时在线检测用工业相机

焊接质量实时在线图像检测相机选择焊接质量实时在线图像检测相机选择 1.背景背景 自动化焊接是当今工业自动化的重要组成部分，而焊接过程中的实时质量检测与控制 则是技术重点和难点。焊接在线实时检测就是边焊接边检测，发现有质量问题，可立即采 取相应措施。实时在线检测采用的传感器有超声波传感器、温度场传感器、电弧传感器及 视觉传感器等，其中视觉传感器所获得的信息量大，结合计算机视觉和图像处理的最新技 术成果，大大增强了自动化焊接机器人的外部适应能力，其研究和发展最引人注目。视觉 传感器直接测量焊接熔池，获得的数字图像表象直观，信息丰富，且数字化的图像数据可 以实时传输到计算机高速内存中，进行实时图像处理，提取焊接熔池的特征信息，并据此 作出在线实时判决，从而实现焊接质量的实时检测与闭环反馈控制。用机器视觉图像直接 测量焊接熔池已成为重要的研究和应用方向，它可用于焊缝跟踪、焊接过程稳定性监测和 熔透控制等方面，有独特的的优势。 2.焊接熔池成像关键技术要求和视觉系统分类介绍焊接熔池成像关键技术要求和视觉系统分类介绍 我们知道，焊接是在要焊件的工件表面形成局部高温，使工件表面局部熔化，形成熔 池，熔池冷却固化完成焊接。整个焊接区域的不同部位发光特性相差很大，焊接中心温度 通常非常高，会形成发出耀眼强光的等离子体，其边缘是材料熔化后的熔池，熔池温度较 低，只有很弱的光辐射，这使视觉传感器观测区域不同部位的光强差异很大，焊接等离子 体的辐射光强度通常远远超过焊接熔池的辐射光强，使要观测区域的光强动态范围非常大， 通常大于 100dB。焊接在线实时检测中焊接图像通常用数字工业相机来摄取，获得清晰熔 池图像面临的最大困难是要克服焊接等离子体形成的强光干扰。一般，如果不采取措施， 焊接实时检测图像获取系统的入射光强会超过工业相机传感器的响应上限，即焊接等离子 体的强辐射光是如此之强，会使一般工业相机的所有或大部分感光单元在其曝光的短时间 内达到光照饱和，从而使相机感光单元的输出达到电饱和，无法重现焊接熔池中心及边缘 部分的图像细节，熔池图像的细节会完全丢失。为了避免熔池图像的细节信息被焊接等离 子体强光淹没，焊接实时检测的图像获取系统必须选用动态范围尽可能大的数字工业相机， 并采取适当的滤光、衰减或辅助脉冲照明等其他措施。 从国内外大量文献来看，焊接实时检测的图像获取系统中采集熔池图像的方法主要分 为主动式直接视觉传感和被动式直接视觉传感两大类。主动式直接视觉传感利用窄带复合 滤光系统滤除非连续光谱的电弧强光，并采用高强度脉冲闪光作为辅助光源，可有效地抑 制弧光获得清晰图像。工业相机成像的光路系统中加有与高强度脉冲闪光波长相匹配的窄 带光学滤光器，工业相机的快门与高强度脉冲闪光同步，因此成像时高强度脉冲闪光能有 效地抑制弧光的干扰，同时也抑制了其它波长的干扰，提高图像的信噪比。主动式直接视 觉传感系统结构比较复杂，应用中的调整也较困难，限制了其应用。 被动式直接视觉传感是利用焊接过程中的自发光进行成像。被动式直接视觉传感面临 前面所述的强光干扰的问题，所以被动式直接视觉传感通常采用动态范围尽可能大的工业 相机，并采取适当的辅助措施。如激光焊接中，通常采用中性减光的办法减小强光干扰的 问题；在电弧焊接中，对于短路电弧焊和脉冲电弧焊，可在短路期间或基值电流期间获取 图像数据；TIG/MIG/MAG 焊时弧光在 600nm 700nm 波段内相对光强最弱最稳定，选 用这一波段内的干涉带通滤光片可有效地排除弧光干扰。被动式直接视觉传感和人的视觉 特性更为相似，且因为系统结构简单，调整方便，传感器结构价格低，而使它是成为当今 研究最活跃、应用最广泛的一种视觉传感方法。 要获得在强光等离子体条件下的焊接熔池中心及边缘部分的清晰图像，对焊接实时检 测的图像获取系统中的关键部件数字工业相机提成了一些独特的技术要求，后续几个部分 我们将讨论不同数字工业相机特性差异，并介绍一特别适合焊接实时检测图像获取系统的 工业相机。 3.工业相机特性介绍及其差异工业相机特性介绍及其差异 当前应用最广泛的数字工业相机有 CCD 数字工业相机和 CMOS 数字工业相机两大 类。 CCD 数字工业相机数字工业相机 CCD 是电荷藕合器件（Charge Coupled Device）的简称，它是应用最广泛的图像传感 器之一。一个 CCD 图像传感器是成像像元为 X-Y 纵横矩阵排列，每个成像像元由一个光 电二极管和其控制的一个相邻电荷存储区组成。光电二极管将光线（光子）转换为电荷 （电子） ，电荷存储区收集到的电子总数量与光线的强度成正比。在读取这些电荷时，各列 电荷存储区收集到的光生电子被移动到垂直电荷传输方向的电荷传递寄存器中，然后各列 电荷传递寄存器中的电荷按行被移到总的行电荷传递寄存器中，总的行电荷传递寄存器中 每行的电荷信息再被连续读出，通过同一电荷/电压转换器和放大器来生成图像信息。当光 强不太强时，CCD 传感器的响应是线性的， CCD 像元内的电荷存储区可以存储全部光电 荷，此为线性范围。当光强继续增大时，因为电荷存储区已存储了很多光生电荷，由光生 电荷产生的电场会妨碍像元按线性继续积累电荷，CCD 便进入了饱和区。如果光强进一步 增大，电荷存储势阱将填满电子，而过剩的电子会向外溢出。如果没有特殊措施，溢出的 电子将进入相邻像素，致使本来工作在线性区域的相邻像素在收集到溢出电子后进入饱和 湖南科天健光电技术有限公司湖南科天健光电技术有限公司 湖南科天健光电技术有限公司 RockeTech Technologies Ltd. Tel: +86-731-88577190 Addr:湖南省长沙市开福区芙蓉中路一段 198 号名富公寓 1917 室 Zip:410008 Website: Http:/www.rocketech.cc 区或也向外溢出电子，使图像出现光晕现象，图像清晰度也就明显下降了。CCD 图像传感 器的原理和结构使其有较好光照灵敏度高、噪音低、图象质量较高的优点，一般 CCD 工 业相机的动态范围在 60dB 左右。但在图像中有高亮度的点或区域时，CCD 图像传感器存 在让图像质量严重劣化的“Blooming”和“Smear”效应。 “Blooming”效应效应 当成像视场中存在亮度较高的点光源或亮区域时，CCD 在亮点光源附件区域有 Blooming 或称为“开花” （也叫光晕或高光溢出）的效应。它是 CCD 传感器像素在受到强 光照射时，亮点区域像元获得的光照过强，像元光电二极管在强光下产生的光电子数超过 CCD 电荷存储区可以存储的最大电子数而溢出，溢出的电子将沿行或列方向进入相邻像素， “污染” 相邻图像区域 (使相邻区域也饱和)，图像出现 Blooming “开花” （光晕）现象， Blooming 会导致相机图像清晰度明显下降，严重影响成像的质量。不同程度的 “Blooming”会使图像出现不同程度的光晕图像，光晕图像无法真实反映要观测区域的细 节信息，会丢失许多有用的信息。焊接实时检测的图像获取系统中，如果没有特殊的抗干 扰措施，焊接等离子体的强光会在 CCD 工业相机上产生严重的光晕，使焊接熔池中心及 边缘部分的图像信息全部损失。 “Smear”效应效应 CCD 相机视场中点光源或亮区域亮度不断提高时，Blooming 不断增强，图像中亮区 域的分散范围逐渐扩大，当 Blooming 很强时，便会出现条形光晕图像，即让图像质量严重 劣化的 Smear（垂直拖光）效应。Smear（垂直拖光）是视场中点光源或亮区域亮度很高时， CCD 传感器像元光电二极管产生的光电子数太多，溢出的光电子进入相邻的本来被屏蔽不 感光的垂直电荷传递寄存器中，或入射光经过像元光电二极管区域的反射或折射进入被屏 蔽不感光的垂直电荷传递寄存器中形成光电子，造成该列上的电荷传递寄存器中有寄光强 分布，导致如下图所示的 Smear（垂直拖光）效应，图像质量严重劣化。 图图 1、Smear（垂直拖光）效应原理示意图及其实例图像（垂直拖光）效应原理示意图及其实例图像 因为 CCD 图像传感器存在让图像质量严重劣化的“Blooming”和“Smear”效应，以 及 CCD 的动态范围比较小，一般 60dB 左右，CCD 工业相机很难在焊接等离子体的强光干 扰下获取焊接熔池中心及边缘部分的图像细节信息，CCD 不是特别适合焊接实时检测图像 获取的工业相机。 CMOS 数字工业相机数字工业相机 CMOS 是 Complimentary Metal Oxide Semiconductor (互补型金属氧化半导体)的简称， CMOS 和 CCD 传感器一样，是在 Si（硅）半导体材料上制作的。新一代 CMOS 采用有源 像素设计，每个像元由一个能够将光子转化成电子的光电二极管、一个电荷/电压转换器、 一个重置和一个选取晶体管，以及增益放大器组成。CMOS 传感器结构排列上像是一个计 算机内存 DRAM 或平面显示器，覆盖在整块 CMOS 传感器上的金属格子将时钟信号、读 出信号与纵队排列输出信号相互连接。CMOS 图像传感器的每个像元内集成的电荷/电压转 换器把像元产生的光电荷转换后直接输出电压信号，以类似计算机内存 DRAM 的简单 X-Y 寻址技术的方式读出信号，这种方式允许 CMOS 从整个排列、部分甚至单个像素来读出信 号，这一点是和 CCD 完全不一样的， 也是 CCD 做不到的。另外，内置的电荷/电压转换 器实时把光电二极管生成的光电荷转换成电压信号，原理上消除了“Blooming”和 “Smear”效应，使强光对相邻像元的干扰降到很小。 2000 年前，CMOS 较大的噪声使其图像质量较差。近年，随着半导体主流制造的工 艺进步、材料特性不断提高，集成晶体管尺寸大幅缩小，以及 CMOS 电路消噪技术的不断 发展，使采用了有源像素设计的新一代 CMOS 器件在暗电流、电路噪声、串扰噪声方面得 到很好的控制，整体噪声水平大大降低，工业级器件的图像质量已经接近 CCD 的水平。 此外 CMOS 传感器还可以从主流半导体加工技术和材料的改良中不断获益，提高其性能。 重要的是，CMOS 传感器是在高产量的半导体厂以标准的现代大规模集成电路加工方式加 工制作而成，芯片的成本比 CCD 芯片低很多，其外部驱动及转换电路也可以在同一半导 体加工过程中很容易的集成到同一芯片上，因此 CMOS 相机的整体成本也较低。 新一代 CMOS 传感器像元内部集成的放大器增益是可程控的，可设定像元内部集成 放大器的增益特性，让其根据入射光信号的强弱调整增益水平，使放大器特性不再仅是线 性的。现代 CMOS 相机具有多种输出模式：线性模式、双斜率模式、对数模式和 校正 模式等，不同的输出模式，对应的信号动态范围不同，可适应不同的使用要求。如瑞士 PhotonFocus 采用其专利的 LinLogTM 技术后，像元放大器特性增益特性可程控设置为多段 湖南科天健光电技术有限公司湖南科天健光电技术有限公司 湖南科天健光电技术有限公司 RockeTech Technologies Ltd. Tel: +86-731-88577190 Addr:湖南省长沙市开福区芙蓉中路一段 198 号名富公寓 1917 室 Zip:410008 Website: Http:/www.rocketech.cc 类对数特性，动态范围提高很大，最大动态范围可达 120dB。 在焊接应用中，观测区域辐射光强的差异很大，光强动态范围通常大于 100dB。对这 种光强变化剧烈的应用，CMOS 因为没有“Blooming” ， “Smear”效应，通过设定像元放 大器增益特性尽可能扩展其动态范围，获取焊接熔池的清晰图像有了可能。下图是用数字 CCD 工业相机和 Photonfocus 的数字 CMOS 工业相机拍摄的激光焊接的焊点图像： 图图 2、CCD 和和 CMOS 相机拍摄的焊接图像相机拍摄的焊接图像 从图中我们可以看出，数字 CCD 工业相机的动态范围只有 60dB，拍摄中，焊点 中心的光强太强，引起 Blooming，使焊点周围熔化部分的熔池图像细节完全损失；而 Photonfocus 的数字 CMOS 工业相机，可以获得很好的焊接熔池图像细节，这为后续的 图像分析和焊接质量实时检测控制提供了基础。 综合以上焊接检测要求以及 CCD 和 CMOS 的分析，我们可以看到工业 CMOS 相机比 工业 CCD 相机更适合焊接检测的应用要求。 4.特别适合焊接实时图像检测的特别适合焊接实时图像检测的 Photonfocus CMOS 相机技术介绍相机技术介绍 LinLogTM技术技术 LinLogTM技术是瑞士 PhotonFocus 公司在工业 CMOS 传感器开发中创新的专利技 术。CMOS 传感器工作在线性响应模式时，和 CCD 一样，动态范围较小，传感器很快 会饱和。对数响应模式时，CMOS 相机有非常大的动态范围，但其在低照度时灵敏度 会降低，低照度区域图像的对比度严重降低，该区域图像会有一种灰蒙蒙的感觉。 LinLogTM技术只压缩图像接近饱和及饱和区域的响应，保留在图像低照度区域响应的 灵敏度和线性，所以既扩展了整个传感器的动态范围，又保证了低照度区域图像的质 量。下图示出线性响应、传统对数响应与 LinLogTM响应曲线的区别。 图图 3 线性响应、线性响应、Linlog 响应、对数响应曲线响应、对数响应曲线 图图 4 线性响应、线性响应、Linlog 响应下拍摄的有局部强光图像对比响应下拍摄的有局部强光图像对比 在 LinLogTM技术中，在线性区域和 Linlog 区域的转换点附件，响应的压缩比较高， 所以在转换点的附件的灰度细节对比度受到较大的影响，图像在此灰度范围内对比度 不好。在 LinLogTM的基础上，Photonfocus 发展出了 Linlog2 技术，Linlog2 技术主要是 针对 LinLogTM技术的不足而做的改进。下图是 Linlog2 的特性曲线： 图图 5 Linlog2 特性曲线特性曲线 Linlog2 技术采用 3 个参数来控制 LinLogTM的压缩曲线，即 LL1,LL2 和 COMP。LL1 是第一门限值，用于强压缩区域；LL2 是第二门限值，用于弱压缩区域； COMP 参数用来定义 LL1 和 LL2 之间的比率。 湖南科天健光电技术有限公司湖南科天健光电技术有限公司 湖南科天健光电技术有限公司 RockeTech Technologies Ltd. Tel: +86-731-88577190 Addr:湖南省长沙市开福区芙蓉中路一段 198 号名富公寓 1917 室 Zip:410008 Website: Http:/www.rocketech.cc ROI（Region Of Interest）技术）技术 CMOS 图像传感器的类似计算机内存 DRAM 的简单 X-Y 寻址的信号读出方式，允 许 CMOS 从整个排列、部分甚至单个像元中读出信号，这是一个非常有用的特点，它 允许 CMOS 相机通过设置感兴趣区域(Region Of Interest 以下简称 ROI)来获取相机视场 内的有效信息，CCD 相机无法提供 ROI 功能。ROI 是在成像应用中，在 CMOS 相机传 感器分辨范围内定义一个或多个感兴趣的窗口区域，仅对这些窗口内的图像信息进行 读出，只获取该局部区域的图像。如焊接检测过程中焊缝的有效图像是一细长区域， 且在一定的范围内运动（约占相机视场的 2/3） ，在该范围外的图像信息对检测来说是 无效的，设定较小的 ROI 区域可以减少相机传送及计算机需要处理的图像信息量。 ROI 可同时提高 ROI 区域图像获取的帧频，一般的 CMOS 相机减少垂直方向的分辨率 可提高 ROI 区域的帧频，水平方向的减少则不能。PhotonFocus 的 CMOS 相机因采用 了独特的整体快门和读出总线设计，其读出总线的总带宽固定，垂直方向分辨率的减 少和水平方向分辨率的减少都可提高 ROI 区域的帧频。例如，在全分辨率为 10241024，最高帧频为 37 帧每秒的 CMOS 相机中，开一 256256 的 ROI 窗口，这 将相机每帧图像的数据量从 1MB 有效的减少到了 64KB，此外，一般的 CMOS 工业相 机中，该 ROI 区域最高帧频是 148 帧每秒（1024/25637） ， PhotonFocus 的 Hurricane-40-U2 相机在 ROI 区域最高帧频是 492 帧每秒（1024/2561024/25637） 。 在高速焊接在线实时质量检测中，ROI 高速特性非常有用，可极大提高整个测量、反 馈控制系统的响应速度。 瑞士 Photonfocus 公司的 CMOS 相机都有灵活的 ROI 功能，其相机最多可同时开 16 个 ROI 窗口，下表是其系列相机在 ROI 不同窗口大小时相机可达到的最高帧频。 说明：表中的数字为在对应 ROI 窗口大小的最高帧频，* 表示该型号相机无法设置对应大小的窗口。 5.Photonfocus 的的 CMOS 相机在焊接实时图像检测中的典型应用相机在焊接实时图像检测中的典型应用 在全球工业激光焊接在线检测的 PROMETEC GmbH 公司的 PD2000 系统中： /english/pages/framesets/laser_welding_monitoring.htm 图图 6 激光焊接在线监测系统激光焊接在线监测系统 PD2000 的结构示意图的结构示意图 日本企业在评估了众多工业相机的性能后，认为 Photonfocus 的高动态 CMOS 相机 非常适合焊接的实时在线检测，所以在焊接自动化过程中大量采用了 Photonfocus 提供 的高速高动态 CMOS 相机做焊接的在线质量检测，并在实际应用过程中获取了设置 Linlong 参数的经验。下表是日本企业用户使用 Photonfocus 相机时的设置参考。 File nametig_01tig_02tig_03tig_04tig_05 Camera MV-D1024-80MV-D1024-80MV-D1024-80MV-D1024-80MV-D1024-80 Type of WeldingTIGTIGTIGTIGTIG ROI size (pixel)256x256256x256256x200256x256256x256 fps10241024102410241024 number of frame60005560600060006000 Exposuretime (ms)0.080.080.270.060.06 Lens type (mm)2828282828 F point of lens1616222 Kinds of filter-BPF 950BPF 890IR 96 WD (m)11111 LLL2600606085 Comp302.9833 湖南科天健光电技术有限公司湖南科天健光电技术有限公司 湖南科天健光电技术有限公司 RockeTech Technologies Ltd. Tel: +86-731-88577190 Addr:湖南省长沙市开福区芙蓉中路一段 198 号名富公寓 1917 室 Zip:410008 Website: Http:/www.rocketech.cc Skim- LUT- x2 extenderx2 extenderx2 extenderx2 extenderx2 extender 图图 7 TIG 焊时的参数配置焊时的参数配置 file name CO2gas_01CO2gas_02CO2gas_03CO2gas_04CO2gas_05CO2gas_06CO2gas_07 Camera MV-D1024-80MV-D1024-80MV-D1024-80MV-D1024-80MV-D1024-80MV-D1024-80MV-D1024-80 Type of Welding CO2 arcCO2 arcCO2 arcCO2 arcCO2 arcCO2 arcCO2 arc ROI size (pixel)256x256256x200256x200256x200256x128256x128256x128 fps1000100010001000177115051505 number of frame6000600060006000600060006000 Exposuretime (ms)0.010.20.20.1 Lens type (mm)28282828282828 F point of lens5.62.02.02.82.02.04.0 Kinds of filter-BPF