（材料加工工程专业论文）基于改进阈值分割和cv模型的熔池图像几何特征提取方法研究.pdf

m d d i s s e r t a t i o n r e s e a r c ho nw e l d p o o lv i s u a li m a g e g e o m e t r i c a lc h a r a c t e r i s t i c se x t r a c t i o n b a s e d - o ni m p r o v e dt h r e s h o l d s e g m e n t a t i o n a n dc vm o d e l b y z h a n gy a n s u p e r v i s e db yp r o f w a n gk e h o n g n a n j i n gu n i v e r s i t yo fs c i e n c e t e c h n o l o g y m a r c h ，2 0 1 3 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 矽f 弓年弓月碥 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 为侈年弓月砺 硕士论文基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 摘要 本文提出了一种新的基于阈值分割法的熔池图像分割方法，采用该方法成功地提 取了单线宽连续的熔池区轮廓及浮渣区轮廓。该方法包含改进的阈值分割法、中值滤 波和轮廓提取。文中选用熔池区轮廓上所有点的p r e w i t t 算子卷积和作为选取阈值分 割的阈值的评判函数，p r e w i t t 算子卷积和最大值对应的阈值即为熔池图像分割的全 局最佳阈值。采用基于滑动直方图的高效中值滤波算法，大大提高了整个熔池图像处 理算法的效率。在i n t e lic o r ei 5 2 4 5 0 mc p u2 5 g i - i z ，4 g 内存的硬件环境以及v c 6 0 的编程环境下，利用该算法提取一幅4 0 0 4 0 0 的熔池图像的熔池区轮廓的最短时间为 0 0 4 6 s 。 本文研究了采用经典的c v 模型实现熔池区轮廓提取的方法。对于一幅预处理的 熔池图像，采用高斯滤波去除图像噪声，给定熔池图像一条圆形的初始轮廓线，利用 c v 模型可实现不同焊缝成形质量的m a g 焊熔池区轮廓的自动提取。本文重点研究 了用于熔池图像轮廓提取的c v 模型的参数设置及参数大小对检测效率的影响。试验 结果表明：增大参数3 和t ，模型检测到远离初始轮廓线的边缘点的效率会提高。 本文用水平集函数的梯度范数替换c v 模型里的正则化的d i r a c 函数。改进后的 c v 模型对模型参数大小的敏感性下降，对熔池图像分割具有良好的适应性，同时， 检测到远离初始轮廓线的边缘点的能力大大提高，模型迭代时间显著减少。在m f c 环境下，本文开发了一套基于改进的c v 模型的熔池图像处理程序，实现了不同焊缝 成形质量的m a g 焊熔池图像的熔池区轮廓提取。试验结果表明：该算法提取熔池图 像轮廓使用时间短，提取精度高。 关键词：阈值分割，p r e w i t t 算子，高效中值滤波，c v 模型，水平集 硕士论文基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 a b s t r a c t an e ww e l dp o o li m a g es e g m e n t a t i o nt e c h n i q u eb a s e do nt h r e s h o l ds e g m e n t a t i o ni s p r o p o s e di nt h i sp a p e r , a n ds i n g l ew i d ea n dc o n t i n u o u sw e l dp o o lc o n t o u ri sg a i n e db yt h e t e c h n i q u e ，w h i c h i n c l u d e st h r e e i m a g ep r o c e s s i n gt e c h n i q u e s ：i m p r o v e d t h r e s h o l d s e g m e n t a t i o nm e t h o d ，m e d i a nf i l t e r , c o n t o u re x t r a c t i o n t h ec o n v o l u t i o ns u mo fp r e w i t t o p e r a t o ro fa l lp o i n t so nt h ew e l dp o o lc o n t o u ri ss e l e c t e da st h ej u d g ef u n c t i o nt of i n dt h e o p t i m a lt h r e s h o l df o rt h et h r e s h o l ds e g m e n t a t i o n t h et h r e s h o l da c c o r d i n gt o t h em a x p r e w i t tc o n v o l u t i o ns u mi sc h o s e na st h eo p t i m a lt h r e s h o l df o rw e l dp o o li m a g e s e g m e n t a t i o n i nt h ep a p e r , t h eh i g h p r o f i c i e n c ym e d i a nf i l t e rb a s e do ns l i d i n gh i s t o g r a m i n c r e a s e st h ee f f i c i e n c yo ft h ew h o l ew e l dp o o li m a g ep r o c e s s i n ga l g o r i t h mi nal a r g e e x t e n t i nt h eh a r d w a r ee n v i r o n m e n to fi n t e lic o r ei 5 2 4 5 0 mc p u2 5 g h z ，4 gm e m o r y , a n dt h es o f t w a r ee n v i r o n m e n to fv c6 0 ，t h ea b o v ea l g o r i t h mt a k e st h es h o r t e s tt i m eo f o 0 4 6 st oe x t r a c tt h ew e l dp o o lr e g i o nc o n t o u ro fa4 0 0 x 4 0 0m a gw e l dp o o li m a g e t h ee x t r a c t i o no ft h ew e l dp o o lr e g i o nw i t hc vm o d e la l g o r i t h mi ss t u d i e di nt h e p a p e r f o rap r e p r o c e s s e dw e l dp o o li m a g e ，g a u s sf i l t e ri su s e dt or e m o v et h en o i s eo ft h e i m a g e g i v e na l li n i t i a lc o n t o u rl i n eo fac i r c l es h a p e ，t h ew e l dp o o lr e g i o nc o n t o u r sw i t h d i f f e r e n tw e l ds h a p i n gc a nb ea u t o m a t i c a l l ye x t r a c t e db yt h ec vm o d e l t h eo p t i m a l p a r a m e t e r so fc vm o d e lf o rt h ec o n t o u re x t r a c t i o no ft h ew e l di m a g ep o o lr e g i o na n di t s i n f l u e n c eo nt h ed e t e c t i o ne f f i c i e n c yi ss t u d i e dm a i n l yi nt h ep a p e r t h ee x p e r i m e n t ss h o w t h a t ：t h ei n c r e a s eo fp a r a m e t e r s a n da tc a nl e a dt oaf a s t e rs p e e do fd e t e c t i n gt h ee d g e p o i n t sf a rf r o mt h eo r i g i n a lc o n t o u rl i n e i n t h i sp a p e r ，t h er e g u l a r i z e dd i r a cf u n c t i o no fc vm o d e li sr e p l a c e db yt h eg r a d i e n t n o r mo ft h el e v e lf u n c t i o n t h ei m p r o v e dm o d e lh a sad u l ls e n s i b i l i t yo ft h em o d e l p a r a m e t e r s ，ag o o da d a p t a b i l i t yi nw e l dp o o li m a g e ss e g m e n t a t i o n ，a n dab e r e ra b i l i t yo f d e t e c t i n gt h ee d g ef a rf r o mi n i t i a lc o n t o u rl i n ew h i c hr e s u l t e dw i t ha s h o r t e rd e t e c t i n gt i m e aw e l dp o o li m a g ep r o c e s s i n gp r o g r a mb a s e do nc vm o d e li sd e v e l o p e di nt h em f c s o f t w a r ee n v i r o n m e n t t h ep r o g r a mc a nr e a l i z et h ec o n t o u re x t r a c t i o no fm a g w e l dp o o l i m a g e sw i t hd i f f e r e n tw e l dc o n f i g u r a t i o n ，a n da c h i e v eac o n t i n u o u sc o n t o u rl i n eo ft h e w e l dp o o lr e g i o n t h ee x p e r i m e n t ss h o wt h a t ：t h ea l g o r i t h mc a nd e t e c tt h ew e l dp o o le d g e i nas h o r tt i m e a n dh a sag o o de x t r a c t i o np r e c i s i o na tt h es a m et i m e i l l a b s t r a c t硕士论文 k e yw o r d ：t h r e s h o l ds e g m e n t a t i o n ，p r e w i t to p e r a t o r ，h i g h - p r o f i c i e n c ym e d i a nf i l t e r ，c v m o d e l ，l e v e ls e t i v 硕士论文基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 目录 摘i 9 2 享i a b s t r a c t i i i 1 绪论l 1 1 选题意义l 1 2 熔池视觉图像传感研究现状1 1 2 1 被动式熔池视觉传感2 1 2 2 主动式的熔池视觉传感4 1 2 3c m o s 相机在熔池视觉传感过程中的应用5 1 3 熔池图像处理研究现状6 1 3 1 传统的熔池图像分割技术6 1 3 2 基于偏微分方程的熔池图像边缘提取8 1 4 本课题研究内容1 0 2m a g 焊熔池视觉传感采集试验系统及工艺试验。1 1 2 1m a g 焊焊接系统1 1 2 2m a g 焊熔池视觉传感系统1 1 2 2 1c m o s 相机的选取1 2 2 2 2 近红外复合滤光系统的设计1 3 2 3m a g 焊工艺试验1 4 2 4 本章小结1 5 3m a g 焊熔池图像的预处理1 7 3 1b m p 位图文件结构1 7 3 2 熔池视频转换成2 4 位b m p 熔池图像1 8 3 2 1 熔池视频转换成一帧熔池图像的结果1 9 3 - 32 4 位熔池图像的8 位化2 0 3 4 本章小结2 1 4 基于改进的阈值分割法的熔池图像处理2 2 4 1 基于改进的阈值分割法的熔池图像处理算法原理2 2 4 1 1 边缘的判定原理2 2 4 1 2 阈值分割法2 4 4 1 3 中值滤波2 5 4 1 4 轮廓提取2 6 v 目录硕士论文 4 2 基于阈值分割的熔池图像处理的v c + + 实现2 7 4 2 1 基于阈值分割法的熔池图像处理流程2 7 4 2 2 开发的熔池图像处理的应用程序2 9 4 2 3 熔池几何参数提取及保存2 9 4 3 熔池图像处理结果分析3 2 4 3 1 熔池区、浮渣区的轮廓提取结果3 2 4 3 2 对比试验分析3 3 4 4 本章小结3 4 5 基于水平集的c v 模型的熔池图像分割3 6 5 1 基于水平集的c v 模型的图像分割原理3 6 5 1 1 曲线演化理论3 6 5 1 2 水平集理论3 7 5 1 3 基于水平集的c v 模型原理3 9 5 1 4c v 模型的数值实现一4 2 5 2 基于c v 模型的熔池图像处理的v c + + 实现4 4 5 2 1 基于c v 模型的熔池图像处理流程4 4 5 2 2 基于c v 模型的熔池图像处理程序4 7 5 3c v 模型熔池图像处理结果及模型参数选取4 8 5 4 基于改进的c v 模型的熔池图像分割4 9 5 5 本章小结5 3 6 结论5 4 致谢。5 5 参考文献5 6 v i 硕士论文 基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 1 绪论 1 1 选题意义 随着当代计算机技术、电子信息技术、数控及机器人技术的快速发展，焊接过程的 智能化以及自动化也得到了进一步的发展。焊接过程的自动化智能化是未来焊接工作人 员重点研究的方向之一【lj 。 焊接过程智能化的一个主要内容是实现焊接质量的在线监测。焊接过程中，焊接熔 池包含了十分丰富的焊接质量信息，通过观测熔池的形态及特征可以控制焊接过程的稳 定性以及预测焊后的焊缝质量。手工焊时，焊工主要通过观察肉眼观测焊接熔池形态、 电弧形态、熔滴过渡情况等来调整焊接参数从而获取满意的焊缝成形，也即是主要利用 熔池的视觉信息来做出判断。熔池特征参数( 形状参数和尺寸参数) 是描述熔池图像的 几何特征信息，是判断焊缝成形和内在质量的重要参数。为了实现焊接过程的智能化， 可以通过计算机视觉和智能控制技术来模拟焊工观测熔池形态的变化【2 】，将熔池几何特 征参数作为间接控制量，利用控制技术调整焊接过程的工艺参数，可获得优良的、高质 量的焊缝，而获得熔池几何特征参数的前提是准确获取熔池图像的边缘信息。 针对m a g 焊电弧光谱的特点，本文建立了一套被动式m a g 焊熔池视觉传感采集 系统，采集不同焊接工艺条件下的m a g 焊熔池图像。本文主要研究m a g 焊熔池图像 的处理算法，重点研究在v c + + 环境下的熔池区轮廓的快速准确提取，为焊接过程和焊 接质量的在线控制和实时监测打下基础。因此，本文工作具有研究价值和实际应用价值。 1 2 熔池视觉图像传感研究现状 目前，直接获取熔池图像形状信息尚未实现，一般是通过信息传感器获取焊接过程 的各种信号间接获取。焊接过程会发生各种复杂的物理化学反应，比如金属的冶金反应， 加热区的热辐射等，可以通过间接采集焊接过程中的各种信息来分析焊接过程的稳定 性，因此，开发多种形式的弧焊传感器 3 l 。直是焊接工作者的重要的研究内容。据统计， 手弧焊时，焊工获取的8 0 信息是视觉信息。与传统的传感器相比，在利用焊接光学传 感器 4 】采集焊接过程信号时，存在以下优点：与焊接回路及焊接工件不直接接触；检测 信号的过程不会对焊接过程造成影响；传感信息丰富；硬件设备简单，易于维护。因此， 焊接工作者一般采用视觉传感器采集各种焊接过程的熔池信息。实际应用中，c c d 摄 像机作为一种视觉信息传感器，具有精度高、不易受电磁干扰以及能进行非接触拍摄等 优点，常被用作拍摄熔池图像的工具p j 。 目前，国内外焊接工作者在熔池视觉图像采集方面的研究已经基本覆盖了焊接的各 1 绪论硕士论文 种方法，包括t i g 焊、m a g 焊、c 0 2 焊、激光焊等等。根据不同的焊接方法和材料， 焊接工作者建立了不同的熔池视觉传感采集系统，采集到了各种焊接过程的熔池图像。 根据熔池的视觉传感采集系统中是否需要外加辅助光源，熔池视觉传感系统可分为 主动式和被动式两大类【6 j 。 1 2 1 被动式熔池视觉传感 被动式熔池视觉传感是指利用熔池自身的辐射光或熔池对电弧的反射光辐射成像， 不需辅助光源，系统成本比较低，适于实际应用研究。国内外焊接工作者在利用被动式 熔池视觉传感法采集熔池图像方面进行了大量探索研究。 在t i g 焊熔池视觉传感研究方面，国内外学者已经取得了一些成果。早在2 0 0 0 年， 李克海等人r 7 】即实现了脉冲t i g 焊熔池图像的获取。后来，尹何迟等人【8 】实现了铜钢脉 冲t i g 熔敷焊过程的熔池图像获取。王建军等人1 9 1 提出了具有二次滤波功能的滤光系统， 利用c c d 摄像机获得了画面清晰、质量稳定的t i g 焊熔池图像。由于现有的理想光源 模型和近距离点光源模型无法满足铝合金g t a w 焊被动式视觉传感的要求，李来平【1 2 】 在近距离点光源模型的基础上，根据铝合金g t a w 焊被动式视觉传感光源特性中电弧 形状、发光强度的特点，建立了铝合金钨极氩弧焊球状光源模型，该球状光源模型如图 1 2 1 所示。在2 0 0 2 年，国外的l u o 等人 1 0 - n 】也成功提取了t i g 焊的正面熔池图像。 图1 2 1 铝合金g t a w 焊球状光源模型图 在m i g 焊熔池视觉传感研究方面，2 0 0 1 年，国外k o s h i m a 等人【l3 】在采集熔池图 像时将焊接电流减小到最低的维弧电流，得到了清晰的脉冲m i g 焊熔池图像。国内， 2 0 0 5 年，石圩等人 1 4 1 首次提出了一套针对铝合金脉冲m i g 焊熔池图像视觉传感系统， 采用的相机是松下c p 2 3 0 型c c d 摄像机，复合滤光系统是由6 1 0 + 1 0 n m 的窄带滤光片、 两片3 0 减光片、一片焊接用标准吸热玻璃，成功获取了清晰的铝合金m i g 焊熔池图 像。王克鸿等人【l5 j 采用9 8 0n m 窄带滤光片、8 0 5 n m 截止滤光片以及0 1 中性减光片组 成近红外符合滤光系统，采用c c d 摄像机拍摄了铝合金双丝m i g 焊的熔池图像。 在m a g 焊熔池视觉传感方面，王克鸿等人【l6 】针对m a g 焊的电弧光谱特点，建立 了一套被动式m a g 焊熔池图像视觉采集系统，试验中采用了台湾敏通近红外c c d 摄 像机、大恒c g 4 0 0 图像采集卡。文中所设计的复合窄带滤光系统包括1 0 6 4 n m 窄带滤光 片、o 1 减光片、挡光玻璃片，有效滤除了电弧对熔池区图像的干扰，最终获得了清晰 2 硕士论文 基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 的低碳钢的m a g 焊熔池图像。王德民等人【1 刀设计了一套c c d 摄像机外触发电路，将 c c d 摄像机的曝光时刻定位于熔滴的短路过渡阶段，分别以熔池的正前方小角度和正 后方大角度的采集方式，实现了g m a w 短路过渡焊接熔池的视觉检测，具体视觉采集 系统如图1 2 2 所示。 图1 2 2 带c c d 外触发电路的g m a w 视觉检测系统 曹一鹏等人【l8 】设计了一套熔池图像检测控制电路，解决了c 0 2 焊熔滴短路过渡的随 机性与普通c c d 摄像机固定曝光时序之间的矛盾，成功采集到短路过渡的c 0 2 焊熔池 图像。周龙早等【1 9 】采用z c f 11 c h 4 型号c c d 摄像机以及包含中心波长为6 3 2 8n m 的 窄带滤光片的复合滤光系统，采集到了c 0 2 焊接熔池视觉图像，但是采集的熔池图像头 部存在光晕，采集系统有待进一步完善。 为了获得更全面的熔池信息，研究者尝试从不同传感方位对熔池图像进行采集。早 在2 0 0 1 年，张广军等人【2 u j 设计了一套如图1 2 3 所示的脉冲g t a w 焊接区图像的实时 传感系统，采用复合滤光技术，在低电流时刻取像，同时采集到了熔池各个方位( 正前 方、正后方和反面) 信息。樊重建等人【2 l j 设计了一套多光路同时同幅的铝合金填丝脉冲 g t a w 熔池图像传感采集系统，在同一个时刻成功获取了熔池正前方、斜后方、斜下方 等三个方向的熔池图像，实现了铝合金填丝脉冲g t a w 过程的熔池信息获取。闰志鸿 等人【2 2 】建立了一套g m a w 多方位熔池视觉传感采集系统，分别从熔池的不同方位进行 拍摄，获得了熔池多方位的图像信息。 图1 2 3 熔池图像多角度实时采集系统 为了利用被动熔池视觉传感技术获取熔池的三维视觉信息，赵冬斌【2 3 1 首次利用阴影 恢复形状方法实现了熔池表面高度信息的提取，提出了符合实际成像条件的通用反射图 1 绪论硕士论文 模型，成功地通过单幅熔池图像获得了填丝脉冲g t a w 低碳钢对接焊熔池正面三维形 状信息。c h r i sm n i c h 等人1 2 4 l 模拟焊工的双眼，使用双目立体视觉法同时采集熄弧瞬间 熔池图像，实现了对g m a w 的管道焊接熔池的三维恢复。孙科【2 5 】建立了一套铝合金双 丝脉冲m i g 焊双目熔池视觉传感系统，使用两台位置对称于熔池后上方的c c d 摄像机， 在同一个时刻获取了不同方位的铝合金熔池图像，实现了熔池三维形状的重建。 1 2 2 主动式的熔池视觉传感 主动式的熔池视觉传感是指采用激光等外加的辅助光源对焊接加热区进行人工照 明，从而采集焊接区对辅助光源的反射信号，达到减弱弧光干扰的目的。 主动式的熔池视觉传感采集过程中，经常采用单光面或多光面的激光或扫描的激光 束作为辅助光源【26 1 ，其原因有：一是，激光的能量密度远远大于电弧的能量密度，故其 可有效抑制电弧光的干扰；二是，激光具有可控性，采集到的熔池图像受环境的影响可 去除。 王克鸿等人【2 7 】利用条形激光和双c c d 摄像机组成了双目视觉系统，采集到接缝的 清晰的激光条图像。张为民等人【28 】在水下焊接时将防水罩内的激光结构光视觉传感器 安装在焊枪之后置于水下，实现了水下焊接熔池宽度的在线检测。 张裕明等人 2 9 - 3 0 l 提出了一种采用脉冲激光频闪熔池图像采集系统。虽然，可以获得 非常清晰的熔池图像，但由于激光发生器、摄像机被固定在焊枪上，整套系统占据的空 间较大，使得该套采集系统的使用机动性和灵活性较差。高进强等人【3 l l 建立了一套激光 频闪铝合金m i g 焊接熔池视觉检测系统，获得了较清晰的熔池图像，其系统框图如图 1 2 4 所示。该系统中，脉冲激光器的平均功率为7 m w ，最大功率为8 0 k w ，试验中设置 p 6 0 摄像机的电子快门与激光脉冲同步。 图1 2 4 铝合金m i g 焊熔池视觉检测系统框图 除了采用激光作为辅助光源外，也可以采用其他方向性好的光源。双元卿等人 3 2 1 将 c c d 相机置于工件下方，选用2 5 0 w 的卤素灯作为辅助照明光源，获得了能反映焊缝的 熔透状态的清晰的c 0 2 激光m i g 复合焊熔池背面图像。图1 2 5 是复合焊熔池背面视觉 传感系统结构图。 了謦趣 硕士论文 基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 髓律 册 餮霹敲屯嚣 型- 骑毫一 a 二n 淤鬣 图1 2 5 复合焊背面视觉传感系统不意图 当焊接过程控制精度要求比较高时，就需用到工件、焊缝、熔池等目标的三维信息。 k e n t u c k y 大学的焊接工作者发明了结构光三维视觉法用于观测熔池的三维信息。 k o v a c e v i cr 等人【3 3 。3 4 】设计了一套如图1 2 6 ( a ) 所示的t i g 焊熔池视觉检测系统，该 系统主要由强脉冲激光栅格状多结构光条纹和高电子快门摄像机组成，试验中采集到的 熔池表面的三维图像如图1 2 6 ( b ) 所示，图1 2 6 ( c ) 是利用数字图像处理技术提取 的结构光条纹的栅格框架和轮廓。虽然，结构光三维视觉法能有效去除强烈电弧光的干 扰，能正确提取熔池表面的高度信息，但因激光器造价昂贵以及激光器同快门之间需要 特定的协调，使得该方法在实际生产中无法大规模应用。 1 e t 羞h e - 一- ：坦 l 厂 !一 t ! l j j ， - 、，j 轴，厂j t t 、一。? j 一，1 、r 挎 排 l 了 # ；：1 。一t ”2 l ( a ) 系统原理图 ( b ) t i g 焊熔池表面结构光图像( c ) 栅格框架与轮廓 图1 2 6 结构光视觉传感 较被动式视觉传感方法，主动式熔池视觉传感检测系统设备比较复杂，该方法较不 利于实际应用。 1 2 3c m o s 相机在熔池视觉传感过程中的应用 上文所述的熔池图像采集过程所采用的摄像机基本上是c c d 摄像机。虽然c c d 在 影像品质、分辨率大小、灵敏度等方面优于c m o s ，但其工作速度较低，且存在一个最 大问题因采用特殊生产工艺而导致的经济性差。与c c d 相比，c m o s 的耗电量仅是c c d 的1 8 1 1 0 ，具有成本低、功耗低、整合度高、存取速度快，动态响应范围广等优剧”】。 随着c m o s 视觉传感器生产工艺的不断完善，c m o s 相机的性能逐渐可以媲美c c d ， 国内已有一些焊接工作人员将c m o s 视觉传感器用于焊接领域。 l 绪论 硕士论文 传统c c d 摄像机的采集速度以及响应范围满足不了激光焊接过程的实时监测要 求，方俊飞等【3 6 】采用c m o s 摄像机的同轴视觉传感系统，以1 0 0 0 幅s 的速度拍摄了 激光深熔焊接过程中熔池和匙孔的实时信息。 岳建锋等人【3 7 3 8 1 对c m o s 传感器硬件电路进行了改造，通过设计的触发电路使 c m o s 传感器处于预采集状态( 即c m o s 处于准备曝光状态) ，采集到了脉冲g m a w 焊接熔池图像清晰时刻的和大动态变化时的熔池图像。 李梦醒【3 9 】采用位于熔池正后方的c m o s 摄像机，进行俯视拍摄，获得了低碳钢短 路过程的熔池图像。试验中采用的c m o s 摄像机具有l i n l o g 感光技术，该感光技术可 以压缩图像的超高亮区域，从而达到抑制弧光、凸显熔池的目的。试验中采用l i n l o g 技术前后获得的熔池图像如图1 2 7 所示。另外，该摄像机最大帧频可达1 0 0 0 0 f p s ，具 有全局快门方式，曝光时间可调，适合用于焊接过程的高速摄影。 ( a ) 不应用l i n g l o g 技术( b ) 应用l i n g l o g 技术 图1 2 7 采用l i n l o g 技术前后的熔池图像 1 3 熔池图像处理研究现状 熔池图像处理的主要难点在于熔池图像分割，也就说难点是将熔池区或者浮渣区从 熔池图像背景中提取出来。图像分害l j 4 0 】的目的是将图像中从某个角度上讲具有相同属性 的区域与图像的其他区域分割出来。随着计算机技术和图形图像处理技术的发展，基于 偏微分方程的图像处理方法也逐渐被用于到熔池图像分割领域。 1 3 1 传统的熔池图像分割技术 传统的熔池图像处理方法一般包括滤波、增强、二值化处理、边缘检测等步骤，具 有算法简单、实现容易、耗时短等优点，但采用单一的边缘检测算子进行处理时，往往 导致边界不连续或不准确。焊接研究人员不断应用各种新型的方法更好更快的达到熔池 图像边缘提取的目的。张丽玲【4 l 】利用小波变换、模糊处理、灰度形态学边缘检测等技术 获得了熔池区边缘，高飞【4 2 j 采用基于分形维数的多尺度图像分割算法实现了m a g 熔池 图像分区域边缘提取。 阈值分割方法具有算法简单，易实现，计算速度快等优点，是一种基于区域的图像 分割技术，也是图像分割中最基本和应用最广泛的技术之一。阈值分割法对于不同类的 6 硕士论文 基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 物体灰度值或其他特征相差很大时，具有很好的分割效果，但对噪声和灰度不均匀很敏 感。按照给定的阈值个数分，该方法可分为单阈值法和多阈值分割法。当目标与背景的 灰度对比比较明显时，常采用单阈值分割法，对整幅图像采用一个固定的阈值进行阈值 变换；当图像的灰度分布不均匀，则需用多个阈值进行分割。阈值分割法的本质是求取 最佳分割阈值，其效果的好坏很大程度上取决于阈值选取的合适性。 早在1 9 9 4 年，吴仁育等人【4 3 j 提取c 0 2 焊接区图像边缘时，对图像进行二值化后， 根据经验将可能的阈值逐一代入，通过图像处理结果来判断是否是合适的阈值。吴明亮 4 4 1 采用基于最大类间方差的遗传算法计算图像分割的最佳分割阈值，对于文中设定的一 个矩形分割区域采用局部遗传算法，遗传3 0 代，仅耗2 1 9m s 即得到连续的m i g 焊熔 池边缘，如图1 3 1 。 图1 3 1 不同算法熔池边缘检测结果 铝合金的熔池灰度图像的低灰度值像素分布集中且数量大，而较高灰度值象素分 布范围广且数量少。因此，单阈值分割并不能很好地实现提取铝合金的熔池边缘的目的， 需利用多个阈值进行分割。王建军等人【4 5 】针对铝合金熔池图像的这一特点，采用分段期 望值法，计算得到了铝合金图像分割的双阈值，实现了铝合金t i g 焊熔池边缘的准确提 取，提取结果如图1 3 2 所示。 ( c ) 增强蹦缘( d ) 边缘罔像 图1 3 2 应用双阈值法的图像处理过程 基于数学形态学的图像处理【4 6 1 是基于填放结构元素的概念，结构元素的选择与图像 信息有着紧密联系，构造不同的结构元素可以获得不同的图像处理结果。选取合适的结 1 绪论 硕士论文 构元素是利用数学形态学进行图像处理的关键。它可分为二值形态学和灰度形态学两 种，灰度形态学包含腐蚀、膨胀、开运算、闭运算四种基本运算，这四种基本运算可以 组合成各种形态学算法 4 7 1 。相比传统边缘检测算法，数学形态学方法对噪声有着很好地 平滑作用的同时，可保留图像的原有信息，运算速度快。 邵奇可【4 8 】采用3 x 3 的菱形结构元素对t i g 焊熔池图像进行灰度学形态处理，很好 地消除了图像的亮斑及暗斑，获得了较连续、断点少的t i g 焊熔池边缘。薛家祥等人【4 9 】 对m a g 焊熔池图像进行了全面的灰度形态学分析，得出灰度形态学适合熔池和焊缝图 像的分割与提取的结论。 针对脉冲m i g 焊熔池图像接近圆形的特点，石圩等人【5o 】选取半径为7 个像素的圆 作为形态学处理的结构元素矩阵，采用开闭运算去除图像的噪声，采用腐蚀运算去除阴 极雾化区的影响，整个系统耗费约3 0 m s 的时间即得到一幅熔池图像的光滑连续的边缘。 郑相锋等人【5 l 】采用矩量保持法计算腐蚀模板的结构元素值的大小，并采用二值形态 学的腐蚀算法对图像进行轮廓提取，大量消除了c 0 2 焊图像的点噪声和线噪声，实现了 c 0 2 焊熔池图像的熔池区的边缘提取。 刘明涛等人p 2 j 在对g t a w 图像采用高帽低帽算法进行图像增强后，选用半径小于 5 的平坦的圆盘型结构元素，综合应用开运算、闭运算、腐蚀、膨胀四种算法对熔池的 二值图像进行形态学处理，最后实现了熔池边缘的提取。 1 3 2 基于偏微分方程的熔池图像边缘提取 随着计算机技术和图像图形技术的发展，基于偏微分方程的图像分割技术【5 3 】因其具 有的优势，己逐渐成为图像分割领域的研究热点问题，并成功应用于医学图像【5 4 】和遥感 图像的分割【5 引，用于焊接熔池图像的分割尚不多见。 基于偏微分方程图像处理【5 6 】的基本思想是基于图像的各种信息为所研究的图像问 题建立一个数学模型，该数学模型为一个或一组偏微分方程，然后结合初始条件或者边 界条件求解偏微分方程，偏微分方程的解即为图像处理的结果。 与传统的图像分割技术相比，基于偏微分方程的图像分割技术的算法比较复杂，计 算成本较高，但其能适应比较复杂的图像分割，具有灵活的拓扑结构，具有以下优点【5 j 7 】： ( 1 ) 利用偏微分方程能很容易计算出图像的几何特征，如梯度、法向矢量、曲率等； ( 2 ) 偏微分方程具有坚实的数学理论基础，不仅可以采用数值方法进行计算，也能采 取智能优化算法进行求解，如模拟退火法； ( 3 ) 应用偏微分方程方法能获得较好的图像处理效果，通过给定一定的初始条件和边 界条件，能得到稳定并且唯一的解。 为了求解图像的偏微分方程，学者们提出了许多经典的偏微分方程模型，如p e r o n a 和m a l i k 提出的各项异性扩散模型【58 1 ，r u d i n 和o s h e r 提出的变分模型5 9 1 解偏微分方程， 硕士论文 基于改进阈值分割和c v 模型的熔池图像几何特征提取方法研究 l a l v a r e z 等人【6 u 】提出的平均曲率流模型，等等。其中，1 9 8 8 年由k a s s ，w i t k i n 和 t e r z o p o u l o s 等人【6 l j 共同提出的主动轮廓模型( a c t i v ec o n t o u r sm o d e l ) 是一种基于能量 极小化的分割模型，也是目前图像分割和计算机视觉等领域应用较广泛的一种方法，该 模型符合人体视觉认知原理，区别于传统的分割模型，是一种自上而下的分割过程，其 鲁棒性、抗噪性、精确性、实用性均优于传统图像处理方法，可一次性自动获得所需要 的分割结果。主动轮廓模型综合考虑了图像本身的低层信息( 如图像的灰度、颜色、纹 理等) 和高层信息( 分割曲线与图像低层信息的位置、大小、形状等关系)，其基本 思想是：在待分割目标周围给定一条初始封闭曲线，根据处理的图像问题，定义一个包 含曲线函数以及图像信息的能量泛函。该能量泛函一般由内部能量和外部能量两部分组 成，内部能量受到曲线上点的曲率以及连续性的约束，使演化曲线保持平滑和连续，外 部能量使演化曲线往日标边界推进。当内部能量和外部能量达到平衡时，能量泛函取极 小值，曲线停止演化，其结果即为所求的目标边界轮廓。根据曲线的表示方法的不同， 主动轮廓模型常分为基于参数的主动轮廓模型( 以s n a k e 模型为代表) 和几何主动轮廓 模型( 以水平集分割模型为代表) 两大类。参数化描述曲线不利于图像的离散化处理， 不能处理曲线拓扑结构的变化。几何主动轮廓模型( a c t i v ec o n t o u r ) 6 2 】通过曲线的几 何特征参数对曲线的运动进行描述，克服了上述两个缺点。1 9 8 8 年美国的o s h e r 和 s e t h i a n 6 3 提出的水平集( l e v e ls e t ) 算法，将曲线( 面) 问题转变成高一维的空间问题 进行研究考虑，通过水平集方法来实现了曲线几何特征参数的计算和曲线拓扑结构变化 ( 轮廓的分裂、合并、空洞等) ，该算法的出现对几何主动轮廓模型的发展起到了很大 的推动作用。几何主动轮廓模型结合了曲线演化( c u r v ee v o l u t i o n ) 理论畔】和水平集方 法【6 3 1 。 自主动轮廓模型提出以来，学者们对该模型进行了各种改进，基于水平集的c v 模 型是其中一种比较优秀的基于区域的主动轮廓模型。c v 模型【6 5 1 是由c h a n 和v e s e 对 m u m f o r d s h a h 模型【6 6 j 的简化，该模型的迭代停止条件不是基于图像梯度，所以可以用 于存在梯度或不存在梯度的图像的轮廓检测，比如边缘很平滑或不连续的图像分割，而 且该模型对设定的初始轮廓位置、形状均不敏感。c v 模型的前提假设是图像中同质区 域内的灰度是常数，且该模型仅考虑到图像的全局均值信息，因此，该模型不适于灰度 不均匀图像的分割。 目前，基于偏微分方程的图像分割技术在焊接领域应用的案例并不是很多。2 0 0 7 年，为了适应焊接熔池图像的分割，陈希章等人【67 j 应用基于水平集的c v 模型实现了 g 吖州焊图像熔池边缘的识别，获得了连续的熔池边缘，如图1 3 3 所示。针对熔池图 像的分割，作者对该模型进行了改进：提出了以l a p l a c e 算子为主的修正算子，提高了 模型检测细微复杂的边界的能力；提出了多尺度快速算法，节省了算法的运算时间；采 用较小的，抑制了c v 模型的全局特性。 9 1 绪论 硕士论文 t l 壕穗簿精辫傣i k 翩持轮赛蕺避硭w l 戳斓辑甓 图1 3 3 填丝g t a w 熔池图像处理结果 李静【6 8 】根据熔池图像灰度分布的特点，在熔池区定义了一个矩形，该矩形区域的所 有像素的灰度值大于作者设定的阈值，以该矩形区域的中心作为熔池的“质心”，实现了 对熔池区的粗定位，避免初始轮廓线不在熔池区而影响c v 模型的检测效率。作者设定 一个以该质心为中心的椭圆初始化熔池图像c v 模型分割的水平集函数，利用c v 模型 的数值