（控制科学与工程专业论文）基于视觉的熔池过程特征提取方法及智能控制研究.pdf

博i j 学位论文 基于视觉的熔池过程特征提取方法及智能控制研究 捅要 本文针对机器人气体保护自动焊，进行了熔池( 接缝) 视觉的近红外自动传感、计 算机图象处理、视觉图象缺陷特征建模、质量智能控制等研究工作。同时，在弧焊机 器人工艺试验的基础上，设计研究了焊接工艺自动设计和在线参数传感与传输系统， 研究内容主要包括： 1 近红外熔池视觉图象传感技术方法 本文针对射流、短路过渡和等离子加热熔池，提出了近红外视觉在线检测熔池过 程图象的方法，在“鬼像 消除；近红外窄带一截止复合滤光；熔池、接缝、焊缝外 观视觉一体化传感等方面取得突破，同时在等离子加热区及熔敷铜熔池；铝合金双丝 焊熔池；等离子焊熔池等视觉传感及一体化传感器等方面开展了具有创新性的试验研 究，获得了具有清晰特征的等离子加热区、t i g 和等离子铜熔敷焊熔池、铝合金双丝 焊熔池图象，解决了基于视觉的质量智能控制技术中视觉传感关键性难题。 2 熔池图象特征提取方法 本文将平滑、s o b e l 锐化、c a n n y 水平算子、双浮动阂值分割、细化、断点连接、 图象轮廓提取等计算机图象处理技术应用于熔池( 接缝) 视觉质量信息的提取。针对强 弧光干扰熔池图象特征，给出了新的熔池、接缝、焊缝外观视觉专用计算机图象处理 技术与软件系统，获得了清晰的熔池( 接缝、焊缝) 几何边界、浮渣等成型和质量特征， 结合焊接工艺参数的传感采集，给出了分区域质量特征的图象处理方法，解决了熔池 轮廓和特征提取等难题；在上述特征研究的基础上，发展了熔池形态和边缘特征描述 方法，提出了较为系统的熔池视觉图象几何形态参数描述指标，主要包括：熔池面积、 后拖角、尾部面积、尾部边缘光滑度、熔池视觉图象相对对称度等指标。 3 熔池视觉图象与焊接缺陷关系 本文基于熔池图象的形态、边缘及浮渣特征，首次研究给出了气孔、夹渣缺陷形 成前熔池图象特征，如“熔池边缘呈锯齿状图形特征、熔池图像尾部出现黑斑点、浮 渣数目增多、灰度均值波动和灰度标准差变大等 ，给出了“上述特征可能单独出现 也可能几个特征同时出现，产生上述图象特征虽不能肯定会产生气孔、夹渣缺陷，但 产生气孔、央渣缺陷的概率将大幅度增加”等具有创新性的结论。 4 基于视觉传感的质量智能控制 本文基于模糊神经网络等智能控制技术，建立了基于视觉传感的射流、射滴、短 路过渡工艺的熔宽、熔深模糊神经网络控制模型，并对有干扰的工艺实验进行了深入 的研究，并通过实验结果对相关模型进行了修正，实验结果表明具有很好地效果。 摘要博士学位论文 本文首次针对等离子( t i g ) 铜熔敷焊，提出了基于视觉传感的质量自动控制方 法，微观组织、电镜能谱、高分辨透射、力学性能等检测表明，铜钢界面实现了无熔 深连接，铜和钢界面实现了原子间结合，研究和实验工作获得了具有创新性的结果。 5 接缝熔池双目视觉传感技术 一 本文在激光接缝跟踪研究的基础上，发展了激光视觉接缝几何参数传感与跟踪 技术，设计研制出了结构激光双目视觉传感器，较好的解决了立体视觉中对应点的匹 配问题，得到接缝特征点在二维平面上的图像坐标和坡口类型、角度、间隙等几何特 征信息；采用三维重建算法，能由接缝特征点的图像坐标计算出其三维坐标，并能精 确的得到v 型、半v 型、对接i 型、u 型、搭接等接缝三维几何尺寸。 6 重型车辆弧焊机器人富氩气体保护焊工艺自动设计系统 本文针对军工车辆焊接工艺的智能设计，提出并设计了富氩气体保护焊( p m i g 、 m i g 、m a g 和手工电弧焊) 焊接工艺自动设计系统软件，解决了焊接产品信息的结构 化和半结构化的表达和管理、基于规则和实验报告的焊接工艺卡的双推理、焊接c a d 与工艺系统图形的无缝信息交互等基础性难题；实现了推理过程的多参数多规则约束 的自动工艺求解、产品焊接工艺自动批输出等；设计开发了弧焊机器人焊接参数实时 传感、发布和远程传输等软硬件关键技术，实现了焊接电流、电弧电压、焊速、熔池 视觉图象等的传感和网络化传输。 关键词：弧焊机器人、视觉传感、熔池图象、近红外窄带滤光、视觉质量特征、 质量智能控制、双目视觉、焊接工艺智能设计 a b s t r a c t t a k i n gg a ss h i e l d e da r cw e l d i n gr o b o tp r o c e s s a sr e s e a r c ho b j e c t ， a r e s e a r c ho fm o l t e np o o l ( s e a m ) v i s i o nn e a ri n f r a r e da u t o s e n s i n gt e c h n o l o g y ， c o m p u t e ri m a g ep r o c e s s i n g ，v i s u a li m a g eo f d e f e c t sm o d e l i n ga n dq u a l i t y i n t e i ii g e n tc o n t r o li sm a d ei nt h i sp a p e r b a s e du p o nt h ep r o c e s se x p e n m e n t s o na r cw e i d i n gr o b o t ，t h ew e l d i n gp r o c e d u r e a u t od e s i g na n do n l i n ep a r a m e t e r s e n s i n gt e c h n o l o g ya n dt r a n s m i s s i o ns y s t e ma r er e s e a r c h e d ， 1 w e l d i n gp o o l v i s u a li m a g es e n s i n gw i t hn e a r i n f r a r e dt e c h n o l o g y f o rs p r a y ， s h o r tc i r c u i tt r a n s f e ra n dp l a s m ah e a t e dm o l t e np o o l ，am e t n o d o fu s i n gn e a ri n f r a r e ds e n s i n gt od e t e c tp o o li m a g eo n l i n e l sp r e s e n t e d a b r e a k t h r o u g ha tt h ea s p e c t so fa v o id i n gg h o s ti m a g e ，n e a ri n f r a r e dn a r r o w b a n d a n dc u t - o f fc o m p o u n df i l t e r i n g ，m o l t e np o o l ， s e a ma n dw e l da p p e a r a n c ev i s u a l i n t e g r a t i v es e n s i n gi sm a d e s o m ei n n o v a t e de x p e r i m e n t s o nm o l t e np o o lv 1 s u a 上 s e n s i n go fp l a s m ah e a t i n ga n dd e p o s i t e d ，a l u m i n u ma l l o y w e l d i n gw i t ht w l n w l r e c o n s u m a b l ee l e c t r o d ea n dp l a s m aw e l d i n gi sm a d e s o m ec l e a ri m a g e so f m o l t e n p 0 0 1o fp l a s m ah e a t i n gz o n e ，t i ga n dd e p o s i t e dw e l d i n g f o rc o p p e r ，a l l o y w e l d i n gw i t ht w i n w i r ec o n s u m a b l ee l e c t r o d e a r ea c q u i r e d t h ek e yd if f i c u l t y i nv i s u a ls e n s i n go fq u a l i t yc o n t r o lt e c h n o l o g yb a s e do nv i s i o nl sr e s o l v e d 2 w e i d i n gp o o li m a g ec h a r a c t e r i s t i c se x t r a c t i o n s o m ei m a g ep r o c e s s i n gm e t h o d ss u c ha ss m o o t h i n g ，s o b e ls h a r p e n i n g ，c a n n n y l e v e lo d e r a t o r ，d o u b l ef l o a t a t i o n t h r e s h o l da u t o d i v i s i o n ，m o r p h o l 0 9 1 c f i l t e r i n g ，r e f i n e m e n t ，b r e a k p o i n tc o n n e c t i n ga n di m a g e c o n t o u re x t r a c t l o n1 s a p p l i e di nt h ee x t r a c t i o no fm o l t e np o o l ( s e a m ) v i s u a lq u a l i t fi n f o r m a t l o n a i ma tt h ep r o b l e mo fs t r o n ga r cl i g h td i s t u r b i n g t h em o l t e np o o ll m a g e c h a r a c t e r i s t i c s ，as p e c i a lc o m p u t e rp r o c e s s i n gt e c h n o l o g ya n d s o f t w a r es y s t e m o ft h em o lt e np o o l ( s e a m ) v i s u a li m a g eis ( s e a m ) g e o m e t r yb o u n d a r y ，s c u m f o r m in g d e v e l o p e da n dac l e a rm o l t e np o o l a n dq u a l i t yc h a r a c t e r i s t i c s i s a c q u i r e d c o m b i n i n gt h ew e i d i n gp r o c e s sp a r a m e t e r ss e n s i n ga n dc o l l e c t i o n , a ni m a g ep r o c e s s i n gm e t h o do fd i s p a r t i n gr e g i o nq u a l i t yc h a r a c t e r i s t i c si s b r o u g h tf o r w a r da n dt h ed i f f i c u l t yo fm 。i t e np o o lc o n t o u ra n d c h a r a c t e r i s t i c s e x t r a c t i o ni sr e s o l y e d b a s e do na b o v er e s e a r c h ，t h ed e s c r i b i n gm e t h o do f i i i a b s t r a c t博f 二学位论文 m o l t e np o o l ( s e a m ) v i s u a li m a g es h a p ea n dc h a r a c t e r i s t i c si sd e v e l o p e d a n d a n e ws y s t e m i cp a r a m e t e ri n d e xf o rd e s c r i b i n gt h em o l t e np o o l ( s e a m ) v i s u a l i m a g eg e o m e t r ys h a p ei sb r o u g h tf o r w a r d t h ed e t a i l e di n d e x e si n c l u d em o l t e n p o o la r e a ，d r a ga n g l e ，t a i la r e a ，s m o o t hg r a d eo ft a ilb o u n d a r y ，t h er e l a t i v e s y m n e t r yd e g r e eo ft h em o l t e np o o lv i s i o ni m a g e 3 r e l a t i o nb e t w e e nd e f e c t sa n dm o l t e np o o lv i s u a li m a g e b a s e d nt h em o l t e np o o li m a g es h a p e ，b o u n d a r ya n ds c u mc h a r a c t e r i s t i c s ， t h em o l t e np o o li m a g ec h a r a c t e r i s t i c sb e f o r eo c c u r r i n gs u c hd e f e c t sa s p o r o s i t y ，s l a gi n c l u s i o ni sr e s e a r c h e df o rt h ef i r s tt i m e 。t h em a i n c h a r a c t e r i s t i c sa r ea sf o l l o w s ：t h em o l t e np o o lb o u n d a r ys h o w i n ga ss e r r a t i o n ， s o m eb l a c kf l e c k sa p p e a r i n ga tt h em o l t e np o o lt a il ，m o r es c u m ，g r e ya v e r a g e v a l u ef l u c t u a t i n ga n dg r e ys t a n d a r dd e v i a t i o nb e c o m i n gl a r g e t h o s ea b o v e c h a r a c t e r is t i c sm a ya p p e a rs o l e l yo rs e v e r a lo n e sa p p e a rs y n c h r o n o u s l y b e s i d e si ft h o s ei m a g ec h 鑫r a e t e r i s t i e sa p p e a r ，a l t h o u g hi ti sn o ts u r et ob r i n g p o r o s i t yo rs l a gi n c l u s i o n ，t h ep r o b a b i l i t yo fi tw i l li n c r e a s ei ng r e a t e x t e n t 4 q u a l i t yi n t e l l i g e n tc o n t r o lb a s e do nv i s u a ls e n s i n g b a s e do nf u z z yn e u r o nn e ti n t e lli g e n tc o n t r o lt e c h n o l o g y ，af u z z yn e u r o n n e tc o n t r o lm o d e lo fw e l dw i d t h ，p e n e t r a t i o nw i t hs p r a y ，s h o r tc i r c u i tp r o c e s s b a s e do nv i s u a ls e n s i n gi sa l s oe s t a b l i s h e d af u r t h e rs t u d yo nt h ee x p e r i m e n t s i n c l u d i n gd i s t u r b i n gf a c t o r si sm a d ea n dt h ee o r r e s p o n d i n gm o d e li sc o r r e c t e d w it he x p e r i m e n t a lr e s u l t s r e s u l t ss h o wt h a tt h ee s t a b lis h e ds y s t e mh a sg o o d e f f e c to nc o n t r o l l i n gt h ew e l dw i d t h ， f o rt h ep r o c e s sw h i c hc o p p e rd e p o s i t e dw e l d i n gi nt i g ( p l a s m a ) a r c ，t h e q u a l i t ya u t o c o n t r o lm e t h o db a s e do nv i s u a ls e n s i n gi so b t a i n e d 。s o m e e x p e r i m e n t si n c l u d i n gm i c r o s t r u c t u r e ， e l e c t r om i c r o s c o p ee n e r g ys p e c t r u m ， h i g h r e s o l u t i o n t r a n s m i s s i o n ， m e c h a n i c a l p e r f o r m a n c et e s t i n g a r e m a d e r e s u l t ss h o wt h a tt h ec o p p e r s t e e lb o u n d a r yw e l d i n gw i t h o u tp e n e t r a t i o n i so b t a i n e d ，t h ec o m b i n a t i o na c h i e v e sa t o mg r a d ea n di n n o v a t e dr e s u l t sa r e o b t a in e d 5 s e a mm o l t e np o o ld o u b l e s i g h tv i s u a ls e n s i n gt e c h n o l o g y b a s e do nt h er e s e a r c ho fl a s e rs e a mt r a c k i n g ，t h el a s e rv i s i o ns e a m g e o m e t r yp a r a m e t e r ss e n s i n g a n dt r a c k i n gt e c h n o l o g yi sd e v e l o p e d a s t r u c t u r e dl a s e rd o u b l e 。s i g h tv i s u a ls e n s i n gs y s t e mi sd e s i g n e da n d i v 博j ：学位论义基于视觉的熔池过程特征提取方法及镨能控制研究 s t u d i e d i tr e a li z e st h em a t c h i n go fc o r r e s p o n d i n gp o i n ti ns t e r e ov i s i o n t h ei m a g ec o o r d i n a t eo fs e a mc h a r a c t e r i s t i cp o i n to nt w o d i m e n s i o na n d g e o m e t r yc h a r a c t e r i s t i c si n f o r m a t i o ns u c ha sg r o o v et y p e ，a n g e l ， c l e a r a n c e a r e a c q u i r e d 。u s i n g t h r e e d i m e n s i o n a l r e b u i l d i n g a r i t h m e t i ct h e t b r e e d i 辩e n s i o n a 王c o o r d i n a t e c a nb ec a l c u l a t e d a n d t h e a c c u r a t e t h r e e d i m e n s i o n a lg e o m e t r yp a r a m e t e ro fs e a m ss u c ha sv 、h a l 卜v 、b u t t i 、u a n dl a pj o i n ta r ea c q u i r e d 。 6 w e l d i n gp r o c e d u r ea u t o d e s i g ns y s t e ms o f t w a r eo fh e a v yv e h i c l eg a ss h i e l d e d a r cw e l d i n gr o b o t f o rv e h i c l ew e l d i n gp r o c e d u r ei n t e l l i g e n td e s i g n ，aw e l d i n gp r o c e d u r e a u t o d e s i g ns y s t e ms o f t w a r eo fg a ss h i e l d e da r cw e l d i n g ( p m i g 、m i g 、m a ga n d s m a w ) i sp r e s e n t e da n dd e v e l o p e d t h ed i f f i c u l t yo fd o u b l ed e d u c i n gb a s e do n t h er u l e sa n de x p e r i m e n t a lr e p o r tw e l d i n gp r o c e d u r ec a r d ，t h es t r u c t u r e da n d s e m i s t r u c t u r e d w e l d i n gp r o d u c t s i n f o r m a t i o n e x p r e s s i n ga n dm a n a g i n g ， i n f o r m a t i o ne x c h a n g i n go fw e l d i n gc a d a n dp r o c e d u r es y s t e mf i g u r ei sr e s o l v e d i ta l s or e a l i z e st h ea u t o 。r e s o l v i n go ft h ep r o c e d u r ew i t hm u l t ip a r a m e t e r s a n dm u l t ir u l e sr e s t r i c t i o ni nd e d u c i n gp r o c e s sa n db a t c hp r o c e s s i o no u t p u t o fp r o d u c t s w e l d i n gp r o c e d u r e t h es o f t w a r ea n dh a r d w a r eo fr e a lt i m e s e n s i n g ，i s s u i n ga n dr e m o t et r a n s m i t t i n go fw e l d i n gp a r a m e t e rf o ra r cw e l d i n g r o b o ti sd e s i g n e da n dd e v e l o p e da tt h es b 2 a et i m e i tr e a li z e st h es e n s i n ga n d c y b e r n a t i o nt r a n s m i s s i o no fw e l d i n gc u r r e n t ，a r cv o l t a g e ，w e l d i n gs p e e da n d t h em o l t e np o o lv i s u a li m a g e k e y w o r d s ：a r cw e l d i n gr o b o t ，v i s u a ls e n s i n g ，m o l t e np o o li m a g e ，n e a r i n f r a r e dn a r r o w b a n df i l t e r i n g ，v i s u a lq u a l i t yc h a r a c t e r i s t i c s ，q u a l i t y i n t e l l i g e n tc o n t r o l ，d o u b l es i g h tv i s i o n ，w e l d i n gp r o c e d u r ei n t e l l i g e n td e s i g n v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：年月7 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：年? 月日 博士学位论文基卡视觉的熔池过程特钲提取方法及智能控制研究 l绪论 王王气保焊过程与工艺的智能化技术的目的和意义 1 1 1 基于视觉传感弧焊过程智能控制技术开发的意义 目前焊接质量控制与保证的技术途径主要有二类，一是通过焊前工艺试验和优化 的工艺设计保证，二是焊藤通过无损或有损的缺陷及性能检测来保证，上述二大技术 途径虽然都是保证接头质量的有效方法，但仍然不能从根本上防止焊接缺陷的产生、 保证接头质量，焊接过程中直接检测焊接缺黧和焊缝质量的信息，并在线及时调整焊 接参数是从根本上保证焊接质量最有效的技术手段。就一般意义来说缺陷和质量传感 只能通过电、磁、声、光四种介质进行，电、磁与电弧声只能反映工艺电参数和过程 稳定性特征，而无法直接反映焊缝缺陷或接头质量信息，而合理范围的电参数与缺陷、 质量之间无明显对应关系，相对于电、磁和声，光最能描述代表焊接过程质量特征和 稳定性，熔池的流动状态、温度分布、熔合情况、浮渣和液态金属的混合分布等都透 过熔池的光辐射传递出信息，因而通过熔池视觉信息的在线传感采集有可能获得较为 童接的质量信息珏叫l 。 当前视觉传感技术和计算机图象处理技术已提供了可能性，但能否采用视觉方法 传感控制质量还蘸临着若干科学与关键技术翊题，如能否消除强烈的弧光干扰，麓否 眍确的获得图象特征；再如熔池视觉图象特征与焊接缺陷、焊缝质量之间是否存在对 应关系，4 能否较为直接表达焊缝质壁和缺陷，若结论是否定的，则在线直接控制焊接 质量的这一焊接界梦想将不可能实现。一般认为视觉信息应能童接反映质量信息，这 一技术领域的关键科学问题就是“视觉图象与质量、缺陷的明确的对应关系及其模 型 ，解决这一系列的科学和技术润题将使视觉传感和基于视觉的在线质量控制的虑 涵变得真实和丰富。 国内外学者在诧方面作了较多的研究工作，也取褥了较大的进展。健謇前基于熔 池视觉检测的焊接质量控制的研究主要集中在t i g 和p t i g 焊缝熔宽和熔透控制方面， 并取得了阶段性成果，基于视觉传感的m i g 、m a g 、双丝m i g 、铜熔池气保、等离子等 成果较少，基于熔池视觉质量特征传感，在线预测和控制焊接缺陷及质量的研究尚未 见相关研究文献n 州1 ，但焊接缺陷和质量在线传感与控制是焊接质量在线保证值得探 索的富有挑战性的重要研究方向，焊接缺陷与熔沲视觉图像特征映射枫理研究是该方 向的重要理论基础。 圭王。2 焊接工艺智能设计技术酶意义 ， 焊接过程采用高质量焊接工艺是保证接头质量的基础和重要手段，基于视觉的 焊接过程智能控制技术必须是在合理最佳的王艺条件下进行，不然，轻则事倍丽功半， 重则焊接过程无法稳定。豳前焊接工艺的设计与编制基本采用工艺人员人工方式进 行，大部分企业依靠个人技术经验，少数行业( 如压力容器行业) 要求进行工艺评定 1 绪论博：t ：学位论文 试验，无论采用上述何种方式，焊接工艺的编制质量都取决于技术人员个体经验的积 累，技术、知识和经验的传承、共享不足，已严重影响焊接质量。焊接工艺智能设计 系统可将不同产品、不同材质、不同接头等的工艺数据、工艺规范、工艺技术措施、 技术经验等异地、异构数据信息集成于该系统中，可将工艺人员、操作人员、管理人 员的技术经验“固化在程序中，实现了产品焊接工艺的最佳化。该智能设计系统一 般采用开放式结构，可针对不同的产品不断增补相关技术数据，不断完善。因而研究 开发焊接工艺智能设计技术具有极其重要的学术和实用价值哺1 。 采用焊接工艺智能设计系统技术和基于视觉的智能控制技术，结合各自的优势， 并应用于弧焊机器人气体保护焊，将是焊接技术发展的重要的学术方向。 1 2 焊接过程和工艺智能化技术的国内外研究概况及发展趋势 1 2 1 基于熔池视觉传感的在线质量控制技术 视觉系统在焊接过程中主要有三方面的应用：接缝视觉跟踪、焊缝熔池及成形视 觉传感和焊件的三维视觉模型重建。对于焊接过程，直接视觉是一种最好的非接触式 传感形式。它主要是利用光谱中的可见光波段对焊接区成像，图像中的景物与焊接区 各部分一一对应，非常直观。直接视觉传感技术的主要优点是不接触工件，不干扰正 常的焊接过程，获取的信息量大，通用性强【1 , 2 , 4 l 。 由于弧焊过程的复杂性，特别是熔化极气体保护焊电流大，又有熔滴过渡过程， 因而其熔池信息的检测和智能化控制都很困难。近年来国内外研究大部分都是针对 g t a w 焊接方法，对g m a w 熔池视觉检测和智能控制研究的较少，但是目前基于 熔池视觉信息传感的g m a w 焊接质量实时控制问题成为研究的热点问题之一，对 熔池图像特征信息与焊缝典型缺陷之间关系的研究刚起步，尚未见相关文章，目前 国内外的主要研究成果如下： 1 2 1 1 熔池信息视觉传感 近年来，基于视觉传感的焊接质量控制已成为国内外学者研究的热点。随着计算 机视觉技术的发展，利用视觉正面直接观察焊接熔池，以反映焊接过程熔化金属的动 态变化行为，通过图象处理获取熔池的几何形状信息实现焊接熔深、熔透以及成形的 实时控制，已成为重要的研究方向i l 2 4 7 1 。 利用视觉传感进行焊接质量控制首先面临的是电弧光光谱传感问题，近年来，对 于这方面的分析研究已经比较成熟，李俊岳等学者【9 1 l 】已对t i g 、活性化t i g 电弧光 谱、熔化极脉冲电弧焊、m i g 焊熔滴过渡的焊接电弧光谱等进行过分析研究。 h a i b of a n 、r k o v a c e v i c 、k o v a c e v i er 、k y b a e 等学者采用工业c c d 摄像机 针对t i g 、p t i g 熔池和接缝进行了视觉传感实验研究，得到了较为清晰的熔池图象， 并对基于视觉传感在熔池成型控制、接缝跟踪等方面的应用进行了分析讨论 6 , 1 2 1 4 i 。 在熔池图像获取和几何外形提取研究中，上海交通大学的陈善本、山东大学的高 2 博】：学位论文摹于视觉的熔池过程特缸提取方法及智能控制研究 进强等人研究的成果也比较丰富n 5 17 1 。他们对脉冲g t a w 焊设计了熔池正反面同时同 幅视觉传感系统，同时对脉冲g t a w 对接填丝无间隙熔池图象的三维特征提取进行了 的研究，获得了填充焊丝焊接过程中熔池表面凸出和下塌，部分熔透和全熔透状态下 的图象。 南京理工大学王克鸿等人n 8 卅盯对不同焊接条件下短路过渡和射流过渡、t i g 和等 离子熔池视觉信息获取的传感方法开展了较全面的研究，取得了单丝m a g 焊、单丝m i g 焊、自动送铜带t i g 及等离子等清晰的熔池区图象。 在铝、铜等有色金属焊接熔池视觉图像传感方面，也取得了一定的成功，获得了 较为满意的熔池图像，如上海交通大学王建军n 2 2 引对铝合金p t i g 熔池、兰州理工大学 石王于对铝合金熔池尺寸视觉图象尺寸的传感、南京理工大学王克鸿等人啪蝴1 对 铝、铜合金熔池视觉传感和图像处理系统进行了研究，实现了对铝合金熔池形状尺寸 的提取。 哈尔滨工业大学的赵冬斌，张广军，吴林，陈善本等人对脉冲g t a w 对接填丝变间隙 熔池图象特征提取进行了研究，获得了多方位同时同幅熔池图象，解决工程应用中变 间隙焊接焊缝成形控制提供了传感信息呦哪! 。 针对视觉几何图形的边缘提取算法，王倩采用快速模糊边缘检测算法 3 0 l 、王学军 提出基于边缘提取的分形图象编码方法口、吕植勇采用轮廓法线亮度极小( 大) 值检测 方法f 3 2 1 、陆宗骐用s o b e l 算子来细化边缘3 ，上述图形边缘算法对熔池视觉边界的确定 具有一定的效果。 另外相关学者嘶喇1 对于电弧光谱、填丝及脉冲g t a w 、m i g 等熔池形状、几何参数， 的传感、图象处理、边界提取等也进行了较丰富深入的研究，包括采用各种图像处理 算法获得的熔池几何外形，也取得了较理想的成果。 1 2 1 2 熔透及成形控制 在熔宽和熔深等焊缝成形控制方面，目前大多学者是通过建立神经网络模型和 模糊控制等智能控制技术实现成型的控制。其中等人通过这一途径对脉冲g t a w 焊缝 成形的控制效果比较理想。 在熔透与熔深控制方面，s u g a y 等h 卜嘲利用人工神经网络建立了t i g 熔池尺寸、 焊接参数与熔深之间的关系模型，通过人工神经网络的输出优化焊接电流，从而控 制背面焊道宽度。在此基础上，通过检测熔池背面尺寸参数对熔深进行自动控制。 王克鸿等人啪t 剜针对铜钢t i g 、等离子熔敷焊熔池，采用视觉传感和智能控制实现了 无熔深焊接。 国外d s n a g e s h ，g l d a tt a h 力利用b p 神经网络在埋弧焊时预测焊缝几何参数 和熔深，预测数据和实际数据相差甚小。lid i , t s r i k a n t h a n 等人h 8 3 采用神经网络和 模糊智能控制技术在视觉传感的基础上实现焊缝成型。 3 l 绪论博卜学位论义 基于熔池视觉检测的t i g 、m i g 焊熔宽控制研究较为深入。如：陈善本、张甲英 等毛憎j 们在双波长滤光片正面实时检测m i g 焊缝熔宽技术的基础上建立了焊缝熔宽 模糊控制系统，邵采用熔宽的变化及其变化率作为模糊控制器的两输入量，以焊接 电流为输出控制量，效果较为焊缝熔宽进行实时控制。上海交通大学杨海澜，蔡艳 等鼬3 采用主成分分析结合神经网络技术对大电流m a g 焊熔宽控制进行了研究，发现 基于主成分分析的神经网络的收敛速度和训练精度都明显优子b p 神经网络。高进 强、武传松等瓣喇1 提出了建立熔透信息与焊缝背面熔宽之间的关系模型的薪方法， 由神经网络训练均方根误差确定模型的输入节点和隐层单元数，该模型具有较高的 精度。 张牮、潘际蜜等学者汹 辐1 建立了一种焊缝偏差与熔透神经网络与模糊控制控制 系统，该系统从同一传感器中获取焊缝偏差与熔透信息，实现了焊缝跟踪和熔透的 同时控制。同时利用视觉传感进行温度场的实时检测及熔透闭环控制。山东大学张 建纲、孙俊生等嘲3 提出了描述熔化极气体保护焊熔池行为的数学模型，得到了对 g m a w 熔深实时在线控制模型，实验表明该模型的误差可满足工程控制要求。 1 2 1 3 缺陷监测及控制 目酶基于熔池视觉检测的焊接质量控制的研究主要集中在熔化极气体保护焊熔 宽和熔深控制方面，对基于熔池视觉的焊接过程缺陷预测及在线实时控制的研究中尚 很少见相关文章，但对基予电弧信号的焊接缺陷在线监测预报研究方面已经取得了 定进展。例如， 骈q u i n n 等入洙1 在研究了基于焊接电流、电弧电压及其派生出来的7 种参数在焊接缺陷存在情况下的表现后，提出了基于参数基值和阈值原理的缺陷识别 方法，s c j u a n g ，t a r n gy s 等人矧采用t i g 焊缝芷、背面声波传感依靠神经网络建 立质量模型，t a r n gy s 、t s a i ，h l 等呻1 对t i g 焊缝最佳质量分级模型进行了较为深 入的研究。华南理王大学李遭、宋永伦等人瓣3 提出一种在c 貔气体保护焊过程中对焊 缝缺陷的自动监测方法。该方法基于对电弧传感信号特征的提取，通过采用自组织特 征映射( s o m ) 神经网络对信号分类，在焊接过程中在线识别焊缝缺陷。该方法可用 于焊接过程的在线监测，对机器入焊接生产的产品“零缺陷 质量控制具有重要的应 用价值。曾安等人羽研究了基于多变量统计过程控制( m s p c ) 的g m a w 在线监测。把多 变量统计过程控制的应用结果应属于g m a w 焊接过程在线质量监测，通过大量试验证实 该技术是可行的。山东工业大学武传松肺3 1 通过实时检澳u j g m a w 焊接过程中的电参数，研 制了自组织特薤映射享孛经网络( k o h o n e n 神经网络) 。直接依据不屈焊接工艺条锋下焊 接电压的概率密度分布曲线( p d d ) 以及短路过渡时间的频数分布曲线( c f d ) ，能够 对焊接过程的干扰信号进行自动识别。南京理工大学王克鸿等蝴峭3 对g m a w 典型熔池图 像进行特征信息分析，提出利用熔池图像相关系数研究g m a w 焊接过程的新思路。对焊 接缺陷与熔池图像信息之间的关系进行研究，获取了表面气孔、表面夹渣、焊缝起皱 4 博j 二学位论文基于视觉的熔池过程特征提取方法及智能控制研究 等焊接缺陷的对应熔池图像的奇异特征。提出了通过研究熔池图像参数和奇异特征在 出现焊接缺陷时的表现行为，研究焊接缺陷与熔池图像信息之间映射关系。上述这些 基于电弧信号传感的研究取得了一定成果，这就为基于熔池视觉传感的焊接缺陷在线 预测及实时控制提供了有益的启发。 总的来说，基于视觉的智能化控制技术，用于焊接质量控制能够取得满意的效 果，但也面临着需要迸一步解决的问题。一是在视觉传感和检测时，如何获得更高 质量的熔池图像：二是缩短图像处理时间，在规定时间内准确提取熔池特征参数， 实现实时控制；三是在建立有效的控制系统基础上，提高控制精度；四是扩展视觉 传感方法在焊接过程控制方面的应用范围。 1 2 2 基于视觉传感的接缝跟踪技术 焊缝视觉跟踪传感器主要分为三种方式：结构光式、激光扫描式和直接拍摄电弧 式。直接视觉根据是否加辅助光源可以分为主动式和被动式的直接视觉传感。 由于采用的光源的能量大都比电弧的能量要小，一般把这种传感器放在焊枪的前 面以避开弧光直射的干扰。主动光源一般为单光面或多光面的激光或扫描的激光束。 分别称为结构光法和激光扫描法。结构光法的敏感器是面型的。激光扫描方法中光束 集中于一点，因而信噪比要大的多。 清华大学的王军波、陈强等旧主要利用c c d 传感器研究以轮式移动机器人为本体 的球罐焊接机器人的焊缝跟踪。设计了在一定运动约束条件下的轮式机器人本体与焊 炬运动机构，建立了基于双c c d 传感器的焊缝路径检测系统。根据机器人与焊炬之间 的运动约束关系，提出了焊炬位置实时精确的跟踪控制策略，工艺试验表明，所研制 的球罐焊接机器人焊炬跟踪精度可达正负0 5 m m ，能够满足实际工程应用。 华中理工大学的张新宝等旧1 介绍和研究了一种以双线阵c c d 为传感器，激光二极 管为光源的主动式的设定轨迹焊缝的高精度c c d 跟踪系统。此跟踪系统是一种智能形 的成像探测器。它对焊缝