（机械电子工程专业论文）熔池图像特征识别的傅立叶变换方法研究.pdf

摘要 焊接实时控制是焊接生产自动化和提高焊接质量的首要任务，视觉传感法是实 现焊接实时控制的重要传感方法，其关键在于对焊接熔池图像特征信息的动态识别。 正面熔池的几何参数反映当前焊缝熔透和焊接成形情况，可以通过对这些熔池参数 的计算，间接得到当前焊接状态参数与理想焊接状态参数的偏差量，然后根据偏差 量控制系统实时纠偏，保证自动化焊接质量。目前熔池图像处理技术的研究重点主 要在于空域的滤波去噪、图像增强和图像分割等方面。本文拟采用傅立叶变换把熔 池图像转换到频域，利用频域的优势送行相应的处理，达到图像增强和突出熔池特 征的效果。 根据一般的熔池图像处理流程一图像滤波去噪、图像增强、图像分割和边缘定 位，对各个步骤中常用的几种空域图像处理算法进行了详细地理论分析。通过对比 试验，得出效果较好的熔池图像特征提取方案。滤波去噪主要采用均值滤波、中值 滤波和维纳滤波方法，试验中也尝试和对比了任意两种滤波器的组合滤波。图像分 割主要有两种一基于区域的图像分割和基于边缘的图像分割，文中分别作了介绍。 图像增强采用直方图均衡化。通过试验得出采用组合滤波、阈值分割、直方图均衡 化和c a n n y 算子边缘检测的方案效果较好。 研究了傅立叶变换和基于频域的多种滤波算法的原理及应用，并详细分析了图 像信号的频域理解，即图像在空域和频域各种特征的对应关系。根据熔池图像在频 域中的特点，选择了巴特沃思高通滤波器在频域对熔池图像进行图像增强。针对巴 特沃思高通滤波之后出现的熔池图像昏暗的情况，又对两种改进的巴特沃思高通滤 波器进行了对比试验。通过改变滤波器的参数，达到一种相对最佳的滤波效果。同 空域的算法相结合，完成熔池图像特征提取。 最后分别计算出熔宽、熔池半长和熔半宽等特征参数。相对单纯用空域的算法 进行的试验，加入了频域图像增强处理的试验方案得出的熔池图像特征提取结果更 好，更精确的提取出了熔池的形状特征，为焊接自动控制提供有效的控制参数。 关键词：熔池图像；特征提取；频域；傅立叶变换；试验验证 a b s t r a c t r e a l - t i m ew e l da f cc o n t r o li si m p o r t a n tt ow e l d i n ga u t o m a t i z a t i o na n dt oi m p r o v e j o i n tq u a l i t y v i s i o ns e n s o ri s o l a eo ft h em o s ti m p o r t a n ts e n s o r sa v a i l a b l ei nr e a l - t i m e w e l dc o n t r o l ，t h ek e yt ov i s i o ns e l s o l m e t h o dl i e si nt h ea y n a r a i cv a l i di d e n t i f i c a t i o no f w e l dp o o lc h a r a c t e ri n f o r m a t i o nf r o mw e l d i n gv i s u a li m a g ec a p t u r e di nw e l d i n g t h e g e o m e t r i c a lp a r a m e t e r so ft h ew e l dp o o lr e f l e c tt h ec u r r e n tw e l d i n gs t a t e ，i n c l u d et h e d e p t ho ft h ew e l dp o o la n dt h ef i g u r a t i o no ft h es e 锄e t e t h ew a r p sb e t w e e ni d e a l w e l d i n gs t a t ea n dt h ec u r r e n tw e l d i n gs t a t ec a n b eo b t a i a e db yt h eg e o m e t r i c a lp a r a m e t e r s o ft h ew e l dp o o l ，t h e nr e e d 匆t h ec o n t r o ls y s t e mt og u a r a n t e et h ew e l dq u a l i t y m e t h o d s e m p h a s i z e d i n e x w a c t i n g w e l d p o o l c h a r a c t e r t e e l m o l o g y a r ；e f i l t e r i n g i m a g e e n h a n c e m e n t , i m a g es e g m e n t a t i o na n de d g el o c a t i o n 蠲w e l l t h i se x p e r i m e n tw i l lt r y t r a n s f o r m i n gt h ew e l di m a g ef r o ms p a t i a ld o m a i ni n t of r e q u e n c yd o m a i nt h r o u g hf o u r i e r t a - a m f o r m ，a n dp r o c e s st h ew e l di m a g ew i t hs o m ef r e q u e n c ym e t h o d st o 戗岫n c et h e i m a g ea n dg i v ep r o m i n e n c et ot h ew e l dp o o lc h a r a c t e r s t h i sa r t i c l ea n a l y z e dt h ei m a g ep r o c e s s i n gm e t h o d si ns p a t i a lc l o m a i n , a c c o r d i n gt o t h ew e l dp o o li m a g ep r o c e s sf l o w - i m a g ef i l t e r i n g ，i m a g ee n h a n e e m e n t , i m a g e s e g m e n t a t i o na n de d g el o c a t i o n t h ec o m p a r a t i v ee x p e r i m e n ts h e wap r o j e e to f w e l dp o o l i m a g ec h a r a c t e re x t r a c t i n g a v e r a g ef i l t e r , m e d i a nf i l t e ra n dw i e n e rf i l t e rw e r eu s e dt og e t r i do ft h en o i s e s a n dt h ee x p e r i m e n ta l s ot r i e de o m b i l l i n ge v e r yt w oo ft h et h r e ef i l t e r s i m a g es e g m e n t a t i o nb a s e d0 1 1r t 。g i o na n di m a g es e g m e n t a t i o nb a s e d0 1 1e d g ew e r ec a r r i e d o u ti ni m a g es e g m e n t a t i o n a tl a s tt h ee x p e r i m e n ts h e wt h a tt h ep r o j e c tt h a ti n c l u d i n g c o m b i n e df i l t e r , i m a g es e g m e n t a t i o nb a s e do n r e g i o n , h i s t o g r a me q u a l i z a t i o na n dc a n n y e d g ed e t e c t i o n , h a dt h eb e s tr e s u l ti nw e l di m a g ec h a r a c t e re x t r a c t i o n t h i sa r t i c l ea l s os t u d i e dt h ef o u r i e rt r a n s f o r ma n dt h ef i l t e r si nf x e q u e n c yd o m a i n , a n d a n a l y z e dt h eu n d e r s t a n d i n go fi m a g ei nf r e q u e n c yd o m a i n t h er e l a t i o n s h i pb e t w e e n s p a t i a ld o m a i na n df r e q u e n c yd o m a i n , i nd e t a i l b u t t e r w o r t hh i g h - p a s sf i l t e rw a sc a r r i e d o u ti nf r e q u e n c yd o m a i nt oe n h r n c et h ew e l dp o o li m a g e a c c o r d i n gt ot h ep r o b l e mt h a t t h ew e l dp o o li m a g eb e c a m ed i ma f t e rt h eb u t t e r w o r t hh i g h - p a s sf i l t e r i n g ，t h e b u t t e r w o r t l ah i g h - p a s sf i l t e rw a si m p o v e di nt w ow a y s t h ei m p r o v e db u t t e r w o r t h h i g h - p a s sf i l t e rh a v i n gt h e b e s te f f e c tw a sf i n a l l yf o u n d ，b yc h a n g i n gt h ep a r a m e t e r so f t l a e f i l t e r s t h e n , t h ee x t r a c t i o no ft h ew e l dp o o li m a g ee l a a r a c t e r sw a sf i n i s h e db yt h e f r e q u e n c yd o m a i nm e t h o d c o m b i n e dw i t hs p a t i a ld o m a i nm e t h o d s 至三些奎兰堡圭兰塞丝兰 c o m p a r e dw i t ht h es p a t i a ld o m a i no n l ym e t h o d ，t h ep r o j e c to fs p a t i a ld o m a i n c o m b i n e dw i t hf r e q u e n c yd o m a i nm e t h o di sb e t t e l , i ti s9 0 0 dt om a k et h en e x tp r o c e s so f c o m p u t i n gt h ep a r a m e t e r so f t h ew e l dp 0 0 1 k e y w o r d s ：w e l di m a g e ；c h a r a c t e re x t r a o n ；f r e q u e n c yd o m a i n ；f o u r i e rt r a z l s f o r m ； e x p e r i m e n t a lv a l i d a t i o n 独创性声明 秉承学校的严谨的学风与优良的科学道德，本人声明所里交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢的地方外，论文不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论文 成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 指导老师签名三张 指导老师签名 1 勿九竿7 者乙 上呻年5 月弓日 第一章绪论 第一章绪论 1 1 课题研究背景 1 1 1 焊接实时控制是实现焊接生产自动化和保证焊接质量的前提 焊接结构件广泛应用于汽车、航空航天、造船、工业和桥梁等各个领域，由于 焊接技术的影响，焊接接头往往是产品整体质量的薄弱环节，直接影响着产品的使 用寿命。目前国内绝大部分焊接工作由人工完成，焊缝质量受制于人的精神状态、 体力和操作熟练程度等因素的制约，且劳动强度大，焊接质量波动大，稳定的焊接 质量很难保证，因此，自动化的焊接技术对提高社会劳动生产率、改善操作工人劳 动生产条件和身心健康有着至关重要的意义。而采用自动化的焊接装备会使焊接的 生产效率提高2 , - 4 倍。目前，焊接过程的自动化和智能化已成为焊接界的重要研究 方向。我国焊接生产自动化率，按熔敷金属量来计算，近几年一直徘徊在2 0 左右， 达不到日本1 9 7 3 年的3 5 水平，而与世界工业发达国家当前的6 0 以上相比，差距 相当明显。自动化的焊接技术对提高社会劳动生产率、改善及稳定焊接质量、减少 废品或返修、降低成本、形成一个比较清洁文明和安全卫生的劳动环境等方面有着 至关重要的意义。 随着焊接自动化水平的日益提高，对焊接质量的控制变得尤为重要。焊接自动 控制是指在焊接过程中，系统实时自动纠正当前非理想焊接状态的一种自动化焊接 方法，主要包括焊缝中心位置的跟踪和熔深等参数的控制。精确的焊接过程控制是 保证焊接质量的首要和关键。由于焊接过程当中各种因素的作用，实际的焊接条件 经常发生变化，例如，加工和装配上的误差、焊接过程中的热和残余应力产生的变 形等，这些因素会导致接头位置和尺寸的变化，需要实时地调整焊接系统以纠正偏 差。由于熔池外在特征可反映出当前焊接状态，所以，对动态焊接熔池的位置以及 熔池形貌的监控，可以实现对自动焊接过程及其焊接质量的控制。即在焊接过程中， 根据熔池的形状等特征信息，得出当前焊接状态下各种参数值，计算出与理想焊接 状态参数的偏差并驱动系统达到理想的焊接状态。这种基于熔池特征信息提取的焊 接自动控制方法实时性好，且控制精度高，是目前最有潜力的方法之一l l 】。焊缝熔 透及成形情况直接决定焊接结构强度和焊接缺陷的产生与否，是影响焊接质量的重 要因素。但是直到目前为止，焊缝熔透和成形自适应控制是焊接自动化技术的一大 1 广东工业大学硕士学位论文 难题，成功应用于生产实际的例子很少【2 】，根据熔池特征实现焊缝熔深控制愈来愈 受到关注。 1 1 2 视觉传感法是实现焊接自动控制的重要传感方法 实现焊接自动控制有多种传感方法，其中电弧传感法和视觉传感法在工业生产 和应用研究中占有突出地位。此外，还有超声波传感法，电磁传感法【3 】等。光学视 觉传感是光学传感法的应用形式之一，它是利用光学传感器拍摄焊接区域，并对光 学传感器检测到的信号进行处理，得到有用信息。目前光学传感主要有红外辐射传 感和焊接区直接视觉传感。红外辐射传感是采用红外摄像仪直接摄取电孤正下方熔 池的温度场，利用温度场的对称性来检测熔池特征信息信息。从图像传感的效果来 看，在红外光波段检测可以减少弧光辐射的影响。但是由于红外摄像机价格昂贵， 使用复杂，不太适合实际焊接生产应用。焊接区直接视觉传感器由于其可以远离电 弧强光、强热区、采集信息量大而得到越来越广泛的应用研究。 常见的视觉传感器主要有电耦合器件( c h a r g ec o u p l e dd e v i c e ，c c d ) 、m o s 图像 传感器和电荷注入器件。在焊接自动控制系统中应用较广泛的是c c d 视觉传感器， 它是一种半导体集成光电敏感元件，其功能是把入射到传感器光敏面上按空间分布 的光强信息转换为按时序串行输出的电信号一视频信号，而该视频信号能再现入射的 光辐射图像。c c d 又分为线阵c c d 和面阵c c d 两种，线阵c c d 应用线阵集成电 路作为传感器，获取的是一维图像，而面阵c c d 可摄取二维平面图像，能够提供最 大的信息量。焊接区直接视觉传感法根据是否采用辅助光源又分为主动视觉传感和 被动视觉传感两种。 主动视觉传感法是指采用外加辅助光源并基于三角测量原理的测量方法，把具 有特定结构的光源投射到工件表面，然后摄取工件表面图像。主动视觉传感是由光 源和摄像机组成的视觉系统，为了获取接头的三维轮廓，采用光源照明焊接接头， 主动光源一般为单光面或多光面的激光或扫描的激光光束，即所谓的结构光法和激 光视觉传感法。结构光视觉传感法是将瞬时高能量结构光横跨在焊缝横截面上，以 减弱弧光干扰，对获取的图像进行预处理，获取结构光信息，然后利用三角测量原 理计算出焊缝中心位置【4 j 】。光学三角原理提供了一种确定漫反射表面位置的非接触 测量方法，小功率的激光器光点投射在工件表面上产生漫反射，漫反射光的一部分 通过透镜在光敏元件上成像。如果漫反射表面与激光平行的方向有一定的偏移，移 动的光点在敏感元件上所成的像也会产生相应的偏移。据此偏移可以确定出漫反射 2 第一章绪论 表面点的位置。这种方法在焊缝前5 0 m m 左右测量的效果较好，通过对光源的控制 不但能精确检测出焊缝的中心位置，而且还能获得焊缝截面的形状和尺寸等特征参 数，适合于不同的焊缝和各种焊接方法。但是结构光视觉传感法敏感元件是面型的， 实际应用中会遇到以下问题：一是当结构光照射在经过钢丝刷去除氧化膜或磨削过 的铝板或其它金属板表面时，会产生强烈的二次反射，这些光也成像在敏感元件上， 使后续图像处理失效。二是结构光投射光纹的光强分布不均匀，从而获取的图像质 量需经过较复杂的后续处理，检测精度会降低。三是结构光光强远低于电弧辐射， 因而采用结构光法无法直接得到熔池信息。而且这种方法存在导前误差。 此外，还有双目视觉传感法，面阵的视觉传感器得到视场三维方向的信息，双 目视觉则可根据同一空间点在两个c c d 上成像，利用相对位置关系并按一定数学模 型演绎出视场各点的三维坐标 6 1 。利用激光作为辅助光源，激光器发出的光束经平 凸柱面镜变成光平面，在焊件上形成条纹。两台摄像机同步采集该条纹图像，结合 机器人末端位姿与摄像机参数，对于条纹上的每个特征点可以获得三组空间坐标。 对这三组坐标进行信息融合，可以精确地获得特征点的空间坐标。文献 7 】中的试验 表明，由双目视觉传感器和激光器组成的焊缝跟踪系统具有实时性好、测量精度较 高、标定简单和可靠性高等特点。 主动光学传感法采用光源照明，增加了传感器成本；且由于采用的光源光强相 对于电弧光强来说还是较弱的，因而钡4 量点须超过熔池前端，算法稍复杂，且前导 部分熟变形误差无法消除。被动式的光学传感法不采用照明光源直接拍摄熔池区域， 利用电弧和熔池的自身光谱辐射，通过选择一个特定的辐射窗口，使焊接区各辐射 源的光强达到一个合适的比例，实现从单一信号源中得到焊接图像的综合信息，有 效地提高了在可见光波长内电弧、熔池和焊缝三者同时成像的清晰度。视觉传感法 去除弧光干扰的方法是采用滤光片，使摄像机在一个弧光对熔池辐射比例适当的较 窄的光谱窗口范围内获取熔池图像，设备简单、成本低、实用性好。与其它焊接过 程信息检测方法相比，视觉传感法由于使用的硬件设备较少，更适合在焊接生产实 际中使用，越来越受到人们的重视。 总而言之，光学传感法具有以下特点：获取的信息量大，精度高，可以获得 熔池和焊缝的几何形状和空间位置姿态信息；检测空间范围大，误差容限大，焊 接之前可以在较大范围内寻找接头；具有智能化特点，可自动检测和选定焊接的 起点和终点，判断定位焊点等接头特征；通用性好，适用于各种接头类型的自动 3 广东工业大学硕士学位论文 跟踪和参数适应控制，还可用于多层焊的焊道自动规划、参数适应控制和焊接的接 头外观检查；实用性髓好。而无辅助光源的视觉传感法具有成本低、易于推广、 信息量大及易与电子计算机结合的特点，是焊接控制中重要的传感方法。 1 1 3 熔池图像特征识别是视觉传感法的关键技术 基于视觉传感的焊接自动控制分两个步骤，第一是通过提取焊接图像特征参数， 通过研究建立相应参数的输入输出模型得到所需要的具有实际意义的参数，即当前 焊接状态参数。第二是根据当前状态参数和相同规范下理想状态参数之间的偏差， 采用所设计的反馈控制算法，调整焊接参数控制焊接过程【趴。焊缝成形的好坏是衡 量焊接质量优劣的主要指标，一般以熔深、熔宽和余高来表示，称之为质量因子， 在焊接过程中控制的目标就是要保证这些质量因子基本稳定在设定的范围内。研究 表明，正面熔池的几何参数( 如熔宽、熔池半长、熔池面积、熔池后拖角等) 与焊缝 熔透和成形有良好的对应关系【9 ，l 们。通过建立熔池图像特征信息参数与焊缝中心位置 坐标、熔深等参数之间的映射关系，可以实现焊缝跟踪和熔深等参数的控制。所以 精确检测正面熔池的几何参数对控制焊接过程具有非常重要的意义，是保证焊接质 量的关键。 近年来，随着计算机视觉技术的发展，利用机器视觉直接观察焊接熔池，通过 图像处理获取熔池的几何形状信息对焊接质量进行闭环控制，已成为重要的研究方 向。在手工和半自动焊接过程中，对于一个有经验的焊工，通过直接观察接头的位 置、熔池的行为、电弧形状及焊道外形，可以感知焊接的状态。如果希望实现自动 化焊接，就必须模拟人的这些功能。图像处理在自动焊接过程中的重要意义就相当 于手工焊接过程中人的眼睛，可以实现焊接位置的传感、自动焊接时的焊道对中、 焊接时熔池熔深和熔宽信息的采集和处理，进而可利用计算机发出指令实现焊接过 程的各工艺参数如电压、电流、焊接速度的调节和焊丝或电弧的对中，从而实现焊 接过程的自动控制 i l j 。 所以根据熔池图像与焊缝质量的相关性对熔池图像的特征信息提取可以实现在 线补偿由于固定偏差、焊接变形引起的焊接路径偏差和焊接深度偏差，是提高自动 化焊接质量的关键。在基于视觉传感的焊接自动控制系统中，由视觉传感器摄取到 的熔池视频信号经a d 转换为数字图像输出，数字图像的信号强度用灰度来表示。 目前较广泛使用的是8 位c c d 视觉传感器。图像经低层处理后再提取熔池的特征信 息。由于辐射量及空间位置的不同，焊接图像在灰度值大小上存在差异，形成灰度 4 第一章绪论 梯度，在提取边缘之前首先对图像滤除噪声，采用图像处理中的图像分割和边缘检 测算子分离出熔池，最后提取熔池边缘信息。再对提取到的熔池信息进行相应焊接 参数计算，这是目前用得最广的熔池特征提取方法。 如前所述，视觉传感器直接摄取熔池信息，由于空间安装位置的限制，c c d 不 可避免地受到强烈电弧的直接干扰和间接干扰。直接干扰来自空间位置上，c c d 一 般安装于焊炬运动前方，由于电弧光强强，且电弧在熔池的上方，因而电弧信息直 接进入摄像机视场；其次，在具有连续谱线的电弧光照射下，工件熔池表面产生漫 反射，漫反射光进入c c d 光敏元件上，对图像灰度产生间接的干扰。电弧的干扰大 大地降低了图像的信噪比，使得直接提取图像熔池的特征信息变得困难，增加了图 像后续处理的复杂性。因此，抑制由于电弧光引起的摄像机视场中光强的急剧变化 技术以及熔池特征信息提取技术是影响焊接系统准确性的关键，直接决定着焊接控 制系统的精度和实时性。 1 2 熔池图像特征提取技术的国内外研究现状 目前国内外对熔池图像特征提取技术的研究主要集中在两个方面，一是排除弧 光干扰，第二是图像处理算法的研究，即体现在熔池信息处理的硬件和软件上。在 弧焊过程中，由于存在弧光和热等多种噪声的强烈干扰，视觉传感器获取的熔池视 觉图像含有大量噪声，图像信噪比降低，也降低了后续图像处理的可靠性。目前图 像处理提取熔池特征技术的研究主要经过几个程序，首先将有用信息与整幅图像区 分开来，以减少处理信息量；然后进行图像滤波、图像增强及图像分割( 边缘检测) ， 滤波是为了消除噪声，图像增强可以突出熔池特征，边缘检测一般用s o b e l ，c a n n y 等算子或小波分析，使熔池信息凸显出来，再将得到的图像边缘点进行特征检测或 模式匹配，如h o u g h 交换等，进而得到熔池的特征参数。下面分别阐述。 1 2 1 抗电弧干扰研究现状 采用视觉传感器的目的是为了获取焊接熔池区域有关信息，但电弧在辐射强度 上远远超过了焊接熔池的辐射，如不采取适当的措施，熔池内部的图像会被电弧光 淹没，甚至无法分辨图像的细节信息。被动式视觉传感法较为深入的研究起步于8 0 年代中期，针对熔池视觉图像传感系统中的电弧光干扰问题，国内外进行了广泛的 研究和尝试，更多的是采用滤光片。由于弧光光谱覆盖的区域较广，且和使用的焊 接方法和焊接材料有一定的关系，因此不问背景的研究得到的结论也各不相同，表 5 广东工业大学硕士学位论文 卜1 列出了部分研究成果。 表1 - 1g t a w ( g a st u n g s t e na r cw e l d i n g ) 焊接熔池视觉传感的滤光方法【1 2 1 滤光片获取图像时机 中性减光片组燃弧期间 吸热玻璃和伍德玻璃燃弧期间 窄带滤光片( 峰值8 0 0 h m )燃弧期间 三种窄带滤光片( 峰值5 7 9 5 8 7 n m , 5 8 9 - 6 0 1 r n n , 6 4 4 - - 6 6 3 m a )燃弧期间 8 n m 窄带滤光片( 峰值4 0 4 4 r i m )燃弧期间 4 r i m 窄带滤光片( 峰值4 0 6 4 r i m )燃弧期间 文献 1 3 介绍了部分得到熔池清晰图像的研究成果，采用红外光对熔池部分成 像的同时，直接利用电弧光照射熔池前方的工件间隙获取焊接区焊缝信息，根据熔 池前方不同远近电弧光强度的闪烁来实现焊接过程中的焊缝跟踪，利用带有c c d 摄 像机的微型计算机控制系统对脉冲m a g m i g ( m e t a la c t i v e i n e r tg a s ) 焊熔池行为进 行了观察和控制的研究，在摄像机对熔池成像期间将焊接电流减小到最低的维弧电 流，以得到清晰的熔池图像，并实现了焊接条件变化时对熔池的初步控制。采用电 弧直接视觉传感和图像处理方法成功地对窄间隙气体保护焊摆动焊接过程进行了在 线检测。通过对电弧及熔池表面的谱线分析和对比，提出在弧柱区以非金属谱线为 主，而熔池表面区域以金属谱线为主。电弧光谱是由电子跃迁产生的连续光谱背景 和不连续的峰值谱线两部分组成，而且弧柱区谱线与熔池表面的谱线存在差异，因 而能够在电弧谱线问隙中选取一个窗口，利用熔池本身发光及部分电弧光谱背景在 熔池及工件表面的反光观察近弧区的图像，以避开电弧强谱线的干扰。试验结论是： 以低碳钢为母材的c 0 2 焊最佳观察窗口波长为6 0 1 2 n m 。 文献e 1 4 利用c c d 摄像机和复合滤光系统建立了一套熔池图像实时采集系统。 利用光谱分析系统，测定了熔化极保护焊的弧光光谱分布，并给出了两个合适的滤 光光谱窗口。被动光视觉条件下，熔池成像所依赖的熔池边界灰度值的变化是由工 件、熔池和已凝固焊道三者对弧光反射的差异和自身辐射的差异提供的。提出了适 合于脉冲熔化气体保护焊( p u l s e - - g m a w ) 熔池成像的滤光光谱窗口，并对中心波长 分别为6 6 5 n m 和1 0 6 4 r i m 滤光系统的成像质量进行了分析。分析了p - g m a w 单个 6 第一章绪论 脉冲内的不同时刻的熔池图像，研究表明脉冲基值结束期间为最佳的取像时刻。使 用中心波长为6 6 5 n m 的滤光系统，从熔池正后方取像，获取了清晰的熔池图像，提 取了完整的熔池轮廓。文献 1 5 采用近红外波段的复合滤光片得到清淅的m a g 焊 接的熔池图像。 1 2 2 熔池图像处理研究现状 熔池图像处理的目的是滤除噪声、熔池图像增强和边缘提取。近年来许多国内 外学者做了大量的研究，得出了多种有效的熔池图像特征提取的方法。文献e 1 6 采 用基于c a n n y 边缘检测算子和形态学去除小物体算法提出了一种新的熔池图像处理 算法。首先对熔池的图像所具有的一些特性进行分析，然后对图像分别做中值滤波， 二值化，边缘检测和去除小物体处理。实验结果表明，该方法能够比较有效地得出 熔池图像的边缘。 模板匹配是一种用来寻找图像中的有用特征信息的图像处理方法，文献 1 7 描 述了一种结构特征相关性方法提取焊接图像特征信息，为闭环焊接控制系统提供参 数。 熔池表面的自动检测与控制是焊接工业的最重要目标之一，文献 1 8 采用结构 光主动光源c c d 视觉传感法获取熔池图像，从预先设定的固定位置向熔池表面打出 一束激光，c c d 获取熔池表面的反射激光束图像，然后运用光线跟踪技术，并根据 激光束的位置和扇角，从图像中提取熔池表面和熔深信息。另外，文献 1 9 作者设 计了一种基于视觉传感的熔池上表面尺寸的测量方法，试验证明可以精确实时提取 熔池表面尺寸，以实现熔池尺寸控制，并根据映射关系间接得出焊缝背面状态信息， 这种方法的局限性在于熔池与工件的灰度差要大。 文献 2 0 利用多个传感器拍摄熔池图像，通过立体设想法创建熔池三维模型， 用于基于模型的回馈控制系统。 文献 2 1 对铝合金熔池图像特点进行了分析，提出了一种快速有效的熔池边缘 提取算法。采用边缘保持滤波和模糊增强对铝合金熔池图像进行预处理，并采用 m a x - r a i n 算子对边缘进行检测，采用投影法对边缘进行细化和去除伪边缘而获得清 晰的熔池边缘。该算法抗干扰强、计算速度快、计算准确，能有效提取熔池的形状。 文献 2 2 采用适当的图像处理技术与模板匹配技术相结合，采用两步法的模板 匹配方式，在全局匹配过程中通过区域分析的方法去除奇异点，在局部匹配过程中 采用动态调整搜索区域方法，实现对焊接初始位置的识别与定位，提高了焊缝端点 7 广东工业大学硕士学位论文 识别的准确性。试验表明，该方法具有较强的抗干扰特性，并且运算速度较快，识 别准确率较高，具有较高的实用价值。文献 2 3 根据零交叉和t r o u s 算子，在图像中 值滤波后，研究了不同的小波基函数识别熔池边缘的效果，发现b u b b l e 函数对小波 基较理想。 由于焊接熔池图像是复杂多变的，要准确得到熔池信息，选择合理高效的处理 算法是非常重要的。针对这一问题，文献 1 2 对所获取的熔池图像首先进行中值滤 波，用s i g m o i d 函数进行灰度拉伸，灰度拉伸增加了拖尾边缘的灰度梯度，再采用 自定义的灰度掩模进行边缘检测，得到了c o ：焊接较完整的熔池边缘。文献 2 4 采 用b r o w n i a n 模型的碎片理论检测焊缝信息，根据碎片理论可计算出碎片大小，以此 区别焊缝信息。在自然光照和电弧光照条件下，处理图像误差达到0 3 m m 。 文献 2 5 利用c c d 获取c o ：焊熔池正面图像，经过均值滤波和增值处理，利用 数学形态学方法提取熔池及焊缝图像的边缘与中心，进而确定出焊枪中心与焊缝的 偏差，并实现焊缝自动跟踪控制。该方法图像处理简单、焊缝位置偏差精确，控制 精度高，可在不同工作环境下对c 0 2 焊实现高精度实时跟踪控制。 此外，除了传统的分析焊缝边缘信息的方法，文献 2 6 提出了一种基于熔池图 像质心的焊缝跟踪新方法，通过分析熔池质心来间接获取焊缝位置信息。文献 2 7 研究了基于视觉传感的焊接图像传感器，焊接工件在焊接过程中因受热而发出的辐 射，能够在c c d 的光敏面上得到清晰的热图像，通过分析温度场灰度曲线得到焊缝 位置信息。 1 3 课题来源及研究内容 熔池的几何参数能够反映出当前焊缝熔透和电弧与焊缝中心位置的对中情况， 所以检测正面熔池的几何信息对控制焊接过程具有非常重要的意义。实现熔透和成 形自动控制的关键是精确提取熔透和成形信号。熔池特征信息的提取技术是实现实 时焊接质量控制的前提。目前焊接实时控制技术在图像处理算法上及视觉传感法方 面取得了重要的进展，但纵观多年的研究和取得的成果，距离实用化还有一段距离。 因此，寻找熔池特征信息提取的新方法、建立新的理论对打破这个沉默是迫切需要 的。 通过傅立叶变换将熔池图像转换到频域，根据图像在空域和频域的对应关系可 知，熔池的边缘部分灰度存在跳变，对应于频域当中的高频部分。而熔池内部和外 第一章绪论 部相对灰度分布比较平坦，对应于频域的低频部分。所以可以通过频域高通滤波来 实现熔池边缘增强。空域当中的边缘检测算法通常是通过卷积实现，算法非常复杂， 而转换到频域以后只需要简单的函数相乘，实现起来更简单方便。所以试验拟采用 基于傅立叶变换的频域图像处理方法，实现熔池图像的边缘轮廓的提取，进而计算 出熔池的多种特征参数，如熔宽、熔池半长和熔半宽等，为焊接过程自动控制系统 提供有效控制参数，这也是本文的主要创新之处。 本课题为高向东教授主持的国家自然科学基金项目“基于图像质心的焊缝跟踪 新方法研究”( 项目代码：6 0 3 7 5 0 1 2 ) 的子课题。根据熔池图像自身的特点，结合熔 池视觉检测技术现状，运用傅立叶交换这一数学手段，本课题主要做了以下工作； ( 1 ) 根据目前焊接自动控制系统熔池图像处理算法的研究现状，结合理论与试 验，研究了传统的各种空域图像处理算法，包括滤波去噪、图像增强和图像分割。 并尝试进行了任意两种滤波方法的组合滤波试验。通过比较各种算法的处理效果， 得出熔池图像空域相对最佳处理方案； ( 2 ) 对傅立叶变换的原理及频域图像处理算法原理进行了深入研究和分析。掌 握了图像在空域和频域之间的转换和图像信号的频域理解； ( 3 ) 将基于傅立叶变换的图像处理算法应用到熔池图像特征提取中。根据空域 和频域当中各种图像处理算法的作用和效果，分析了频域滤波算法特点，在试验基 础上设计出了一套空域和频域相结合的图像处理方案； ( 4 ) 通过对各种频域高通滤波算法的比较，最终决定使用b u t t e r w o r t h 高通滤波 器，并根据熔池图像的特点，在试验的基础上使用改进的b u t t e r w o r t l a 高通滤波器， 选择合适的滤波器参数，达到了比较理想的效果。 ( 5 ) 对所设计的处理方案与空域处理方案进行比较试验，并对所得出的熔池轮 廓图像进行了熔池特征参数计算。得出的结论是：空域与频域相结合的熔池图像处 理方案提取出的熔池特征信息更具准确性。 1 4 本章小结 阐述了焊接实时控制技术对焊接生产自动化焊接质量的重要性；介绍了作为重 要传感方法之一的视觉传感法的研究发展现状，其中，去除弧光干扰技术和图像处 理技术是影响熔池图像特征提取精度和实时性的关键。介绍了课题的研究背景、主 要研究内容及论文创新之处。 9 广东工业大学硕士学位论文 第二章空域图像处理算法试验及分析 试验采用脉冲g t a w ( g 犯t u n g s t e na r cw e l d i n g ) 氩弧焊接自动控制装置，如图 2 - 1 所示。包括龙门架y 、z 轴，底座x 、y 轴，夹紧机构，底座，c c d 摄像机， 焊机，步进电机和工控机等。其中底座x 、y 轴步进电机驱动底座做x 、y 轴向移 动，实现工件的平面运动。龙门架y 、z 轴步进电机驱动焊炬做快速定位。步进电 机由工控机实时控制焊炬相对工件的移动，c c d 位于工件的斜上方4 5 4 度角位置， 实对拍摄焊接区域图像，工控机对图像进行处理，根据得出的熔池信息间接计算出 当前焊接状况，从而驱动步进电机实时控制焊接过程。试验焊接材料为厚度为3 m m 的低碳钢板。 图2 1 试验装置 f i g u r e2 - 1e x p e r i m e n ts e t u p 试验装置的标定及误差分析详见文献 2 s l 。 在基于视觉传感的焊接自动控制系统中，视觉传感器c c d 可以摄取到丰富的熔 池图像信息，但由于受到电弧等因素的影响，图像当中同时也存在着大量的噪声信 号。对这些数字图像运用滤波去噪、图像分割、边缘检测和特征提取等一系列图像 处理技术，可以得到熔池图像的特征信息。针对焊接熔池图像中噪声的特性，找到 一种相对最佳的图像处理方法，精确提取焊接熔池特征信息，是提高焊接质量的关 1 0 第二章空域图像处理算法试验及分析 键所在脚l 。 下面介绍比较常用的几种空域图像处理算法原理。 2 1 图像预处理算法 由于焊接过程中存在强烈的弧光和其它大量的干扰因素，使得采集的原始图像 存在很多噪声信号，会把熔池图像的一些有用信息淹没，需要对图像作相应的预处 理( 滤波去噪、图像增强等) 以修正灰度和去除噪声。 目前常用的滤波去噪和图像增强技术根据其处理所在的空间不同，可分为基于 图像域的方法和基于变换域的方法。基于图像域的方法，是直接在图像所在的空间 进行处理，也就是在像素组成的空间里直接对像素进行操作；基于变换域的方法， 是在图像的变换域对图像进行间接处理。直接对图像像素进行处理的滤波去噪技术， 常用的方法有邻域平均法、维纳滤波法、高斯滤波、最小值滤波和中值滤波法等。 经过滤波去噪处理后，虽然除去了大量干扰信号，但同时也模糊了图像，因此有必一 要对图像进行增强处理。图像增强的方法有灰度修正和图像锐化等。其中直方图修 正是图像增强最有效、最常用的方法之一。 2 1 1 空域滤波去噪 一般情况下，基于邻域的图像滤波操作，常可利用模板与图像进行卷积来实现。 在图像空间中借助模板对图像进行邻域操作，输出图像每一个像素的取值都是根据 模板对输入图像像素相应邻域内的像素值进行计算得到的，即输出像素的取值为输 入像素邻域内像素值的加权和，具体的权值是通过卷积核定义的。每个模板实际上 是一个二维数组，其中各个元素的取值决定了模板的功能，这种模板操作就称为空 域滤波p 0 】。 各种空域滤波器根据功能可以分为平滑滤波器和锐化滤波器。平滑的作用有两 个：一是模糊，可以在提取较大的目标前去除太小的细节或将目标内的小间断连接 起来；二是消除噪声。而图像锐化的目的是为了增强被模糊的细节。 空域滤波器都是利用模板卷积完成的，主要步骤是： ( 1 ) 将模板在图像中移动，将模板中心与图像当中某个像素位置重合。 ( 2 ) 将模板系数与图像中对应的像素相乘。 ( 3 ) 将所有乘积相加。 ( 4 ) 将和( 模板的输出值) 赋给图像中与模板中心位置相对应的像素。 广东工业大学硕士学位论文 如图2 2 ( a ) 所示为一个3 3 的滤波器模板，模板中所标的是模板系数。图2 2 ( b ) 为一幅图像的一部分，如果将岛所在位置与灰度值为j o 的像素重合，模板的输出响 应胄为： r = 嚷s o + c 1 5 1 + + 意s 黾 ( 2 。1 ) 西霞 3 x 3 滤波模板( 6 ) 图像一部分 图2 23 3 空域滤波器模板 f i g u r e2 - 23 3f i l t e rm o d e l 将r 赋给增强图，作为在勋位置的新灰度值，对图中每个像素都进行这样的操 作，就可以得到增强图所有位置的新灰度。如果在设计滤波器时给各个k 赋不同的 值，就可得到不同的滤波效果。 针对焊接熔池图像的噪声主要是熔池周围的孤立噪声点，结合试验这里主要介 绍空域滤波去噪效果较好的三种常用滤波方法一邻域平均滤波、维纳滤波和中值滤 波，并给出试验论证。 2 。1 1 1 邻域平均滤波 线性低通滤波器是最常用的线性平滑滤波器，它是一种局部空间域处理的算法 1 2 6 。这种滤波器的所有系数都是正的。为保证输出图像仍在原来的灰度范围内，在 计算出尺后要将其除以邻域内的像素数再进行赋值。这种方法称为邻域平均法【3 ”。 假设一幅大小为膨的图像触，力，平滑后的图像为g ( x ，力，它的每一个像素 的灰度由包含o ，力的预定邻域s 的几个像素的灰度级的平均值所决定，即用式( 2 2 ) 得到平滑图像。 如y ) 2 i 1 ( 忡z 。f ( i , j ) ( 2 2 ) 式中垆1 2 m 尸1 ，2 ，以陧仁，力像素点的预定邻域( 不包括 ，力像素点) ，踺 s 内的坐标点总数，最典型的邻域有4 邻域和8 邻域，用模板表示邻域平均算法如式 ( 2 3 ) 和( 2 4 ) 所示： 1 2 第二章空域图像处理算法试验及分析 鸩2 引：f q 。 即州1 ， ( 2 4 ) 模板沿水平和垂直两个方向逐点移动，从而平滑整幅图像。模板内各系数之和 为1 ，对一般图像处理后，整幅图像灰度的平均值可以保持不变。对于熔池图像来 讲，可以在维持图像原对比度的同时在一定程度上去除图像孤立噪声点。当平滑滤 波器模板的尺寸增大时，消除噪声的效果增强，但同时所得的图像变得更模糊，细 节的锐化程度逐步减弱。 2 1 1 2 维纳滤波( w i e n o t ) 熔池图像中噪声干扰主要来源于焊接过程的工艺规范波动，导致图像像素值的 变化，这类干扰信号主要是均值为零的高斯白噪声。维纳滤波是经典的线性降噪自 适应性滤波，将图像信号和噪声信号都看成随机信号，在对随机信号进行分系统计 的基础上得出符合最小均方误差的滤波原则。它根据焊接图像的局部方差调整滤波 输出，局部方差越大，滤波的平滑作用越强，它的最终目