（控制理论与控制工程专业论文）基于视觉伺服的焊缝跟踪系统研究.pdf

原创性声明 4 i j ii i i iifijr l l l l l l f l lrrli i i illllipllf y 17 910 0 6 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：选王垒 日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：名每么l 导师签名：丝亟差日期：垒p 。工：l 易 山东大学硕士学位论文 目录 摘要i a b s t r a c t i 缩略词注释表i 第一章绪论1 1 1 课题研究背景及意义1 1 2 课题研究现状。2 1 2 1 国内研究现状2 1 2 2 国外研究现状3 1 3 机器视觉及其在焊接中的应用4 1 3 1 计算机视觉理论4 1 3 2 机器视觉在焊接中的应用5 1 4 课题研究内容及结构6 第二章焊缝图像处理算法7 2 1 色彩空间模型7 2 1 1r g b 色彩空间7 2 1 2y u v 色彩空间8 2 1 3 色彩空间转换8 2 2 焊缝图像增强9 2 2 1 灰度直方图9 2 2 2 焊缝图像平滑。9 2 2 3 焊缝图像锐化一1 l 2 2 4 焊缝图像复原1 2 2 3 焊缝图像分割1 4 2 3 1 焊缝图像二值化l4 2 3 2 焊缝图像边缘检测1 8 2 4 本章小结2 1 山东大学硕士学位论文 第三章焊缝图像识别与特征参数提取算法。2 3 3 1 焊接接头类型识别2 3 3 2v 型坡口焊缝图像特征识别2 3 3 3 角点检测算法2 4 3 3 1 角点检测算法比较2 5 3 3 2s u s a n 算法2 7 3 4 本章小结2 8 第四章焊缝识别系统设计2 9 4 1 焊缝跟踪系统2 9 4 2 焊缝识别系统2 9 4 3 图像采集前端设备31 4 3 1 激光器31 4 3 2 滤光片组3 2 4 3 3c c d 传感器3 2 4 4 焊缝识别系统及外围模块3 4 4 4 1t m s 3 2 0 d m 6 4 2 数字信号处理器3 4 4 4 2 图像采集模块及1 2 c 总线控制3 5 4 4 3 视频解码器模块3 6 4 4 4 视频编码器模块3 7 4 4 5 以太网收发器模块3 8 4 4 6 同步动态随机存取存储器模块3 9 4 4 7 闪速存储器模块4 0 4 。4 8 电源模块4 l 4 4 9 时钟模块4 2 4 4 1 0 复位模块4 2 4 4 1 1e e p r o m 模块4 3 4 5t m s 3 2 0 d m 6 4 2 的视频编码优化4 4 4 5 1 视频编码器系统算法优化4 4 4 5 2 视频编码器的存储器缓冲方案4 5 i i 山东大学硕士学位论文 4 5 3 增强直接存储器存取用法4 5 4 5 4 高速缓存优化4 6 4 6d s p b i o s 驱动开发与使用4 7 4 6 1d s p b i o s 概述4 7 4 6 2d s p b i o s 设备驱动的结构和使用。4 8 4 6 3t m s 3 2 0 d m 6 4 2 视频端口的微型驱动5 0 4 7 本章小结5 6 第五章焊缝跟踪伺服系统设计5 7 5 1 焊缝跟踪伺服系统5 7 5 2 焊缝跟踪伺服系统硬件设计5 8 5 2 1m c 9 s 1 2 x d p 5 1 2 微控制器5 8 5 2 2 光电隔离电路5 9 5 2 3 电机驱动电路6 0 5 2 4 正交编码电路6 l 5 2 5 信号整形电路6 2 5 2 6r s 2 3 2 通信电路。6 2 5 2 7c a n 总线通信电路6 3 5 2 8 人机接口电路6 3 5 3 焊缝跟踪伺服系统软件设计6 4 5 3 1 频率周期法测速6 6 5 3 2 中值滤波6 6 5 3 3 数字p i 调节器6 7 5 3 4 速度控制器6 8 5 3 5 电流控制器6 9 5 4 本章小结6 9 第六章结论与展望7 1 附录7 3 参考文献7 5 致 射8 0 i i i 山东大学硕士学位论文 c o n t e n t s a b s t r a c t i l i s to f a b b r e v i a t i v ew o r d s i c h a p t e r1i n t r o d u c t i o n 1 1 1r e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c e 1 1 2r e s e a r c hs t a t u s 2 1 2 1d o m e s t i cr e s e a r c hs t a t u s 2 1 2 2a b r o a dr e s e a r c hs t a t u s 3 1 3m a c h i n ev i s i o na n di t sa p p l i c a t i o ni nw e l d i n g 4 1 3 1t h ec o m p u t e rv i s i o nt h e o r y 4 1 3 2m a c h i n ev i s i o na p p l i c a t i o ni nw e l d i n g 5 1 4r e s e a r c hc o n t e n ta n ds t r u c t u r e 6 c h a p t e r2w e l di m a g ep r o c e s s i n ga l g o r i t h m s 7 2 1c o l o rs p a c em o d e l 7 2 1 1r g bc o l o rs p a c e 7 2 1 2y u vc o l o rs p a c e 8 2 1 3c o l o rs p a c ec o n v e r s i o n 8 2 2w e l di m a g ee n h a n c e m e n t 9 2 2 1d e n s i t yh i s t o g r a m 9 2 2 2w e l di m a g es m o o t h i n g 9 2 2 3w e l di m a g es h a r p e n i n g 11 2 2 4w e l di m a g er e s t o r a t i o n 1 2 2 3w e l di m a g es e g m e n t a t i o n 1 4 2 3 1w e l di m a g eb i n a r i z a t i o n 1 4 2 3 2w e l di m a g ee d g ed e t e c t i o n 18 2 4s u m m a r y 2 1 c h a p t e r3w e l di m a g er e c o g n i t i o na n df e a t u r ee x t r a c t i o na l g o r i t h m s 2 3 山东大学硕士学位论文 3 1w 色l dj o i n tt y p er e c o g n i t i o n 。2 3 3 2w 宅l di m a g ef e a t u r er e c o g n i t i o nf o rvj o i n t 2 3 ： 3c o m e rd e t e c t i o na l g o r i t h m 2 4 3 3 1c o m p a r i s o no f c o m e rd e t e c t i o na l g o r i t h m 2 5 3 3 2s u s a n a l g o r i t h m 2 7 ：；4s u m m a r y 2 8 c h a p t e r4d e s i g n o fs e a mr e c o g n i t i o ns y s t e m 2 9 4 1w e l ds e a mt r a c k i n gs y s t e m 2 9 4 2w b l ds e a mr e c o g n i t i o ns y s t e m 2 9 4 3i m a g ea c q u i s i t i o nf r o n t e n de q u i p m e n t 31 4 3 1l a s e r 3 1 4 3 2f i l t e r s 3 2 4 3 3c c di m a g es e n s o r 3 2 4 4w b l dr e c o g n i t i o ns y s t e ma n dp e r i p h e r a lm o d u l e s 3 4 4 4 1d i g i t a ls i g n a lp r o c e s s o rt m s 3 2 0 d m 6 4 2 3 4 4 4 2i m a g e a c q u i s i t i o nm o d u l ea n d1 2 cb u sc o n t r o l 3 5 4 4 3v i d e od e c o d e rm o d u l e 3 6 4 4 4v i d e oe n e o d e rm o d u l e 3 7 4 4 5e t h e m e tt r a n s c e i v e rm o d u l e 3 8 4 4 6s d i t i l mm o d u l e 3 9 4 4 7f l a s hm o d u l e 4 0 4 4 8p o w e rm o d u l e 4 1 4 4 9c l o c km o d u l e 4 2 4 4 1 0r e s e tm o d u l e 4 2 4 4 11e e p r o mm o d u l e 4 3 4 5v i d e oe n c o d i n go p t i m i z a t i o no f t m s 3 2 0 d m 6 4 2 。4 4 4 5 1v i d e oe n c o d e rs y s t e m a l g o r i t h mo p t i m i z a t i o n 4 4 4 5 2v i d e oe n c o d e rm e m o r yb u f f e rs c h e m e 4 5 4 5 3e n h a n c e dd i r e c tm e m o r ya c c e s su s a g e 4 5 4 5 4c a c h e o p t i m i z a t i o n 4 6 i i 山东大学硕士学位论文 4 6d s p b i o sd r i v e rd e v e l o p m e n ta n du s a g e 4 7 4 6 1o v e r v i e wo f d s p b i o s 4 7 4 6 2d s p b i o sd e v i c ed r i v e rs t r u c t u r ea n du s a g e 4 8 4 6 3m i n i d r i v e no f t m s 3 2 0 d m 6 4 2v i d e op o r t 5 0 4 7s u m m a r y 5 6 c h a p t e r5d e s i g no fw e l ds e a mt r a c k i n gs e r v os y s t e m 5 7 5 1w e l ds e a mt r a c k i n gs e r v os y s t e m 5 7 5 2h a r d w a r ed e s i g no fw e l ds e a mt r a c k i n gs e r v os y s t e m 5 8 5 2 1m i c r o c o n t r o l l e rm c 9 s 1 2 x d p 5 1 2 5 8 5 2 2o p t i c a li s o l a t i o nc i r c u i t 5 9 5 2 3m o t o rd r i v ec i r c u i t 6 0 5 2 4o r t h o g o n a lc o d i n gc i r c u i t 6 1 5 2 5s i g n a ls h a p i n gc i r c u i t 6 2 5 2 6r s 2 3 2c o m m u n i c a t i o nc i r c u i t 6 2 5 2 7c a nb u sc o m m u n i c a t i o nc i r c u i t 6 3 5 2 8m a nm a c h i n ei n t e r f a c ec i r c u i t 6 3 5 3s o f t w a r ed e s i g no f w e l ds e a mt r a c k i n gs e r v os y s t e m 6 4 5 3 1f r e q u e n c y c y c l ev e l o c i t ym e a s u r e m e n t 6 6 5 3 2m e d i a nf i l t e r 6 6 5 3 3d i g i t a lp ir e g u l a t o r 6 7 5 3 4s p e e dc o n t r o l l e r 6 8 5 3 5c u r r e n tc o n t r o l l e r 6 9 5 4s u m m a r y 6 9 c h a p t e r6c o n c l u s i o n a n dp e r s p e c t i v e 71 a p p e n d i x 7 3 r e f e r e n c e s 7 5 a c k n o w l e d g e m e n t s 8 0 i i i 山东大学硕士学位论文 摘要 随着焊接制造自动化技术不断提高，焊接制造工艺正经历着从手工焊到自动 焊的过渡。传统的手工焊接操作是最为辛劳的工种之一。焊接过程自动化、机器 人化以及智能化已成为焊接行业的发展趋势，采用机器人焊接已成为焊接自动化 技术现代化的主要标志。随着现代社会的发展，产品质量、生产效率、劳动条件、 环境保护要求的提高，实现焊接自动化与智能化已成为迫切需要。至于空间站、 核环境、深水条件下的焊接作业，更需要使用智能化的焊接机器人。 基于视觉传感的焊缝跟踪技术具有获得信息大、可靠性高、使用广等特点， 结合计算机视觉和图像处理技术，大大增加了焊接机构的外部适应能力。本文将 视觉伺服方法引入到焊缝跟踪的研究中，对所涉及的视觉传感系统标定、焊缝图 像处理识别和焊缝跟踪伺服控制系统设计等技术进行了深入研究。 在建立焊缝跟踪自动控制系统时，本文设计了视觉伺服传感装置。并采用主 动视觉传感技术，设计了基于激光技术的视觉传感图像采集装置，以满足视觉传 感器在室内光源和弧光两种光源下取像的需要。通过分析m i g 焊和c 0 2 焊弧光 的光谱特点，选择了波长为6 5 0 n m 的半导体激光器作为光源。与之相配套，选 择了波长为6 5 0 n m 半带宽为1 5 n m 的激光窄带滤光片及减光片。此装置既能满足 c c d 视觉传感器光敏范围的要求，又能满足输出功率连续的要求。 焊缝跟踪系统一方面要以较高的位置和姿态精度沿着焊缝移动焊枪，另一方 面在控制过程中要不断协调焊接工艺参数，对运动轨迹进行精确控制。焊缝识别 系统采用t m s 3 2 0 d m 6 4 2 作为主控芯片，主要包括有视频编解码模块、存储模 块以及通信模块等，实现了焊缝图像的采集、处理与识别。焊缝图像处理涉及到 灰度直方图、图像平滑、图像锐化、图像复原、图像二值化及图像边缘检测等技 术。根据实际焊接情况，本文在一些算法上进行了改进，得到了较好的效果，提 高了焊缝识别的精度。并将d s p b i o s 尺寸可裁剪的实时多任务操作系统内核嵌 入到t m s 3 2 0 d m 6 4 2 中，能够更好地满足实时性要求以及在不影响某些关键线 程响应时间的前提下进行维护和升级。在焊接图像识别过程中设计了一种多线段 近似的分裂算法，把v 型坡口接头轮廓分割结果分为4 种情况进而分类识别。 山东大学硕士学位论文 并根据识别出的v 型坡口接头采用s u s a n 角点检测算法对其进行特征参数提 取。焊缝跟踪伺服系统采用m c 9 s 1 2 x d p 5 1 2 作为主控芯片，主要包括有光电隔 离模块、电机驱动模块、正交编码模块、信号整形模块、r s 2 3 2 c a n 通信模块 以及人机接口模块等。由于对焊接操作过程的精确要求，本文设计了双闭环负反 馈控制模型。外环控制器是速度控制器，内环控制器是电流控制器，控制器采用 p i 控制算法，实现对焊接路径的自动识别及精确跟踪控制。 关键词：焊接机器人；机器视觉；焊缝跟踪：图像识别；电机控制 i i 山东大学硕士学位论文 a b s t r a c t a st h ew e l d i n gm a n u f a c t u r i n ga u t o m a t i o nt e c h n o l o g yc o n t i n u e st oi m p r o v e ，t h e w e l d i n gm a n u f a c t u r i n gp r o c e s s e sa r ee x p e r i e n c i n gf r o mm a n u a lt oa u t o m a t i c t h e t r a d i t i o n a lm a n u a lw e l d i n go p e r a t i o ni so n eo ft h eh a r d e s tj o b s t h ew e l d i n gp r o c e s s a u t o m a t i o n , r o b o t i z a t i o na n di n t e l l i g e n t i z a t i o nh a v eb e c o m et h ed e v e l o p m e n tt r e n do f w e l d i n gi n d u s t r y t h eu s a g eo fw e l d i n gr o b o th a sa c t e dap r i n c i p l es y m b o lo ft h e a u t o m a t i o nt e c h n o l o g ym o d e r n i z a t i o n w i t ht h ed e v e l o p m e n to ft h em o d e ms o c i e t y a n dt h eh i g h e rd e m a n do np r o d u c tq u a l i t y , p r o d u c t i o ne f f i c i e n c y , w o r k i n gc o n d i t i o n s a n de n v i r o n m e n t a lp r o t e c t i o n ，t h e r ei sa p r e s s i n gn e e dt oa c h i e v ew e l d i n ga u t o m a t i o n a n di n t e l l i g e n c e a n dm o r e o v e r , t h ei n t e l l i g e n tw e l d i n gr o b o tb e c o m e sp a r t i c u l a t e l y n e c e s s a r yi nt h ew e l d i n go p e r a t i o no fs p a c es t a t i o n ，t h en u c l e a re n v i r o n m e n ta n d d e e p - w a t e rc o n d i t i o n t h es e a mt r a c k i n gt e c h n o l o g yb a s e do nv i s i o ns e n s i n gn o to n l ym a k e saf e a t u r e o ft h ea c c e s st ov a s ti n f o r m a t i o n ，h i g hr e l i a b i l i t ya n dw i d eu s e ，b u ta l s og r e a t l y i n c r e a s e st h ee x t e r n a la d a p t a b i l i t yo fw e l d i n gr o b o tc o m b i n e d 、航t l lc o m p u t e rv i s i o n a n di m a g ep r o c e s s i n gt e c h n o l o g y i nt h i sd i s s e r t a t i o n ，v i s u a ls e r v oa p p r o a c hi s i n t r o d u c e di n t ot h er e s e a r c ho ns e a mt r a c k i n g ，a n dt h er e l e v a n tt e c h n o l o g i e si n v o l v e d i nt h ev i s u a ls e n s o rs y s t e mc a l i b r a t i o n ，i m a g ep r o c e s s i n gr e c o g n i t i o na n dw e l ds e a m t r a c k i n gs e r v os y s t e md e s i g na r ei n d e e p l ys t u d i e d d u r i n gt h ee s t a b l i s h m e n to fs e a mt r a c k i n gs y s t e mi nt h i sp a p e r , t h ev i s u a ls e r v o s e n s i n gd e v i c e sa r es e tu pa n dt h ea c t i v ev i s i o ns e n s o rt e c h n o l o g yi sa d o p t e d t h e v i s i o ns e n s o ri m a g ea c q u i s i t i o nd e v i c eo nt h e b a s i so fl a s e rt e c h n o l o g yi sa l s o d e s i g n e dt om a k et h ec a m e r am e e tt h er e q u i r e m e n t su n d e rt w od i f f e r e n tc a p t u r i n g c i r c u m s t a n c e s ：i n d o o ra n da r c b ya n a l y z i n gt h es p e c t r a lc h a r a c t e r i s t i c so fa r co fm i g w e l d i n ga n dc 0 2w e l d i n g ，s e m i c o n d u c t o rl a s e rw h i c hh a saw a v e l e n g t ho f6 5 0 n mi s s e l e c t e da st h e l i g h t s o u r c e i nt h em e a n w h i l e ，6 5 0 n m w a v e l e n g t ha n d 15 n m h a l f - b a n d w i d t hl a s e rn a r r o w b a n df i l t e ra n ds u b t r a c t i v ef i l t ea r ec h o s e na s 山东大学硕士学位论文 s u p p o r t i n gd e v i c e s t h e s ec a n n o to n l ym e e tp h o t o s e n s i t i v er a n g er e q u i r e m e n t so f c c dv i s i o ns e n s o rb u ta l s or e q u i r e m e n t so fc o n t i n u o u so u t p u tp o w e r s e a m t r a c k i n gs y s t e mo nt h eo n e h a n dd r i v e sw e l d i n gt o r c ha l o n gt h ew e l ds e a m 晰t hah i g h e rp r e c i s i o ni nt h el o c a t i o na n dp o s e ，o nt h e o t h e rh a n dk e e p st h e c o o r d i n a t i o no fw e l d i n gp r o c e s sp a r a m e t e r sf o rp r e c i s et r a j e c t o r yc o n t r o li nt h e c o n t r o lp r o c e d u r e s e a mi d e n t i f i c a t i o ns y s t e mu s e st m s 3 2 0 d m 6 4 2a st h em a s t e r c h i p ，m a i n l yi n c l u d i n g v i d e oe n c o d e d e c o d e m o d u l e ，m e m o r ym o d u l e a n d c o m m u n i c a t i o nm o d u l et oa c h i e v et h ew e l di m a g ea c q u i s i t i o n ，p r o c e s s i n ga n d r e c o g n i t i o n n ew e l di m a g ep r o c e s s i n gi n v o l v e s t h ed e n s i t yh i s t o g r a m ，i m a g e s m o o t h i n g ，i m a g ee n h a n c e m e n t , i m a g er e s t o r a t i o n ，i m a g eb i n a r i z a t i o na n de d g e d e t e c t i o n a c c o r d i n gt o a c t u a lw e l d i n gc o n d i t i o n s ，t h i sp a p e ra c h i e v e st h eb e t t e r r e s u l t sb yi m p r o v i n gs o m ea l g o r i t h m s ，a n de n h a n c e st h ea c c u r a c yo ft h ew e l ds e a m r e c o g n i t i o n d s p b i o s ( v a r i a b l es i z er e a l t i m em u l t i t a s k 堍o p e r a t i n gs y s t e mk e m e l ) i st r a n s p l a n t e dt ot m s 3 2 0 d m 6 4 2t om e e tr e a l - t i m er e q u i r e m e n t sb e t t e r ，a n db ee a s y t om a i n t a i na n du p g r a d ew i t h o u ti m p a c to nt h er e s p o n s et i m eo fc e r t a i nk e yt h r e a d a s p l i t t i n ga l g o r i t h mo fm u l t i - s e g m e n ta p p r o x i m a t i o ni sd e s i g n e di nt h ew e l d i n gi m a g e r e c o g n i t i o np r o c e s sw h i c hd i v i d e ss e g m e n t a t i o nr e s u l t so fv - j o i n tc o n t o u ri n t of o u r k i n d so fs i t u a t i o n sf o rc l a s s i f i c a t i o n a n ds u s a nc o m e rd e t e c t i o na l g o r i t h mi su s e d t oo b t a i ni t sf e a t u r ee x t r a c t i o ni na c c o r d a n c e 、i t l lt h ei d e n t i f i c a t i o no ft h ev - j o i n t s s e a mt r a c k i n gs e r v os y s t e ma d o p t sm c 9 s12 x d p 512a st h em a s t e rc h i p ，m a i n l y i n c l u d i n go p t i c a li s o l a t i o nm o d u l e ，m o t o rd r i v em o d u l e ，q u a d r a t u r ee n c o d e rm o d u l e ， s i g n a ls h a p i n gm o d u l e ，r s 2 3 2 c a nc o m m u n i c a t i o nm o d u l ea n dh u m a n m a c h i n e i n t e r f a c em o d u l e b e c a u s eo fp r e c i s er e q u i r e m e n t so nw e l d i n go p e r a t i o n ，t h i sp a p e r d e s i g n sad o u b l e - l o o pn e g a t i v ef e e d b a c kc o n t r o lm o d e l t h eo u t e rl o o pc o n t r o l l e ri s t h es p e e dc o n t r o l l e r , a n dt h ei n n e rl o o pc o n t r o l l e ri st h ec u r r e n tc o n t r o l l e r , b o t hu s i n g p ic o n t r o la l g o r i t h mt oa u t o m a t i c a l l yr e c o g n i z et h ew e l d i n gt r a c ka n dt oa c c u r a t e l y t r a c ka n de o n t r 0 1 k e yw o r d s ：w e l d i n gr o b o t ；m a c h i n ev i s i o n ；s e a mt r a c k i n g ；i m a g ei d e n t i f i c a t i o n ； m o t e rc o n t r o l i i m i g c c d m o s c i d 嫩 p i d t w b d s p v l i w m a c m i p s e m i f e m a c e d m a m d i o h p i p c i m c a s p m o b s p p l l 1 2 c a p i c s l 山东大学硕士学位论文 缩略词注释表 m e t a li n e r tg a sw e l d i n g熔化极惰性气体保护焊 c h a r g ec o u p l e dd e v i c e m e t a l o x i d e s e m i c o n d u c t o r c h a r g ei n