（测试计量技术及仪器专业论文）用于弧焊焊缝跟踪的机器视觉系统研究.pdf

沈阳工业大学硕士学位论文 摘要 随着计算机科学、图像处理、光电技术、模式识别技术与理论的迅速发展，机器视 觉的实际研究与应用日益得到重视与瞩目，并不断在许多领域取得初步性的成果。本文 以实现焊接自动化为目的，研究了机器视觉焊缝自动跟踪，提出了一种新的基于视觉跟 踪的实现方法和系统，该系统结构简单，精确度及智能化程度高。 本文首先阐述了具有焊缝自动跟踪视觉的焊接系统的结构，该系统包含视觉传感系 统、图像处理及焊缝偏差识别系统、模糊控制器以及执行机构。该系统采用线结构光作 辅助光源照射焊接电弧前方一定距离内的待焊焊缝，配合滤波片和减光片进行滤光，获 取了清晰的焊缝图像。文中还建立了线结构光传感器的跟踪模型及其标定方法。 在焊缝结构光图像处理方面，提出了一套针对焊缝的有效的快速的图像处理及识别 方法：在图像滤波方法中，根据系统实时性及保留线结构光边缘的要求，研究了改进的 快速的中值滤波方法；对焊缝图像的二值化进行了研究，并提出了一种自适应的阈值分 割方法；提出一种基于互相关的焊缝识别方法。实验表明，采用互相关算法，通过计算 焊接图像与参考图像的相对位置来进行焊缝定位可以取得很好的效果，优于基于边缘识 别的焊缝识别方法，适用于焊接自动化。 分析焊接系统的焊接控制过程，可知焊接过程是一个高度非线性、强耦合及时变性 的复杂过程，难以建立起精确的数学模型。为此，把模糊控制引入到焊缝自动跟踪中， 提出了适用于该视觉跟踪系统的f u z 巧p 控制器，对斜线、折线和s 形曲线进行了跟踪。 最后通过整个系统的实验，分析了误差及其产生的原因。 关键词：焊缝跟踪，互相关，图像处理，机器视觉，模糊控制 用于弧焊焊缝跟踪的机器视觉系统研究 r - e s e a r c ho nm 2 u c h i n ev i s i o nf o ra r cw e l d i n gs e 锄a u t o t r a c k i n g a b s t r a c t w 油廿l em p i dd 州e l 叩m e n to fc o m p 咖s c i e n 鸭i 埘_ a g i p r o c e s s i n g ，o p f l o e l e c 仃i c t e c l l n o l o g y 卸dp a t t 锄r e c o g i l i t i o nt e c l l | l o l o g y ，t 1 1 em a f c h a n da p p l i 训o no f m a c t l i n ev i s i o n l l a v eb e e i lg e m i l gm o a n dm o r ec o n c 锄a n dm a n yp r i r t y t l i e v c m e n t sh a v eb e e i ld o i nt h i sm e s i s ，w e l d i i l ga u t o m a t i i st a | k e n 觞s t i l i d y i n gp u r i ) o 辩锄da m o m a l i cs 锄仃a c k i n g i nt h eh e l po fm c h i m 、，i s i o ni sa t t a c h c dg 陀a ti m p o r t 锄c e t l l i st h e s i sp r c i l t sa v e l m e m o df o rs e a m 仃a c k i n g t i l i sm e l o d 、i t l ls i m p l es 眦t l l r e 咖l l i e v el l i g hp r e c i s i o n 觚d i n t e l l i g ， f i f s t ，t i l i st l l e s i si l i 协d d l l c 岱t h e 鼬m c t u o fs y s t e i nf o rw e l d i n g t h i ss e a m 订a c k i i l g s y s t e i ni n c l i l d e sa 、，i s i o ns e 璐i n gs y s t e l n ，a ni m a g ep r d c e s s i i l ga n d a mr e c o g i l i z i l 玛s y s t e ba f h z 巧c o n t r o l l e fa n d 髓e x c c n t i v eu n i t h lm i ss y s t 锄，al i n e 蛐m c t u r e - l i g h ti su s e dt ol i g m n g t h eg r o o v e i l l t h e 丘_ 0 mo f t l l ea 此锄das i l i t a b l e f i l t c r i s l e c t e d g o o ds 锄i l i l a g e 锄b e c a p “司b yt h i sv i s i o ns e i l s i | 培s y s 胁t l l i st h e s i se s t a b l i s h e s 嵋蛐gm o d e lo ft h el i i l e s t r i l c t l 鹏一l i g h t r 哟ra n d i t sc a l i b m t i t e c h n o l o g y i i lt h ep r o c e s s i n go f i m a g e 如r 、l d i n gs 锄s t m c t i l i e l i g h t ，t l l i st l l e s i sp r e n t sam e t l l o d f o rq u i c kp r o c e s s 粕d 坞c o 鲥t i o no fi m a g e i nf i l t c r i l 培m e 山o d sf o ri m a g 岛w eu m e d i 锄 f i l t 盱t oh n p v ev e l o c 时o ft h es y s t e ma n d 诵t h h o l dt h ee d g eo fl i r 地s 劬c t i l l i g h t 觚d p r e s 朋临柚i i n p r o 呦e mm e t l l o df o r 阳p i dm e d i 卸f i i t e r t l l cb i i l a r i z a t i o no fs 锄i m a g e a r e s t i l d i e da l l da n 咖廿v et l l r e s h o l da d j 碰1 1 9m e t l l o da 地w o r k e do u t as e 锄r e c o g i l i t i o n p d n c i p l eb a s e do nt h ec r o s s _ a d n e l a d o ni ss h o w e di nt h i st h e s i s t h er e s u ho fw e l d i n g 锄 恤c “n g 砌i d a t em er e l i a b i l 秘a n d c u r a c yo f t h i sm 如o d i t t sb c t t c rt h a nm em e t h o d s 蠊；c d 0 nc d g ed e t c c t i a l l dt l l et e c i l i l o l o g yi sa d a p t i v ct ow e l d i n g 辩锄们c h n gs y s t e m i i lt h e 卸a l y s i so ft h ew h o l ep i o c c 豁o fs y s t 锄，f i l z 巧c o m m li si n 胁d u c e di na u t o m a t i c s e a i n 仃a c k i n 岛s i n w e l d i i l gp o c e 蟠i sa 舯o c e 鹞谢ml l i g t ln o i i l i o i l l i 鸡s n gc o u p l i n g 柚d t i i l ”一州a l i o n t l l i st h e s i sp r e s t saf u z 巧一pc o m r o l l c rf o r 、r i s i o n 仃a c k i i l g l i e 缸a n d c u r v e d a m sa 仃k e db yt h i ss y s t l ，a n df i n a l l yt h e r s 锄di f s 把a s o na 心a i l a l y z e d 恤r o u g ht h ee x p e r i m e mo f t h e w l l o l es y s 劬 一i i 沈阳工业大学硕士学位论文 l “yw o r d s ：w e m i n g $ e a mt 憎c “n g ，c m s 墨盯e i a t i o n i m a g ep r s i n 舀m a c h i n e v i s i o n ，f 吆巧c o n t m i 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 沈阳工业大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 签名： 关于论文使用授权的说明 本人完全了解沈阳工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密的论文在解密后应遵循此规定) 签名：魁导师签名：牡日期：业 沈阳工业大学硕士学位论文 1 绪论 1 1 课题研究背景及意义 焊接是制造业中重要的加工工艺之一，世界上有一半的金属制品是靠焊接来完成 的。现有一个共同的标准，每1 亿吨钢材需2 5 万台焊机。就我国而言，2 0 0 4 年钢产量 达2 6 亿吨，从国外进口3 3 0 0 万吨，由此可以算出将需要近7 5 万台各类焊机【l 】o 可见， 焊机在现代工业中有着多么重要的地位。焊接过程自动化、机器人化以及智能化己成为 焊接行业的发展趋势。智能化焊接技术己成为焊接界科学工作者研究的新热点。 近些年来，我国焊接科技和生产技术水平虽有很大发展，但从整体生产水平看，与 发达国家相比还存在很大差距，尤其在高新技术的应用上差距更大。我国焊接机械化、 自动化率仅能达到3 5 左右，而世界工业发达国家一般都在6 0 以上。可见我国焊接生 产的总体自动化率仍比较低。这足以说明我国只是一个焊接的大国，还远不是一个焊接 的强国1 2 】。 今后一个相当长时间里，我国整个国民经济的主体仍然是以重工业为中心的“重厚 长大型”传统产业，焊接设备仍将是以钢铁作为主要的焊接对象。因此，把现代焊接技 术迅速推广应用到发展我国传统工业上去，是这一时期我们的主要任务。与此同时，也 要把微电子技术、计算机技术和软件技术等高等技术引入到焊接设备的研制、生产和使 用中去。总的发展趋势是优质、高效、成套和自动化。 众所周知，在“以焊代铸”趋势的发展下，焊接的自动化得到进一步发展。其中焊 缝跟踪技术就是焊接自动化的一个重要发展方向之一。实施正确的焊缝跟踪是保证焊接 质量的基本条件，是实现焊接自动化的必备条件。随着现代科技日新月异的发展，焊接 技术的长足进步，另外机器人的发展以及图像采集的仪器和图像处理技术的不断改进， 弧焊机器人应运而生。弧焊机器人的出现是焊接自动化发展进程中的一次飞跃，不但工 作效率提高了，而且焊接质量也有很大提高。长期以来，国内外的焊接专家研制了各种 各样的弧焊跟踪系统。从控制方式来看，这些系统大都可以归为两类：程序控制系统和 前馈随动系统。所谓程序控制系统，就是焊炬运动轨迹在焊接前根据坡口形状预先设定， 而在焊接过程中不加任何调节。这种方式简单易行，上世纪8 0 年代以前大多采用这种 用于弧焊焊缝跟踪的机器视觉系统研究 方法。但这种方法对坡口的加工、工件的装配精度要求很高，浪费了大量的人力物力， 而且有些焊缝的形状很难用数学方法表示出来。因此，进入上世纪8 0 年代以后，焊接 工作者纷纷致力于实时跟踪系统的研制。一个典型的实时跟踪系统一般由焊缝偏差信号 传感器、控制器和跟踪执行机构三部分组成。传感器获取焊缝偏离焊炬的位置信息，并 把该信息转换为相应大小的数据，控制器通过一定的算法由获得的偏差信号得到控制信 号，然后把控制信号送给执行机构，执行机构实施相应的纠偏动作，从而达到精确跟踪 的目的。目前，我国的绝大部分工厂的焊缝自动跟踪技术还很落后，基本上停留在直线 焊缝的程序控制阶段。 7 0 年代，机器人大量研究工作的重点是使用外部传感器以改善机器人的各种操作， 例如：配有视觉、触觉。8 0 年代，美国的c 锄e g i e m e l l o n 大学研制出的n a v l a b 自主 车，它采用了多传感器信息处理和解释系统，系统包括声纳、激光测距、双彩色摄像机 平台及目标识别摄像机等多种传感器。同时，德国、法国、意大利、西班牙等也在加大 投资和研究。智能机器人在迅速的成长。现在，能与人进行交流的机器人已大量涌现， 而工业机器人也在快速发展。 近年来，机器人视觉技术已成为高技术领域一个重要的研究课题。它为可行走机器 人、装配机器人以及其他种类的机器人解决视觉问题提供了技术基础。它将使传统的工 业生产面貌发生巨大变化，对人类社会的生活和生产产生深远影响。目前，国内外都在 竞相开展有关机器人视觉的基础理论、基本技术以及应用方面的研究工作。 1 2 焊缝跟踪系统的发展现状 鉴于焊接过程是一个复杂的动态的具有强烈光热烟雾干扰的过程，采用常规的控制 方法并不能完全满足生产过程对焊缝跟踪的要求。因此，为了提高焊缝跟踪系统的灵活 性和精度，采用先进的传感器并在弧焊跟踪系统中引入智能控制，改进控制算法是一个 必然趋势。 目前的弧焊机器人大多为可编程的示教再现式机器人。这种机器人有着很好的柔 性：可以严格按照规定的运动参数施焊，控制精度高，稳定性好，焊接质量高等。在配 有传感器时，机器人可以表现出一定的智能。 沈阳工业大学硕士学位论文 弧焊机器人主要的难点是由于工件加工和装配上的误差以及焊接过程中的热和残 余应力而产生的变形等会造成接头位置和尺寸的变化。因此焊接条件的变化要求弧焊机 器人能够实时检测出这种变化以调整焊接路径和焊接参数，保证焊接质量的可靠性。弧 焊机器人不仅对运动控制要求高，同时需要高精度的焊炬与工件之间的轨迹位置关系、 运动速度以及焊炬姿态。 在焊缝跟踪系统中，焊缝跟踪传感器占有非常重要的地位，一个合适的传感器是保 证正确跟踪的重要基础，焊接工作者已开发出了许多弧焊跟踪用的传感器。传感器的分 类有：按照测量方式分，可分为接触式和非接触式；按照信号转换分，可分为机械式、 机电式、电磁感应式、声发射式、光学式、电弧式等。 接触式传感器结构简单，工作可靠，不受电弧干扰，成本低，曾在生产中得到广泛 应用，但是它比较笨重，跟踪精度不高，目前己渐渐被淘汰了。具有代表性和发展前途 的是非接触式中的电弧传感器、超声波传感器以及视觉传感器。 电弧跟踪传感器以电弧本身为传感器，因此结构简单，价格低，方便灵活，不受电 弧光、磁场、飞溅、烟尘等的干扰，具有响应快，精度高，抗干扰性能高的特点，但是 焊炬的摆动或旋转机构比较复杂，电弧各参数之间祸合性很强，实际得到的波形远不如 想象的理想，要对得到的数值进行滤波，并根据大量的经验来确定控制量，在焊接精度 不高的较大工件时可以采用。电弧传感器由于直接检测电弧自身的特性( 电弧电压、电 流) ，不需要外加传感器以及外加传感器所需的保护和去噪装置，使应用变得简单。主 要有摆动扫描电弧传感焊接对焊缝跟踪控制，旋转电弧传感焊接对焊缝跟踪控制，电磁 高速振动电弧传感焊接对焊缝跟踪控制，双丝电弧传感焊接对焊缝跟踪控制。目前主要 应用领域是焊缝跟踪和熔敷控制。但是电弧传感器的应用范围有很大局限，必须在电弧 点燃下才能工作，电弧在跟踪过程中要进行摆动或旋转，适用的接头类型有限，不能应 用于薄板工件的对接、搭接、坡口很小等情况下的接头，对于熔化极短路过渡模式也存 在应用困难。北京科技大学的许志军、张明浩、钟家祯研究用弧焊机器人在进行“v ” 型坡口对接焊或角接焊时，为了跟踪焊缝轨迹而进行的焊缝位置检测方法是电流检测 法。通过对焊接电流信号的数字处理，提取了反映焊炬与焊缝相对位置的特征信号，定 时向机器人提供修正信号，从而使固定在机器人手臂上的焊炬准确地跟踪焊缝p j 。 用于弧焊焊缝跟踪的机器视觉系统研究 电磁传感器的基本原理就是利用传感器偏离坡口中心时电磁穿过的空气隙长度的 变化，使传感器电感绕组上的压降改变，根据此可计算出偏差量【4 】。该焊缝跟踪控制器 具有灵敏度高，跟踪速度快等特点，但是只能跟踪规则的焊缝，不规则的焊缝不能跟踪。 应用声学传感器尤其是超声波传感器作为跟踪传感器是一种新的试验。声学传感器 结构简单，精度高，价格便宜。但是声学传感器一般对噪声比较敏感。超声传感器利用 对称置于焊缝两侧的两个声发射传感器来检测焊接过程发出的声音，若两传感器获得的 信号对称，则焊炬对中，否则焊炬偏向一边；或者利用一个声发射传感器在焊缝上方左 右扫描，采用不同时间获取信号，若两次获得信号对称，则焊炬对中，否则焊炬偏离【5 1 。 天津大学的赵家瑞、张绍彬、侯文考等利用声电匹配和聚焦声透镜技术开发的科技新成 果，为这种高灵敏度、高分辨率空气超声传感器研究设计的单片机信号采集、处理、控 制软件硬件系统和纠偏执行机构，使对于n g 焊、c 0 2 气体保护焊和埋弧焊焊缝的扫描 式、固定式超声传感二维自动跟踪首次实现，跟踪精度在横纵向均达到0 5 m m 嘲。实验 证明，工作稳定可靠，抗干扰能力强，且结构简单、体积小、寿命长、成本低、通用性 强，为焊缝自动跟踪开辟了新路。 基于光学图像的视觉传感器具有信息量大，与工件无直接接触，抗磁场和电场干扰 能力强等很多优点，在焊接过程、焊接质量检测中得到广泛的应用【7 一。 还有利用红外线c c d 摄像装置的红外热像传感焊接对焊缝跟踪控制，它是基于对 焊缝区表面温度场热像对称性的检测来实现跟踪控制的唧。 在焊缝跟踪方面，1 9 8 5 年保加利亚的d l a l ( o v 提出用模糊模型描述弧焊过程的不确 定性借助于配置的非接触式激光传感器，它能按示教内容对焊缝进行跟踪，实验的结果 表明，采用模糊集概念可以进行在线评估、预测和控制【1 0 1 。同年，意大利a n s a l d o 焊接中心，采用硬件逻辑电路，对焊炬进行横向( z ) 、高度方向( y ) 和纵向( x ) 的自适应 跟踪，保证坡口无论是v 型或u 型都能连续施焊，是目前最先进的窄间隙埋弧焊设备 之一，但其结构庞大，控制逻辑复杂，不利于使用和维修而且控制模式单一，限制了其 功能的开发。1 9 8 9 年，日本学者s m u 瑚k a m i 等研究了基于模糊控制的弧焊机器人焊缝 跟踪控制系统l l ”。系统采用电弧传感器，在强烈的弧光、高温、烟尘下，电弧传感器获 得的机器人焊炬的位置和方向信息中含有很多噪声。为此，采用基于语言规则的模糊滤 4 沈阳工业大学硕士学位论文 波器和模糊控制器来设计焊缝跟踪控制系统。1 9 9 0 年日本的n n a y a l c 等人采用分级控 制方法设计了自适应、实时和智能焊缝跟踪器，该系统能够对未知的三维焊缝进行识别 和跟踪”l 。1 9 9 4 年日本人y s u g a 等人将神经网络运用于焊缝跟踪中，在该系统中采 用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据，实验结果表明此系 统具有较强的鲁棒性，能有效地进行焊缝跟踪【1 4 1 。此外，日本的d a l h e n 公司利用电 极接触式传感器实现对焊接起始点与终止点的自动检测，配合电弧传感器开发了 a l m e g a g 0 弧焊机器人配套的l i n em a s t e r 系统。j a l 和s r i k o 进行了一种神 经网络型跟踪控制，设计了机器人关节空间和笛卡尔空阿两种神经网络控制器，通过一 个2 关节s c a r a 机器人的实验表明，神经网络型控制器的路径跟踪精度比传统的机器 人计算力矩控制法高得多。1 9 9 5 年h b s m a r t t 将人工神经网络和模糊控制技术同时应 用于焊缝跟踪的控制，通过测量焊炬和焊缝的位置与方向偏差，应用模糊控制概念，实 现焊炬的位置控制i ”】，1 9 9 5 年韩国学者j a es e o n 鼬m 等研究了弧焊机器人焊缝视觉跟踪 系统【1 6 1 。2 0 0 2 年l 沁h s i l l gc h i a ，2 0 0 4 年z h 觚gh 吼在自适应模糊控制中加入性能检 测、控制量校正和控制规则修正等环节【l7 1 8 】。 国内对焊缝跟踪研究起步较晚，研究手段和方法还处于探索期。在国内，清华大学 潘际鎏院士、陈强教授和何方殿教授等对弧焊跟踪系统中传感器和其中的控制系统分别 进行了研烈1 9 彩】，详尽论述了用于焊缝跟踪系统的各种传感器，并提出一种基于焊缝 c c d 图像模式特征的焊缝轨迹识别的新算法，该算法将焊缝分成段，每段的灰度分布 用特征向量来描述，利用前一段的特征向量来识别下一段的特征向量，从而实现焊缝识 别，具有对各种坡口快速、准确地识别并能自适应局部和整体噪声等特点。华中科技大 学的王伟、朱六妹等主要从视觉焊缝跟踪图像处理方面进行了研究【2 帕6 】。天津大学赵家 瑞等人利用声电匹配和聚集透镜技术伫7 捌，研究出1 1 5 m h 童高灵敏度、高分辨率空气超 声波传感器，设计了单片机信号采集、处理控制软硬件系统和纠偏执行机构，首次实现 了扫描式、固定式超声传感二维自动跟踪。华东船舶工业学院蒋鹏飞和美国里海大学的 j o i l n 及d w o o d 利用缝隙对声射波传播有影响的现象，研制成一种用声发射- 微机处理 器控制的焊缝跟踪系统例。华南理工大学在焊缝跟踪方面主要侧重于应用视觉传感器来 检测焊缝【埘4 】，不采用辅助光源获取焊缝图像，利用视觉传感器所获信息量大，截取的 用于弧焊焊缝跟踪的机器视觉系统研究 图像空间模式与之进行匹配程度检测，根据模式分布情况确定出焊炬与焊缝中心的偏 差，以此偏差为模糊变量设计了自调整p i d 模糊控制器。该算法能够在强噪声环境中保 持很高的跟踪精度，在对t i g 焊缝跟踪进行控制实验中取得良好效果。华北石油管理局 为了提高厚壁管的焊接效率、完成自动跟踪纠偏，利用c c d 面阵摄像机作为前面焊缝 检测传感器，s t d 工控机作图像数字处理、识别，确定焊缝位置，并控制焊炬移动机构 来实现对焊缝在线自动跟踪实时纠偏嘲。c c d 的优点和s t d 工控机的优良性能使跟踪 工作可靠、操作简单，取得了较好的效果。但由于管材较厚，只采用c c d 摄像头不能 得到清晰的焊缝坡口形貌，难以对准焊缝中心影响了焊缝的跟踪精度。太原理工大学的 萧波及华东电焊机厂的黄从达开发了一种针对埋弧焊的具有遥控监视功能的焊缝自动 跟踪图像处理系统【3 6 1 。 1 3 机器视觉及其在焊缝跟踪中的应用 人类感知的外界信息有8 0 以上是由视觉获取的。视觉不仅是指对光信号的感受， 它包括对视觉信息的获取、传输、处理、存储与理解的全过程。近年来人们试图用照相 机、摄像机或其他仪器获取图像，并转换成数字信号，利用信号处理技术和计算机技术 实现视觉信息的处理，由此形成了一门学科机器视觉，也称计算机视觉。 计算机视觉研究的目标是使计算机具有通过二维图像理解三维环境的能力，这种能 力不仅使机器感知三维环境中物体的几何信息，还包括它的形状、位置、姿态、运动等， 并能对它们进行描述、存储、识别与理解。 与计算机视觉相关的主要学科有：数学、图像处理、计算机图形学、模式识别、人 工智能、人工神经网络和神经生理学等p ”。 计算机视觉作为一门新的学科，发展十分迅速。这门学科主要起源于两个方面：一 方面来自于摄影测量学，对摄影图像进行测量分析时引进计算机技术，通过对拍摄图像 进行数字化处理，然后将相应的算法编制成程序，完成对场景结构的定量分析和计算： 另一方面是统计模式识别，最初的工作是在对二维图像的分析和识别上，如字符识别， 工件表面质量检验，显微图片、航空图片和医学图片的分析和解释等。6 0 年代，r c 慨r t s 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱等多面体的三维结构， 沈阳工业大学硕士学位论文 并且可以描述物体的形状和它们的空间关系。r o b e r t s 的研究开创了以理解三维场景为 目的的计算机视觉研究。 7 0 年代中期，麻省理工学院人工智能实验室正式开设计算机视觉课程，人工智能实 验室吸引了国际上许多知名学者参与计算机视觉的理论、算法、系统设计的研究，d a v i d m a r r 教授应邀在该实验室领导一个以博士为主的研究小组。 1 9 7 7 年提出了不同于以往的全新计算机视觉理论。m a r r 最初的开发工作是用计算 机实现人的立体视觉功能，在此基础上形成了他的视觉计算理论的整体框架。m a r r 的视 觉计算理论是建立在计算机技术的基础上，系统地概括了人工智能、神经生理学、模式 识别、图像处理等学科已经取得的所有重要成果，现在看来虽有许多不足，但仍是视觉 研究迄今为止最为系统的视觉理论。 。 m 舭提出对计算机视觉系统的研究分为三个层次：第一个是计算理论层次，即研究 视觉系统的目的和策略，研究系统的输入和输出，由系统的输入求出系统的输出；第二 个是表示与算法层次，即进一步回答如何由一种表示变换成另一种表示；在解决了理论 问题和表示问题以后，最后一个层次是硬件实现，即解决如何用硬件实现上述表示和算 法的问题，比如计算机体系结构及具体的计算装置机器细节等。 在计算机视觉的研究中，m a r r 从视觉的计算理论出发，将系统的视觉过程自下而上 分为三个级别，即视觉信息从最初的原始数据( 二维图像数据) 到最终对三维环境的表达 经历了三个不同级别的视觉处理过程：一是初级视觉，对输入的原始图像进行处理，抽 取图像中诸如点、边缘、纹理、线条和边界等基本几何元素或特征，这些特征的集合称 为基元图( p r i i n a r ys k 如h ) 或要素图；二是中级视觉，是指在以观测者为中心的坐标系中， 由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了部 分深度信息，但不是真正物体的三维表示，有时称为二维半图；三是高级视觉，是在以 物体为中心的坐标系中，由输入图像、基元图和二维半图来恢复、表示和识别三维物体 的过程，这就是m 姐的视觉计算理论框架。 对计算机视觉的全球性研究热潮是从2 0 世纪8 0 年代初开始的，到了8 0 年代中期， 计算机视觉获得了蓬勃的发展，在m a r r 视觉计算理论框架的基础上，新概念、新方法、 新理论不断涌现，如基于感觉群的物体识别理论框架、主动视觉理论框架和视觉理论集 用于弧焊焊缝跟踪的机器视觉系统研究 成框架等。目前，计算机视觉仍然是一个非常活跃的研究领域。随着计算机科学、人工 智能、信号处理以及其他相关领域学科的发展，计算机视觉理论的研究会得到更深入的 发展【翊。 计算机视觉正在被广泛地应用于许多方面，可以说需要人类视觉的场合几乎都有计 算机视觉的应用，特别是在许多人类视觉无法感知的场合，如在精确定量感知、危险场 景感知和不可见物体感知等场合，计算机视觉更能显示其无可比拟的优越性。 计算机视觉应用较多的主要有如下几个方面： ( 1 ) 工业自动化生产：计算机视觉技术在自动化生产的装配线上得到了很好的应 用，能够用于识别零部件，为工业机器人或机械手提供是否操作或进行什么样操作的指 令。对装配对象进行定位，以便机械手能准确操作。计算机视觉在产品检验方面也有着 成功的应用捌。 ( 2 ) 航空宇航：在航空宇航中的应用主要包括三个方面，航空摄影图像、气象卫星 图像和资源卫星图像，这三种图像的共同特点是在高空对地表或地层进行远距离成像， 尽管它们的成像原理和成像方法不完全相同，但计算机视觉的理论和方法在这三个方面 都获得了成功的应用。 ( 3 ) 医学图像分析：目前医学图像己经广泛用于医学诊断，成像方法包括传统的x 射线成像、计算机层析( c o m p t l t e dt o m o 芦a p h y ：c t ) 、核磁共振成像( m a 印e t i c n a n c c i m a 舀n g ：m r j ) 、超声成像等。计算机视觉在医学图像诊断方面有两类应用，一是对图 像进行增强、标记、染色等帮助医生诊断疾病，并协助医生对感兴趣的区域进行测量和 比较；二是利用专家知识系统对图像进行分析和解释，给出诊断结果h 。 ( 4 ) 机器人视觉和自动导航装置：移动机器人可同时获取某一场景的两幅图像，并 以此恢复场景的三维信息，利用这些信息来认识目标、识别道路、判断障碍等。自动导 航装置将立体图像和运动信息组合起来，与周围环境进行自主交互，这种技术已用于无 人汽车、无人飞机和无人战车等f 4 2 】。 ( 5 ) 交通监察和安全鉴别：在这方面主要用于交通事故现场勘察、车场监视、车辆 识别、车辆号识别、探测并跟踪“可疑”目标。根据面孔、眼睛、指纹等图像特征识别 特定的人【4 3 】。 沈阳工业大学硕士学位论文 ( 6 ) 国防系统：如雷达成像、图像制导、目标识别等。 ( 7 ) 其它应用：计算机视觉还用于各类体育运动分析、人体测量、食品、农业、心 理学、电视电影制作、远程教育、虚拟现实等。 计算机视觉是人类视觉的扩展和延伸。随着该学科研究与开发的不断深入和计算机 性能的快速提高，计算机视觉将会被广泛地应用于更为复杂的场合。 自1 9 6 2 年美国推出世界上第一台u n i i l l a t e 型和v e r 蚓唿型工业机器人以来，1 9 9 6 年底全世界己有大约6 8 万台工业机器人投入生产应用。这其中大约有半数是焊接机器 人。焊接机器人是一个机电一体化的设备，是焊接自动化的革命性进步，它突破了焊接 刚性自动化的传统方式，开拓了一种柔性自动化生产方式。 刚性自动化设备通常都是专用的，只适用于中、大批量产品的自动化生产，因而在 中、小批量产品的焊接生产中，手工焊仍是主要的焊接方式，而焊接机器人使小批量产 品自动化焊接生产成为可能。由于机器人具有示教再现功能，完成一项焊接任务只需要 人给它做一次示教，随后其即可精确地再现示教的每一步操作。如果机器人去做另一项 工作，无须改变任何硬件，只要对它再做一次示教即可。因此，在一条焊接机器人生产 线上，可同时自动生产若干种焊件。从6 0 年代诞生和发展到现在，焊接机器人可大致 分为三代： 第一代是指基于示教再现工作的焊接机器人，由于其具有操作简便，不需要环境模 型，示教时可修正机械结构带来的误差等特点，在焊接生产中得到大量使用。 第二代是指基于一定传感器信息的离线编程焊接机器人，随着焊接传感技术和离线 编程技术的不断改进，这类机器人现己进入应用研究的阶段。 第三代是指装有多种传感器，接受作业指令后能根据客观环境自行编程的高度适应 性智能焊接机器人，由于人工智能技术的发展相对滞后，这一代机器人正处于实验研究 阶段。随着计算机控制技术的不断进步，使焊接机器人由单一的示教再现型向多传感， 智能化方向发展。 目前，国内外已有大量的焊接机器人系统应用于各类自动化生产线上，据1 9 9 6 年 底的不完全统计，目前中国己有5 0 0 台左右的焊接机器人分布于各制造企业中。这些焊 用于弧焊焊缝跟踪的机器视觉系统研究 接机器人系统从整体看都属于第一代的任务示教再现型，工作单一，对作业条件稳定性 要求严格，焊接时缺乏“柔性”，表现出下述明显缺点： ( 1 ) 不具备适应焊接对象和任务变化的能力； ( 2 ) 对复杂形状的焊缝编程效率低，占用大量生产时间； ( 3 ) 不能对焊接动态过程实时检测控制，无法满足对复杂焊件的高质量和高精度焊 接要求。 在实际焊接过程中，作业条件是经常变化的，如加工和装配上的误差会造成焊缝位 置和尺寸的变化。为克服机器人焊接过程中各种不确定性因素对焊接质量的影响，提高 机器人作业的智能化水平和工作的可靠性，要求焊接机器人系统不仅能实现空间焊缝的 自动实时跟踪，而且还能实现焊接参数的在线调整和焊缝质量的实时控制。为达到上述 目标，科研人员围绕机器人焊接智能化展开了广泛的研究工作，其中就包括机器人焊接 传感与动态过程智能控制技术的研究。该技术要求机器人能利用计算机视觉技术实现被 焊工件整体或局部环境的建模，为焊接任务及路径规划提供依据。采用激光、结构光等 技术途径识别焊缝准确位置及走向，正确引导机器人焊炬终端沿实际焊缝完成期望的轨 迹运动。在焊接过程中能克服各种外界因素的干扰，对熔池尺寸、熔透、成型以及电弧 行为等参数实现在线检测与动态过程智能控制。 目前计算机视觉技术在焊接领域中的应用主要有两方面：一是识别x 光底片上焊缝 的缺陷。在压力容器等重要产品的焊接中往往采用x 光片做焊缝质量检验的手段，因此 就有大量的评片工作。目前对x 光底片的判读全凭人的经验和技术水平，劳动量很大， 其漏判率与误判率与检验人的水平及主观意识有很大关系。采用计算机图像处理及识别 的办法来自动判读x 光底片可以大大降低误判率与漏判率，由于计算机处理速度快而大 大提高了评片速度。如果在x 光探伤中采用荧光增强器，计算机从荧光增强器上直接读 取图像，就能省去x 光底片，其经济效益显著。另一方面是用摄像机拍摄实际焊接时的 电弧及焊缝熔池的图像，对其进行去噪声、二值化处理后，勾画出电弧与焊缝熔池的轮 廓以识别出熔池与电弧的形态及电弧所处的位置，从而可以进行焊缝自动跟踪，焊缝熔 宽控制，焊缝熔透控制等。 沈阳工业大学硕士学位论文 1 4 本课题的主要研究内容 从上述关于焊缝跟踪技术的发展和应用情况可以看知，现有国内外的焊缝跟踪装置 基本都是采用直接采集焊缝图像来进行图像处理，通过寻找结构光或熔池边缘来提取焊 缝的位置信息，进而控制焊缝跟踪。 由于焊缝图像受到强弧光、烟尘、工件表面状况等因素的影响，原始图像存在着大 量的噪声，后续处理繁琐。本课题研究一种焊缝位置提取新方法，这种方法不仅对图像 预处理的要求降低，而且自身计算量小，定位准确，提高焊缝识别的速度与精度。 本文主要做以下几方面的研究： ( 1 ) 设计并构建基于视觉传感的电弧焊焊缝跟踪实验装置，并对该装置进行系统标 定。确定步进电机单脉冲在各轴上移动的实际距离，确定c c d 摄像机畸变系数。 ( 2 ) 获取熔池前端的线结构光下的焊缝，对图像进行处理，获得焊缝准确位置。 ( 3 ) 对视觉焊缝跟踪过程进行分析，设计控制系统，实现焊缝跟踪过程实时控制。 用于弧焊焊缝跟踪的机器视觉系统研究 2 焊缝跟踪系统硬件构成 为了研究视觉传感在焊缝实时跟踪中的应用，本文设计和构建了一个实验装置，采 用视觉传感器采集熔池前端焊缝图像信息，上位机对图像信息进行处理，并控制焊炬运 动，使电弧始终对准焊缝中心，实现焊缝实时跟踪。 2 1 系统组成 系统工作的原理如图2 1 所示。实验系统主要由五部分组成，分别是传感器系统、 图像采集单元、上位机、电气控制单元( p l c 、步进驱动器等) 、焊接执行机构( 伺服电 机、焊接小车等) 。焊炬、结构光和c c d 摄像机固定在一个可以在待焊工件上自由移动 的焊接小车上。c c d 摄像机与工控机上的图像采集卡相连，图像采集卡将焊缝图像传 送到工控机上。工控机对焊缝图像进行处理，得到焊缝坐标。工控机在计算焊缝坐标的 同时，通过控制器，指挥机械执行机构控制焊接小车沿着焊缝前进。同时，控制焊接设 备以合适的焊接参数连续施焊。 ；焊 接 尘 图2 1 焊缝自动跟踪系统原理图 f i g 2 1as c h e m 砒i cv i e wo f a u 协m a 士i c 锄自哺c k i n gs y s t e m 系统实物如图2 2 所示。 沈阳工业大学硕士学位论文 图2 2 系统整体平台 f i g 2 2av i e wo f w h o l es y g t e m 结构光视觉原理如图2 3 所示。在本系统中，激光器发出的条形光横跨在接缝上， 然后由c c d 摄像机采集激光条形光的图像，最后将采集到的图像通过图像采集卡传输 到上位机中进行图像处理和分析。这种方法不仅能提供焊缝位置还能提供焊缝形状，为 焊接自动化提供条件。同时，由于结构光形状固定，对后续图像处理的滤波有利。通过 调节激光器和c c d 高度、角度及相对的位置，找出最佳参数范围，即可得到高质量的 接缝坡口图像。 图2 3 结构光视觉原理图 f i g 2 3as c t l e m 撕cv i e wo f s 仃u 咖r e i i 出 用于弧焊焊缝跟踪的机器视觉系统研究 焊接小车本体具有空间位置的纵向( x ) 、横向( y ) 和高度( z ) 三个方向运动。他们均 由直线运动构成，纵向( x ) 、横向( y ) 由步进电机驱动。在遮光罩遮住电弧和熔池自身 的辐射的情况下，c c d 摄像机在结构光照射区域得到焊缝区图像。焊缝区图像信息以 视频信号形式输入c g 3 0 0 图像采集卡。工控机采用一套完整的图像处理软件对焊缝图 像处理，计算出焊缝中心位置，输出给f l l z 珂p 控制器，控制器将控制量发送给可编程 控制器p l c ，p l c 向步进电机发出控制信号，调节焊炬移到焊缝的中心，实现自动控制。 值得注意的是，由于焊接过程中存在着弧光等因素的干扰，给准确的提取焊缝中心 造成较大的困难，因此对算法的要求很高。另外，结构光的位置及其亮度也比较关键。 2 2 系统主要部件 系统用到的相关的硬件，主要包括c c d 视觉传感器、视频采集卡、工控机、p l c 、 步进电机等。结构光采用亮度很强、发散性很小的线状激光。 2 2 1c c d 视觉传感器 上世纪九十年代以来，选择的光敏元件已由以往的点阵和线阵光敏器件发展成为面 阵光敏元件【4 钔。本系统的传感器就是c c d 面阵摄像机。c c d 是英文c h a r g ec o u p l e d d e v i c e s 的缩写，意即“电荷耦合器件”。c c d 是固态图像传感器的一种，固态图像传 感器是指把布设在半导体衬底上的许多感光小单元的光电信号，用所控制的时钟脉冲读 取出来的一类功能器件。它与传统的真空管式光导摄像管相比，有体积小、重量轻、寿 命长、稳定性好、耐震动、速度高，几何失真小及耐高压等一系列优点。且其制造工艺 和一般半导体集成电路的制造工艺相比并不十分复杂，因而自7 0 年代出现以来获得了 很大的发展。 ( 1 ) c c d 的基本结构 构成c c d 最基本的单元是m o s ( 金属一氧化物半导体) 电容器，或称m 0 s 结构。 c c d 最基本的结构，是由彼此非常靠近的一系列m o s 电容器所组成。这些电容器用同 一半导体衬底制成，衬底上面生长均匀连续的氧化层，只是各个金属化电极互相绝缘， 但只相隔极小的距离。这是保证相邻势阱的耦合和电荷能够转移的基本条件。 ( 2 ) c c d 基本工作原理 沈阳工业大学硕士学位论文 所谓c c d 就是紧密排列在半导体绝缘表面上的电容器，它可以用来贮存和转移以 电荷包形式出现的信号。硅半导体有光电效应，当它受光照射时，产生的自由电子与光 强成正比，故由许多光敏单元组成的c c d 可作为传感元件。 c c d 感光元件的表面为透光部分，位移寄存器的表面为遮光部分。每一光敏单元 产生的电荷正比于光强和光积分时间。当转移栅有控制脉冲时，各电荷包并行转移至 c c d 位移寄存器。若按适当顺序对着c c d 位移寄存器的电极加上脉冲，则通过位阱形 状的变化，就会使电荷包转移，如果能串行输出各单元信号，就成了c c d 面阵传感器。 本系统的c c d 采用南京5 5 所电子器件厂生产的设备彩色c c d 摄像机。s k - 3 6 8 型 号，电源d c l 2 v ，功率2 5 w ( m a x ) 。它利用类似人眼的视觉传感器摄取焊缝的图像信 息，具有提供信息丰富，与工件无接触等优点。c c d 摄像机的识别精度为0 0 3 m m ，镜 头前加装减光片和中心波长6 5 0 m 的带通滤光片。c c d 摄像机垂直工件安放。结构光 采用功率1 8 0 m w ，中心波长6 5 0 姗的线状激光，宽度l m m 。它的轴线和焊接面成4 5 0 角。光面和工件的交线与y 轴平行。 2 2 2c g 3 0 0 视频图像卡 图像卡作为图像采集和处理核心部分，它的性能直接关系到整个系统的实时性指 标，为此我们选中北京大恒有限责任公司的c g 3 0 0 图像卡，它具有使用灵活、集成度 高、功耗低等特点。它具有p c i 图像卡的特点，即采集传输基本不占用c p u 时间，并 可将图像直接传送到计算机内存或显存中，可提高图像的处理速度，是当今市场上相当 流行的一种图像采集卡，适用于图像处理、工业控制、多媒体监控、办公自动化等领域。 它的主要功能包括：三路复合视频输入，一路s v i d e 0 输入，软件切换，其中第一 路为音视频复用，s v i d e 0 的亮度信号输入也可作为复合视频输入。支持p a l ，n t s c 或黑白视频输入。图像分辨率p a l 格式最高可达7 6 8 5 7 6 2 4 b i t ：n e t s c 格式最高可 达6 4 0 4 8 0 2 4 b i t 。亮度、对比度、色调、色饱和度软件可调。支持计算机内容与图像 同屏显示，图形覆盖功能。支持任意形状的图像采集。支持裁剪与比例压缩模式。支持 r b 8 8 8 8 ，r b 8 8 8 ，i 出5 6 5 ，r b 5 5 5