（材料加工工程专业论文）基于弧焊机器人接缝视觉信息检测与识别研究.pdf

硕士论文基于弧焊机器人接缝视觉信息检测与识别研究 摘要 本文采用了o n m 近红外激光器、近红外摄像头c c d 、图像采集卡等设计与 构建了主动式接缝视觉检测实验系统，进行了各种接缝信息视觉图像的采集实验 研究。采用计算机图像处理的各类算法以及设计研究的接缝识别算法，完成了主动 式的接缝视觉检测与识别的软件系统。本系统能够进行接缝类型的识别判断，获 得接缝坡口间隙、角度和焊枪的偏差量，能够符合焊缝跟踪的精度和实时控制要 求，系统的精度是0 2 m m ，软件处理图像的速度4 帧s 。设计了模糊控制器来实 现接缝的自动跟踪： 关键词：激光器，视觉系统，接缝检测，c c d ，接缝跟踪，图像处理 硕十论文基于弧焊机器人接缝视觉信息检测与识别研究 a b s t r a c t t h ep a p e rd e v e l o p st h es y s t e mo ft h es e a mc h e c k u pt h a ti sm a d eu po ft h e 9 8 0 m n l a s e r ，t h en e a r i n f r a r e dc c d ( c h a r g e c o u p l e dd e v i c e ) a n dt h ev i d e oc i r c u i t ( v i d e o p c i x r ) e t c t h es o f ts y s t e mo ft h es e a l r lc h e c k u pi sd e s i g n e db yi m a g e p r o c e s sa n ds e a mi d e n t i f y i n ga r i t h m e t i c c h a r a c t e r so fs e a ma n dp o s i t i o nw a r po f w e l d i n gt o r c hc a nb er e c o g n i z e dt h r o u g ht h es y s t e m t h ep r e c i s i o no ft h ec h e c k - u p s y s t e mi s o 2 m ma n dt h ev e l o c i t yo fi m a g ep r o c e s si s4f r a m e s ，w h i c hc a na c c o r d w i t ht h en e e do fs e a mt r a c k i n g t h ef u z z yc o n t r o l l e ra l s oi s p l a n n e dt o r e a l i z et h e w e l d i n gt r a c k i n g k e y w o r d s ：l a s e r , v i s i o ns y s t e m ，s e a mc h e c k - u p ，c c d ( e h a r g e - c o u p l e dd e v i c e ) s e a m t r a c k i n g ，i m a g ep r o c e s s i i 硕士论文 堇至翌堡垫堡叁堡丝塑童堡宣：竺型兰塑型婴箜 第一章绪论 焊接是制造业中重要的加工工艺方法之一，焊接过程自动化、机器人化以及智 能化已成为焊接行业的发展趋势。智能化焊接技术已成为焊接界科学工作者研究的 新热点。 随着现代科技日新月异的发展，焊接技术的长足进步，另外机器人的发展以及 图像采集的仪器和图像处理技术的不断改进，弧焊机器人应运而生。弧焊机器人的 出现是焊接自动化发展进程中的一次飞跃，不但工作效率提高了，而且焊接质量也 有很大提高。 7 0 年代，机器人大量研究工作的重点是使用外部传感器以改善机器人的各种操 作，例如：配有视觉、触觉。8 0 年代，美国的c a r n e g i e m e l l o n 大学研制出的n a v l a b 自主车，它采用了多传感器信息处理和解释系统，系统包括声纳、激光测距、双彩 色摄像机平台及目标识别摄像机等多种传感器。同时，德国、法国、意大利、西班 牙等也在加大投资和研究。智能机器人在迅速的成长。 近年来，机器人视觉技术已成为高技术领域一个重要的研究课题。它为可行走 机器人、装配机器人以及其他种类的机器人解决视觉问题提供了技术基础。它将使 传统的工业生产面貌发生巨大变化，对人类社会的生活和生产产生深远影响。目前， 国内外都在竞相开展有关机器人视觉的基础理论、基本技术以及应用方面的研究工 作。 1 1 项目研究的背景与意义 “车体炮塔自适应焊接技术”来源于总装备部，是与6 1 7 厂合作的项目、主要 目标是解决坦克车体炮塔焊接质量与效率问题。采用视觉传感反馈接缝特征( 如几 何位置、坡口信息等) ，同时采样焊接参数、提取焊缝位置、接头和坡口特征，建 立接缝特征智能识别和处理系统，进行信息图像处理，计算偏差、修正焊缝轨迹， 使焊枪的轨迹自动跟踪接缝、依据位置和坡口信息并根据任务规划系统调整姿态和 焊接参数，使其参数满足工艺质量的要求，实现自适应焊接。 1 2 焊缝跟踪系统的发展现状与前景 1 2 1 焊缝的检测和跟踪技术中传感器的发展现状 长期以来，国内外焊接专家研制了各种各样弧焊跟踪系统。一个典型的焊缝实 时跟踪系统一般由焊缝偏差信号传感及其提取、纠偏控制算法、跟踪执行机构三个 部分组成。传感器获取接缝偏离焊枪的位置信息，并把该信号转换为相应大小的数 据；控制算法根据控制理论由获得的偏差信号转换为控制信号：然后把控制信号送 硕十论文 基于弧焊机器人接缝视觉信息检测与识别研究 给执行机构，执行机构实施相应的纠偏动作，从而达到精度跟踪的目的。 鉴于焊接过程是一个复杂的动态的具有强烈光热烟雾干扰的过程，采用常规的 控制方法并不能完全满足生产过程对焊缝跟踪的要求。因此，为了提高焊缝跟踪系 统的灵活性和精度，采用先进的传感器并在弧焊跟踪系统中引入智能控制，改进控 制算法是一个必然趋势。 目前我国的绝大部分工厂的焊缝自动跟踪技术还很落后，主要是因为现有焊缝 曲线跟踪系统抗干扰性差，可靠性差，精度不高，因此研究焊缝跟踪系统是有很大 意义的。 目前的弧焊机器人大多为可编程的示教再现式机器人。弧焊机器人有着很好的 柔性；可以严格按照规定的运动参数施焊，控制精度高，稳定性好：焊接质量高等。 在配有传感器时，机器人可以表现出一定的智能。弧焊机器人主要的问题是由于工 件m i 和装配上的误差以及焊接过程中的热和残余应力而产生的变形等会造成接 头位置和尺寸的变化。因此焊接条件的变化要求弧焊机器人能够实时检测出这种变 化以调整焊接路径和焊接参数，保证焊接质量的可靠性。弧焊机器人不仅对运动控 制要求高，同时需要高精度的焊枪与工件之间的轨迹位置关系、运动速度以及焊枪 姿态。 在焊缝跟踪系统中，焊缝跟踪传感器占有非常重要的地位，一个合适的传感器 是保证正确跟踪的重要基础，焊接工作者已开发出了许多弧焊跟踪用的传感器。 传感器的分类有：按照测量方式分，可分为接触式和非接触式：按照信号转换 分，可分为机械式、机电式、电磁感应式、声发射式、超声波式、光电式、光学式、 电弧式等。 接触式传感器结构简单，工作可靠，不受电弧干扰，成本低，曾在生产中得到 广泛应用，但是它比较笨重，跟踪精度不高，目前已渐渐被淘汰了。具有代表性和 发展前途的是电弧传感器和视觉传感器。 电弧跟踪传感器以电弧本身为传感器，因此结构简单，价格低，方便灵活，不 受电弧光、磁场、飞溅、烟尘等的干扰，具有响应快，精度高，抗干扰性能高的特 点，但是焊枪的摆动或旋转机构比较复杂，电弧各参数之间耦合性很强，实际得到 的波形远不如想象的理想，要对得到的数值进行滤波，并根据大量的经验来确定控 制量，在焊接精度不高的较大工件时可以采用。电弧传感器由于直接榆测电弧自身 的特性( 电弧电压、电流) ，不需要外加传感器以及外加传感器所需的保护和去噪 装置，使应用变得简单。主要有摆动扫描电弧传感焊接对焊缝跟踪控制、旋转电弧 传感焊接对焊缝跟踪控制、电磁高速振动电弧传感焊接对焊缝跟踪控制、双丝电弧 传感焊接对焊缝跟踪控制。目前主要应用领域是焊缝跟踪和熔敷控制。但是电弧传 感器的应用范围有很大局限，必须在电弧点燃下才能工作，电弧在跟踪过程中要进 硕士沦文 基j 二弧焊机器人接缝视觉信息检测与识别研究 行摆动或旋转，适用的接头类型有限，不能应用于薄板工件的对接、搭接、坡口很 小等情况下的接头，对于熔化极短路过渡模式也存在应用困难。 北京科技大学的许志军、张明浩、钟家桢”1 研究用弧焊机器人在进行“v ”型 坡口对接焊或角接焊时，为了跟踪焊缝轨迹而进行的焊缝位置检测方法一电流检测 法。通过对焊接电流信号的数字处理，提取了反映焊枪与焊缝相对位置的特征信号， 定时向机器人提供修正信号，从而使固定在机器人手臂上的焊枪准确地跟踪焊缝。 还有利用红外线c c d 摄像装置的红外热像传感焊接对焊缝跟踪控制，它是基于 对焊缝区表面温度场热象对称性的检测来实现跟踪控制的：超声波传感器的焊缝跟 踪；电磁式焊缝跟踪；机械式焊缝跟踪。 图1 2 1 电磁传感器的基本原理 电磁传感器的基本原理就是利用传感器偏离坡口中心时电磁穿过的空气隙长 度的变化，使传感器电感绕组上的压降改变，根据此可计算出偏差量。一个用于对 接焊缝的基本的电磁传感器如图1 _ 2 i 所示。1 。 日臼 亡油 ( a ) i 型焊缝的扫描式( b ) v 型焊缝的双超声波传感器 图1 2 2 超声波传感器 应用声学传感器尤其是超声波传感器作为跟踪传感器是一种新的试验。声学 传感器结构简单，精度高，价格便宜。但是声学传感器一般对噪声比较敏感。超声 传感器利用对称置于焊缝两侧的两个声发射传感器来检测焊接过程发出的声音，若 两传感器获得的信号对称，则焊枪对中，否则焊枪偏向一边；或者利用一个声发射 传感器在焊缝上方左右扫描，采用不同时间获取信号，若两次获得信号对称，则焊 百= 一 硕十论文基于弧焊机器人接缝视觉信息检测与识别研究 枪对中，否则焊枪偏离，如图1 2 2 所示”1 。 天津大学的赵家瑞、张绍彬、侯文考等利用声电匹配和聚焦声透镜技术开发 的科技新成果，为这种高灵敏度、高分辨率空气超声传感器研究设计的单片机信号 采集、处理、控制软件硬件系统和纠偏执行机构，使对于t i g 焊、c 0 2 气体保护焊 和埋弧焊焊缝的扫描式、固定式超声传感二维自动跟踪首次实现，跟踪精度在横纵 向均达到0 5 m m 。实验证明，工作稳定可靠，抗干扰能力强，且结构简单、体积 小、寿命长、成本低、通用性强，为焊缝自动跟踪开辟了新路。 1 2 2 视觉系统在焊缝跟踪中的应用和发展 从8 0 年代初期兴起了视觉传感方法，这种方法不但可以提供焊缝跟踪所需的 高精度的接头中心位置信息，而且可以检测接头断面几何形状、面积等特征的定量 信息，为焊接速度、焊接姿态和焊接质量控制提供依据。 光学传感器不与焊接回路接触，信号的检测不影响正常焊接过程。在很多方面 有着更大的优势。尽管目前光学传感器在实际生产中应用较少，但是它能提供丰富 的信息，如焊接接头的形状、熔池边界、电弧形态、焊丝位置及已凝固的焊道形状 等，因此是将来最有发展前景的传感技术之一。 随着电子工业和图像处理技术的发展，在红外和可见光范围内的视觉传感器 发展日益成熟。再加上光学器件成本下降，器件工作的可靠性和保护措施得以提高 和完善，图像处理硬件和软件算法得以改进，许多焊接视觉传感器被研制出来并得 到了广泛的应用。 视觉系统在焊接过程中主要有三方面的应用：焊缝视觉跟踪、焊缝成形视觉传 感和焊件的三维视觉模型重建。对于焊接过程，直接视觉是一种最好的非接触式传 感形式。它主要是利用光谱中的可见光波段对焊接区成像，图像中的景物与焊接区 各部分一一对应，非常直观。直接视觉传感技术的主要优点是不接触工件，不干扰 正常的焊接过程，获取的信息量大，通用性强。 焊缝视觉跟踪传感器主要分为三种方式：结构光式、激光扫描式和直接拍摄电 弧式。直接视觉根据是否加辅助光源可以分为主动式和被动式的直接视觉传感。由 于采用的光源的能量大都比电弧的能量要小，一般把这种传感器放在焊枪的前面以 避开弧光直射的干扰。主动光源一般为单光面或多光面的激光或扫描的激光束。分 别称为结构光法和激光扫描法。结构光法的敏感器是面型的。激光扫描方法中光束 集中于一点，因而信噪比要大的多。 肖强等人。1 建立了焊接机器人视觉系统，通过对电弧和熔池表面的谱线分析和 对比，提出可能的近弧区图像观察窗口，开发出焊接机器人视觉系统。并在汽车后 桥上得到应用。 硕i 。论义 基于弧焊机器人接缝视觉信息检测与识别研究 西安交通大学的贾昌申、梁晋、贾涛“进行了图像法焊接缝隙检测的研究，采 用一套自行设计的计算机焊接缝隙检测系统，包括图像采集卡、光学传感器、计算 机接口、图像处理软件，分析了它们的基本结构和工作原理重点讨论提高光学传 感器、图像处理软硬件等抗干扰能力的措施实验研究表明，这种系统，具有抗干 扰能力强、价格低、精度高等优点而且适用面广，不仅适用于“v ”型、“u ”型 坡口及不开口的直接对焊，还适用于搭接接头和角焊缝等。 哈尔滨工业大学的何景山、杨春利、林三宝、王其隆1 在深入研究t i g 焊电弧 发光行为的基础上，结合实际的焊接工况，建立了一套利用电弧弧光检测焊缝位置 的图像传感系统。该系统在硬件方面解决了图像采集与焊接电流的同步以及图像品 质的提高等问题在计算机软件方面解决了阈值与图像品质相匹配以及焊缝位置的 提取等问题。生产实际应用结果表明，该系统在检测精度、处理速度、稳定性、可 靠性及实际工况的适应性等方面完全满足高质量焊缝对焊接过程自动对中的要求。 日本的仲田周次等人用激光来扫描接头，通过分析由c c d 摄像机接收扫描图像 的光强分布来对此类接头进行识别研究。为了使产生的激光比较均匀，他采用了多 面镜扫描的方法代替了先前采用的柱面镜产生的结构光。在光强最弱的地方，即认 为是接头处。他对o 到l 毫米间隙的冷轧钢板对接接头进行了试验。当接头间隙为 0 1 3 毫米时，钢板表面上的干扰使得系统无法识别出接头位置。实际跟踪时的接 头间隙是0 4 m m 。 图1 2 3 轮式球罐焊接机器人结构 清华大学的王军波、陈强等”2 1 主要利用c c d 传感器研究以轮式移动机器人为本 体的球罐焊接机器人的焊缝跟踪，如图1 2 3 所示。设计了在一定运动约束条件下 的轮式机器人本体与焊炬运动机构，建立了基于双c c d 传感器的焊缝路径检测系 统。在对轮式移动机器人在球罐表面移动时的运动学分析基础上，建立了机器人本 体在一定误差范围内跟踪焊缝的控制模型，并设计了相应的控制策略。根据机器人 与焊炬之间的运动约束关系，提出了焊炬位置实时精确的跟踪控制策略。轮式移动 硕十论文基于弧焊机器人接缝视觉信息检测与识别研究 机器人本体难以实现实时、准确的运动轨迹控制，而球罐焊接工艺要求焊炬必须精 确地沿焊缝以恒定的焊接速度焊接。现场工艺试验表明，所研制的球罐焊接机器人 焊炬跟踪精度可达正负0 5 m m ，能够满足实际工程应用。 华中理工大学的张新宝、谢铁邦、李柱等“”介绍和研究了一种以双线阵c c d 为传感器，激光二极管为光源的主动式的设定轨迹焊缝的高精度c c d 跟踪系统。此 跟踪系统是一种智能形的成像探测器。它对焊缝的识别精度为3 5 u m l o m m ；对设 定轨迹焊缝的识别精度高于3 5 u m l o m m 此跟踪系统具有对其金属板坯表面的光 学性能、角度变化包容性强和抗强光的特点。 哈尔滨工业大学的孔宇、戴明、吴林“”提出了机器人结构光视觉三点焊缝定位 技术，使弧焊机器人可以适应批量生产中每次焊缝位置的变化、通过适当的数学描 述、将焊缝定位问题转化为确定位姿变换矩阵。给出了三点焊缝定位法的求解过程、 具有良好的理论可靠性。利用结构光视觉传感器获取焊缝位置信息、可以快速实现 对焊缝的精确定位。 在焊接自动化领域中，视觉传感器以成为获取信息的重要手段。在检测接头位 置和尺寸等三维信息时，一般采用激光扫描或结构光视觉方法，而激光扫描方法与 现代c c d 技术的结合代表了高性能主动视觉传感器的发展方向。 哈尔滨工业大学的王晓东、刘洪乾、吴威等“5 1 对焊缝跟踪的激光扫描测距传感 器进行了设计，提出了一种新颖的用于焊缝跟踪的激光扫描测距传感器设计方案， 对设计中所涉及的主要问题进行了研究，使用所研制的传感器原理样机进行了扫描 测试试验，并对测试结果及应用的可能性进行了分析讨论。他们得出结论：经过进 一步的改进，采用这种方法所研制的传感器能够在实际焊接中得到应用，具有很好 的应用前景 美国o h i o 州立大学的r w r i c h a r d s o n 等人于1 9 8 4 年采用与焊接电极同轴的 摄像机直接摄取熔池及其前方的接头图像，用于熔池的远距离观察、接头跟踪和熔 池大小控制，对板厚1 5 m m 的不锈钢板0 5 m m 阔隙进行了接头自动跟踪。 德国r n i e p o l d 等人“”将直接摄取弧区图像的方法应用于短路过渡焊接过程。 在短路的瞬间使用l 毫秒的快门技术获取熔池金属、焊丝等的清晰图像，通过图像 处理可以用于有间隙的对接或v 型接头的自动跟踪。日本m o t o m a n 公司s h i n j i o k u m u r a 等人“”采用高速快门和特殊滤光方法将被动视觉方法应用于角接接头和 板厚大于l m m 的搭接接头的自动跟踪中，其自动跟踪速度达到2 5 m s 。 牛津大学的c g m o r g a n 等人“”1 设计了视觉传感器一焊枪一体式的视觉弧焊 机器人引导系统。视觉传感器m e t a t o r c h 2 0 0 的结构如图1 2 4 所示。激光束经过 柱面镜形成单条纹结构光。由于c c d 摄像机与焊枪有合适的位置关系，避开了电弧 光直射的干扰。研制此系统最初目的是解决汽车工业上大量l m m 至3 m m 薄板的搭接 硕十论文基于弧焊机器人接缝视觉信息检测与识别研究 和角接接头的自动跟踪问题。系统的识别能力有定的限制，如搭接板厚需大于 0 8 m m ，对接问隙需大于0 6 m m 。为使此类传感器扩展应用于大型结构的多层焊中， m e t am a c h i n e 公司设计了与焊枪独立的视觉传感器m e t a t o r c h 5 0 0 。其中采用了两 个3 0 m w 的激光器，在空间部分重叠而形成一个结构光面，这样增加了光强，改善 了光强分布，从而提高了传感器的信噪比和抗干扰性能。 图1 2 4m e t a t o r c h 2 0 0 结构示意简图 德国r n i e p o l d 等”1 采用多条纹的结构光视觉传感器对接头的尺寸和空间位置 进行检测，能够在一幅图像内获取接头在空间的尺寸及位置偏差。但是这种方法的 图像处理比单条纹方法复杂。 同结构光方法相比，激光扫描方法中光束集中于一点，因此信噪比要大得多。 目前用于激光扫描三角测量的敏感器主要是二维面型p s d 、线型p s d 和c c d 。 日本m i t s u b i s h i 公司o ”采用线型p s d 和激光扫描研制的视觉传感头如图1 2 5 所示。步进电机带动传感器围绕焊枪作圆弧形扫描以获取接头三维尺寸。这种方法 机械结构简单、紧凑，比较容易实现。但是由于电机要带动传感器作扫描运动，扫 描频率较低( 约4 h z ) 。 硕十论文 基于弧焊机器人接缝视觉信息检测与识别研究 图i 2 5 视觉传感头的结构示意图( 基于线型p s d ) 荷兰的g l o o m e n 等人。2 3 研制了采用激光扫描和c c d 器件接收的视觉传感器。 结构原理如图1 2 6 所示。它采用转镜进行扫描，扫描速度较高( 1 0 h z ) ，通过测 量电机的转角，增加了一维信息。它可以测量出接头的轮廓尺寸，其横向和纵向精 度为0 2 m m 。 图1 2 6 传感器摄像头结构示意图( 基于线阵c c d 敏感器) 内蒙古工业大学的乌日图。”阐述了模糊控制在机器人焊接焊缝自动跟踪过程 中的具体应用，以c 0 2 焊接为例对其短路过渡过程及跟踪过程响应特点进行了分 析，提出f u z z y 控制方案，通过实验确定了适应于机器人焊接接缝自动跟踪的f u z z y 控制器。 硕十论文基于弧焊机器人接缝视觉信息检测与识别研究 综上所述，在焊接自动化领域中，视觉传感器已成为获取信息的重要手段。- 般多采用单摄像机，这时图像信息是二维的。在检测接头位置和尺寸等三维信息时， 一般采用激光扫描或结构光视觉方法，而激光扫描方法与现代c c d 技术的结合代表 了高性能主动视觉传感器的发展方向。如何获取关于接头的真实的、高精度的、实 时的信息，仍然是有待进一步解决的问题，特别是当物体表面状态很差或有强烈的 电弧干扰时，问题更为突出。 1 2 3 视觉系统中图像处理的手段、算法 视觉系统中的处理图像的处理部分同样占有很重要的地位。图像处理可以完全 用软件实现( 用c + + 或v i s u a lc + + 编程) ，也可以用硬件结合软件实现( 利用d s p j 吝片结合汇编语言) 。 c c d 是视觉系统中最常用的采集图像的设备，c c d 被认为是可见光成像领域最 有前途的探测器件。c c d 对图像的处理速度是有一定的限制的，这是由它的自身处 理图像的机理决定的，c c d 处理图像要想提高速度，必须处理图像的上位机有很高 的主频、大容量内存和虚拟内存。 图像处理中图像的边缘检测算法：拉普拉斯变换，s o b e l 算法，r o b e r t 算法， p r e w i t t 算法，m a r t 算法，c a n n y 算法等。 华南理工大学的王秀嫒、黄石生”提出了无须外加光源的基于图像处理的焊缝 边缘识别方法和边缘特征提取过程，对采用小波滤波去噪后的焊缝图像采用符合实 时性要求的焊缝图像处理方法，包括基于图像分割的焊缝图像分区法以及根据实际 焊缝图像的实际性质加以分析得出的基于c c d 扫描性质的焊缝边缘识别法、这些方 法既简单又适用，在实际焊缝跟踪中能得到良好的效果。通过多次实验得出：此种 方法算法简单，响应速度诀，适合于实际应用，能快速获得清晰的焊缝边缘可以 大大简化硬件设备。 在软件和算法方面也同时得到了改进，西北工业大学王倩，阮海波的快速图像 模糊边缘检测的改进算法嘶1 ；长春邮电大学、吉林工业大学王学军、陈贺新的基于 边缘提取的分形图像编码方法1 ：武汉交通科技大学吕植勇的基于轮廓法线上亮度 的极小、极大值边缘检测。”；西安交通大学谈正的盈亏修正法图像边缘检测。”；华 东理工大学陆宗骐、梁诚的用s o b e l 算子细化边缘”1 等等。 提取接头特征的目的是为弧焊机器人系统焊前的接头寻找和定位、焊接过程中 焊枪运动位姿和焊接参数的控制以及焊后焊道表面的检测提供所需要的信息。其中 焊接过程中的控制最为重要。对v 型坡口来说，焊接参数控制需要接头根部间隙、 钝边厚度和坡口面积等信息。 由于接头型式多样，一般的视觉系统都是针对某种特殊应用的。特征参数提取 硕士论文 基于弧焊机器人接缝视觉信息检测与识别研究 方法可概括为以下几种：( 1 ) 断点法，即接头轮廓在特征点处的y 方向或x 方向发 生较大的突变：( 2 ) 线段拟合法，大部分情况下，接头轮廓可分解为多个直线段， 通过计算找出两条相邻直线的公共端点，在分别对各条直线做拟合，求出相邻直线 的交点，就可以得到接头的特征点；( 3 ) 差分法；( 4 ) 模板匹配法。各种方法都有 自身的优点和不足，在文献中算法一般讲得较少也比较笼统。 1 3 本文的目的与任务 焊缝视觉传感技术是弧焊机器人智能化技术的热点和最有发展前景研究方向 之一。弧焊机器人焊缝视觉检测技术研究是车体炮塔自适应焊接研究的重要组成部 分，主要任务是： 1 ) 设计和完成整套接缝视觉检测系统的工作平台，完成实验装置、设备与p c 机的安装和联结； 2 ) 设计完成接缝视觉检测图像处理的软件系统，能够处理各种接缝信息的图 像、能获得图像的各种特征值以及能进行各种接缝的识别判断； 3 ) 在接缝视觉检测系统中，对各种条件、各种接缝进行了图像采集实验，检 验系统的精度与实时性： 4 ) 设计出焊缝自动跟踪的控制系统。 硕士论文 基于弧焊机器人接缝视觉信息检测与识别研究 第二章实验系统的设计 焊接过程由于存在弧光、飞溅等各种因素，因而准确地获取焊缝位置较为困难， 目前提取焊缝信息的传感器有电弧、机械、温度、超声和光电式传感器等其中视 觉传感器由于可以远离强光、强热区，采集信息量大，因而受到人们的青睐。焊接 过程的图像有别于其他在自然光下得到的图像，因为焊接过程图像是在强热、强光 的情况下得到的，这就决定了在焊接过程中对焊缝图像进行采集的特殊性。建立合 理、可行的弧焊机器人焊缝视觉系统，存在的问蹶： 1 ) 如何有利于采集接缝清晰有效的图像 2 ) 如何较好地避免焊接弧光的干扰 3 ) 如何从图像中提取接缝特征值和几何参数 综合考虑上述因素，采用主动式视觉传感器实现对接缝的跟踪。 2 1 实验系统的总体构件设计 2 1 1 工作平台的设计 图2 1 1 激光c c d 检测系统的工作平台示意图 如图2 1 1 所示的视觉检测系统的工作平台，在工作平台上能固定焊枪、c c d 摄像机与近红外激光器，它们是三位一体的，由一个控制箱控制步进电动机可以使 三者同时在水平方向左右移动并且移动的速度是控制可调的。焊枪、c c d 摄像机与 近红外激光器三者的相对位置也都是任意三维空间可调，这样有助于实验的灵活 性，可以在更广的空间范围内找到更加合适的工作点。 在图2 1 2 中l 是焊枪，2 是c c d 摄像头，3 是激光器，焊枪、c c d 摄像机与 近红外激光器三者的空间位置示意图，当然摄像头c c d 与激光器的位置可以交换， 这样仍然能满足要求，它们三者是一体的共同固定在工作台的可移动的平台上，并 且焊枪的中心、摄像头的中心与激光器的中心是在工作平台的移动方向的直线上， 彼此的水平距离和水平角度在工作时都是相对固定的，也就是说焊枪中心与接缝的 硕十论文 基于弧焊机器人接缝视觉信息检测与识别研究 j 心发生偏移时，激光器中心和摄像头的中心也同样发生相同量的偏移。 ( a )( b ) 图2 i 2 为激光c c d 检测系统的光学与空间位置示意图 2 1 2 总体实现流程与原理 当激光器发出的条形光投射到工件表面上，条形光垂直横跨在接缝上，然后由 近红外c c d 采集激光条形光的图像，通过调节激光器和c c d 高度、角度及相对的位 置，找出最佳参数范围，即可得到高质量的接缝坡口图像，最后将采集到的图像通过 图像采集卡传输到p c 机中进行图像处理和分析，如图2 i 3 所示。 图2 1 3 总体实现流程图 采集卡采集到的激光条形光图像中包含了用来控制焊缝跟踪与识别接缝的所 有特征值。 这套实验系统中，注意的是尽量要使条形激光投射到离焊枪最近的地方，一般 投射到焊枪前2 0 至3 0 r a m 处，能够使焊缝跟踪更精确和满足实时调节；调节激光器 硕+ 论文基于弧焊机器人接缝视觉信息检测与识别研究 的较理想的功率，使条形激光的能量尽量集中，条形激光的边界要分明且成一直线， 有利于后继的图像处理与接缝识别和特征值的获取：激光器和摄像头c c d 的轴线都 必须与工件的垂直面成一定角度，要不得到条形光的图像没有实际意义，如果激光 器与摄像头c c d 的轴线都垂直工件表面，那么无论有无接缝都是获得的图像是一条 直线的条形光，这种图像不能反映任何的接缝特征，只有当激光器投射出的激光或 摄像头c c d 的轴线与工件的垂直面成角度后，采集到的图像才是所要求的。因为当 条形光投射到焊接工件上时，由于接缝的形状、接头形式与c c d 摄像机和工件垂直 面之间的角度存在，由光学原理可知道必将使得条形光的形状发生变化，这是由于 激光投射到工件表面的深度不同，这样条形光不再是笔直的，而是一条可以反映焊 缝特征的条形光了，并且随着激光器和c c d 摄像机与工件角度的不同所得到的条形 光的曲折程度有着很大的差异，这样采集到的图像就带有接缝的各种特征了。焊接 过程中，必须处理好焊接弧光、烟雾和飞溅的影响，在激光器和焊枪之间可以加个 隔离装置，使消除一些弧光和飞溅，一来使采集到的图像更清晰有效，二来有利于 保护激光器和摄像机c c d 等设备的安全，另外要使图像更加必须选择设计合理有效 的滤光装置。 2 2 主动式视觉系统的设备选择 2 2 1 激光器的选择 根据波长的范围，电磁波谱的划分如图2 2 1 所示，可见光部分划分如图2 2 2 所示，红外光部分划分如图2 2 3 所示。 0 0 3 n m3 0 n m3 8 0 n m7 5 0 n m1 0 0 0 u m3 0 0 m m y 射线x 射线紫外光可见光红外光微波无线电波 图2 2 1 电磁波谱的划分 7 6 0 n m 6 3 0 n m6 0 0 n m5 7 0 n m5 0 0 n m4 5 0 n m4 3 0 n m4 0 0 n m 红橙黄绿青兰 紫 图2 2 2 可见光部分的划分 7 5 0 n m1 5 u m l o u m1 0 0 0 u m 近红外中红外远红外 图2 2 3 红外光部分的划分 硕十论文 基于弧焊机器人接缝视觉信息检测与识别研究 在焊接过程中，视觉系统能否采集到清晰有效的图像，电弧起了关键性的作用。 电弧的强弱与光谱的范围直接决定着采集图像的质量。电弧光谱的波长范围很广， 电弧光的强弱不是均匀分布的，但是在可见光与紫外光部分光强较高。 ( 萄；) 图2 2 4 电弧波长与光强的关系 如图2 2 4 所示，反映了电弧波长与光强的关系，当电弧波长为0 5 - 0 7a 时，电弧光强达顶峰。电弧气氛的成分是很复杂的，电弧中主要含有保护气体的分 子或原子，在高温条件下保护气体离解出的一次离子以及高温蒸发出的金属原子， 在电弧作用下都会发出其特有的谱线。以c o ，电弧为例，c d ，是三原子气体，在高 温条件下离解为c o ，o ，此外碳、氧大约在1 0 0 0 k 时电离。对c d 电弧谱线的测定 表明，它由六种非金属物质组成，这是由c 0 2 电弧的自身结构和其高氧化性能决定 的。然而电弧区近熔池表面谱线分布就不大相同，在电弧高温作用下，熔池表面会 蒸发大量的金属蒸汽。在低碳钢熔池金属蒸汽中含有f e ，m n ，c r 等元素。这说明 弧柱区谱线以非金属为主，而熔池表面区域则以金属谱线为主。 激光是电磁波、单一波长的光，即称单色光。激光的特性有高方向性、高亮度 ( 光子强度) 、高单色性与高相干性。激光的这些特性不是彼此独立的，它们互相之 间有联系。实际上，正是由于激光的受激辐射本质决定了它是一个相干光源，因此 其单色性和方向性好，能量集中。激光的这些特性非常适合作为主动式视觉系统的 辅助光源。 光源的单色性由光源谱线的绝对线宽，或相对线宽r 来描述，即r = 三尘式 ， 中：y 输出激光的中心频率。 a1 利用，= c 旯，不难证明光波长描述的相对线宽r 为：r = 警式中： 九 a 输出激光的波长范围； 五输出激光的中心波长。 光源的方向性由光束的发散角0 来描述，普通光源发出的光是向各方向传播 的，发散角很大。激光的发散角却很小，它几乎是一束平行光。若将一束激光射到 几千米处，光束扩散的直径还不到1 0 c m 。根据光的衍射理论，任何光通过输出孔 硕十论文 基于弧焊机器人接缝视觉信息检测与识别研究 径时都要产生衍射，衍射角的大小与光波长成正比，与孔径成反比，即 p ：兰 d 可以证明，激光器的光束发散角为： 目：竺 蒯 式中：d 激光腰直径 根据比较上两式，说明激光的发散角已是很接近衍射极限值了。 激光的相干性要比普通光源强得多，一般普通光为非相干光。相干光有时间相 干性与空间相干性之分。光源的时间相干性与单色性相联系，它比起普通光源来要 好得多。空间相干性主要是指横向空间相干性，它与光源的方向性相联系。对于普 通光源来说，它所发出的光分属众多的模式，只有在一定范围空间中的光予才是相 干的。对于激光来说，只有属于同一个横模模式的光子才是空间相干的，不属于同 一横模模式的光子则是不相干的。 衡量光源能量集中程度可用亮度来定义，即 。e l = 一 厶弘q f 式中：s 光源表面积： q 光源发射的光束立体角； f 发光时间： e f 时间内从光源发射到q 立体角范围内的能量。 普通光源所发出的光是连续的，并且射向四面八方，能量非常分散：激光器发 出的激光方向性好，能量在空间高度集中。 不同波长的激光下常用材料的反射率，如图2 2 5 所示： 拨k ，斗m 图2 ，2 5 不同波长下常用材料的反射率 避静每越 硕 ：论文 基于弧焊机器人接缝视觉信息检测与识别研究 激光是由激光器发射的。激光器通常由激光介质、谐振腔、泵浦源三部分组 成。激光器的种类很多根据产生激光工作介质不同可以分为：气体激光器、固体激 光器、液体激光器、化学激光器、半导体激光器、自由电子激光器等。 半导体激光器是以半导体为工作介质。半导体激光器有超小型、高效率、结构 简单、价格便宜、工作速度快、波长范围宽等一系列优点。 通过分析焊接的特点与电弧的性质，采用激光作为辅助光源是理想的。权衡视 觉系统的要求，选择了性价比最佳的南京三乐光电子有限公司的半导体激光器，它 的性能指标如表2 2 1 。 表2 2 1 激光器性能指标 性能波长输出功率水平发散角垂南发散角外形 数值9 8 0 n mo - - 5 0 0 m w 可调2 3 。4 0 。中4 0 * 3 0 m m 3 为了克服弧光干扰选择了激光器的输出波长为9 8 0 n m ，出发点是在此波长的弧 光较弱有利于获取质量高有效的图像，另外采用波长9 8 0 h m 的激光器的性价比是最 高的，如果采用远红外和x 射线效果当然是最好，但是价格成本就成倍的提高了。 同样，考虑到激光光强，选择了激光器的输出功率为o - 5 0 0 m w ，由于电弧光在9 8 0 n m 波长处还是存在影响的，所以激光的功率有一定的要求，经过调查、研究、分析与 实验，得出条形激光器功率达到2 0 0 m w 就能保证焊接前得到理想的图像，又因为需 要在焊接过程中也能采集到清晰的图像，条形激光器功率要比2 0 0 m w 高很多，所以 采购了0 至5 0 0 m w 功率可调的激光器，增加了图像采集实验的灵活性。另外，采用 的是条形光传感焊缝跟踪控制方法，所以要求激光器输出的是条形光而且能量越集 中越好。选择的半导体激光器由于它自身的发光原理直接就可以得到需要的条形激 光，但是这种激光器得到的条形激光的能量是在条形光的横向呈高斯分布。在激光 器的形状上，为了能保证弧焊机器人的工作区域不受影响，所以选用有利于安装且 厂商能达到的最小的体积。 2 2 2 摄像头c c d 与滤光片的选择 接缝的主动式视觉检测系统中，采用了近红外9 8 0 n m 的激光作为辅助光源，这 就相应的要求选择能响应近红外的c c d 摄像机，起初选择近红外的激光其中重要的 一点就是远红外的c c d 摄像机价格太昂贵了，所以根据摄像机的光谱响应曲线选购 了台湾敏通公司的近红外c c d 摄像机o s 一4 5 d ，同时这种摄像机具有较高的分辨率 ( j 1 2 5 1 2 x 8 b i t ) 能够满足视觉系统的要求。 在接缝主动式视觉检测系统中，最本质的是采集到清晰有效的有关焊缝特征的 图像，再从图像中获取用来进行接缝跟踪的特征值，然而条形激光的图像就体现了 颂十论文 基于弧焊机器人接缝视觉信息检测与识别研究 所焊缝跟踪要的特征值。为了得到清晰的干扰最小的图像，这种视觉检测系统中采 用了窄带滤光片，窄带滤光片的主要作用是消除弧光与外界光的：f 扰，一般状况下， 图像中仅留下条形激光其余部分都是黑色，这样对后继的图像处理提供很好的先决 条件。根据要求选择了北京大恒光学仪器公司的9 8 0 n m 的窄带滤光片： 中心波长：9 8 0r i m 4 半带宽：l o n m 2 截止区截止深度： 0 0 1 9 g ( x 射线至远红外) 温度范围：一5 0 至8 0 峰值透过率：5 0 至6 0 2 2 3 图像采集卡的选择 图像采集卡采用了北京大恒图像视觉有限公司设计的v i d e o - p c i x r ，基于p c i 总线的高速黑白图像采集卡。输入的视频信号，经模数转换器、查找表、比例缩 放，裁剪等处理，通过p c i 总线传到v g a 卡实时显示或传到计算机内存实时存储。 数据的传送过程是由图像卡控制的，无需c p u 参与，因此图像传输速度可达4 0 m b s 。 数据的实时传送是v i d e o p c i - x r 卡的突出特点。 v i d e o p c i x r 主要技术性能及指标：标准p a l 、n t s c 制黑白视频信号输入； 软件选择四路c v b s 输入；亮度、对比度等软件可调；2 5 6 8 - b i t 输入查找表：硬 件完成输入图像的裁剪：图像采集最大分辨率：p a l 一7 6 8 x 5 7 6 8b i t 、n t s c 一6 4 0 4 8 0 8b i t ：图形覆盖( o v e r l a y ) 功能。通过填写屏蔽( m a s k ) 模板，可实时 显示和存储任意形状的输入图像；可按单场( 奇场或偶场) 、单帧、连续场、连续 帧、间隔几场或几帧等多种方式灵活地采集图像；可接收录像机输出的视频信号： 采集的图像在计算机显示器上显示，实现图像和图形同屏显示的工作方式。 v i d e o p c i x r 图像采集卡的工作原理如图2 2 6 所示： 复台枧顿输入2 一 【，。，一 i i 复台视频输 3 j l 二i 陌甭i 磊鬲j 。一 v i d e o - p c i x r 田量扳 图2 2 6 图像采集卡工作原理图 四路复合视频输入经多路开关，软件选择其中一路作为当前输入，输出到a d 进行模数变换。数字化的图像信号经各种图像处理，如输入查找表、比例缩放、 裁剪、位屏蔽后，利用p c i 总线，传到v g a 卡显示或计算机内存存储。 离 ；总境 ll叫1i 硕士论文 基于弧焊机器人接缝视觉信息检测与识别研究 v i d e op c i x r 的视频输入信号及采样频率凡符合p a l 制式( 6 2 5 行，5 0 场秒) 和n t s c ( 5 2 5 行，6 0 场秒) 制式的视频设备输出的图像信号均可作为v i d e op c i x r 的输入源。在一般情况下，摄像机、录像机等视频设备均满足上述标准。采样频率 在一定范围内可调，满足不同场合的需求。 v i d e o p c i x r 的视频输入窗口是指数字化后的输入图像尺寸。在p a l 制时， 输入窗口最大尺寸为7 6 8 x5 7 6 。在n t s c 制为6 4 0 4 8 0 。图像显示窗口是指在v g a 显示器上显示的图像尺寸，其最大值不能超过输入图像窗口。 当图像显示窗口小于视频输入窗口时，有两种方法可以采用。一种方法是减少 视频输入窗口的大小，即重新设置起始行、终止行、起始列、终止列。使视频输入 窗口与图像显示窗口相匹配。处理后的结果显示的仅是全部输入图像的一个局部， 这种方法我们称为裁剪。另一种方法是采用对视频输入窗口采用抽点和抽行的方法 减少其大小，即根据视频输入窗口和图像显示窗口的相对大小设置缩小比例系数， 处理后的结果显示的是缩小的全部输入图像，这种方法称为比例缩小。当然，也可 以将两种方法结合起来，达到所需要的结果。 v i d e o p c i x r 具有位屏蔽功能。当用户选用该功能后即在计算机内存中开一 个映射区，映射区中的每一个b i t 对应图像显示窗口中的二个像素，当映射区中的 b i t 位置为1 时，该b i t 对应的像素被传送。反之，置0 时不被传送，保留该位置 上的原有值。 硕士论文 基于弧焊机器人接缝视觉信息检测与识别研究 2 3 本章小结 在主动式视觉传感器的焊缝跟踪系统中，选择利用合适的辅助光源( 激光器) 、 c c d 摄像机、配套的窄带滤光片以及合理灵活的实验平台和装置是系统成功运行的 关键，直接影响到焊缝跟踪系统的精度。在设计本方案中考虑了多方面的影响因素， 并吸收了国内外同类系统的可取之优点，吸取了教研室在相关方面前期工作的经验 与教训，因此这一套实验系统的设计可以说是比较完善的，基本上达到了使用的要 求。同样在工作平台与实验装置的制造加工上也是精益求精，在选择各类器件设备 时都兼顾价格和性能的最佳比值，在实验过程中发现设计中的问题时都进行了一一 修改，并且对达不到要求的装置都不惜多消耗时间和经费进行返工重新制造，这样 保证了实验装置和工作平台的精度和实用性，同时也为整套视觉跟踪系统的良好使 用性能奠定了基础。 硕士论文基于弧焊机器人接缝视觉信息检测与识别研究 第三章接缝图像处理的方法 3 1 图像处理的整体过程 视觉信息处理可以看作是从三维环境的图像中抽取、描述和解释信息的过程。 它可划分为六个主要部分：传感、预处理、分割、描述、识别以及知识表达和解释。 传感是获取图像的过程：预处理是去噪声和细节增强；分割是将图像划分成有一定 含义的物体的过程；描述则是讨论区别不同物体特征( 几何性质、形状及尺寸) 的 计算；识别是分析、理解和认识物体的过程；解释则是将某种含义赋给由已识别出 物体组成的组合体的过程，它可作为对图像进一步分类或作为语义学解释的依据。 图像处理框图，如图3 1 1 所示： 图3 1 1 图像处理一般过程 3 2 图像预处理 3 2 1 绘制图像灰度图与设定阈值 图像点运算( p o i n to p e r a t i o n ) 是一种既简单又重要的技术，它能改变图像数 据占据的灰度范围。一幅输入图像经过点运算后将产生一幅新的输出图像，由输入 像素点的灰度值决定相应的输出像素点的灰度值。点运算不可能改变图像内的空间 关系，可以按照预定的方式改