具有结构光视觉机器人焊缝跟踪系统的设计外文翻译

1、 具有结构光视觉机器人焊缝跟踪系统的设计liu suyi1, *, wang guorong2, zhang hua1, and jia jianping1中国南昌大学机器人焊接自动化省级重点实验室,330031中国广州华南理工大学机械和汽车工程学院,510640收到了2009年8月1日,修订2010年5月30日,接受了2010年6月17日,电子出版的2010年8月20日摘要：机器人焊接是一个重要的研究和发展方向,其焊接自动化和智能化、自动缝跟踪技术更是一个主要的研究领域。如今,焊缝跟踪系统与结构光视觉的研究变得很流行。在国外，结构光视觉焊缝跟踪系统与同类产品相比都更加贵,所以只能应用在特殊场

2、合。在中国,研究结构光视觉焊缝跟踪系统仍只停留在实验阶段。一个机器人实时焊缝跟踪系统是基于线结构光视觉而设计。由于硬件体系建立,并结合线滤波方法结构焊缝图像进行了改进,这样比普通过滤改进具有更好的效果和特点。改进方法有两种：快速模板匹配和快速霍夫变换、改善图像识别焊缝中心坐标。两个新的形象识别方法都对结构元素匹配和角检测提出了建议。通过焊缝图像识别的比较表明快速模板匹配和角落检测比其它两种方法更为准确、稳定,而在这两种中角检测又是最好的。同时通过标定摄像机参数和机器人手眼的计算表明：这种方法是有效、可行的。基于以上四个图像识别方法，机器人焊缝跟踪试验进行线性和折叠两项,实验结果表明：四个图像识

3、别方法都适用于实时焊缝跟踪,符合整个系统的要求,并且完善实时焊缝跟踪。自动焊缝跟踪系统是可行的,具有良好的通用性。关键词:激光视觉,机器人,焊缝跟踪、图像识别1介绍 焊接生产的自动化和智能化正在高速发展。而机器人焊接又是自动焊缝跟踪的一个重要问题。在机器人自动焊接中,开发运用焊缝跟踪系统是非常重要的。在这个过程中,传感器起着非常重要的作用,因为它会直接影响焊缝跟踪精度。有许多类型的传感器用于焊缝的自动跟踪,其中电弧传感器和视觉传感器应用最广泛。电弧传感器主要适用于焊接接头两侧对称的,而视觉传感器不仅只用于于焊接接头类型和焊接材料，而且它还能得到更多信息。因此,视觉传感器已经成为了自动化、智能化

4、的热点研究焊接系统。一般来说,根据使用辅助光源与否,焊缝跟踪视觉又可分为两大类:活跃视觉和被动视觉。研究表明, 因为被动视觉没有使用辅助光，所以被动视觉信号信噪比低,。因此, 被动视觉是广泛应用于焊缝跟踪。激光具有良好的定位、集中的能量密度等等, 高信号焊缝图像信噪比可以通过利用激光辅助光源来测量其形状,位置而获得，并且也可以很容易得到焊接接头的尺寸。所以在世界上有很多研究者都很注意结构光视觉。在一些发达国家,例如 英国、加拿大、瑞典、等等, 结构光视觉缝跟踪产品已经出来了。但是他们经常是非常昂贵的并且只能应用在特殊的场合。在中国,研究了结构光视觉焊缝跟踪系统基本上只停留在实验。 在本文中，结

5、构光视觉机器人焊缝跟踪系统研究是通过借鉴元的激光传感器和irb1400机器人来进行研究的。机器人焊缝跟踪系统包括线结构光视觉的图像采集以及焊缝图像识别和提取,系统坐标的校正和改造,电脑与机器人之间的通信,机器人焊缝跟踪控制等。为了获得准确的焊缝位置,我们必须先对图像滤波和图像识别进行了研究。现在两种图像识别方法已经进行了改进,并且现在两类图像识别也能表示出精确坐标值和实现校准时间的减少,也提出了同声传译标定摄像机参数和机器人手眼。机器人焊缝跟踪试验对线缝叠、 焊缝隙行了改进,提出了有效措施。2 焊缝自动跟踪系统的组成和原则 焊缝跟踪系统的硬件主要包括结构光视觉传感器,弧焊机器人、形象捕捉卡、p

6、c、焊接设备,等等。整个系统的架构如图1所示。 一个元的激光传感器是固定在机器人末端的机械手,离焊枪距离为60毫米。该系统的软件模块划分为焊缝图像采集,图像识别和提取、交流电脑和机器人,pc控制机器人控制。在确定焊缝跟踪等焊接参数之前,应先确定在软件的界面上的参数如焊接速度、焊接接头类型、起步位置和结束位置。在焊接期间,图像通过焊缝过滤板由ccd摄像机捕捉来获得,然后把图像传到pc采集卡。他们根据在pc控制程序中设定好的时间每100毫秒抓取一次。在接替时,再通过焊缝图像处理程序模块来提取焊缝中心坐标，然后把这些参数输入到sub-module程序中转化成空间坐标点。再把焊缝中心空间坐标送到机器人

7、通讯程序模块，机器人控制程序根据接收到的坐标通过指令来控制机械手的运动。目前焊接是按照顺序到达下一缝的位置来实现机器人焊缝跟踪。3 激光焊缝图像识别和提取 在激光焊缝图像识别和提取过程中在弧焊上有不同种类的干扰,如烟雾和灰尘、喷涂等，由于视觉系统信号信噪比很低，所以许多噪声存在于最初的焊缝的图像中。由于在焊缝跟踪中dsp系统元的激光传感器不能识别和提取焊缝中心。所以如何准确识别和提取焊缝中心坐标成为了很重要的问题。3.1激光焊缝图像的采集 图2是机器人焊缝跟踪的素描和线结构光视觉。图3是在焊接期间激光图像搭接接头是如何获得，（焊丝焊剂sqj501喂丝的类型在天津sainteagle焊接公司生产

8、和焊接）其参数见表1。 表1 焊接参数 参数 值 焊接电压u / v 29焊接电流i /一个 230-260焊接速度v /(mms-1) 7焊丝直径d /毫米 1.6送丝速度vf /(mms-1) 200线扩展l /毫米 27机器人姿态角 150.8 35 50.23.2图像识别和提取在视觉传感焊缝跟踪来识别和提取焊缝位置过程中，图像识别和提取是第一步。在提取激光焊缝的图像时,它所提取的焊缝位置是不会因为焊接接头的不同而不同的。为了准确对接, 焊缝位置是在机器人姿态角较高的时候用激光进行的测量的,而图4为第一次车削加工用激光测出的焊缝位置，p点为焊缝中心。而在图3中我们可以看出有许多白线溅出的

9、噪音,一些弧形光噪声,一些烟雾灰尘噪音，这些声音严重干扰焊缝中心的识别和提取。所以图像滤波是很有必要的。 3.2.1图像滤波图像滤波方法常用的方法有平均滤波、中值滤波等。其中平均滤波只是能去除噪声的一小部分。但是在中值滤波的方法中, 由于有水平窗口或垂直窗口的窗口来处理图像，所以其效果较好,但这也有反面的影响那就是会使焊缝特征图像更模糊。所以,一个图像滤波要用多种方法相结合。从观察来看,灰色背景的结构光视觉焊缝图像信噪比通常低于50而灰度噪声和激光线基本上是在100以上。 激光线的宽度大约为2 - 3像素,而噪音的宽度是最以上4像素。根据这些特点,过滤方法如下:(1)选择一个水平的窗口15个像

10、素大小图像和选择一个阈值t。(2)当满足第一个像素的灰度15像素的水平窗口不到t和其他四个像素大于t时,这四个像素被视为噪声产生的。(3)扫描整个图像方面的相关规定。由于噪声在捕获不同焊缝图像,阈值t不都是一样的,但是无论是t与否都将直接影响图像的结果处理。因此,一个像素的灰度值的均值根可根据下面的公式来计算，像素的灰度值在50和100之间: 图5(一)的滤波结果是图3 (a)项使用上述方法和33中值滤波方法得到的; 图5(b)和图5(c)分别是中值滤波结果。图3 (a)项是利用33和55像素窗口像素窗口直接得出来的结果。 比较图。5的结果表明,改进过滤效果与33像素窗口比中值滤波和55个像素

11、的窗口更好。此外,改进的方法还具有较好的实时性。3.2.2影像二值化由于电弧焊接是不稳定的,并且当焊缝图像背景为灰度时也不是固定的。一个灰色的阈值可能会也可能不会使一幅图效果好。针对这一问题, 用调整阈值和最大方差阈值的方法来计算影像灰度二值化。图6是影像二值化。 第3.2.3章图像细化为了降低图像的噪声识别和进一步提取准确的焊缝中心，那么细化处理应该采用影像二值化来完成。 细化方法是与二值图像反过来并结构元素 (255* 255) ,和 来完成的。当一个像素符合这两种结构之一时,它的灰色的值设置为0(像素带有*为现匹配一个)。图7显示变薄处理的结果。 第3.2.4焊缝中心的识别和提取从图7可

12、以看出可以用不同的方式来识别和提取焊缝连接点(p点,如图4)。摘要中列出了四研究方法:结构元素匹配、快速模板匹配、快速霍夫转换,角检测10。从图像识别实验表明：四个识别方法都可以提取焊缝中心,但是当在其中结构元素匹配不稳定时使用快速模板匹配和角检测会做得更好,并有较高的去噪效果,更重要的是,在角检测中更加有效。最后,在图7中提取的焊缝位置，分别为（67、126、)和(66、128、)4坐标的正和转换从上面的部分可以看出,我们必须对焊缝的形象定位中心进行提取。接下来的一步就是通过提取焊缝中心来确定焊接点的位置，然后还有就是转换其坐标,也就是说,把图像的位置向焊缝中心空间坐标机器人基本系统转换。4

13、.1坐标框架的关系 一个点在图像平面通过引入m =(x,y)t和在世界框架中通过tm =xw,yw,zw的点来定义。他们的齐次坐标m=x,y,1t和tw w w,x y z =,1 m。再结合相机孔模型光学原理，就可以建立转换图像帧和世界框架: 其中s是一个任意比例因子,k是照相机的内在参数矩阵,和的规模因素在x,y轴,c表示了偏态两个图像轴,t是相机外在参数矩阵,r1 - r9是一部分旋转的摄影机框架在世界框架中的半径。 因为s是一个任意比例因子,k是照相机的内在参数矩阵，那么就可以猜想h是机器人手框架的摄影机框架的变换矩阵、t6是机械手的框架到机器人底座的距离,r代表到机器人摄影机框架底座

14、的半径。这三个转变的矩阵关系见表8。很明显,这三个矩阵之间的关系可以表示为一个 。在这里,世界框架被定义为机器人底座,所以以下方程可以得出: 在其中,t是与(2)式一样的。所以可以得到下式： 、4.2校准参数的方法根据旋转部分的正交性。(2)式和选择6校准控制部分,其中非线性方程的建立是为了解决17未知参数eq。(2)。其实,这是一个优化非线性最小二乘问题13。优化初始值未知参数选以下三个方面: 用l - m算法来解决非线性方程组问题,然后矩阵h的解决方法可以采用方程(5)。最终的计算结果中列出了以下三个方面: 当k和h是固定的,而r随相机位置的不同而不同。4.3校准转型从上面的方案,可以知道

15、结构光的视觉摄像机参数矩阵k、t和机器人手眼运动矩阵h下可以确定。这样, 在机器人底座每一个分缝的坐标可以转化为其相应的图像坐标14。假设(x,y)是一个分缝图像坐标的一个点。它在摄影机框架的三维坐标是(xc、yc、zc)及其坐标机器人底座(xw,yw,zw)。然后通过摄像机内部参数矩阵k,图像坐标变换关系和相机框架坐标就可以给出如下: 相互转化坐标和摄影机框架机器人底座是 一般来说,重建空间三维坐标点至少需要两个图像。但当机器人焊缝跟踪在一个平面上时,zw是恒定的。所以当w是已知时,机器人底座点的坐标可以结合了方程(10)、(11)求出。5 电脑与机器人之间的交流 电脑和机器人的沟通有两种方

16、式来:一是利用计算机网络和二是通过串行通信(spc)。针对本文实际应用要求,采用rs232c spc模式来解决问题。5.1通信协议 在机器人焊缝跟踪系统、通信电脑与机器人之间是用来传送一些控制命令和数据,其详细的任务是以下。(1)计算机发送信息到机器人,包括指令字的轮式移动机器人运动方式如手册模式或跟踪模式,下一个点的坐标,和机器人的移动速度。(2)电脑从机器人接收信息,通知pc捕捉下焊缝图像可以得到焊接炬和命令的流动坐标。5.2 spc编程 通常,有三种方式实现visual c + +在windows环境下的控制:串行通讯控件 微软倡导的activex 网络化多媒体对象技术,winapi交际

17、功能,转接程序。这三个方法有其优缺点：cserialport类用来实现spc中，其波特率是19 200位/秒。6机器人焊缝跟踪控制 在本文中焊缝跟踪控制,在本质上是过程控制的机器人沿着一条焊缝线连续运动。跟踪方法是把均匀分缝线条改为一些很小的部分,然后焊枪先后在每一小段移动。通过这种方式,由这些小片断组成的折叠线就更接近真正的焊缝线,其具体如图。9。每一小段的长度是相等并且取决于焊枪和电流传感焊缝中心的距离。为了使机器人多运动平稳,每一个片段pi1 pi又分成很多更小的网段,例如20到30。连续运动的焊枪沿焊缝是通过谐机器人程序和电脑程序来控制。 7实验 两组机器人焊缝跟踪实验连接处都是用丝s

18、qj501焊丝（天津sainteagle公司制造的)。 首先是一个线性缝是追踪实验,然后折叠焊缝跟踪实验。7.1 对不同焊缝的跟踪 在基本焊接条件相同的情况下有四个焊缝识别方法，即结构元素匹配、快速模板匹配、快速霍夫改造,角检测,分别采用轨道线性缝隙。 表10就是实验结果,表2列出了实验参数。 表2。焊接参数线性焊缝的自动跟踪 参数 数据焊接电压u / v 29 29 29 29焊接电流i /一个 260-280 250-270 220-240 240-260 焊接速度 5 5 7 7 速度 5 5 7 7 钢丝直径d /毫米 1.6 1.6 1.6 1.6 送丝速度 200 200 225

19、225 线扩展l /毫米 22 23 25 25 机器人姿态角 131.1 131.1 131.1 131.1, , /() -37.6 -37.6 -37.6 -37.6 7.2折焊缝跟踪实验 为进一步检测焊缝跟踪系统的稳定性,在这组实验中进行拐角检测,需要更多的稳定的实时处理,这将应用于轨道折叠缝。图11显示结果和表3是它的相应的实验条件。 表3。焊缝跟踪折叠的焊接参数 参数 值 焊接电压u / v 28焊接电流i /一个 230-280焊接速度v /(mms-1) 5钢丝直径d /毫米 1.6送丝速度vf /(mms-1) 225线扩展l /毫米 25机器人姿态角 131 0 -37.6

20、 -110.4, , /() 129.2 -38.4 -140.48结论结构光视觉是有效的获取焊缝特征信息的方法,且适用于不同类型的焊接接头。(2)四缝高质素都可以瞬间、有效对焊缝中心识别和提取图像的位置。其中,快速模板匹配、快速霍夫变换、角检测能得到平滑跟踪缝,而结构元素匹配在得到跟踪焊缝比其他几个更不稳定。（3）利用拐角检测能满足折叠的焊缝跟踪的要求，具有稳定和良好的实时性。 (4)通过系统的学习,研究了能实现实时机器人焊缝跟踪与结构光视觉的结构而这个实验结果刚好适用于焊缝。references1 lin shangyang, guan qiao. study on welding pro

21、duction conditionsand developing strategy in our countrys manufacturej.mechanical worker (hot machining), 2004 (8): 1620. (in chinese)2 lin shangyang. china is forging ahead from large welding countrytoward strong welding country in the worldsome problems aboutwelding product & development in our co

22、untryj. aeronautical manufacturing technology, 2002 (11): 1719, 44. (in chinese)3 lin shangyang, chen shangben, li chengtong. welding robotand applicationm. beijing: china machine press, 2000. (inchinese)4 pan jiluan. modern arc welding controlm. beijing: china machinepress, 2000. (in chinese)5 hu s

23、henggang, li junyue, pei xuemei. developing status and their.control technique for optical arc welding sensors j. welded pipeand tube, 1998, 21(1): 1019. (in chinese)6 bob irving. sensors and controls continue to close the loop in arcweldingj. welding journal, 1999, 4: 3136.7 liu suyi, wang guorong,

24、 zhong jiguang. application and prospectof vision sensing system in robot weldingj. mechanicalscience and technology, 2005, 24(11): 1 2961 300. (in chinese)8 fan xinnan, guo jianjia. self-adaptive threshold segmentation algorithmabout engineering imagesj. computer measurement &control, 2006, 14(3):

25、395397.9 xue lanyan, cheng li. image segmentation based on the methodof the maximal variance and the improved genetic algorithmj.computer applications and software, 2008, 25(2): 221222, 247. (inchinese)10 liu suyi. research on groove image processing and robot seamtracking systemd. guangzhou: south

26、china university oftechnology, 2006. (in chinese)11 zhang zhengyou. camera calibration with one-dimensional objectsj. ieee transactionson pattern analysis and machineintelligence, 2004, 26(7): 892899.12 luo honggen, zhu liming, ding han. camera calibration withcoplanar calibration board near paralle

27、l to the imaging planej.sensors and actuators a, 2006, 132(2): 480486.13 xu chengxian, chen zhiping, li naicheng. modern optimizationm. beijing: science press, 2002. (in chinese)14 liu suyi, wang guorong, shi yonghua. simultaneous calibrationof camera and hand-eye in robot welding with laser visionj

28、.journal of south china university of technology(natural scienceedition), 2008, 36(2): 7477, 82. (in chinese)biographical notesliu suyi, female, born in 1974, is a phd and a lecturer inschool of mechatronics engineering, nanchang university,china. her research interests include image processing,computer vision and welding automation. over 10 papers havebeen published.tel: +86-791-3969630; e-mail: wang gu