（材料加工工程专业论文）焊缝成形的双目视觉评判方法研究.pdf

硕士学位论文 摘要 焊缝外观质量是压力容器、轿车、螺旋焊管等焊接生产质量保证体系重要 组成部分，焊缝外观质量对产品生产成本和生产效率有较大的影响，生产企业 对焊缝外观成形质量的要求愈加严格，对其检测和评判方法的要求也进一步提 高。目前，主要依靠人工目测方法对焊缝表面出现的咬边、根部未焊透、气孔、 裂纹等缺陷加以判定。由于检验人员的技能素质和经验的不同，对质量检验标 准的把握难免有偏差，检验结果受检验人员主观因素的影响而不稳定，评判的 定量精度难以保证。这种评价方法无法满足焊接生产的自动化和精量化发展需 求。双目立体视觉技术被广泛应用于目标辨识及精确测量、路径引导及规划、 实时跟踪等工业应用领域。本文采用双目立体视觉获取焊缝表面成形图像，探 索了一种焊缝外观成形的视觉测量和评价方法。主要研究内容包括： ( 1 ) 搭建了一套用于评判和检测焊缝成形的计算机双目立体视觉系统。 系统硬件主要包括工业数字相机( m v - 3 0 0 0 u c ) 、镜头( v s 0 8 14 m ) 、白色条 形光源( v s r l 2 0 0 ) 及其控制器、计算机等。采集焊缝视觉图像时用可调的 主动光源来增强对比度，采集的视觉图像通过u s b 接口传输至计算机。采用 开发的视觉图像处理软件即可实现焊缝图像的显示、存储、预处理和焊缝成形 参数的提取等功能。 ( 2 ) 通过对摄像机的标定，获取了两摄像机的内、外参数及投影矩阵， 得到了图像像素位置与三维场景位置间的关系，获得了被测焊缝所处的物理坐 标系与其成像坐标系之间的转换关系，建立了测量坐标系。根据投影矩阵的变 换校正了摄像机模型，大大简化了后期计算。通过对图像的校正、锐化、平滑 等预处理，使焊缝的轮廓特征更加明显。对焊缝区域进行分割后可以提取长度 和宽度等平面信息。在提取焊缝表面高度信息时，对焊缝图像进行了立体匹配 和表面三维重构。实际测量证明，运用计算机双目视觉技术获取的焊缝宽度、 余高等成形参数有较高的准确性，可以作为焊缝成形评判的基本参数。 ( 3 ) 分析了影响焊缝成形的主要因素，探究焊缝主要外观缺陷与其成形 表征参数之间的关系。根据现行的焊缝成形评价方法与评价体系，建立了以计 算机双目视觉为平台的焊缝外观成形质量评价体系，从焊宽、余高和焊缝熔敷 情况等三个方面将焊缝成形的评价矩阵化、参数化。 ( 4 ) 分析了焊接规范参数与焊缝主要评价指标之间的关系，建立了以焊 接电流、焊接电压、焊接速度为输入向量，分别以焊缝平均宽度和平均余高为 输出向量的两个s v m 回归预测模型。分析表明预测模型对评价指标的预测有 较高的准确性。 焊缝成形的双目视觉评判方法研究 关键词：焊缝成形，双目立体视觉，评判方法，评价指标，图像处理，s v m 硕士学位论文 a b s t r a c t w e l da p p e a r a n c eq u a l i t yi sa ni m p o r t a n tp a r to fw e l d i n gp r o d u c t i o nq u a l i t y g u a r a n t e es y s t e mf o rp r e s s u r ev e s s e l ，c a r s ，s p i r a lw e l d e dp i p e w e l da p p e a r a n c e q u a l i t y i sam a i nf a c t o r i n p r o d u c t i o n c o s t sa n d p r o d u c t i o ne f f i c i e n c y m a n u f a c t u r e r s r e q u i r e m e n t sb e c o m em o r er i g o r o u sf o rw e l da p p e a r a n c ef o r m i n g q u a l i t y t h er e q u i r e m e n t so fi t st e s t i n ga n de v a l u a t i o nm e t h o dt of u r t h e ri m p r o v e a tp r e s e n t ，a r t i f i c i a lv i s u a li sm a i nm e t h o dt od e t e r m i n ew e l ds u r f a c eu n d e r c u t ， r o o tc o n c a v i t y ，b l o w h o l e ，c r a c k sa n do t h e rd e f e c t s d u et ot h ed i f f e r e n tt e s ts k i l l s a n de x p e r i e n c e ，t h eq u a l i t yi n s p e c t i o ns t a n d a r d sh a v ei n e v i t a b l yd e v i a t i o n s ，a n d t e s tr e s u l t sa r eu n s t a b l eb yt h ei n s p e c t o r ss u b j e c t i v ef a c t o r s ，a n dt h eq u a n t i t a t i v e a c c u r a c yo ft h ee v a l u a t i o na r ed i f f i c u l tt og u a r a n t e e t h i se v a l u a t i o nm e t h o dc a n n o tm e e tt h ed e v e l o p m e n tn e e d so fw e l d i n gp r o d u c t i o na u t o m a t i o na n dp r e c i s i o n t o q u a n t i f y b i n o c u l a r s t e r e ov i s i o n t e c h n o l o g y i s w i d e l y u s e di n t a r g e t i d e n t i f i c a t i o na n dp r e c i s em e a s u r e m e n t ，t h ep a t hg u i d a n c ea n dp l a n n i n g ，r e a l - t i m e t r a c k i n ga n do t h e ri n d u s t r i a la p p l i c a t i o n s i nt h i sa r t i c l eu s i n gt h ei m a g eaw e l d s u r f a c ef o r m i n go b t a i nb yb i n o c u l a rs t e r e o v i s i o n ，a n dt oe x p l o r eav i s u a l m e a s u r e m e n ta n de v a l u a t i o nm e t h o do ff o r m i n gaw e l da p p e a r a n c e t h em a i n c o n t e n t si n c l u d e ： ( 1 ) b u i l tas e to fc o m p u t e rb i n o c u l a rs t e r e ov i s i o ns y s t e mf o rt h ee v a l u a t i o n a n dd e t e c t i o no fw e l ds h a p e t h es y s t e m sh a r d w a r ei n c l u d e si n d u s t r i a ld i g i t a l c a m e r a ( m v - 3 0 0 0 u c ) ，l e n s ( v s 一0 81 4 m ) ，t h ew h i t es t r i pl i g h ts o u r c e ( v s r l 2 0 0 ) a n di t sc o n t r o l l e r ，c o m p u t e r , e t c p u tt h ew e l d m e n t so np l a t f o r mb e l o wt h e b i n o c u l a rc a m e r a u n d e rt h ei r r a d i a t i o no fa c t i v el i g h ts o u r c e st oo b t a i nv i s u a l i m a g e so fw e l d t h ec o l l e c t e dv i s u a li m a g e st r a n s p o r t e dt ot h ec o m p u t e rt h r o u g h t h eu s b t h ev i s u a li m a g ep r o c e s s i n gs o f t w a r ec a nb er e a l i z e dt h ef u n c t i o n so f w e l d i m a g e d i s p l a y , s t o r a g e ，p r e t r e a t m e n t ，a n d t h ew e l ds h a p e p a r a m e t e r e x t r a c t i o n ( 2 ) e s t a b l i s h e dt h er e l a t i o n s h i pb e t w e e nt h ei m a g ep i x e lp o s i t i o na n d3 - d s c e n el o c a t i o n o b t a i n e dt h ec o n v e r s i o nr e l a t i o n s h i pb e t w e e nm e a s u r e dw e l di n w h i c ht h ep h y s i c a lc o o r d i n a t e sa n di t si m a g i n gc o o r d i n a t es y s t e m f r o mc a m e r a c a l i b r a t i o n ，g o t t e nt h ei n s i d ea n do u t s i d ep a r a m e t e r so ft w oc a m e r a sa n dt h e p r o je c t i o nm a t r i x a c c o r d i n gt ot h ep r o je c t i o nm a t r i x o ft h ec a l i b r a t e dc a m e r a m o d e l ，i tb e c o m ei d e a l i s t i ca n dg r e a t l ys i m p l i f i e st h el a t e rc a l c u l a t i o n s f r o m m i m a g ec o r r e c t i o n ， s h a r p e n i n g ， s m o o t h i n g ， a n do t h e rp r e t r e a t m e n t ，t h eo u t l i n e c h a r a c t e n s t i e so ft h ew e l di sm o r ea p p a r e n t a f t e rs p l i to u to ft h ew e l da r e ao f t h e l m a g ec a nb ee x t r a c t e dt h ep l a n ei n f o r m a t i o ns u c ha sl e n g t ha n d w i d t h i nt h e e x t r a c t i o no fh e i g h ti n f o r m a t i o no ft h ew e l d s u r f a c e ，i tc a r r ie ds t e r e om a t c h i n ga n d s u r f a c er e c o n s t r u c t i o nf o rt h ew e l di m a g e t h ea c t u a lm e a s u r e m e n t p r o v e dt h a tt h e w e l dw i d t h ，r e i n f o r c e m e n t f o r m i n gp a r a m e t e r sh a v eah i g h e r a c c u r a c yb yt h e c o m p u t e r b l n o c u l a rs t e r e ov i s i o nt e c h n o l o g y , f o r m i n gt h eb a s i cp a r a m e t e r so f t h e j u d g ea st h ew e l d ( 3 ) a n a l y s i so ft h em a i nf a c t o r sa f f e c t i n go ft h ew e l df 0 册a t i o n ，a n d t h em a i n d e f e c t s0 士w e l d a p p e a r a n c e a c c o r d i n gt oe v a l u a t i o nm e t h o da n de v a l u a t i o n s y s t e mo ft h ew e l df o r m i n g ，e s t a b l i s h e daq u a l i t ye v a l u a t i o ns y s t e mo ft h e w e i d a p p e a r a n c eb a s eo nc o m p u t e rb i n o c u l a rv i s i o np l a t f o r m f r o mt h et h r e ea s p e c t s s u c ha sw e l dw i d t h ，r e i n f o r c e m e n t ，a n d q u a l i t yo fd e p o s i t i o nm a k et h ew e l d e v a l u a t i o na sm a t r i x ，p a r a m e t e r i z e d ( 4 ) a n a l y s i so ft h er e l a t i o n s h i p i n d e xo fw e l d ，t w op r e d i c t i o nr o o d e l b e t w e e nw e l d i n gp a r a m e t e r sa n dt h em a i n o fe v a l u a t i o ni n d e xi se s t a b l i s h e db a s eo n s v m i tm a k ew e l d i n gc u r f e n t ，w e l d i n gv 。l t a g e ，w e l d i n gs p e e da st h e i n p u tv e c t 。r ， a n de a c h 。ft h ea v e r a g ew e l dw i d t ha n dt h ea v e r a g er e i n f o r c e m e n ta s t h e 。u t p u t v e c t o r a n a l y s i ss h o w e dt h a tt h ep r e d i c t e dr e s u l t sh a v ea h i g hc o r r e l a t i o n k e yw 。r d s ：w e l df o r m a t i o n ，b i n o c u l a r s t e r e o v i s i o n ，e v a l u a t i o n m e t h 。d ， e v a l u a t i o ni n d e x ，i m a g ep r o c e s s i n g ，sv m i v 硕士学位论文 第1 章绪论 1 1 课题研究的背景及意义 现代焊接生产中，对焊接技术和质量的要求愈来愈高。自动化和智能化在 焊接生产上的应用日趋广泛看。 近年来，堆焊技术已从传统的连接技术拓展到新材料快速成型、模具及压 力容器表面改性技术。堆焊与机器人的融合，进一步的拓展了堆焊成形技术的 应用，为堆焊的自动化、堆焊的高质量成形提供了保证。对于单道单层熔丝堆 焊，对焊缝成形要求较高 1 - 3 】。如果焊宽过窄，两条焊缝之间搭接不好，就会 存在未填充金属的“空洞 ；如果焊宽多大，影响下一条焊缝的堆敷；如果余 高过大，就会增加焊后打磨量，降低生产效率；反之，如果余高过小，又会影 响金属堆敷量，堆焊层厚度不够。另外，在石油化工管道焊接生产中，生产企 业对焊管焊缝成形愈来愈重视。宝鸡钢管厂作为我国规模最大的专业化焊管公 司，把焊管的焊缝成形质量作为一个最主要的技术指标。焊缝成形质量首先影 响防腐成本和生产效率。石油化工管道在使用过程中都要经受很强的腐蚀，防 腐质量直接影响管道的使用寿命，而焊缝部分由于形状的特殊性，是防腐的关 键部位。目前在螺旋缝埋弧焊钢管上应用最广泛的是3 p e 防腐技术，防腐所用 的大多数材料都需要进口，防腐成本比较高。如果焊缝表面成形不好，存在大 量的焊瘤、压坑和咬边等缺陷时，就要在焊缝部分涂敷更多的防腐材料，这会 大大提高防腐成本，并影响生产效率【4 8 】。其次，管道的工作环境对焊管的力 学性能要求很高，而焊缝部分的力学性能是整个管道最薄弱的部分，不好的焊 缝成形更会较低其承载能力。许多国际焊管生产企业都把严格控制焊管焊缝形 状作为竞争的重要手段：焊管用户在与制造厂签订供货合同时，把焊缝形状指 标作为附加技术条件，客户对焊缝的外观形状提出了更高的要求 9 - 1 0 】。为此， 焊后必需对焊缝进行检测评价，确定焊缝是否合格，如果存在缺陷需明确缺陷 的位置。 对与各种自动化焊接生产线，国内外还没有一套完善的焊缝成形在线评判 系统。虽然，已有很多实验方法用于研究焊接规范、参数与其焊缝几何形状之 间的关系，但大都与实际焊接过程有一定的差距。另外，在焊后对焊缝成形评 判中，通常用焊缝成形尺寸来衡量成形质量。一般方法是，技术人员先用量具 测量出熔宽、余高和熔深( 测量熔深时一般需要把焊缝横向剖开) ，再计算出 成形系数( b h ) 或深宽比( 月佃) 然后根据手册去衡量成形质量。这种方法操作 焊缝成形的双目视觉评判方法研究 过程麻烦效率低，而且没有精确的量化结果。在焊缝外观成形检测中，主要依 靠个人视觉的观察并根据经验作出判断。由于检验人员的技能素质和经验的不 同，对质量检验标准的把握难免有偏差。这导致检验水平受检验人员主观因素 的影响而不能稳定，判级结果一致性差。检验人员很难对缺陷做出准确定量判 断，定量精度难以保证。人类视觉检测技术越来越不能满足焊管生产的需要。 近年来图像处理技术和机器视觉技术得到空前的发展，如果把机器视觉技 术用在焊缝成形质量评判中，可以提高评判效率，为焊接质量评判的智能化打 下基础。机器视觉是运用计算机来模拟人的视觉，从不同事物的图像中获取信 息，进行相应处理并加以分析、理解，最终应用于实际的检测与测量等。机器 视觉检测和测量方法不但可以有效提高生产效率与自动化程度，且易于实现信 息的集成，从而满足数字化自动化生产的要求。现今，机器视觉已经成功地应 用于工业中许多领域，大大地提高了产品检测的质量和可靠性，同时保证了生 产速度。机器视觉中的立体视觉技术把二维景物的分析推广到了三维景物，该 项技术可方便实现从图像获取到三维景物表面重建的完整体系，对于整个机器 视觉的发展具有重要意义。双目立体视觉是立体视觉中的一个重要的分支，它 直接模拟人视觉处理景物的方式，可以在各种条件下灵活地测量景物的立体信 息 i i - 1 2 l 。因此，基于机器视觉技术可以实现焊缝成形参数的自动在线提取，对 焊缝成形质量自动在线检测和控制具有一定的意义。 对于焊缝成形质量的评价，关键问题是评判过程和评价指标的建立。运用 双目立体视觉技术可以获得焊缝大量信息，从这些信息中提取出与焊缝成形质 量有关的信息，并将其参数化，而后，通过对成形参数与成形情况之间相关性 分析( 包括焊缝成形缺陷与其相关的成形参数的关系) ，建立一套基于双目立 体视觉系统的焊缝成形质量的评价体系。 因此，本课题以埋弧堆焊焊缝表面成形检测为出发点，通过调查研究，认 为建立一套基于计算机双目立体视觉技术的焊缝表面成形质量评价方法有一 定的现实意义和研究价值。以后也可以推广到其他领域焊缝表面缺陷检测，为 最终焊缝成型控制智能化发展奠定一定的基础。 1 2 机器视觉的研究现状 双目立体视觉( b i n o c u l a rs t e r e ov i s i o n ) 是机器视觉的一种重要形式，它是 基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计 算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉 的开创性工作始于上世纪的6 0 年代中期，起初麻省理工学院( m i t ) 通过从 数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对 2 硕士学位论文 物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的 三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、 角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、 纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别 是上世纪8 0 年代初，英国科学家d a v i dm a r r 首次将图像处理、心理物理学、 神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视 觉计算理论框架【”】。这一基本理论对立体视觉技术的发展产生了极大的推动作 用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整 体系，使得立体视觉已成为计算机视觉中一个非常重要的分支【1 4 以6 1 。 随着计算机技术和数字图像技术的飞速发展，对计算机双目立体视觉技术 的研究和运用也在不断深入。目前主要应用于四个领域：机器人导航、三维测 量、微操作系统的参数检测和虚拟实现。 在国际上，美国、日本等发达国家对双目视觉技术的研究和应用远远高于 其他国家和地区。日本奈良科技大学信息科学学院提出了一种基于双目立体视 觉技术的增强现实系统( a r ) 注册方法，通过动态修正特征点的位置提高注册精 度。该系统将单摄像机注册( m r ) 与双目立体视觉注册( s r ) 相结合，利用m r 和 三个标志点算出特征点在每个图像上的二维坐标和误差，利用s r 和图像对计 算出特征点的三维位置总误差，反复修正特征点在图像对上的二维坐标，直至 三维总误差小于某个阈值。该方法比仅使用m r 或s r 方法大大提高了a r 系 统注册深度和精度 1 7 - 1 8 】。 u n i v e r s i t yo fw a s h i n g t o n 与m i c r o s o f t 公司合作为火星卫星“探测者号研 制了宽基线双目立体视觉系统，使“探测者”号能够在火星上对其即将跨越的 上千米内的地形进行精确的定位和导航【l9 1 。系统使用同一摄像机在“探测者 的不同位置上采集图像，采集间距越大，基线越宽，能观测到越远的地貌。系 统采用非线性优化得到两次采集图像时摄像机的相对准确的位置，利用最大似 然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据 此视差计算像对中各点的三维坐标。相比传统双目立体视觉系统，能够更精确 地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形地貌。 日本大阪大学自适应机械系统研究院研制了一种自适应双目立体视觉伺 服系统【2 们，利用双目立体视觉原理，如每幅图像中相对静止的三个标志为参考， 实时计算目标图像的雅可比矩阵，从而预测出目标下一步运动的方向，实现了 对运动方式未知目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考 标志，无需摄像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、 光学等参数和目标的运动方式。 n i h o nu n i v e r s i t y 将双目视觉系统用于人体身高测量【2 1 1 。通过两台摄像机 焊缝成形的双目视觉评判方法研究 获取的图像的处理和匹配，利用成像的三角法则对人体的身高做出了判断。该 系统同时考虑了系统构件的成本、图像处理的实时性及身高检测的准确性。 最近几年，国内对双目视觉技术的研究也比较活跃，部分成果已应用到了 实际生产当中。 浙江大学机械系利用透视成像原理，采用双目立体视觉方法实现了对多自 由度机械装置动态位姿的精确检测，只需从两幅对应图像中抽取必要的特征点 的三维坐标。这种方法优点在于信息量少，处理速度快，尤其适于动态情况【2 2 1 。 与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动 先验知识和限制条件，有利于提高检测精度。 东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差 绝对值极小化立体匹配新方法，可对三维不规则物体偏转线圈的三维空间坐标 进行非接触精密测量【2 3 1 。 中国科学院自动化研究所研究的三维重建技术，采用自动关键点匹配、双 目重建、表面三角化和三维点拼接技术，经过图像对提取，图像对关键点匹配， 图像关键点的重建，三角化以及数据融合生成物体完整的三维结构【2 4 1 。在完成 重建后，可以从任意视点观察物体，具有立体视觉效果。 文献【25 】中设计并实现了基于双目视觉的机器人外部视觉系统和本体视觉 系统对快速运动的乒乓球目标进行识别、定位和跟踪，实时地为机器人提供乒 乓球在三维空间中准确的位置信息。文献【2 6 】中探讨了基于双目立体视觉的轮椅 导航技术。文献【2 7 l 中阐述了基于双目立体视觉的测距系统的设计。 1 3 焊缝质量评判方法的研究现状 当前焊缝外观质量的检验主要依赖于人工测量，一般按照g b 一或i s 0 9 0 0 0 质量控制要求焊缝成形尺寸。焊缝卡尺是焊缝检测的常用工具之一，如图1 1 所示。 图1 1 焊缝卡尺 4 硕士学位论文 国内外在焊缝检测的自动化和智能化研究方面，主要集中于将计算机视觉 系统用在焊缝内部缺陷和焊缝跟踪上。而将计算机视觉技术用在埋弧焊焊缝外 部形状质量检测和评定上的相对比较少。 在1 9 8 1 年至1 9 8 3 年间舆水大和等做了大量工作，提出了外观评价的自动 化方案和实现系统，检查的内容为衡量焊接质量的7 个典型参数。在以后的几 年中，他们将内外质量检查结合起来，同时提出了三种边界检测方法。即确定 门限法、可变门限法和基于图像灰度直方图的方法【2 8 】 2 0 0 1 年，哈尔滨工业大学的王东华等人【2 9 】提出了基于数学形态学的焊缝 图像的缺陷提取与分割方法。哈尔滨工业大学吴林等人对焊缝射线底片的缺陷 提取进行了一些深入的探讨。2 0 0 3 年大连理工大学孙怡等针对图像增强器x 射线实时成像中螺旋焊管焊缝缺陷，提出了基于图像空间特性的模糊识别算 法。中国矿业大学的张晓光【3 0 】，提出了用于焊缝缺陷识别的神经网络模型，该 方法能够提高介于模糊边界模式分类的识别率。 由此，当前对焊缝质量检测的研究，主要侧重于对焊缝内部质量的检测， 而且技术也相对比较成熟。对焊缝外观质量检测智能化的研究不多，这方面需 要大量的尝试和改进。 1 4 研究内容 ( 1 ) 搭建一套可用于评价焊缝外观成形质量的计算机双目立体视觉系统， 该系统能够实现对焊缝图像的实时采集、显示、存储、视觉图像处理和焊缝成 形特征参数的提取。 ( 2 ) 对双目立体视觉的标定进行初步的研究，通过分析不同的标定方法， 选择一种适合焊缝图像的标定方法，确定焊缝实际物理坐标与视觉图像像素坐 标之间的关系。 ( 3 ) 对焊缝图像的处理方法进行研究。通过对焊缝图像特征的分析，探 索一套适用于焊缝图像的处理方法。最终提取出用于表征焊缝外形尺寸的特征 参数。 ( 4 ) 分析焊缝成形质量与成形参数之间的相关性，根据现行评价标准， 建立一套基于双目视觉技术的焊缝成形质量评价体系，完成评价指标的参数化 和矩阵化。 ( 5 ) 根据预测评价指标的需要，以焊接规范( 参数) 为样本输入，以主 要的焊缝成形评价指标为目标输出，建立基于s v m 的预测模型。 焊缝成形的双目视觉评判方法研究 第2 章双目视觉系统的搭建 本课题以焊缝视觉图像作为评判焊缝成形质量的信息源，搭建的视觉系统 能够实现焊缝视觉图像的采集、存储、显示等功能，并通过图像的处理能够获 取用于表征焊缝外形尺寸的特征参数。本章主要阐述了双目立体视觉系统的原 理、视觉平台的硬件组成和系统软件的开发，最后对视觉系统的标定进行了初 步研究。 2 1 双目立体视觉系统原理 双目立体视觉( b i n o c u l a rs t e r e ov i s i o n ) 是机器视觉的一种重要形式，当双 目从两个稍有不同的角度去观察景物，根据几何光学的投影原理，离摄像机距 离不同的像点在左右两像机镜头上的成像位置是不同的。这种反映在相片的位 置差就称为双目视差( b i n o c u l a rd i s p a r i t y ) ，简称视差，它反映了景物的深度信 息 3 1 - 3 3 。基于视差理论的双目立体视觉，就是运用两个参数相同的摄像机对同 一景物从不同的位置成像，获取景物的立体图像对，通过相应像点的立体匹配， 计算出视差，然后采用基于三角测量的方法恢复深度信息 3 4 - 3 5 】。 图2 1 双目视觉中的坐标系 为了说明双目立体视觉的原理首先需定义三个坐标系：世界坐标系、摄像 机坐标系和图像坐标系。世界坐标系( w c s ) 是用来描述摄像机所拍摄的三维 空间中物体的位置，在世界坐标系中点坐标记作尸，k ，z w ) 。摄像机坐标 系( c c s ) 中点用陇，兄，z c ) 表示，其原点为摄像机透镜中心d c 。图像坐标 系( i c s ) 是用来表示摄像机采集的图像中各点信息的坐标系，一般用像素坐 标和毫米坐标表示。( “，v ) 是以像素为单位的图像二维坐标，【x ，y ) 是以毫米为 单位的坐标。( 甜，1 ，) 坐标只表示了像素在数字图像中的行数和列数，而o ，y ) 雹 硕士学位论文 坐标表明了每个像素在图像中的物理位置。 图2 2 为用左、右( 、灭表示) 两摄像机观测同一景物时几何模型。景物上 点尸在右相机中的成像点为p r ，它是由p 点发出的光线经透镜中心o r 与图像 平面相交形成的。因此，若已知图像平面上的一点尸尺和透镜中心o r ，就可唯 一地确定一条射线尸晨0 r ，所有可成像在p r 点上的景物点必定在射线p r o r 上。 如果能找到点尸在左摄像机中的成像点凡，则依据p 上与相应透镜中心d 工确定 的射线尸上d 工与第一条射线尸骨d 胄的交点就可以确定点p 的位置。故如果知道 两摄像机的几何位置，并且摄像机是线性的，利用三角原理就可以计算出物体 在空间中的位置。射线尸胃d 片上的点在左相机图像平面中的成像是一条直线， 这条直线被称为外极线。同样，p 上d 上上各点在右相机像平面上的成像也称为 外极线。已知空间点在一个像平面上的成像点，要寻找其在另一像平面上的对 应点时，只需沿此图像平面上的外极线搜索即可。 图2 2 双目立体视觉中摄像机几何模型 理想情况下视差计算模型如图2 3 所示，两相机的光轴平行，且相机的水 平扫描线位于同一平面( 即理想的平行视点模型) ，设p 点在左、右像平面中成 像点相对于坐标原点砚和q r ( q t 和q r 分别是左、右两相机透镜光轴与图像平 面的交点) 的距离分别为x l 、x 2 ，则p 点在左、右像平面中成像点位置差x 1 x 2 被称为视差。由图中几何关系得： z l a - 二l 一= = 一 z a + 屯 ( 2 1 ) z f = - =d x z + 而+ a z d + x 2 + a 由( 2 1 ) 、( 2 2 ) 得： 7 ( 2 2 ) 焊缝成形的双目视觉评判方法研究 如埘 a = j l 一一x z 2 _ ! 二一 而一恐五一屯 ( 2 3 ) 式中：d 表示两透镜中心间距( 基线长度) ，厂表示透镜的焦距，z 表示物体 点尸到像平面的距离。 图2 3 理想情况下视差计算原理 当两相机的几何位置固定时，视差与p 点离相机光轴的距离无关，而只与 z 有关。视差越小表明物体离透镜的距离越远；反之，其距离则越近。式( 2 3 ) 中把物体与像平面的距离与视差直接联系了起来，所以只要准确求出其视差信 息，就可以得到物体的深度信息。 2 2 双目视觉硬件系统的搭建 为了从焊缝视觉图像探究焊缝成形及特征，课题组在先前的研究中已经 搭建了一套双目立体视觉系统，图2 4 为其结构示意图。硬件主要包括计算机、 实验台架、数字相机、镜头等。该平台中使用的是环形光源，虽然能获取特征 较为清晰焊缝图像，但由于该光源系统照射不均匀，照射到焊缝上的圆形光环 会形成一定的噪声，影响焊缝的图像处理，而且由于光源被固定在实验台架上， 使得光照位置不好调整。另外需要附加一定的措施消除外界光线的干扰，使获 取的焊缝图像特征更加明显。为此，在原有的基础上对平台进行改造，把l e d 8 硕士学位论文 环形光源改换成2 个l e d 条形光源，并增加了可以自由调整光源支架。为了 消除自然光照的影响，在试验时把整个系统放置在封闭的暗箱中进行。图2 5 就是改造后的双目立体视觉平台实物图。表2 1 为系统主要硬件。改进后的视 觉平台，在采集图像时受外界自然光影响较小。条形光源照射均匀，基本消除 了额外产生的噪声，焊缝轮廓相对更加清晰。 l - 试样( t e s ts p e c i m e n ) 2 - 左相机( l e f tc a m e r a ) 3 右相机( r i g h tc a m e r a ) 4 计算机接1 2 1 ( c o n n e c t o ro f p c ) 2 4 双目视觉平台结构模型 图2 5 搭建的视觉平台 整个系统的工作流程是：首先确定埋弧焊工艺参数，在埋弧自动焊机上进 行施焊，焊后除去焊渣，其埋弧焊焊缝的成形情况即为该系统需要表征的对象。 然后，在试验台架下，通过h a l c o n 软件中的标定工具及适合的标定板对双目 立体视觉系统进行标定。应用标定后的两摄像机同时采集一段焊缝的图像信 号，同时将其转化为数字信号，通过u s b 接口输入计算机，并基于h a l c o n 软 件进行显示及图像处理。采集过程中，根据外界环境及焊缝特征，通过控制器 占 焊缝成形的双目视觉评判方法研究 对两光源进行一定调节，使获取的焊缝图像清晰且特征明显，易于实现图像处 理。 h a l e o n 软件采集到焊缝图像之后，首先进行预处理，以消除各种原因造成 的图像中的噪声。其次，对左目成像进行焊缝特征的提取，将提取出的特征点 与右目成像进行特征匹配，通过双目立体视觉原理计算出焊缝的特征信息。然 后将此信息保存至m a t l a b 中进行数据处理，进而可以实现焊缝表面图像的重 构及焊缝成形参数的提取。最后，基于提取的焊缝成形参数可计算出焊缝的成 形指标，通过指标的综合评判，即可确定焊缝成形的好坏。 表2 1 视觉平台的主要设备及功能 设备名称设备型号或主要组成主要功能 双核p e n t i u m ( r ) d u a l c o r ec p ue 5 3 0 0 处理器 计算机 、。 n v i d i ag e f o r c e2 1 0 显卡2 g 内存 台架底板m v - 一b r 3 0 6 ；台架立杆m v - - b r 3 0 7 相机台架微调螺旋升降架m v b r 0 3 水平带刻度横杆m v b r 2 9 相机型号：m v 3 0 0 0 u c ；最高分辨：2 0 4 8 * 1 5 3 6 数字相机 传感器类型：p r o g r e s ss c a nc m o s 输出方式：u s b 2 0 v s 0 8 1 4 m 工业镜头，焦距为8 m m ，相面尺寸为 相机镜头 i 2 ”，视场角为4 6 0 ，最近物距为0 3 m 连接、驱 动相机，采集、 处理图像 固定相 机，调整相机 位置和角度， 搭载试验设备 采集图像 光源及l e d 条形光源v s w l 2 0 0 ，有效光面2 0 0 * 4 0 提供可控 控制器l e d 光源控制器v s d 1 2的主动光源 支撑固定 光源支架底座、立杆、t 型杆、转换连接块、光源固定架光源，调整光 源位置k 2 3 软件系统的开发 对于视觉平台来说，与其配套的软件系统是必不可少的。本系统所采用的 图像处理软件为德国m v t e cs o f t w a r eg m b h h 公司研发的h a l c o n 9 0 软件，基 于该软件不仅可以实现焊缝图像的实时采集、存储及处理等功能，同时可以完 成对双目立体系统进行标定。对提取的焊缝图像信息进行数据处理时应用功能 1 0 硕士学位论文 强大的m a t l a b 软件。在对焊缝成形参数与外观尺寸之间关系进行预测时，运 用m a t l c b 工具箱。 ( 1 ) h a l c o n 软件 h a l c o n9 0 可以实现对相机的控制和图像的采集。图2 6 为h a l c o n9 0 的 主界面，该软件提供了4 0 多种摄像机的驱动，可直接实现与摄像机的连接。 当相机通过u s b 接口连接后，运行该软件采集图像时，需要检测与相机相匹 配的驱动，完成后根据需要设定或调整相机的部分参数。该软件还支持多相机 模式，给每个相机分配不同的端口，根据其端口可以实现对应相机的调用。本 系统中应用的双目视觉，要求两台相机对某段焊缝同时进行采集并显示，该软 件中可通过调用每个摄像机端口使其进行采集，并显示到不同的图像窗口来实 现。 麓魁照贼擀嫩嬲蝗粤馔粤翳贼嬲魁孵蜮粤。哆鼬哆 日四臼盆臼蛩曰。菇暗目b 勺铲蛩昏翻。l l 豳髓d ”，雷一 f 识oq 围墙应留。 ”留：审哮。i _ = = )。隈凸；强要 匿毳 l! ；：i ：i ；：；：；! ；：8 = ，：。i f ，l 。e 。，e l ! , ：，x f 。i = + e 。：“ 1 1 7 - 2 一m a ( 肫一朝j p ? ：? 7 ：m a f 吐? c “二e d 蕤 p e + 8r n 二”e 1 z 一- j j ：+ ：r二+ i n 曩 p j 一d o ”【1 1 r 【i m a ；一i 1 - 。i ，：a ： t ：j ：v i ij = 一：1 = ；a ：十y7 ：l l a e p ! ：+ l f 二e 喜 “”掣煳急馨醯g 搿x翟碧嘿1 w 二：f r。， 一 j 。：- ：五：；m ；”：。，l z 一一 - 一j 。j+ 。，lk , i 【挫f 7 ：a 1 曲二) 3 = l 蛐rj + vv # f 觳 一 一 _ 。 l| 。誊：一j妻嚣赫 嘲- 一嚣囊| 一譬0 “i 鬻鍪誊。0 ；jj i ； j ”一j ：| 。爹_ j j j 。薏，j 妻羹 j 。，一i0 。一； 焊缝成形的双目视觉评判方法研究 童一幕曩【l ，代剐嚏膏酌 b 嗣：j 一- 一一4 - - “- 二- h 。 ( 矧：曼墅日然j 焖酬1 一一_ _ _ _ - ；# 口一竹母唑! 嗍璺胁! ! !。 一一 一j 机触； i 蟊 一黛 -+-_。-。-。-_-_-_-_-_h_-h-一 口峨。埔辨 缃佴i 兰! 兰 ；苎! 墓l - e 5 明! !剑 矗i i 聂蒜运：i 二二二二毫t 胡t 藿：= 二：? 二j ! ：? ：戳 亘四 夏口 曼耍 耍妇口圆回 量糸田正蕈 簿i 口嗍髓中量示蜘i ( a ) 摄像机连接界面 ( c ) 标定界面 凳笪l 熟，墼：；鲤竖墨塑一曼曼墅 。 o 一 目叠一i 声j 啭- i 鲥。i “馘r 掰1 * 馘引 厍甜甍秦蘸茧墓蠢i i ：3 要蚕蟊i 研黉羲r 赫瞄酉 l 撇露鳓曩。= = = ：三= ：= = ：= = = j 咖厨既要二= 要= 二= = | e l & g $ 矧 | 一一一= 二二二二= 二：。 柑i l 埘f 面“嘲婚攫 l “t o d ”u 曩匠= = = = = = 习 d i “一：【；一再| | _ ；_ 匿五二二