基于视觉技术的汽车制造智能装备文献综述.pdf

1 0 1 6 6 3 8 j cn k i1 6 7 1 7 9 8 8 2 0 1 7 0 3 0 0 9 基于视觉技术的汽车制造智能装备文献综述 刘科1 ，伍力2 ( 1 瑞松北斗汽车装备有限公司，广东广州I5 1 0 7 6 0 ；2 东南大学机械工程学院，江苏南京2 1 1 1 8 9 ) 摘要：机器视觉是近2 0 年耨兴起来的一项工程技术，涉及到成像技术、图像处理、传感器技术、硬件技术与接口 技术等。随着视觉技术的逐步完善和发展，其在工程上得到了越来越广泛的运用。文章就视觉技术的组成、机器视 觉在智能装备上的运用以及机器视觉在焊接线上的运用展开了综述，在总结文献的基础上对汽车生产焊接线上使用 机器视觉技术进行了展望。 关键词：机器视觉；智能装备；焊接线 中图分类号：U 4 6 1文献标识码：A 文章编号：16 7 1 7 9 8 8 ( 2 0 17 ) 0 3 - 2 1 0 4 L it e r a t u r eR e v ie wo f t h eV is u a lT e ch n o l o g yU s e dinA u t o m o t iv eI n t e l l ig e n tE q u ip m e n t L iu K e l ，W u L i2 ( 1 G u a n g z h o uR I S O N GH O K U T O A u t o m o t iv eE q u ip m e n tC o ，L T D ，G u a n g d o n gG u a n g z h o u51 0 7 6 0 ； 2 S ch o o lo f M e ch a n ica lE n g in e e r in g ，J ia n g s uN a n j in g211 18 9 ) A b s t r a ct ：M a ch in ev is io nisae n g in e e r in gt e ch n o l o g yd e v e l o p in gq u ick l yinn e a r l y2 0y e a r s ，in v o l v e st h eim a g in g t e ch n o l o g y , im a g ep r o ce s s in g ，s e n s o rt e ch n o l o g y , h a r d w a r ea n din t e r f a cet e ch n o l o g y , e t cW it hg r a d u a l l yp e r f e cta n d d e v e l o p m e n to f v is u a lt e ch n o l o g y , itg o tm o r ea n dm o r ew id e l yu s e dine n g in e e r in g I nt h isp a p e r , t h eco m p o s it io no f v is u a l t e ch n o l o g y , t h eu s eo fm a ch in ev is io nint h ein t e l l ig e n te q u ip m e n ta n dm a ch in ev is io nint h eu s eo ft h ew e l d in gl in ea r e in t r o d u ce d ，a n do nt h eb a s iso f s u m m a r iz in gt h el it e r a t u r e ，m a ch in ev is io nt e ch n o l o g yu s e dinw e l d in gl in eo f e a rp r o d u ct io n isp r o s p e ct e d K e y w o r d s ：M a ch in ev is io n ；I n t e l l ig e n te q u ip m e n t ；T h ew e l d in gl in e C L CN O ：U 4 6 1D o cu m e n tC o d e ：AA r t icl eI D ：1 6 7 1 7 9 8 8 佗0 1 7 ) 0 3 - 2 1 - 0 4 1 、视觉技术 机器视觉是指利用利用计算机等设备代替人眼视觉的技 作者简介：刘科，男，( 1 9 8 4 4 一) ，2 0 0 7 年7 月毕业于广东机电职业 技术学院，汽车制造预装配专业，现任广州瑞松北斗汽车装备有限 公司制造郝部长。从事高端装备制造领域研发与制造9 年，2 0 0 7 年 一2 0 0 9 年期间主要负责质量部工作；2 0 1 0 年一2 0 1 4 年主要负责项目， 曾担任过广汽三菱总拼自动生产线项目经理，以及广汽丰田、广汽 本田等多个项目的负责人；2 0 1 4 2 0 1 6 其间全面负责整个制造以及 质量的工作。期闯有多项发明专利获得授权。通信作者：伍力，男， ( 1 9 9 2 2 一) ，硕士研究生，现就读于东南大学机械工程学院。 术。机器视觉系统通过摄像机获取图像，将图像输入计算机， 经系统对图像的处理和分析，得到相关的信息，对所拍摄的 对象所处的状态进行判断。在对图像进行处理的之前，图像 会先经过预处理，通过A D 转换后输入处理软件，处理软件 会根据输入的数据提取出图像的像素分布、颜色、亮度等信 息，并据此提取图像特征，做出判断，输出给后续的控制、 执行机构【。 完整的机器视觉系统包括光源系统，图像采集，数字图 像处理模块，智能判断决策和机械执行模块 2 】。每一个部分 对视觉系统的效果都有着至关重要的影响。光源的选择需要 考虑拍摄对象的材质、反射系数、折射系数、所处环境等等 2 0 1 7 年第3 期 刘科等：基于视觉技术的汽车制造智能装备文献综述 2 2 条件。在选取光源时，需要考虑光源的亮度、颜色以及照明少硬件支持，处理速度慢，效率低，随着嵌入式系统的发展， 方式。按照照明方式的不同，又可以分为前向照明、背向照 明、结构光和频闪光照吲3 】等。前向照明是将光源和摄像机 安装在一侧，这种照明方式的优点是安装方便；背向照明光 源和摄像机安装在拍摄对象的两侧，这种照明方式的优点是 获得的图像对比度高；结构光照明利用光栅或者点光源投影 到拍摄对象上，使其产生畸变，再解调出对象的三维信息； 频闪光照明主要运用于拍摄高速运动的物体，利用高频率的 光脉冲，使得拍摄频率和光源的频率一致，则可以实现高速 摄影。 图像采集部分主要由光学镜头和相机两部分组成。光学 镜头或多或少地会存在成像畸变的问题，不同质量的光学镜 头的差别就在于畸变的大小，太大的畸变会对图像的识别带 来较大的困难。图像采集部分的有效视场是指镜头成像畸变 较小的部分。光学镜头有定焦和变焦之分，定焦镜头只有在 焦距处才能清晰成像，而变焦镜头在焦距附近一定范围内均 能清晰成像。但是同档次的变焦镜头成像效果不如定焦镜头 【4 1 ，因此选取何种光学镜头要视具体情况而定。相机是一种 光电转换设备，其将输入的光信号转换成电信号输出，一般 由光电转换器件、外围电路、V O 接口组成。这其中光电转 换器件是核心。上世纪9 0 年代新兴一种新的光电传感器， C M O S ( C o m p l e m e n t a r yM e t a lO x id eS e m ico n d u ct o r 互补金属 氧化物半导体) ，使用这种光电传感器的相机为C M O S 相机。 C M O S 传感器起步较早，但是由于当时的工艺水平的限制， C M O S 传感器有着成像质量差、分辨率低、噪声高和光照灵 敏度低的缺点I5 1 ，这大大限制了C M O S 传感器的发展。近年 来C M O S 传感器的缺点己逐步有了解决的方案，但是还处于 研发阶段。此外，C C D 图像传感器由于其成像质量高、分辨 率高、噪声低和光照灵敏度高的优点，得到了广泛的运用。 C C D 相机按照C C D 器件的不同可分为线阵C C D 相机和面阵 C C D 相机。线阵C C D 相机一次只能获得图像的一行信息， 面阵C C D 相机一次可以处理整幅图像的信剧4 1 。C C D 相机 目前使用较广，技术也比较成熟。 图像数字处理部分是视觉系统的核心。功能类似于人的 大脑。图像处理的目的是对图像进行降噪、增强、复原、分 割和特征提取操作，以提高图像的视感质量，提取图像中所 包含的信息，对图像进行变换、压缩、编码，使得图像便于 存储、传输【6 1 。评价图像处理水平的一个重要指标是处理速 度。随着机器视觉技术的发展，对机器视觉系统的实时性要 求越来越高。图像采集、图像处理以及I O 接口的传输都会 影响系统的实时性。实时性有两种级别，分别是硬实时和软 实时。硬实时在数量级上要求是微秒级甚至更短；软实时则 相对宽松很多，要求为1 0 毫秒甚至百毫秒级别【_ 7 1 。当前数据 处理水平还无法达到硬实时的级别。在数字图像处理发展前 期，多基于P C 系统进行图像处理，依赖于软件和算法，缺 逐渐发展起来专门用于处理图像的嵌入式系纠8 1 ，大大提高 了图像处理的速度。 2 、视觉技术在智能装备上的运用 机器视觉与观测对象之间没有接触，不会对被观测对象 造成损伤。在一些危险的条件下，机器视觉系统可以替代人 工进行观测，大大降低了工作人员的工作风险。视觉系统可 以持续不问断地进行观测，不会因为疲劳而产生观测精度的 下降。正是由于这些优点，机器视觉技术能够有很好的应用 前景【9 】。虽然机器视觉技术与上世纪8 0 年代才开始发展，现 在很多领域都有着广泛的运用。 国外的机器视觉技术发展较快【9 】，应用范围也比较广。 国外早期使用机器视觉技术的行业主要是半导体行业以及电 子行业，主要用于检测P C B 印刷电路、S M T 表面贴装以及 电子生产加工等等【1 1 。随着视觉技术的发展，在机械工业生 产中也逐渐得到了广泛的运用。机器视觉可以运用于定位。 文献【1 0 】介绍了利用机器视觉实现工件的定位安装的方法，该 方法将机器视觉技术与坐标测量结合起来，确定工件的位置； 文献【】利用3 D 视觉系统，在三维空间中再现了观测对象的 位置，实现了观测对象的定位。视觉技术还广泛运用于检测 方面。文献 地J 介绍了在数控铣床加工过程中，引入机器视觉 技术对工件的水平和垂直两个方向进行测量以获取加工数 据，对加工过程进行监控和检测；文献【1 3 】介绍了一种运用视 觉技术，对图像进行灰度处理、去噪处理后，与预设好的模 板进行比对，最终实现S D M 设备喷嘴零件的检测；文献【1 4 】 将视觉技术和神经网络相结合，使用激光测距仪获得图像， 对灰度图像信号进行2 维傅里叶变换，获得塑造和磨削加工 得到的零件表面粗糙度信息，经神经网络训练后，对所有零 件的表面粗糙度信息进行评估，从而实现零件的1 0 0 在线 检查。机器视觉由于其观测的非接触性，使得在很多需要利 用状态监测进行过程控制的情况下有着广泛的运用。文献【1 5 】 介绍了在装配过程中运用视觉技术。通过分析装配过程，自 动识别哪些信息是需要提取分析的，再利用激光测距仪进行 装配过程监测。文献【16 】介绍了机器视觉系统在冶金工业中运 用。在冶金工业金属焊接过程中，通过对表面温度的测量， 建立温度场图像，视觉系统通过处理图像对整个过程进行在 线控制。 我国的机器视觉技术起步较晚，发展也较为缓慢。目前 视觉技术在国内多应用在农产品质量的检测与评级、食品药 品的检测上，主要功能是代替人工进行挑拣，提高生产效率， 节约生产成本。在工业上的应用主要是产品质量检测与分拣 f l7 - 1 9 1 。 文献 2 0 】介绍了在包装行业中视觉技术的使用情况。以药 汽车实用技术2 0 1 7 年第3 期 品包装生产线为例，在未引入视觉技术之前，使用的多是光 电传感器和人工抽检相结合的方式对产品进行检测，检测项 目主要是药品碎片、残片、标签破损、标签污染等项目，检 查速度慢，且不能实现全部产品的检测。引入机器视觉技术 之后，全部的检测均可以在生产线上完成。视觉系统线阵 C C D 配合药品包装的一维运动，可以实现对药品信息、编号 信息的识别。在包装过程中，可以及时识别出药品残片、碎 片以及包装的漏装等等，及时剔除不合格的包装产品，提高 生产效率，生产质量，降低人员工作负担。 文献【2 1 】介绍了工程机械中机器视觉技术的应用。文中介 绍了运输车在搅拌站装在混凝土时，由于运输车的停靠具有 一定的随机性，因此需要增加引导运输车与搅拌站下料口对 接的工序。引入视觉技术之后，机器视觉系统识别运输车的 位置，引导运输车驾驶，节省了对接时间，提高了工作效率。 同时，视觉系统可以识别料仓中料位位置，实现料位检测。 文献【2 习和文献【2 3 1 介绍了视觉技术在螺纹检测中的运用。 传统的螺纹检测方法是利用成像系统，将螺纹放大，然后由 人工进行测量检验。虽然传统检验方法中也利用了成像系统， 但是缺少后续的图像处理和判断模块，因此不能称之为视觉 系统。文献中分别提出非均匀照明的十字窗图像边缘检测算 法和图像降噪算法对图像进行预处理，之后对处理后的图像 边缘进行最小二乘拟合，完成边缘提取，在此基础上计算中 径、螺距、牙型角等螺纹参数。 3 、机器视觉在焊接生产中的应用 焊接产品由于工作环境的不确定以及加工过程的不可控 的影响，产品质量难以得到严格的保证，因此，焊接件的质 量检测十分重要。国内外对于焊接质量的检测和焊接在线检 测开展了一系列的研究，目前有很多焊接件质量检测的方法。 文献【2 4 】中对激光焊接情况下的焊接质量检测方式进行了介 绍。常见的检测方式有可听声信号A S ( A u d ib l eS o u n d ) 检 测方法，声发射A E ( A co u s t icE m is s io n ) 检测方法，紫外辐射 U V ( U l t r a v io l e t ) 和可见光( V is ib l e ) 检测方法，红外辐射 I R ( I n f r a r e dR a d ia t io n ) 检测法，电信号P C S ( P l a s m aC h a r g e S e n s o r ) 检测法等等。但是上述方法均有不可避免的缺点。如： 可听声信号检测方法是一种非接触式检测方法，但是其受环 境噪声影响较大；声发射信号检测方法需要将超声波信号发 生器靠近被检测件，且其检测结果正确率依赖缺陷分类方法。 在焊接过程中使用视觉技术，就是要用机器视觉系统代 替人眼观察焊接过程。在实际焊接过程中，焊工需要根据实 际焊口的情况对焊接过程进行一定的调整，如调节焊枪高度 等等。文献【2 5 】介绍了一种基于视觉系统，弧焊机器人自适应 焊缝位置的定位技术。该技术利用结构光三点定位技术，在 批量生产过程中，机器人可以根据不同位置的工件自动调整 机器人姿态。 文献犯6 】介绍了利用视觉技术，实现焊炬对焊缝轨迹的跟 踪。视觉系统的输出控制轮式移动焊接机器人在球罐表面移 动的轨迹，系统能保证焊炬与焊缝的跟踪精度在士o 5 m m ，满 足一般焊接工艺要求。 机器视觉在焊件质量检测领域同样有着广泛的运用前 景。目前在焊接生产线的后一工序之前，需要有人工对每一 个焊件进行检测，剔除焊接不合格的产品。完全依赖人工检 测，主观性很大，难以保证长时间工作情况下检验的正确率。 文献【2 7 】提出一种基于视觉技术的焊接件检测系统。系统采集 焊件的图像信息，对图像进行恢复、降噪等预处理之后，将 图像信息进行分离，将焊缝、背景、工件等区域区分开，在 对图像进行判断，决定是否有焊接缺陷，最后在大量数据的 情况下建立专家系统，对后续的缺陷进行自动分类。 4 、结论 综观机器视觉技术发展及其在各个领域的应用，机器视 觉技术虽然兴起较晚，但是发展迅速，在机器定位、表面质 量检测、智能识别等方面都开始有着一定的运用。目前视觉 技术在国外使用较多，在工业上的运用探索也比较多，目前 在P C B 印刷板、食品药品包装检测、印刷品质量检测等领域 运用较多，也较为成熟。机器视觉在国内的使用多在农林业、 包装业以及一些较为低端的制造业，特别使用较多的是农业 产品质量检测、食品药品包装检测以及分拣，在制造业中也 是在造纸业、印刷业等领域中，使用最多的也是对产品质量 的检测。 在高端制造业中，目前国内国外几乎都处于研究探索阶 段，在生产中，机器视觉技术的运用也多是完成一些简单的 工作，如计数、状态异常报警等等。在焊接自动生产线中， 视觉技术多用来识别焊缝，完成焊枪自动定位以及焊接质量 检测等等，但目前仍处于研究阶段，投入生产一线的较少。 参考文献 1 】郭亚峰基于机器视觉的产品表面缺陷在线检测系统的设 计【D 】 苏州：苏卅I 大学，2 0 1 4 2 】赵五一，赵强松，王东云机器视觉的现状及发展趋势【J 】中原工学 院学报，2 0 0 8 ，1 9 ( 1 ) ：9 - 1 0 3 】刘焕军，王耀南机器视觉中的图像采集技术【J 】电脑与信息技 术2 0 0 3 ( 1 ) ：1 8 2 1 【4 】唐向阳，张勇，李江有等机器视觉技术的关键技术现状及应用展 望【J 】，昆明理工大学学报( 理工版) ，2 0 0 4 ，2 4 ( 2 ) ：3 6 3 7 5 】王旭东，叶玉堂C M O S 与C C D 图像传感器的比较研究和发展趋 势叨，2 0 1 0 ，1 8 ( 1 1 ) ：1 7 8 - 1 8 1 6 齐霁应用于工业自动化的机器视觉系统中的E D A 及数字图像 2 0 1 7 年第3 期 刘科等：基于视觉技术的汽车制造智能装备文献综述 处理技术的研究【D 】吉林：吉林大学，2 0 1 2 【7 】张磊，罗翔，史金飞机器视觉实时问题的对策与研究方法综述 J 】 制造业自动化，2 0 0 6 ，2 8 ( 0 6 ) ：2 8 3 2 【8 】白颖杰基于机器视觉的图像处理与特征识别方法的研究 D 】重 庆：重庆大学，2 0 1 0 【9 】范祥，卢道华，王佳机器视觉在工业领域中的研究应用阴现代制 造工程，2 0 0 7 ，6 ：1 2 9 1 3 1 1 0 】S u b r a m a n ia nR a j e s h ，D eJ a m e sS tG e r m a inH ，D r a k eS a m u e l I n t e g r a t in gav is io ns y s t e maco o r d in a t em e a s u r in gm a ch in et o a m o m a t et h ed a t u ma l ig n m e n tp r o ce s s J A m e r ica nS o cie t yo f M e ch a n ica lE n g in e e r s ，2 0 0 5 ，1 1 ( 6 ) ：6 5 5 6 6 1 【1 1 】C H a r r is G e o m e t r yf r o mv is u a lm o t io n ，I nA B 1 a k ea n dA Y u il e ， e d it o r s ，A ct iv eV is io n ，M I Tp r e s s ，19 9 2 ：2 6 4 2 8 4 1 2 】E I a d a w iAE ，O a d e im a w l aES ，E l e w aIM ，A b d e l S h a f yAA A n a p p l ica t io no fco m p u t e rv is io nf o rp r o g r a m m in gco m p u t e r n u m e r ica lco n t r o Im a ch in e s J P r o ce e d in g so f t h eI n s t it u t io no f M e ch a n ica lE n g in e e r s - - P a r tB E n g in e e r in gM a n u f a ct u r e ，2 0 0 3 ， 2 1 7 ( 9 ) ：1 3 1 5 1 3 2 4 【1 3 】W o n h oL e e ，C h u n k e eJ e o n ，C h ij u n gH w a n g I m p l e m e n t a t io no f t h e m a ch in ev is io n s y s t e m o f in s p e ct in gn o z z l e C A r t if icia l I n t e l l ig e n ceA s s o cia t io n T h ir dI n t e r n a t io n a lC o n f e r e n ceo n C o n v e r g e n cea n dH y b r idI n f o r m a t io nT e ch n o l o g y N e wY o r k ： I E E EC o m p u t e rS o cie t y , 2 0 0 8 ：1 1 1 - 1 1 6 【1 4 T s a iD u - M in g ，C h e nJ e n g - J o n g ，C h e nJ e n g - F u n g V is io ns y s t e mf o r s u r f a cer o u g h n e s sa s s e s s m e n tu s in gn e u r a ln e t w o r k s J I n t e r n a t io n a lJ o u r n a lo fA d v a n ce dM a n u f a ct u r in gT e ch n o l o g y , 1 9 9 8 ，1 4 ( 6 ) ：4 1 2 4 2 2 15 】M iu r aJ ，I k e u ch i K T a s k - o r ie n t e dg e n e r a t io no fv is u a ls e n s in