基于机器视觉的外螺纹表面缺陷检测技术研究.doc

基于机器视觉的外螺纹表面缺陷检测技术研究重庆大学硕士学位论文(学术学位) 学生姓名：葛恒赫指导教师：郭永彩教授专业：仪器科学与技术学科门类：工学重庆大学光电工程学院二 O一四年五月 The Research on the Detecting Technology of External Thread Surface Defect Based on the Machine Vision A Thesis Submitted to Chongqing Universityin Partial Fulfillment of the Requirement for theMasters Degree of EngineeringBy Ge Henghe Supervised by Prof. Guo YongcaiSpecialty: Instrumentation Science and TechnologyCollege of Optoelectronic Engineering of Chongqing University, Chongqing, China May 2014 重庆大学硕士学位论文中文摘要摘要外螺纹是机械和汽车工业中最为广泛使用的零部件之一，通常与内螺纹搭配使用，起连接、传动和紧固作用。外螺纹表面缺陷对于外螺纹总体性能的影响不可小觑。在工业生产中应高效地剔除表面有缺陷的螺纹，以把发生安全事故的可能性降到最低。然而目前国内外主流的外螺纹表面检测方式均不完全适用于外螺纹表面缺陷的检测。为了进一步确保外螺纹的品质，特别是在有高品质、高精度要求的船、车、航天产业中，开发一套适用于外螺纹表面质量的在线、非接触的检测系统对于保障生产过程中产品质量是刻不容缓的。机器视觉检测方式相对于传统检测方式而言具有检测速率快、非接触、精度高、抗干扰能力强等优势，在测量、定位、缺陷检测等工程领域广泛应用。本研究中结合机器视觉和图像处理技术，开发了一套外螺纹表面缺陷的非接触检测系统，包括图像采集机构和图像处理机构。为了实现本系统的功能，本文进行了以下几方面的研究：根据机器视觉测量系统硬件选型的一般规律完成硬件选型，针对螺纹零件结构特点，设计了由两个步进电机控制的运动执行机构，采用线阵 CCD相机实时采集外螺纹全周图像，并将它传送到缺陷处理机构中；在图像处理算法上，针对外螺纹表面图像特点，设计了适合外螺纹表面缺陷检测的图像处理算法，包括图像平滑、图像拼接、图像频域增强、图像分割和图像识别。对于采集的图像，首先滤除图像中的噪声，然后选用合适的拼接算法重构外螺纹的全周图像，接着通过基于离散余弦变换的图像增强方法剔除图像中的主纹理信息，用二次曲率法来实现图像增强时最佳阈值的确定，然后选用统计过程控制二值化法和形态学开运算进行图像分割，最后用最小矩形法统计二值化图像的缺陷信息，研究并设计缺陷判定方法；相机标定选用适合本研究系统的传统相机标定方法，根据需求用标定板获取相机采集图像时的像素当量，以便对缺陷定量分析；分析实验结果，对实验过程中可能存在的误差进行分析，并提出如何最大程度上减小误差的方法。本研究设计的外螺纹表面缺陷检测系统能实现外螺纹表面质量准确有效的检测。大量实验表明，本文的缺陷检测系统能有效分割各种规格的外螺纹顶部和底部的缺陷信息，有效实现了外螺纹表面缺陷的实时、非接触检测，具有重大的工程实用价值和社会效益。关键词：外螺纹表面缺陷检测，机器视觉，运动执行机构，图像识别，像素当量I 重庆大学硕士学位论文英文摘要ABSTRACT External threads are one of the most important tighten components, which arewidely used in machinery and auto industry. They usually work with the internalthreads, playing a role of connection, transmission and tightening. We must admit thatthe external thread surface detects affect the overall performance of the externalthreads. So we must efficiently exclude the screw threads that have defects to minimizethe possibility of security accident. However there is no mainstream detection methodwhich is fully applicable to detect the quality of screw threads both in china and abroad.To further ensure the quality of the screw thread, especially in such industries as cars,boats and aerospace, which require high precision and high quality, its urgentlyrequired to develop an online and non-contact system of screw threads to ensure thequality of products.Compared with the traditional detection technology, machine vision detectiontechnology possesses many advantages, such as high speed and precision, thecapability of non-contact and strong anti-interference, which enables its widespreaduse in measurement, location, defects detection of engineering domain. By combingthe technology of machine vision and image processing, this paper designs a qualityinspection system which includes image acquisition module and image processingmodule to ensure the quality of screw threads. In order to achieve the function of thissystem, the author conducts the following researches: According to the general law of hardware selection of the detection systemwhich is based on machine vision, we finish the hardware selection. For thecharacteristics of thread parts, the author designs a movement of the actuator to acquirethe image of screw threads which are controlled by two stepper motors. Linear CCDcamera is applied to capture the surface image of the screw thread in real-time andsend the data to the computer; As to the image processing technology, the author designs the imageprocessing method according to the characteristic of the screw threads, which includesimage smoothing, image mosaic, image enhancement, image segmentation and imageidentification. Firstly, we filter the image with proper method. Secondly, wereconstruct the screw thread image into a two-dimensional unwrapped image by usingproper image mosaic method. Thirdly, we enhance the image with the DCT to excludeII 重庆大学硕士学位论文英文摘要the threaded texture information, and optimal threshold is obtained through thesecondary curvature. Statistical process control and morphological operations are usedto realize the defect segmentation. At last, by applying the smallest rectangle method tosummarize the defect information, the author designs a method to judge the defect. In this paper, the author chooses the traditional camera calibration method tocalibrate the camera, using the checkerboard to calculate the pixel equivalent so thatwe can analyze the experiment quantitatively； Analyze the experiment result and the possible errors during the experiment,and propose a method about how to minimize the error.The defects detection system which is based on machine vision can detect thedefects information of the screw thread precisely. Quantities of experiments show thatthis system can effectively detect defects located both on the crest and root of thescrew thread and realize a real time and non-contact defect, which is of great practicalvalue and social benefits.Keywords: external thread surface defect detection, machine vision, movement of theactuator, image processing, pixel equivalentIII 重庆大学硕士学位论文目录目录中文摘要. I英文摘要.II1绪论. 11.1课题研究的目的与意义. 11.2工业常用的非接触检测方法. 11.3课题相关技术的国内外研究现状 . 21.3.1机器视觉检测技术. 21.3.2图像拼接技术. 31.4本论文结构安排. 41.4.1课题研究的主要内容. 41.4.2本论文结构安排. 41.5本章小结. 52外螺纹表面缺陷检测系统的硬件构成. 62.1工业相机的选择. 62.2光学镜头的选择. 82.3光学系统设计. 92.3.1照明方式介绍与选择.92.3.2光源的选型. 112.4运动执行机构的设计及工作原理 . 112.4.1运动执行机构的设计. 112.4.2运动执行机构的工作原理. 132.5图像采集设备. 152.6工业 PC机. 152.7系统软件部分. 152.8本章小结. 163外螺纹表面图像处理的实现 . 173.1图像平滑. 173.1.1图像噪声及分类. 173.1.2外螺纹图像的滤波方法. 183.2外螺纹表面图像拼接技术. 193.1.1特征提取. 19IV 重庆大学硕士学位论文目录3.2.2特征点匹配. 233.1.3图像融合. 243.2基于离散余弦变换的图像增强法 . 263.3缺陷提取. 303.3.1图像分割方法. 303.3.2外螺纹表面图像的分割方法. 343.4缺陷的识别. 363.5本章小结. 374相机标定. 384.1相机的标定原理. 384.1.1坐标系的建立 .384.1.2成像模型的建立 .394.2相机标定常用的方法. 404.3本文相机标定的方法. 404.3本章小结. 445实验结果与误差分析 . 455.1实验结果. 455.2实验检测结果分析. 485.3误差分析. 495.4本章小结. 516总结与展望 . 526.1本文总结. 526.2以后工作的展望. 52致谢. 54参考文献. 55V 重庆大学硕士学位论文1绪论1 绪论1.1课题研究的目的与意义外螺纹是机械、汽车工业中最为广泛使用的零部件之一，通常与内螺纹搭配使用，起连接、传动和紧固作用。随着现代工业生产中对螺纹质量要求不断提高，螺纹表面质量日渐成为一种评判其质量的重要指标。但在加工过程中经常由于外界及材料本身特性的影响，导致生产出来的螺纹存在螺纹顶部压伤、螺纹坡上划痕、螺纹底部凹陷等问题。如果在工业生产中使用表面有缺陷的螺纹，将导致内外螺纹无法紧密配合，存在严重的安全隐患，造成无法预计的后果。因此，开发一套非接触式外螺纹表面缺陷检测系统对于确保外螺纹的品质是相当重要的。对于螺纹表面质量的检测，传统检测方法如人工检测法、超声波探伤检测法1、漏磁检测法2、涡流检测法3等，很难在满足低成本的同时有良好的检测效果。近年来，计算机硬件的不断发展大大提高了它处理数据的速度和能力，同时模式识别、数字图像处理、人工智能等学科的进步也推动着工业生产朝着高效率、低成本的方向发展。机器视觉技术 4在自动检测和机器人导航领域大放异彩的同时为工业生产和工业检定提供了一种新思路、新方法。机器视觉技术在外螺纹表面缺陷检测系统的应用实现了外螺纹图像的实时采集和外部处理，经过对处理结果分析判定得到图像中的缺陷尺寸，从而实现缺陷检测。本课题主要研究外螺纹表面缺陷检测的自动化测量方法 ,主要围绕硬件选型、图像拼接、相机标定、缺陷判定方法进行了深入研究，综合运用图像处理技术对采集的外螺纹表面图像拼接、图像增强、缺陷特征提取及缺陷分析。研究发现该方法适用于外螺纹表面缺陷的检测，为判定外螺纹是否合格提供了有利、可靠的依据。基于机器视觉的外螺纹表面缺陷检测技术具有重大的工程实用价值和社会效益，在很大程度上提高生产效率，进而得到更高质量的产品。1.2工业常用的非接触检测方法近年来随着工业现代化的发展，新兴了许多非接触测量方法，它们在各自的测量领域发挥着独特的优势。下面我们对工业常用的非接触测量方法在外螺纹表面检测方面的适用性进行讨论：人工检测方法是一种工作人员用肉眼直接检测工件的方法。人工检测法没有统一的判断标准，不同个体检测结果可能不一样。且长时间工作容易造成检测人员视觉疲劳，检测效率会大大下降，人工检测结果的精确性和可靠性无法保障，因此人工检测法不适用于外螺纹表面质量的检测。1 重庆大学硕士学位论文1绪论漏磁检测法是一种根据被探测工件的磁场变化来断定缺陷的位置的方法。此方法仅能粗略判断缺陷是否存在及判断缺陷分布的大体情况。只对金属工件有效，对形状较为复杂的被测工件是无效的，因此该方法不适用于外螺纹工件的检测。磁粉检测法适合于检测尺寸小的缺陷，能够很好的把缺陷显示出来，但由于缺陷的尺寸不易观察，所以很难实现定量测量。此外检测结果还需要人工判断，和人工目测法一样，会引入人为误差5。超声波检测法检测缺陷是基于同一类型工件对超声波的反射基本相同。同种型号的工件在荧光屏上显现的波形是相似的，如果被测工件存在裂纹，在成像板上出现的波形就会变化，根据这个特性可以看出被检测工件中是否存在裂纹。但此方法在检测时需要在被测物表面添加耦合剂，实现外螺纹的非接触测量犹如天方夜谭。涡流检测法是通过涡流电磁感应比对电场的几何形状来侦测被测工件的缺陷。因此，涡流检测法仅仅适用于导电材料的检测，这在很大程度上限制了涡流检测法的应用。工业用电脑横向断层摄影法6是通过电脑断层扫描技术，取得螺纹不同角度的断层扫描图，以测量螺纹的特征。此方法可以很好地检测缺陷的存在及大小，但设备费用高昂，对于一般的工业产品来讲，用工业电脑断层检测法不实用。以上测量方法由于工作条件、处理效果或价格的限制，不完全适合于工业螺纹检测。机器视觉检测法的成本相对较低，它在不接触工件的情况下采集被测工件图像，通过图像处理的方式有效检测出缺陷，不仅可适用于所有材料的工件，而且对于工作环境的适应性也非常高。鉴于机器视觉检测方法相对于传统检测方法在工业测量中凸显的种种优势，本文设计了一种基于机器视觉的外螺纹表面缺陷检测方法。1.3课题相关技术的国内外研究现状1.3.1机器视觉检测技术基于机器视觉技术的表面缺陷检测系统是以图像采集机构和图像处理机构为依托，综合运用图像处理技术对获取的图像进行智能化处理，提取待检测工件图像中的缺陷信息。机器视觉技术自从诞生就一直倍受关注，应用机器视觉技术的研究领域7有电子制造业、机械加工、生物医学、机器人导航、纺织加工、农业等。基于机器视觉技术的表面缺陷检测技术在国外起步较早，并在一些领域取得了突出成就。在电子工业中，Lu等8提出一种基于独立成分分析方法的薄膜晶体管液晶显示器表面缺陷检测方法。Chang等9设计了一种基于神经网络技术的半2 重庆大学硕士学位论文1绪论导体晶片的缺陷自动检测。T.F等10提出一种基于灰度水平差方法实现 PCB元件缺陷定位和识别，在处理时通过将待检 PCB板图像与合格产品的图像相减从而判定产品质量是否合格。在机械加工业中，Ellis等11提出了一种利用图像处理技术实现冷轧钢条表面缺陷自动检测的方法。Piironen等12设计了一种运用数学形态学分割铜合金板表面缺陷图像的方法，从而得到了更加清晰的缺陷图像。Tang等13创新性地提出了通过钢带表面纹理特征对其表面缺陷进行判定的方法，此方法为机器视觉的发展注入了新的能量。机器视觉的缺陷检测技术在国内起步相对较晚，王斌等14于 1996年提出了一种利用机器视觉技术实现带钢表面重皮缺陷识别的算法。应义斌等 15于 1999年将机器视觉技术应用于出口水果质量的检测，通过图像处理算法检测出黄花梨的尺寸以及黄花梨的表面缺陷。机器视觉技术在工业检测中的广泛应用掀起了一场利用视觉技术实现螺纹质量检测的热潮。梁学军16于 1998年提出了一种利用机器视觉检测技术实现轿车螺纹紧固件自动检测的方法。余愚等17于 2000年提出了一种利用线阵 CCD装置实现外螺纹尺寸自动测量的方法。万海涛18于 2005年提出了一种基于机器视觉的螺纹表面缺陷检测的技术及具体的实施方案。刘峰19于 2006年介绍了一种基于机器视觉技术的螺纹检测方法。彭德宝等20于 2010年介绍了一种基于机器视觉的内螺纹表面缺陷自动检测技术，在检测时先重构出螺纹的二维展开图，用傅里叶变换技术增强图像，然后分割图像，从而得到缺陷信息。周金山等21于 2010年介绍了一种利用机器视觉技术实现螺纹缺陷自动检测的方法，在图像处理时先提取螺纹的边缘轮廓，然后通过将灰度跳变值的个数与标准进行比较并计算其差值，从而可以判断缺陷信息。应用机器视觉技术检测螺纹缺陷已经取得显著成效，但以往的研究仅停留在螺纹尺寸等一些几何参数的测量，很少有人对外螺纹表面质量如螺纹底部是否有划痕、顶部是否有压伤有所关注。基于机器视觉方法实现外螺纹表面缺陷检测的研究仅仅在起步阶段，还没有真正的投入到工业生产中使用。1.3.2图像拼接技术摄像机在获取图像时由于镜头视野范围的限制，有时不能一次性获得外螺纹全景图像，要获得全景图像必须对图像进行拼接。拼接技术的研究起步比较早，Richard Szeliski22于 1996年提出了一种较为新颖的运动全景图像拼接模型，该方法利用 Levenberg-Marquardt(LM算法)迭代非线性最小化模型求解出图像间的变换关系，从而实现进行图像配准，此方法拼接效果较好。Shmuel Peleg等23在进一步研究和改进 Richard Szeliski算法的基础上，2000年提出了一种可以根据相机运动自适应选择拼接模型的方法。Matthew Brown24于 2003年提出了一种基于SIFT25特征提取算法的图像拼接技术，该算法取得了较好效果且整个过程自动完3 重庆大学硕士学位论文1绪论成。在国内，近年来图像拼接技术也得到了很大程度的发展，刘金根等26于 2002年提出了一种利用区域特征的图像分割来实现图像拼接的方法。方贤勇等 27于2003年提出了一种基于动态规划方法的图像拼接技术，该方法通过在待拼接图像中找出一条最佳的缝合线，进而用多分辨率图像融合技术实现图像拼接。侯舒维等28在 2005年提出了一种利用尺度不变特征的图像拼接来解决现在灰度级相似的图像拼接方法缺点，并取得了良好的效果。李云霞等29在 2009年提出了一种在 SIFT尺度不变特征图像匹配的基础上实现多分辨率样条的图像拼接算法。1.4本论文结构安排本论文研究内容以机器视觉技术为基础，采用图像处理的方式实现外螺纹表面图像处理，设计了一套外螺纹表面缺陷的判定方案，实现对外螺纹表面缺陷的实时、非接触测量，系统能够自动完成图像获取、图像处理和缺陷判定。螺纹表面缺陷的检测精度对待处理图像质量以及图像处理算法提出了严格要求。缺陷和背景对比度高的图像有利于图像的处理，但不同颜色螺纹的表面反光程度不一样导致获取的图像中缺陷和背景的对比度也不一样，从而增加了图像处理的难度。为了获取高质量的图像以便于后续处理，本课题研究中对如何选择合适的相机、镜头、光源以及搭建合适的采集平台展开了深入研究。另外本文中根据获取的外螺纹表面图像的特点，设计了合适的图像处理算法实现自动图像拼接、缺陷定位、缺陷判定，从而实现本系统预定的功能。1.4.1课题研究的主要内容基于机器视觉技术的外螺纹表面缺陷检测系统课题设计的主要工作内容：外螺纹表面检测系统的总体可行性方案分析；图像采集系统硬件选型及运动执行机构的搭建；图像处理算法的设计与实现；相机的标定及实验结果分析；误差分析及需要注意的问题。1.4.2本论文结构安排本论文主要包括基于机器视觉技术的外螺纹表面缺陷检测系统的搭建与实现，论文结构安排如下：第一章：绪论，介绍课题研究的背景与意义，工业中常用的非接触缺陷检测方法，课题相关技术的国内外研究现状，主要研究内容及工作安排等。第二章：外螺纹表面缺陷检测系统的硬件设计，介绍检测系统的硬件组成及原理，相机、光学镜头选型，光源的选型及照明方式的设计，运动执行机构的设4 重庆大学硕士学位论文1绪论计，图像采集及工业 PC机，系统软件介绍等。第三章：外螺纹表面图像处理的实现，介绍了包括图像表面预处理、基于离散余弦变换的图像增强法、图像高功率阈值的确定、图像分割、缺陷的识别等一系列图像处理算法。第四章：相机的标定，相机的标定原理，常用的相机标定方法以及本文选用的相机标定方法。第五章：实验结果与结论分析，介绍实验结果，误差分析及减小误差需要注意的问题。第六章：总结与展望，介绍本文工作总结以及本文以后工作的展望。1.5本章小结本章主要介绍了课题的研究与意义，外螺纹表面缺陷对于外螺纹总体性能的影响不可小觑，因此对外螺纹表面质量的检测意义重大。本文提出了一种新的基于机器视觉技术为核心的外螺纹表面缺陷检测方法，概述了相关研究技术的国内外研究现状、本文工作内容以及论文的总体结构安排。5 重庆大学硕士学位论文2外螺纹表面缺陷检测系统的硬件构成2 外螺纹表面缺陷检测系统的硬件构成外螺纹表面缺陷检测系统的硬件构成主要由：相机、镜头、光源、运动执行机构、图像采集设备构成的图像采集系统和 PC机构成的图像处理、缺陷识别系统。外螺纹表面缺陷检测系统总体框架如图 2.1所示。显示器稳压电源图像采集卡PC机打印机线阵CCD相机运动控制器驱动器光源稳压电源待测外螺纹驱动平台运动旋转步进电机图 2.1系统总体结构图Fig. 2.1 Total structure of the system在检测外螺纹表面缺陷时要求一次可以对整个螺纹的二维展开图处理。针对外螺纹表面结构特点本研究选用 MVC-1024DLM-GE35线阵 CCD相机和 TC16M-056远心镜头组成图像采集设备。图像采集由相机和运动执行机构共同完成，随着运动执行机构不断完成外螺纹径向转动和轴向水平移动，摄像机不断将采集到的外螺纹图像传送到 PC机的指定内存等待处理。系统软件对实时采集到的外螺纹表面图像进行图像去噪、拼接、增强、分割、识别等一系列处理，实现对外螺纹表面质量的实时、非接触检测。机器视觉测量系统中，选择合适的硬件设备会减小系统处理的难度。本文根据机器视觉检测系统硬件选型的一般规律，完成系统硬件设备选型。实验表明使用本文选择的硬件进行测试，能取得较好的效果。2.1工业相机的选择30-32相机在机器视觉系统中的重要性是不可替代的，要想实现检测系统功能没有一个良好的成像器件完全是天方夜谭。 CMOS(Complementary Metal-OxideSemiconductor)和 CCD(Charge Coupled Device)是目前机器视觉中最为广泛使用的6 重庆大学硕士学位论文2外螺纹表面缺陷检测系统的硬件构成两种成像器件，它们的