（机械电子工程专业论文）基于机器视觉的精密注塑零件的识别与检测.pdf

基于机器视觉的精密注塑零件的识别与检测 摘要 基于机器视觉的目标识别与检测的是近年来的研究热点之一，在 工业生产中应用机器视觉进行识别和检测，不仅可以提高生产的速度 和效率，更可以降低成本，提高工业生产的自动化程度。本文以机器 视觉技术为基础，以提高工业机器人的柔性化程度为目的，针对精密 注塑零件和工业机器人的特点，进行了基于机器视觉的精密注塑零件 的识别与检测方面的研究，本文主要研究内容如下： 针对视觉系统的功能和要求，进行了系统方案的构建和总体设 计。并以此为出发点，完成识别与检测系统的方案设计，包括系统总 体结构设计、硬件的配置及选型、软件平台的选择与搭建等。为了方 便后续工作的进行，根据被采集图像的具体特点，研究了图像的区域 分割、图像去噪、边缘检测、图像形态学等常见的图像处理方法，这 些都是后续进行图像分析与处理的基础。根据系统的特点，重点研究 了视觉系统的标定方法和实验求取过程，借助h a l c o n 软件完成了 基于2 d 靶标的摄像机内外参数的标定和机器人眼手系统标定，实践 证明，该标定过程简单易行，且具有较高的精度。在视觉识别方面， 分析了圆形度、面积等常用的图像特征提取及其实现方法，根据识别 对象的特点，分别研究和实现了基于图像特征和基于神经网络的目标 识别方法，同时进行了以坐标系变换为基础的工件位置的提取研究， i 北京化工大学硕上研究生学位论文 并完成了抓取实验。在视觉检测方面，以小模数塑料齿轮为例，通过 测量齿距、齿顶圆直径等参数，能够检测出缺齿、飞边、翘曲等缺陷， 达到了预期的检测目的。 本文综合以上研究，以v i s u a lc + + 2 0 0 8 为开发环境及h a l c o n 图像处理软件为支撑，对视觉识别与检测系统进行了模块化设计，实 现了一个具有完整视觉识别与检测功能的系统，为提高精密注塑生产 线的效率和自动化程度，打下了良好的基础。 关键词：机器视觉，系统标定，识别分类，工件检测 a b s t r a c t t h er e c o g n i t i o na n dd e t e c t i o n o f p r e c i s l 0 ni n j e c t i o np a r t s b a s e do nm a c h i n ev i s l 0 n a b s t r a c t t h er e s e a r c ho ft a r g e tr e c o g n i t i o na n dd e t e c t i o nb a s e do nm a c h i n e v i s i o ni st h eh o t s p o ts t u d yi nr e c e n ty e a r s ，a n dm a c h i n ev i s i o ni sa p p l i e d t oi n d u s t r i a l i z e dr e c o g n i t i o na n dd e t e c t i o n ，w h i c hc a nn o to n l yi m p r o v e p r o d u c t i o ns p e e da n de f f i c i e n c y ，b u ta l s or e d u c ec o s t sa n dp r o m o t et h e d e g r e eo fa u t o m a t i o ni n i n d u s t r i a lp r o d u c t i o n o nt h eb a s i so ft h e f o u n d a t i o no fm a c h i n ev i s i o n t e c h n o l o g y ，t h ei m p r o v e m e n ti n t h e f l e x i b i l i t yo ft h ei n d u s t r i a lr o b o ti sr e g a r d e da si t sa i m ，a n da c c o r d i n gt o t h ec h a r a c t e r i s t i c so fi n je c t i o np a r t sa n di n d u s t r i a lr o b o t ，s t u d i e dt h e s y s t e mo fp r e c i s i o ni n je c t i o np a r t so ft h er e c o g n i t i o na n dd e t e c t i o ni s d o n e t h em a i nr e s e a r c hc o n t e n t sa r ea sf o l l o w s ： a c c o r d i n gt ot h ef u n c t i o na n dt h er e q u i r e m e n t so ft h es y s t e m ，t h e o v e r a l ls c h e m ei ss e l e c t e da n dt h es y s t e mi sd e s i g n e d a n df r o mt h a t s t a r t i n gp o i n t ，t h ed e s i g no fi d e n t i f i c a t i o na n dd e t e c t i o ns y s t e m ，i nw h i c h t h es y s t e ms t r u c t u r e d e s i g n ，h a r d w a r ec o n f i g u r a t i o n a n ds e l e c t i o n ， r e l e v a n ts o f t w a r es e l e c t i o na r ei n c l u d e d i no r d e rt of a c i l i t a t et h e f o l l o w - u pw o r k , t h ei m a g ep r o c e s s i n g m e t h o ds u c ha s i m a g e 北京化t 大学硕i ：研究生学位论文 s e g m e n t a t i o n ，i m a g ed e - n o i s i n g ，e d g ed e t e c t i o n ，a n d t h e i m a g e m o r p h o l o g i c a lw a ss t u d i e d ，o nt h eb a s i so ft h ec o n c r e t ec h a r a c t e r i s t i c so f i m a g ea l r e a d yo b t a i n e d t h e s em e t h o d sp r o v i d ec o n v e n i e n c ef o rt h e s u b s e q u e n tt r e a t m e n t a c c o r d i n gt ot h ec h a r a c t e r i s t i c so ft h es y s t e m ，t h e t h e s i sf o c u s e so nt h ev i s u a ls y s t e mc a l i b r a t i o nm e t h o da n de x p e r i m e n t a l c a l c u l a t i n gp r o c e s s w i t h2 dt a r g e t ，t h ec a m e r ac a l i b r a t i o nw i t ht h e i n t e r n a la n de x t e r n a lp a r a m e t e r sa n dh a n d - e y ec a l i b r a t i o no ft h er o b o t v i s i o ns y s t e ma r ef i n i s h e dw i t ht h eh e l po fh a l c o ns o f t w a r e p r a c t i c e h a sp r o v e dt h i sp r o c e s si ss i m p l ea n dp r e c i s e i nt h ea s p e c to fv i s u a l r e c o g n i t i o n ，t h ee x t r a c t i o no fs o m ei m a g ec h a r a c t e r i s t i c sa n dt h e i r r e a l i z a t i o n w a y s a r e a n a l y z e d a c c o r d i n g t ot h e i r r e s p e c t i v e c h a r a c t e r i s t i c s ，t h ev i s u a li d e n t i f i c a t i o na n dc l a s s i f i c a t i o na r er e s e a r c h e d a n dr e a l i z e db a s e do nt h ei m a g ec h a r a c t e r i s t i c sa n dt h en e u r a ln e t w o r k m e t h o d a tt h es a m et i m e ，t h ee x t r a c t i o no f w o r k p i e c ep o s i t i o ni sc a r r i e d o u to nt h eb a s i so fc o o r d i n a t et r a n s f o r m a t i o n ，a n dt h e g r a b b i n g e x p e r i m e n ti sd o n e i nt h ev i s u a li n s p e c t i o n ，t a k i n gs m a l lm o d u l ep l a s t i c g e a r sa sa ne x a m p l e ，c a r r i e do nt h em e a s u r e m e n to fg e a rs u r f a c ed e f e c t s ， a n da c h i e v e dt h ee x p e c t e dt e s t i n g p u r p o s e o nt h eb a s i so ft h ea b o v e c o m p r e h e n s i v ep r o c e s s ，t h e m o d u l a r i z a t i o nd e s i g ni sm a d ei nt h ev i s u a l r e c o g n i t i o n a n dt h e m e a s u r i n gs y s t e mw i t ht h eh e l po fv i s u a lc + + 2 0 0 8a n dh a l c o n s o f t w a r e t h e r ef o r , ac o m p l e t ev i s u a ls y s t e mw i t ht h ef u n c t i o no f i v a b s t r a c t i d e n t i f i c a t i o na n dt e s t i n gi sr e a l i z e d ，w h i c hl a y sag o o df o u n d a t i o nt o i m p r o v e t h ee f f i c i e n c ya n da u t o m a t i o no ft h ep r e c i s ei n j e c t i o np r o d u c t i o n l i n e k e yw o r d s ：m a c h i n ev i s i o n ，s y s t e m c a l i b r a t i o n ，r e c o g n i t i o n a n d c l a s s i f i c a t i o n ，d e t e c t i o n v 北京化t 大学硕士研究生学位论文 目录 目录 第一章绪论l 1 1 机器视觉概述1 1 1 1 机器视觉的特点2 1 1 2 机器视觉的应用2 1 1 3 机器视觉的发展趋势3 1 2 机器视觉的现状4 1 2 1 机器视觉的市场现状4 1 2 2 机器视觉的技术发展现状4 1 3 课题的背景和意义6 1 4 课题主要研究内容及章节安排7 第二章视觉系统总体设计9 2 1 系统结构总体设计9 2 1 1 系统功能要求9 2 1 2 系统方案的选择和总体设计9 2 2 系统硬件构成l o 2 2 1 摄像机1 0 2 2 2 摄像机配套镜头1 2 2 2 3 图像采集卡1 3 2 2 4 照明系统1 4 2 2 5 机器人系统1 5 2 3 软件开发环境介绍17 2 3 1v i s u a lc + + 2 0 0 8 开发环境介绍1 7 2 3 2h a l c o n 工具包的介绍1 7 2 4 本章小结18 第三章图像的预处理1 9 3 1 区域分割19 3 1 1 灰度直方图1 9 3 1 2 基于阀值的图像分割与提取2 0 3 1 3 图像基本灰度变换。2 1 3 2 图像去噪2 2 3 2 1 均值滤波。2 2 北京化t 大学硕十研究生学位论文 3 2 2 高斯滤波2 4 3 2 3 中值滤波2 5 3 3 边缘检测2 6 3 3 1 基于一阶导数的边缘检测算子2 7 3 3 2 基于二阶导数的边缘检测算子2 9 3 4 图像形态学处理3 2 3 4 1 膨胀和腐蚀3 2 3 4 2 开运算和闭运算3 3 3 5 本章小结3 4 第四章视觉系统的标定3 5 4 1 摄像机投影模型3 5 4 1 1 参考坐标系及相互关系3 5 4 1 2 针孔成像模型3 7 4 2 常用的标定方法3 8 4 2 1 基于最优化算法的标定方法3 8 4 2 2 基于径向约束的两步法3 9 4 2 3 基于3 d 立体靶标的标定3 9 4 2 4 基于2 d 平面靶的摄像机标定3 9 4 3 摄像机内外参数的标定4 0 4 3 1 基于2 d 平面靶的标定原理4 0 4 3 2 标定过程4 1 4 3 3 标定结果4 2 4 4 机器人眼手系统标定4 3 4 4 1 眼手系统的标定原理4 3 4 4 2 标定过程。4 4 4 4 3 标定结果4 6 4 5 本章小结4 6 第五章图像识别4 7 5 1 图像识别概述4 7 5 2 图像的特征参数4 9 5 3 基于图像特征参数的目标分类5 0 5 3 1 统计分类器的判别函数5 0 5 3 2 特征参数的计算求取5 1 5 3 3 参数的选取与实验5 3 目录 5 4 基于人工神经网络的识别研究5 4 5 4 1 神经网络概述5 4 5 4 2 基于h a l c o n 的样本训练5 7 5 5 本章小结5 9 第六章工件的检测与分拣6 1 6 1 检测项目的确定和图像预处理6 1 6 1 1 检测项目的确定。6 1 6 1 2 图像预处理6 1 6 2 齿轮基本参数的测量6 2 6 2 1 轴孔直径的测量6 2 6 2 2 齿轮外形基本参数的测量6 3 6 2 3 实验结果6 5 6 3 工件的定位与分拣6 6 6 3 1 工件位置的求取过程6 6 6 3 2 机器人初始化和抓取试验6 8 6 4 本章小结6 9 第七章总结与展望7 1 7 1 总结。7 l 7 2 展望71 参考文献7 3 致谢7 7 攻读硕士学位期间发表的学术论文7 9 作者和导师简介8 1 l x 北京化t 大学硕： 研究生学位论文 x c o n t e n t s c h a p t e r 1i n t r o d u c t i o n 1 1 1m a c h i n ev i s i o n 1 1 1 1t h ec h a r a c t e r i s t i c so f m a c h i n ev i s i o n 2 1 1 2t h ea p p l i c a t i o no f m a c h i n ev i s i o n 一2 1 1 3t h ed e v e l o p m e n tt r e n do f m a c h i n ev i s i o n 3 1 2t h ec u r r e n ts i t u a t i o no f m a c h i n ev i s i o n 4 1 2 1t h em a r k e ts i t u a t i o no f m a c h i n ev i s i o n 4 1 2 2t h et e c h n o l o g yd e v e l o p m e n ts i t u a t i o no f m a c h i n ev i s i o n 4 1 3r e s a r c hb a c k g r o u n d 6 1 4m a i nc o n t e n t sa n do r g a n i z a t i o no f t h ed i s s e r t a t i o n 7 c h a p t e r 2t h eo v e r a l ld e s i g no fm a c h i n ev i s i o n 9 2 1t h eo v e r a l ld e s i g n 9 2 1 1s y s t e mf u n c t i o nr e q u i r e m e n t s 一9 2 1 2s y s t e n ls c h e m es e l e c t i o na n do v e r a l ld e s i g n 9 2 2h a r d w a r e 1 0 2 2 1c a m e r a 1 0 2 2 2l e n s 12 2 2 3i m a g ea c q u i s i t i o nc a r d 13 2 2 4l i g h t i n gs y s t e m 1 4 2 2 5r o b o ts y s t e m ：l5 2 3s o f t w a r e 1 7 2 3 1t h ei n t r o d u c t i o no f v i s u a lc + + 2 0 0 8 。1 7 2 3 2t h ei n t r o d u c t i o no f h a l c o n 。1 7 2 4s u m m a r y 18 c h a p t e r3i m a g ep r e p r o c e s s i n g 1 9 3 1r e g i o n a ls e g m e n t a t i o n 1 9 3 1 1 g r a y l e v e lh i s t o g r a m 1 9 3 1 2s e g m e n t a t i o na n de x t r a c t i o nb a s e do nt h r e s h l o d 2 0 3 1 3g r a yt r a n s f o r mo f i m a g e 2 1 3 2i m a g ed e n o i s i n g 2 2 3 2 1m e a ni m a g e 2 2 x i 北京化工人学硕上研究生学位论文 3 2 2g a u s si m a g e 2 4 3 2 3m e d i a ni m a g e 2 5 3 3e d g ed e t e c t i o n 2 6 3 3 1e d g ed e t e c t i o nb a s e do nd e r i v a t i v e 2 7 3 3 2e d g ed e t e c t i o nb a s e do ns e c o n dd e r i v a t i v e 2 9 3 4i m a g em o r p h o l o g y 3 2 3 4 1d i l a t i o na n de r o s i o n 3 2 3 4 2o p e n i n ga n dc l o s i n g 3 3 3 5s u m m a r y 3 4 c h a p t e r 4c a l i b r a t i o no fv i s i u a ls y s t e m 3 5 4 1c a m e r ap r o j e c t i o nm o d e l 3 5 4 1 1t h er e l a t i o n s h i po f c o o r d i n a t es y s t e m 3 5 4 1 2t h em o d e lo f p i n h o l ei m a g i n g 3 7 4 2c a l i b r a t i o nm e t h o d s 3 8 4 2 1t h ec a l i b r a t i o nm e t h o db a s e do no p t i m i z a i o na l g o r i t h m 3 8 4 2 2t w o s t e pc a l i b r a t i o nb a s e do nr a c 3 9 4 2 3t h ec a l i b r a t i o nb a s e do n3 dt a r g e t 3 9 4 2 4t h ec a l i b r a t i o nb a s e do n2 dt a r g e t 3 9 4 3c a m e r ac a l i b r a t i o n 4 0 4 3 1t h ep r i n c i p l eo f 2 dt a r g e tc a l i b r a t i o n 4 0 4 3 2c a l i b r a t i o np r o c e s s 4 1 4 3 3c a l i b r a t i o nr e s u l t s 4 2 4 4h a n d e y es y s t e mc a l i b r a t i o n 4 3 4 4 1t h ep r i n c i p l eo f h a n d e y es y s t e mc a l i b r a t i o n 4 3 4 4 2c a l i b r a t i o np r o c e s s 4 4 4 4 3c a l i b r a t i o nr e s u l t s 4 6 4 5s u m m a r y 4 6 c h a p t e r5i m a g er e c o g n i t i o n 4 7 5 1t h eb r i e fi n t r o d u c t i o no fi m a g er e c o g n i t i o n 4 7 5 2t h ec h a r a c t e r i s t i cp a r a m e t e r so fi m g e 4 9 5 3t h et a r g e tr e c o g n i t i o nb a s e do ni m a g ec h a r a c t e r i s t i c 5 0 5 3 1t h ef u n c t i o no f s t a t i s t i c a lc l a s s i f i e r 5 0 5 3 2t h ec a l c u l a t i n go f c h a r a c t e r i s t i cp a r a m e t e r s 5 1 5 3 3t h ep a r a m e t e rs e l e c t i o na n de x p e r i m e n t 5 3 5 4t h er e c o g n i t i o nb a s e do nn n 5 4 5 4 1t h eo v e r v i e wo f n n 5 4 5 4 2t h es a m p l et r a i n i n gb a s e do nh a l c o n 5 7 5 5s u m m a r y 5 9 c h a p t e r6w o r k p i e c ei n s p e c t i o na n ds o r t i n g 6 1 6 1t e s t i n gp r o g r a mi d e n t i f ya n di m a g ep r e p r o c e s s i n g ”6 1 6 1 1t h et e s ti t e m si d e n t i f i e d 6 1 6 1 2i m a g ep r e p r o c e s s i n g 6 1 6 2t h em e a s u r e m e n to fg e a rp a r a m e t e r 6 2 6 2 1t h em e a s u r e m e n to f g e a rd i a m e t e r 。6 2 6 2 2t h em e a s u r e m e n to fg e a ra p p e a r a n c ep a r a m e t e r s 6 3 3 6 2 3e x p e r i m e n t a lr e s u l t s 6 5 6 3w o r k p i e c ep o s i t i o ne x t r a c t i o na n ds o r t i n g 6 6 6 3 1t h ee x t a r c t i o no f w o r k p i e c ep o s i t i o n 6 6 6 3 2r o b o ti n i t i z l i z a t i o na n dw o r k p i e c e 蓼d b 6 8 6 4s u m m a r y 6 9 c h a p t e r7c o n c l u s i o n s 7 1 7 1c o n c l u s i o u s 。7 1 7 2s u g g e s t i o n sf o rf u t h e rr e s e a r c h 7 1 r e f e r e n c e 7 3 a c k n o w l e d g e m e n t s 7 7 a c a d e m i cp a p e r sp u b l i s h e dd u r i n gm a s t e r 7 9 t h ea u t h o ra n dm e n t o rp r o f i l e 81 x i i l 北京化工人学硕 研究生学位论文 x i v 第一章绪论 1 1 机器视觉概述 第一章绪论 机器视觉川( m a c h i n ev i s i o n ) 主要研究用计算机来模拟人的视觉功能，即通过摄 像机拍摄客观事物的图像信息，由计算机代替大脑来进行处理并加以理解，分析结果 并作出判断，最终给出反馈信息，以用于实际检测、测量和控制的过程。机器视觉的 研究目的就是使计算机能够具有人的视觉能力，这种能力表现为对周围环境的理解和 感知能力，能够作出判断，并且具有自适应能力。机器视觉系统通常由三部分组成： 图像的采集、图像的处理与分析、结果的输出与显示【2 】。如图1 1 所示，图像采集是 由摄像机将被提取目标转换成图像信号，并传输到图像处理系统完成由模拟信号到数 字信号的转变过程。图像的处理与分析是对图像进行各种特征运算，例如完成面积、 周长、圆形度等目标特征的提取过程。结果的输出与显示是根据所提取的特征和参数 来对目标进行处理结果的显示和分类。 图像采集图像分析输出显示 图1 - 1 机器视觉系统的组成模块 f i g 1 - 1t h ec o m p o s i t i o nm o d u l e so fm a c h i n ev i s i o ns y s t e m 因此，一个完整的机器视觉应用系统其硬件通常包括以下几个部分：光源、光学 成像系统、图像采集系统、智能决策系统和控制执行模块吲，它们之间的关系如图1 2 所示。 北京化工大学硕士学位论文 图卜2 典型机器视觉应用系统的构成 f i g 1 2t h es t r u c t u r eo ft y p i c a la p p l i c a t i o nm a c h i n ev i s i o ns y s t e m 1 1 1 机器视觉的特点 机器视觉是- - i - j 涉及多学科多领域的交叉学科，它综合了计算机图像处理、模式 识别与人工智能、机械工程、自动控制、机器人技术、光学技术、传感器、电工电子 技术、计算机通信等技术【4 】。这些技术是相互结合而又密不可分的，它们只有相互协 调才能构建一个完整的机器视觉应用系统。机器视觉系统与不少学科有着相近或者相 似的地方，比如图像处理与模式识别、图像分析与融合等，但是由于机器视觉的自身 领域的发展，机器视觉又有着其自身的特点【5 l ，这些特点表现为： 1 实用性好。通常基于机器视觉的检测可以达到比人工视觉更好的精度，在一些不 适合人工作业的危险环境中，机器视觉通常用于代替人工视觉完成工作。尤其是 在大批量、高效率的生产条件下，机器视觉的引入可以提高生产的自动化程度。 2 处理精度高、可再现性好。机器视觉采用计算机进行处理，最大程度上减少了人 工干预，处理精度依赖于计算机硬件和相关算法，并且采用相同的方法处理数据 可以得到完全相同的结果，具有良好的再现性。 3 综合性强。机器视觉技术涉及计算机、通信、电子技术、软件技术、物理、数学、 机器人科学等。它是多学科的融合，这些学科都是机器视觉所必不可少的一部分， 而且数学和计算机学是图像处理的基础。 4 处理结果易于控制。在机器视觉的识别与检测过程中，可以通过改变相关算法及 参数的设置来有对目标进行判定，并通过软件实现对处理结果进行控制。 1 1 2 机器视觉的应用 机器视觉广泛的应用于工业自动化生产、交通与安防、医学、视觉导航、卫星遥 感、目标识别与分类等【6 1 。 工业检测：机器视觉检测相对于人工检测的最大优点在于机器视觉采用的非人工 检测克服了检测过程中检测人员的视觉疲劳和个人主观意愿，而且相比人眼有着更高 第一章绪论 的精度和检测速度。同时，人工检测主要依赖于可见光的检测，而视觉检测更可以借 助紫外线、红外线、射线以及超声波检测技术等，这些检测优点是人工检测所无法超 越的。常见的工业检测应用领域如：对工业品的表面检测，主要针对例如毛刺、磨损、 划痕等表面缺陷的检测。在药品包装生产线上【7 】，使用视觉技术来检测装入的药丸是 否正确或者液体类的药物是否有杂质、药量是否到位。在金属探伤领埘引，通过对获 取图像的处理来确定金属表面是否腐蚀及其腐蚀程度。在自动化控制领域，通过对印 刷电路板( p c b ) 1 9 】上的焊点的检测与分类，来确定电路板焊点的质量是否符合要求。 交通、安防领域的应用：机器视觉技术现在已经广泛应用于交通管理系统【lo 】中， 通过视觉技术，可以实现实时交通标志的识别、路面信息查看，来进行区域的搜索和 目标的识别。在小区中，视觉技术也多应用于闭路电视监控系统中，可实现小区的实 时监控，捕捉突发情况及跟踪可疑目标等，最大限度的提高监控效率，减少危险和突 发事件的发生概率。 医学领域：在医学领域，机器视觉主要是利用信息融合技术、数字图像处理技术 来对c t 图像【l l 】或者其他医学图像进行特征提取和分析，以获得医学影像相关数据， 如细胞数码的统计、骨骼或软组织的变化等。 视觉导航领域：视觉导航【1 2 】技术同时也是机器人学的