（机械电子工程专业论文）大尺寸零件的机器视觉在线测量方法研究.pdf

摘要 大尺寸零件的机器视觉在线测量方法研究 研究生：徐孙浩 导i ) i t i ：张志胜教授 学校：东南大学 摘要 机器视觉测量的连续性、非接触和通用性好等优点，使其成为机械零件测量的一种 革新手段。本文在完善课题组所提出的基于纹理特征的序列图像测量法基础上，扩展连 续测量功能，采用高精度c c d 相机、计算机、工件传送实验台等搭建大尺寸零件在线视 觉测量实验平台。主要工作如下： 本文提出了一种基于纹理特征的快速图像角度校正算法，该算法结合了表达图像纹 理特征的空间法与统计法的优点，实现了快速精确提取机械零件表面纹理特征，并以此 校正序列图像间的相面旋转。 本文在融合灰度相关匹配和特征匹配两种算法的基础上，提出了一种基于灰度权重 的序列图像匹配加速算法，该算法能实现高精度快速提取序列图像尺寸特征线，从而提 高序列图像测量法的实用性。 针对本课题中所提出的连续在线测量的要求，开发了图像自动采集模块，并提出了 一种基于灰度阈值的无效图像快速剔除方法。该方法通过提取图像局部区域的灰度阈 值，获得零件像素比率，并以此作为判断图像是否有效的依据。这种快速剔除无效图像 的方法可以避免冗余计算。 在上述理论和算法研究基础上，利用c + + 设计开发了大尺寸零件视觉测量软件。该 软件包括图像采集、图像数据分析以及数据备份等模块，采用数据库技术实现测量过程 数据、实验结果数据、系统参数的统一存放，为大尺寸零件视觉在线测量软件的开发提 供了一种解决方案。 最后，利用该在线测量实验平台对多个大尺寸标准量块( 一级精度) 进行测量，平 均每个量块尺寸的测量时间在6 s 左右，相对测量误差在0 0 2 2 以内，基本满足工业应用 要求。 关键词：机器视觉；纹理特征；图像匹配；在线测量 东南大学硕士学位论文 o n l i n em e a s u r e m e n tba s eo nm a c h i n ev i s i o nf o r b yx u s u n h a o s u p e r v i s e db yp r o f e s s o rz h a n gz h i s h e n g s o u t h e a s tu n i v e r s i t y a b s tr a c t d u et ot h ea d v a n t a g e so fc o n t i n u i t y , n o n c o n t a c ta n dg o o dg e n e r a l i t y , t h em a c h i n ev i s i o nm e a s u r e m e n t h a sb e c o m ea ni n n o v a t i v em e t h o df o rw o r k p i e c e sm e a s u r e m e n t i nt h i st h e s i s av i s i o nm e a s u r e m e n t m e t h o db a s e do ns e q u e n t i a lp a r t i a li m a g e sh a sb e e ni m p r o v e da tt h ef i r s ts t e p t h e n am e t h o do ft h e c o n t i n u i t ym e a s u r e m e n th a sb e e nd e v e l o p e d a tl a s t t h eo n l i n ev i s i o nm e a s u r e m e n te x p e r i m e n t a lp l a t f o r m i sb u i l tb yah i g h - p r e c i s i o nc c dc a m e r a , ac o m p u t e r , at r a n s f e re q u i p m e n ta n de t c t h em a j o rr e s e a r c h a c t i v i t i e sa n dt h ec o r r e s p o n d i n gc o n t r i b u t i o n sa r es u m m a r i z e da sf o l l o w s ： af a s ta n g l ec o r r e c t i o na l g o r i t h mf o rt h es e qu e n t i a li m a g e sb a s e do nt e x t u r ef e a t u r ei sp r o p o s e d c o m b i n i n gt h ea d v a n t a g eo fs p a c em e t h o da n ds t a t i s t i c sm e t h o di ni m a g et e x t u r ef e a t u r e se x p r e s s i o n t h i s a l g o r i t h mc a na c h i e v eaf a s ta n da c c u r a t ee x t r a c t i o no fi m a g es u r f a c ef e a t u r e s w h i c hi sab a s i sf o rr o t a t i o n a n g l ec a l i b r a t i o na m o n gs e q u e n t i a li m a g e s a no p t i m i z e da l g o r i t h mb a s e do ng r a yv a l u ew e i g h t i n gf o ri m a g em a t c h i n gi sp r o p o s e d t h i sa l g o r i t h m c o m b i n e st h ea d v a n t a g e so fg r a yc o r r e l a t i o nm a t c h i n ga n df e a t u r em a t c h i n ga l g o r i t h m t h i sa l g o r i t h mc a n e x t r a c tt h ec h a r a c t e r i s t i cl i n e so fs e q u e n t i a li m a g e sr a p i d l ya n dp r e c i s e l y , a n di m p r o v e st h ep r a c t i c a l i t yo f s e q u e n t i a lp a r t i a li m a g e sm e a s u r e m e n tm e t h o d a i m e da tt h ed e m a n df o rc o n t i n u i t yo fo n 1 i n ev i s i o nm e a s u r e m e n t an o v e la p p r o a c hf o ri m a k e a u t o m a t i cc o l l e c t i o ni sd e v e l o p e d b e s i d e s am e t h o db a s e do ng r a yl e v e lt h r e s h o l di sp u tf o r w a r dt or e a l i z e q u i c ke l i m a t i o no ft h ei n v a l i dp a r t i a li m a g e s i nt h i sm e t h o d t h ev a l u eo fp i x e l s r a t i ow h i c hi so b t a i n e db y e x t r a c t i n gt h eg r a yt h r e s h o l do fp a r t i a li m a g ei su s e da sac r i t e r i o nt od e t e r m i n ew h e t h e rt h ei m a g ei sv a l i d e t h e r e f o r e s u c hm e t h o dc a na v o i dr e d u n d a n tc o m p u t a t i o no fi n v a l i di m a k e b a s e do nt h ea b o v er e s e a r c h e s ，s o f t w a r eo fv i s i o nm e a s u r e m e n tf o rt h el a r g es c a l ew o r k p i e c e si s d e s i g n e db yc + + t h e r ea r et h r e em o d e l si nt h i ss o f t w a r e ，w h i c ha r ei m a g ea c q u i s i t i o n ，i m a g ed a t aa n a l y s i s ， a n dd a t ab a c k u p i nt h es o 仟w a r e ad a t a b a s et e c h n i q u eh a sb e e nu s e dt os t o r et h ep r o c e s s i n gd a t a , t h e m e a s u r e dr e s u l t sd a t aa n dt h es y s t e mp a r a m e t e r s s oa no n - l i n ev i s i o nm e a s u r e m e n ts o l u t i o na b o u tt h e l a r g es c a l ew o r k - p i e c e sh a sb e e no f f e r e d i nt h ee n d s o m el a r g e - s c a l es t a n d a r db l o c k sh a v eb e e nm e a s u r e db yu s i n gt h i so n l i n em e a s u r e m e n t s y s t e m ，t h em e a s u r e m e n tt i m eo f e a c hb l o c k si sa b o u t6s e c o n d 。t h er e l a t i v em e a s u r e m e n te r r o r sa r el e s s t h a n0 0 2 2 t h er e s u l tb a s i c l l ym e e t st h es t a n d a r d sf o ri n d u s t r i a la p p l i c a t i o n k e yw o r d s ：m a c h i n ev i s i o n ，t e x t u r ef e a t u r e s ，i m a g em a t c h i n g ，o n l i n em e a s u r e m e n t i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：2 盔! 地量日期：鲨2 ：= ! ：兰 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：i 叠堑b 兰导师签名： 睁中 第一章绪论 1 1 课题的背景及意义 第一章绪论 现代企业生产质量的不断提高，产品质量监管的难度也在不断上升，对于某些重要零部件，很 有必要实现“逐件检测”，企业不得不投入大量的人力和物力努力实现这一目标。这方面的要求，都 对工件检测系统提出了更高的目标，必须寻求能兼顾高生产率和高检测精度的有效方法。现代制造 业自动化生产中，涉及到各种各样的检查、测量和零件识别应用。有时，人工测量费时费力，又不 易保证检测质量。最多只能够达到8 0 的有效性，微小尺寸的精确快速测量、形状匹配、颜色辨识 等，采用人工根本无法连续稳定地进行。对于一些精密零件的几何参数检测，还要借助于昂贵的精 密仪器，成本高且不适合现场检测。而现代化制造强调实时、在线、非接触检测，确保对制造过程 实现全面控制，提高生产效率和产品的合格率，这是许多传统检测手段无法提供的。现代产品的制 造精度大大提高，要求相应高精度的检测方法。 视觉测最是机器视觉技术的一个具体应用概念。机器视觉在某种意义上也称计算机视觉，美国 制造工程协会s m e ( s o c i e t yo fm a n u f a c t u r i n ge n g i n e e r s ) 机器视觉分会和美国机器人工业协会r i a ( r o b o t i ci n d u s t r i e sa s s o c i a t i o n ) 的自动化视觉分会对机器视觉f 的定义为：机器视觉是通过光学的装 置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需要信息或用于控制机器人 运动的装置。机器视觉( m a c h i n ev i s i o n ) 是当今计算机科学中的一个活跃的学科分支，广泛地应用 于各个领域，其中，在遥感、医学成像、以及制造业的技术诊断和自动化检测中的发展是最快的。 自2 0 世纪7 0 年代起，人们便对机器视觉的原理及应用产生了极大的兴趣，在8 0 年代至f j 9 0 年代，伴随 着机器视觉逐步走向成熟，其在实际应用中的作用、成效也随之显著增长。 常见的机器视觉利用光电成像系统采集特定目标的图像，经计算机或专用的图像处理模块进行 数字化处理，根据图像的像素分布、亮度和颜色等信息，进行尺寸、形状、颜色等识别检测。机器 视觉的特点是自动化、客观、非接触和高精度，以及工业现场环境下的可靠性。适用于大批量生产 过程中的测量、检查和辨识，如零件装配完整性、装配尺寸精度、零件加工精度、位置角度测量、 零件识别等。在工业，国防，医疗、交通等领域都有着广泛的应用1 m l i1 。 作为机器视觉的一种具体应用，视觉测量通过从获取的目标物体图像中去研究物体的几何尺寸 以及测量物体的位置坐标。相对于传统的测量方式所固有的主观性、易疲劳、速度慢、成本高、强 度大等缺点，基于机器视觉的视觉测量技术具有具有非接触、速度快、精度合适、现场抗干扰能力 强等突出的优点，视觉测量可以实现1 0 0 在线检测，以实现智能化的操作管理。采用较高分辨率的 c c d 和合适的图像处理算法，可以实现高精度测量。 目前视觉测蕈技术j “泛应用于在微小尺寸、复杂结构尺寸等的测量中。但传统的机器视觉测量 采用基于单幅图像处理的方法，受成像区域和检测分辨率成反比例关系的制约，要取得微米级测量 精度，单幅图像的成像区域必须限制得很小，只能对比较小的零件进行尺寸检测。这些传统方法检 测速度不高，不适用于大尺寸( 5 0 r a m 以上) 机械零件的高精度测量。 现代工业中大型机械零件的生产，不但测鼍精度要求较高，而且要求在线检测以保证加工速度， 传统视觉测量技术难以满足要求，若采用在虚拟现实中广泛使用的图像拼接方法，也就是将序列局 部图像拼接成全局图像的方法，当拼接的图像数目增大时计算的数据量会很大，将对计算提出较高 的要求，普通的计算机很难满足计算要求。 解决大尺寸零件视觉测量中由于信息冗余而无法快速实时测量的问题，可以为大型机械零件的 高精度视觉在线测量提供一种可行性方案。因此，本文针对当前视觉测量中难以实现大尺寸零件高 精度快速的局面，通过对多种视觉尺寸测量方法分析研究，以此探索一种快速、简单、使用，并同 时可以达到高精度的大尺寸零件在线测量方法。 1 2 国内外研究现状 制造业自动化程度的提高，使得高精度快速测量显得越来越重要【3 1 。近年来，随着计算机与机 器视觉技术的发展，图像处理与分析方法水平不断提高，使基于机器视觉成像方法的几何测量技术 东南大学硕士学位论文 逐渐成为机械加工自动测量的一种革新手段【4 i 。机器视觉在线测量具有非接触、设备简单、对现场 环境有求不高、通用性好、易于实现自动化等诸多优点而受到人们的广泛关注。在机械零件二维几 何尺寸视觉测量领域，已有的研究工作主要分为以下四大类： 第一类，利用放大成像的原理的微尺寸高精度测量。如h y u k - s a n gy o o n 等针对直径为0 3 m m 的 微细孔加工质量在线监测需要，设计了同轴光前光源和l e d 阵列背光源照明系统，使用带变焦镜头 的c c d 相机，应用边缘提取算法和聚焦寻形( s h a p ef r o mf o c u s ，s f f ) 原理测量微细孔尺寸及毛刺 大小，测量毛刺高度和宽度的精度达到0 5um i 引。k y o n g j i n 等用机器视觉系统监测数控加工中心刀 具切削刃的微量磨损，为了克服切削刃对光线的散射效应，设计了白色l e d 光照明系统，并在成像 路径上采用滤光片防止像素饱和，视觉成像方法测得的磨损量及时反馈同机床控制系统，用于补偿 刀具下次工作时的进给量，取得了很好的控制效果16 | 。这些研究成果通过设计特殊的照明系统，采 用显微成像方法对被测目标微小区域进行放大成像，再采用适当的图像处理算法，获得待测几何特 征的尺寸值，具有很高的测量精度。 第二类，基于单幅图像处理的小尺寸零件测量。如l e il i a n g y u 应用线扫描c c d 相机和图像处 理方法测量轴承直径，对于外径为2 2 7 6 0 m m 的轴承，1 6 次测量得到的均值为2 2 7 6 9 m m ，标准差为 0 0 1 5 r a m ，相对误差为0 0 6 6 t 。刘庆民等应用高分辨率c c d 相机和放大成像方法，测量齿形链链 板的几何参数及圆度误差，对公称尺寸为9 5 2 5 m m 的节距，测量误差为7um ，相对误差为0 0 7 3 5 ， 公称直径为3 7 6 m m 的圆销孔，测量圆度误差为8 4l am t8 1 。伍济钢等采用线阵工业相机和轮廓矢量 化方法，研究基于机器视觉的薄片零件尺寸检测系统，应用该系统检测计算机硬盘弹性臂薄片的二 维尺寸，对于设计公差在4 - 0 0 0 5 m m 、大小范围在3 8 l m m 一4 5 7 2 m m 的合格尺寸，测量结果与实际 相符，平均每个零件的检测时间为1 秒p j 。这类基于单幅图像处理的视觉测量方法，实现了光、机、 电与计算机技术的有机结合，在一个系统中可同时进行尺寸及形状误差的测量，测量结果便于计算 机分析处理。 第三类，机器视觉与坐标测量系统集成的大尺寸零件测量。为了实现常规尺寸和大尺寸机械零 件的高精度测量，机器视觉系统越来越多地和其它技术集成应用，取得了较好的效果。如r a j e s h s u b r a m a n i a n 等人把机器视觉系统与坐标测量机集成，充分利用视觉图像便于处理、容易与自动化技 术相结合的特点，实现了检测基准的自动找正，在取得高精度测量结果的同时，大大提高了测量效 率【l0 | 。廖强等应用面阵c c d 器件与高精度计量光栅组成的双重坐标结构，构成基于机器视觉的高精 度几何量测量系统，采用轮廓跟踪的检测方法，由双重坐标系确定零件轮廓的实际位置，实现零件 几何晕的精密测量，达到微米级测量精度1 1 1 i 。上述研究，充分利用了机器视觉和坐标测量系统的各 自优势，视觉系统在整个测量系统中所起的作用是进行零件轮廓边界的非接触定位，测量尺寸的范 围取决于坐标系统的大小，测量精度取决于视觉定位精度和坐标系统精度。 第四类，基于图像拼接技术的视觉测量。在天津大学精密测试技术及仪器国家重点实验室，牛 小兵等研究了基于特征的二维图像拼接测量法，该方法通过在待测零件上人为划“点”、“线”特征 的方法实现图像拼接，在拼接成的一幅图像上进行多目标和多参数的综合测量，测量长度1 8 3 8 0 4 m m 的二维尺寸，误差在0 5 4 4 m m ，相对误差为0 2 9 6 1 1 2 j ；赵飞等则针对毫米级微小尺寸零件的高准确 度检测要求，提出了一种利用亚像素微小位移结合相位相关的自动拼接方法，这种方法继承了相位 相关法抗干扰能力强的特点，成功地实现被测对象的砸像素级拼接，满足了微小零件的高精度测量 需求l l3 | 。这类把局部图像拼接成全局图像后再进行测量的方法，为实现大尺寸机械零件的视觉测量 提供了很好的思路。 上述四大类机械零件的视觉测量技术中，第一类利用放大成像的微尺寸高精度测量，实现了在 线测量与控制的集成i l4 ，为工业现场视觉照明系统的设计、以及机械零件的自动测控提供了一种方 法，但是，受小成像区域的限制，通常只能测量尺寸在3 m m 以内的微小结构。第二类基于单幅图像 处理的小尺寸零件测量，为几何尺寸及形状误差的非接触测量开辟了新的途径，同样，受成像区域 和检测分辨率成反比例关系的制约，只能检测尺寸比较小( 通常在5 0 m m 以内) 的零件，并且，由 于该方法采用传统的像素当量测量法，测量精度不是很高( 相对误差为0 0 6 左右) 。第三类机器视 觉与坐标测量系统集成的大尺寸零件测量，在实验室里可以获得很高的测量精度，但是，由于该方 法依赖于机械坐标系统，使得整个测量系统结构复杂，体积、重量较大，效率不高，难以用于在线 自动测量。第四类基于图像拼接技术的测量方法，是实现大尺寸机械零件的非接触尺寸测量的良好 典范，但是，该方法需要把局部图像拼接成一整幅图像后才能进行目标测量，需要处理的数据量大， 尤其当待测尺寸较大、测量精度要求较高时，需要拼接的高分辨率局部图像将达到几十幅之多，拼 接并处理如此大数据量的图像，现有的图像处理算法和计算速度还无法满足进行较快测量的要求。 另外，这种方法需要在被测零件上人为加入“点”和“线”特征，这在机械零件的在线自动测量环 境下是不便做到的。 2 第一章绪论 综上所述，在机械零件二维几何尺寸测量领域，微尺寸的高精度在线测量研究比较成熟；大尺 寸机械零件的高精度在线测量仍有待进一步研究。 1 3 本课题要解决的问题 本课题需要在完善序列图像视觉测量法并扩展该方法在线测量功能的基础上，通过新算法研究、 软件编程以及实验平台搭建，并研究一种快速的无效序列图像快速剔除方法，最后达到连续性在线 视觉测量的要求。课题所要解决的问题如下： ( 1 ) 如何提高测量速度 提高序列图像测量法单个零件尺寸测量速度是实现系统高速测量的根本，如何利用机械零件表 面序列局部图像间的关联关系加速尺寸测量，是本文的一个难点。 ( 2 ) 如何提高测量精度 机械零件边缘往往存在倒角、倒圆等细部特征，这些特征对用来照明被测平面的光线具有散射 作用，在视觉成像时产生光学衍射效应，从而使零件图像边缘旱现出一个跨若干像素的过渡区域。 机械零件图像边缘灰度的这种过渡分布特性，对确定零件边缘的精确位置、实现高精度测量造成了 很大的困难。 图像匹配所要解决的主要问题是在保证匹配速度的前提下，如何进一步提高图像的匹精配度。 传统的图像匹配方法法概念清晰，实现简单，但计算量十分庞大，不能满足大尺寸零件在线测鼍系 统高速性、实时测量的要求。因此，实现一种序列图像间高精度快速匹配算法是本文的另一个难点。 ( 3 ) 在线测量功能的实现 图像的自动采集功能以及无效序列图像的快速筛选掉影响着整个系统的实用性。要将序列图像 测量法用于实际工业应用，还必须进行相应的视觉测量软件的研究开发。 1 4 论文的组织结构 本文针对序列图像测量法在测量过程中的一些不足，相应实现了基于纹理特征的快速图像角度 校正算法、基于灰度权重的序列图像匹配加速算法以及基于灰度阈值的无效图像快速剔除方法。在 以上述三种算法完善序列图像测量法的基础上，完成了大尺寸零件在线测量实验平台的搭建以及相 应测量软件的开发，并通过该实验平台对本文提出的算法进行实验和数据分析，全文主要内容如下： 第一章，主要介绍课题研究的背景、意义以及机器视觉测量领域的研究现状和本课题要解决的 关键问题。 第二章，主要阐述大尺寸零件视觉测量的原理( 即序列图像测量法的原理) 。介绍了一种新的基于 序列局部图像特征的工件尺寸参数高精度快速视觉测量方法。该方法，利用在空间上连续的序列局 部图像间的关联关系，提取每个序列图像上的尺寸特征并且获得序列图像有效尺寸，最终计算得到 整体尺寸。除了介绍该方法的原理，本章还提出了实现序列图像测量法在线测量的方案。 第三章，主要阐述完善序列图像测鼍法以及扩展在线测量功能的三个关键技术，分别为基于纹 理特征的快速图像角度校正算法、基于灰度权重的序列图像匹配加速算法以及基于灰度阈值的无效 图像快速剔除方法。这三种方法完善了序列图像测量法的功能，使其能基本满足实际- t 业应用中大 尺寸机械零件快速高精度视觉测量的要求。本章节详细阐述了本文所提算法、实验数据验证以及与 传统算法的性能比较。 第四章，主要介绍基于机器视觉的大尺寸零件在线测量系统设计，测量系统包括硬件实验平台 和大尺寸零件视觉测量软件。本章在详细介绍构建系统实验平台各个硬件的设计与选型后，还详细 阐述了视觉测量软件的开发。软件主要由图像采集模块、数据分析模块以及数据备份模块组成，系 统采用数据库技术对测量过程数据、测量结果、系统参数的统一存放。该软件基本实现了大尺寸零 件在线视觉测量的功能。 第五章，总结课题研究主要成果并提出进一步的研究方向。 3 东南大学硕士学位论文 第二章大尺寸零件在线视觉测量原理 在视觉测量领域，微尺寸零件的高精度在线测量研究已经比较成熟，而对于大尺寸零件视觉测 量的研究，受相机成像区域的限制摄取到零件的局部图像，多采用将序列局部图像拼接成全局图像 的方法i l 引，这种方法可以用较高的检测分辨率获得待测零件在尺寸方向的全貌，并得到较为理想的 测量结果。但是，随着序列图像增加，图像数据分析计算量也相应增加，受处理速度和拼接精度的 制约，难以适应工业在线测量的高速性、实时性要求。因此，在保证视觉测量的精度的前提下，提 高大尺寸零件视觉测量的速度是本课题的目标。 2 1 在线视觉测量要求 在线视觉测量系统是以图像输入作为对被测工件的感知手段，这就要求系统具有识别、理解和 判断分析的能力。一个典型的视觉在线测量系统一般以计算机为中心，由照明光源系统、视觉传感 器( c c d ) 、图像处理系统以及传送系统等模块组成。如图2 - 1 所示，在线视觉测量的流程主要由工 件传送、图像采集、图像判断、图像处理、测量结果输出等环节循环结合而成。 团 图2 1 在线视觉测量流程图 从图2 1 可知，在线视觉测量流程中每个环节的实现效果都会对整个系统的测量速度和精度造 成影响。在这五个环节中，工件传送与图像采集两个环节主要受硬件性能的制约，冈此在硬件限定 的情况下，如何提高图像判断、图像处理和测量结果输出这三个环节的性能是实现视觉测量系统高 速性、高精度的关键。现有的大尺寸零件视觉测量方法计算速度慢，测量精度不够理想，在测量过 程中也会出现不同类型的无效图像，因此要实现大尺寸零件在线测量系统必须首先完成以下要求： 实现单个大零件尺寸高精度快速视觉测量。 测量中快速判断有效图像，提高测量速度。 保证数据输出和数据管理的完整。 4 第二章大尺寸零件在线视觉测量原理 2 2 序列图像测量法原理 现有的一些采用序列图像拼接实现大尺寸零件视觉测量的方法在处理速度有很大的局限性，并 且通常需要在被测零件上人为地加入“点”和“线”特征，这类方法不易实现在线实时测量。但这 种“把整体分为部分，再将部分合为整体”的思想为大尺寸零件视觉测量提供了一个方向。课题组在 “化整为零”的基础上提出了序列图像测晕法实现对大尺寸零件测副引，该方法通过对大尺寸零件 进行局部区域的高精度成像，形成空间上连续的序列图像，不进行图像拼接，而是以序列图像间的 关联关系为依据求解尺寸。这种以序列图像测量大尺寸零件的应用在获得高精度的同时，解决了影 响测量过程稳定性的关键问题，减少了图像拼接的计算量，提赢了测量速度。 利用序列图像测量法对大尺寸零件进行视觉测量的步骤如下： 1 ) 对大尺寸零件进行局部区域高精度成像，生成在空间上连续的序列局部图像s ( 卢l ，2 ，z ) 。 相邻的序列图像间具有重叠区域1 4 ，i ( f 1 2 以) ，如图2 2 所示； 图2 - 2 序列图像采集示意图 2 ) 对图像s 的左边缘进行亚像素级直线拟合，得出角度，以墨中心为基准将图像旋转角度 得到g ： 3 ) 计算图像研左边缘线e l ，精度在亚像素级； 4 ) 利用机械零件表面纹理特征和图像旋转处理，以s i 图像为基准对& 进行尺寸测量方向的角 度校正得到，以此类推，分别以墨为基准对s + 。进行角度校正，作为序列图像闯尺寸特征线提取 的准备： 5 ) 通过图像匹配，在序列图像间蜀与殴。的重叠区域计算提取尺寸特征线，f ，f f ( f - l ，2 ，n - 1 ) ， 并通过互相关检测法的多次插值，使图像匹配精度达到亚像素级，如图2 3 所示。对图像的右边 缘进行进行亚像素级寅线拟合，提取的右边缘线e ； 6 ) 通过尺寸特征线，f ，驭f ；l ，2 ，月一1 ) 、q 、e 的坐标信息，计算各个序列图像的有效长度 p ( i = l ，2 ，雅) ； 7 ) 最后对有效长度口( 扛l ，2 ，一) 求和得到待测尺寸d ，零件的待测尺寸d 计算公式为： 三 d = 。a ( 2 1 ) i = 1 以上得到的待测尺寸仅仅是以像素当量为单位的数值，因此必须结合系统标定的像素当量6 ， 计算实际零件尺寸厶计算公式如下： l = d 万 ( 2 2 ) 5 东南大学硕士学位论文 o x yj 。 ，。( ，? ) 乞( ，；) 睡 ， 鉴 fl孽 一 一吼 ， d * i 州 图2 3 序列图像测量法尺寸计算示意图 上述这种利用序列图像测量法对大零件尺寸进行视觉测量的方法优点在于，把大尺寸零件“化 整为零”，充分发挥视觉测量高精度的优势，然后利用数学关系式进行局部尺寸的“集零为整”，发 挥计算机数值运算的优势。 2 3 视觉在线测量关键技术 相比于采用序列图像拼接技术测量大尺寸零件的方法，课题组所提出的序列图像测量法处理速 度快，数据计算量少，但要以该方法实现零件在线测量还必须改善相应算法以及扩展功能。本文在 分析大尺寸零件在线视觉测量各个要求的基础上，结合序列图像测量法原理，提出了大尺寸零件在 线视觉测量的几个关键技术。包括如下： 1 ) 基于纹理特征的快速图像角度校正算法。该算法针对机械零件n t 表面的自然纹理特征，结 合纹理特征表达中空间法与统计法的优点，实现了快速精确提取机械零件表面纹理特征，并以此作 为序列图像问校准旋转角度的依据。该算法解决了测量过程中相面旋转所引起的局部图像尺寸方向 上的变动问题。详细内容将于章节3 1 介绍。 2 ) 基于灰度权重的序列图像匹配加速算法。该算法针对机械零件加工表面的划痕、纹理、加工 缺陷等特征，融合基于灰度相关匹配和特征匹配两种图像匹配算法的优势，基本实现了序列图像间 高精度快速提取尺寸特征线的要求，提高了序列图像测量法的实用性。详细内容将于章节3 2 介绍。 3 ) 基于灰度阈值的无效图像快速剔除方法。该方法通过对图像局部区域提取灰度阂值，在提取 阈值的基础上不进行图像分割而是计算图像中零件像素点的比率，并以此作为判断图像是否有效的 依据。这种快速剔除无效图像的算法避免了冗余计算，可以提高在线视觉测量的速度。详细内容将 于章节3 3 介绍。 2 4 亚像素技术 c c d 成像系统的感光元不但接收照射到自身的光，还接收照射相邻感光元的光，尤其是对边缘 点，物体和背景的不同反射特性以及c c d 器件的积分效应，造成c c d 器件对阶跃边缘的响应产生 由明到暗( 或由暗到明) 的渐变过程，边缘点的真实位置恰好存在于这一过渡的渐变阶段，如果仅 仅根据灰度值分布情况进行边缘检测、图像分割或图像测量，都是在像素级别上的计算，因此结果 的精度就在像素精度级别。因此，要进步提高测量精度，一方面可以通过采用更高分辨率的c c d ， 另一方面可以在图像处理软件算法中采用高精度的边缘定位方法，这就是像素细分亚像素技术。 目前视觉测量中，一般先对图像进行噪声滤波平滑处理得到高质量的图像，再采用像素边缘 定位方法来实现亚像素精度的测量。高精度的亚像素图像处理算法建立在精确图像预定模式和高质 量图像的基础上。图像测量中，待处理的图像模式是预先定义的，图像质量高，利用亚像素算法，可 以将特征点的处理精度提高到亚像素甚至更高的水平。 6 第二$ 太尺寸零件在线视觉测量睬 24 l 亚像素原理 亚像素的基本思路就是将一个像素细分成更小的单位。在找到像素纽精度边缘基础上弧像索 的任务就是确定物体小于一个像素单位部分的人小。 图2 4 亚像素原理示意图 如图2 4 所示，假设要在幽像中测量物体的长度，图“中背景为白色，被潮物呈黑色，图像中 的虚线格子为像素单元。 通过经典的边缘检测算子只可阻计算山物体的左右边缘分别在d 列和0 列而实际上在凹2 4 中被测物体是到列h 结束的。只不过仅仅在h 列占据了部分，而另一部分属于白色背景。如果要 精确测量被测物体的长度必须设计一种算法来计算被测物体在h 列中这部分的尺寸，计量单位在 像素级以下因此学术上称为4 亚像素”。 亚像素算法的基本原理就是将一个像素分成更小的单位，亚像素的高精度性能使其图像匹既、 边缘检测等方面得到了广泛应用”u i | 成为当前机器视觉领域热门的研究方向，不断有新的算法 思想提出。亚像素边缘的检测是高精度视觉检测必须要突破的关键，是图像研究领域的一个热点 也是个难点。本文在太尺寸零件边缘点坐标精确定位时用到了亚像素的思想，井以此提高了测晕 精度。 242 亚像素分类 亚像素细分算法首先通过经典算法中找到边缘像素的像素级位置信息，然后以边缘像索的灰度 值作为补充信息使边缘定位更加精确。常用的亚像素细分算法有：插值法、矩估计法和最小二乘 估计法等。 1 ) 插值法 插值法通过插值函数恢复边缘像素过渡区的一维连续光强函数，根据亚像素边缘检测的理论 求出精确的边缘像素点坐标。主要有以下四种插值算法：线性插值、三次正交多项式插值样条插 值、双线性插值。插值法重复性攮好，计算量虽小，计算时问相对较短，抗噪能力较强。 2 ) 矩估计注 空间矩估计法是计算机视觉和模式识别中广泛使用的方法，该算法利刚二维空间灰度矩确定边 缘位置，方法简单、精度高适川性好。同时该算法的精度不受图像灰度数据的加性、乘性变化的 影响。矩估计法有很好的准确性与重复性，定位精度高，但计算时间较长。 3 ) 最小二乘法 最小二乘法首先假设边缘的形式，把边缘定位在一个像素l 。实际边缘可能以弧像素精度出现 在边缘估计位置附近的任何地方，并可能含有加性噪声。最小二乘法需要一定的先验知识，准确性 最高，但其抗嗓能力较差，训箅j i 最大。 一；一；一：叶 了中 2 5 序列图像测量法误差分析 通过序列图像在空间上连续性的关系获取尺寸的测量方法为实现大零件尺寸视觉测鼍提供了 可行性方案，通过图像处理算子算法的优化可以提高测量速度咀选刮上业应用标准但是与其他视 觉测量法一样这种视觉测茸方法也存在误差。这种方法的误差大致分为两类： 1 ) 视觉测量法固有误差。由于受相机设备、光源或被测工件等备种影响造成的边缘误差，由 于测量过程中相机和被测工件之间的旋转所引起的相面旋转误差。 2 ) 序列图像测量法特有的误差。这类误差主要由序列陶像间角度旋转和图像匹配造成的。 25 1 边缘误差 边缘误差是基于单幅图像视觉测量法的常见误差，而这类由于相机设备、光源等性能造成的图 像失真等问题只能通过提高硬件性能米改善，每级精度的提高都需付出昂贵的代价。不过在实验中 发现，图像边缘特征分布具有一定的规律。 由于机械零件边缘往往存在例角、直角等特征对视觉成像时产生不同的光学衍射效应以及受视 觉传感器件性能的限制，图像边缘往往存在一个过渡区域。图2 - 5 ( a ) 所示是一长方形零件在白色 背景前的图像( 分辨率为2 5 6 x 2 5 6 像素) ，图2 - 5 ( b ) 是该零件图像右边缘的灰度分靠图。由图可 见，理论上应该呈阶跃状的灰度分布闰，变成了斜坡形分布”w ，其中的过渡区跨越6 个像素单位。 机械零件图像边缘这种过渡分布特征，对确定零件边缘的精确位置，提高测量精度造成很大的田难。 在视觉测量中，像素太小是以像素当量为计量单位的，但是，像素当量值是有下界的，以分辨 率为1 0 2 4 x 1 0 2 4 像素的视觉传感器为例，当标定视野范嗣为l o m m i o m m ，假设标定区图像为1 0 0 0 1 0 0 0 像素时( 考虑到图像边缘存在畸变在实际中不可能有如此大的有效面积) ，像素当量只能 达到o o l m m p i x e l 。如果不对图像边缘进行适当的处理，序列图像测量法中，仅仅序列图像蜀左边 缘和岛右边缘的误差就可能达到1 2 个像素当量，由此可见，要选到微米级测量精度，必须设法消 除边缘过渡区对测量精度的影响。 ( a 】机械零件图像( b ) 零件图像边缘灰度分布图 图2 - 5 机械零件图像及其边缘灰度分布圈 针对机械零什图像边缘敷度的分布特征，为了捎除边缘过渡区对测量精度的影响课题组提出 了采用一种不依赖于成像参数的边缘像素补偿方法。该方法在序列图像中s - 的左边缘和晶的右边缘 像素进行边缘补偿后可以使测量精度达到亚像索级。 在升绑该方法前，首先定义本文圈像处理方法中使用的两个圈像坐标系统，以及与坐标相关的 六个函数。如幽2 所示，圉( a ) 像素坐标系中，坐标单位以像索( p i x e l ) 为单位，轴表示图像 阵列的行数，c 轴表示幽像阵列的列数，函数p “、p c r ( ) 、p c c ( ) 分* u 袭示吲像上某点在像素坐标 系中的坐标值、行坐标值、列坐标值 图( b ) 数值坐标系中，坐标单位虬浮点数为单位，醋数d e ( ) 、 d c x ( ) 、由) 分别表示幽像上某点在数值坐标系中的坐标值、x 坐标值、y 坐标值。需要注意的是， 数值坐标系原点0 的坐标a t ( o ) = ( 0 5 ，o5 ) ，这样，图像中任一像素的中心点在像素坐标系与数值坐 标系中具有相刊的坐标值。 第二章大尺寸零件在线视觉测量原理 l23 c ( a ) 像素坐标系( b ) 数值坐标系 图2 - 6 图像的像素坐标系与数值坐标系 以图2 - 5 ( a ) 的长方形零件两直线边缘之间的距离，的测量为例，来说明机械零件图像边缘像素补 偿法。分别以q 、e 表示零件的左、右边缘，在应用边缘像素补偿法时，首先调整q 平行于数值坐 标系的少轴( 通过旋转图像或者旋转待测零件) 。根据机械零件图像边缘灰度的过渡分布特征，则过 渡区沿工方向分布，设图像的分辨率为r x c 像素，a 为图像中任一点，p c ( a ) = ( r ，c ) ，则图像函数 为： 1 = 厂( 4 ) = f ( r ，c ) ，1 ，r ，1 c c ( 2 3 ) 为计算出亚像素计算当量和边缘像素补偿值，取长度分别为厶、l 2 ( l 1 厶) 双标定块对视觉测 量系统进行标定，然后计算待测尺寸，处理步骤如下： 1 )计算标定块沿c 轴的归一化灰度均值； e ( c ) 2 赤苫m ，c ) ，1 c c ( 2 4 ) 2 )计算e ( c ) 沿c 轴正向的一阶差分e ( c ) ； e ( 0 = e ( c + 1 ) - e ( c ) ， 1 c c - 1( 2 5 ) 3 )确定边缘像素差分阈值r ，搜索边缘过渡区域 g ( 七) ；l s s 七f t ) ( 2 6 ) 由于机械零件图像边缘的过渡分布特征，对于长方形零件，搜索到的 g ( 七) ：l s k t c 一1 ) 是 沿c 轴分布的两个灰度单调区域，即g ( k ) e e ( c ) ：j c 5 f ) 。 4 ) 确定左、右边缘x 轴亚像素坐标d e x ( 白) 、d c x ( e , ) ，计算两边缘之间的亚像素d ； d矗(白)：，一三三至1群t ( f j ) c 2 7 ， 蚍阳+ 鼍1 鹾t 岩沁叫 眩8 ， d = d c x ( e ，) - d c x ( e t ) ( 2 9 ) 5 ) 计算像素当量万； 万= 万z 2 - 酉z , 6 ) 计算边缘像素补偿值z ，由( 日+ 2 五) x 万= 及公式( 2 ，1 0 ) 可得 力= 觜 9 ( 2 1 0 ) ( 2 1 1 ) ，吣。2 ：3 3 ”少 ( 至塑丕堂墼主兰堡鲨塞 计算待测尺寸1 时的边缘补偿公式为 ，= ( d + 2 丑) d ( 21 2 ) 式2 1 2 中d 为待测件两边缘的亚像素距离，其计算方法见式2 9 。 边缘像素补偿法的优点在于，在计算像素当量d 时，通过d 一日获得非边缘像素的计算当量。 边