（机械电子工程专业论文）基于序列局部图像特征的工件尺寸参数的高精度视觉测量方法.pdf

摘要 基于序列局部图像特征的工件尺寸参数的高精 度视觉测量方法 研究生：夏前勇 导师：史金b 教授 张忠胜副教授 学校：永南人学 摘要 由于机器视觉测鼙具有连续性、1 e 接触性和1 f 破坏性等优点，而成为机械加l ：测颦的一种革新 手段。传统的机器视觉测封采基丁i 单幅幽像处理的方法，受成像区域与检测分辨率成反比例荧系 的制约，只能检测尺寸较小的零件。尽管现有一些基_ r 序列局部图像的尺寸测量方法，但是这些方 法都不能满足高精度快速测鼙要求。 本文提出一种新的基f 序列局部图像特征的1 j 件尺寸参数的高精度视觉测龌方法。此方法，利 用序列局部幽像在空间上的连续性，通过提取每个局部图像上的特征参数从而获得序列尺寸关系， 最终得到j ：件整体尺寸。 在实旌所提方法的过稃中，图像边缘问题是必须解决的首要问题。通过分析现有的多种边缘算 法和讵像素方法中存在的问题，针对本课题中j ：件的特点，提出了一种新的基丁| 烈标定块的亚像素 边缘补偿方法。该方法可以提高检测速度和尺寸测昔精度。 高精度快速匹配是实施所提方法的义一关键点。针对条形纹理表面工件提出了纹理方向测晕法， 解决了在i 刳像匹配过程中由丁两幅图像存在相对旋转而导致相关系数法失效的缺陷；提出了灰度特 征匹配方法，在保证匹配精度的同时显著提高了匹配述度。 结合上述理论和实验研究，设计了一( 件整体尺寸溯茸系统平台。实现了序列- 1 ：件图像信息的采 集希le 件尺寸的测量。利h j 该实验平台，分别进行了边缘补偿、纹理方向测鬣、灰度特征匹配等实 验，其中每相邻两幅图像之间灰度特征匹配时间在l s 以内。最_ l 亓进行了i ：件整体尺寸的测量实验：结 果表明本文所提测量方法能高精度快速地进行尺寸测琏，其相对测龌误差均在0 0 2 2 以内。 关键词：机器视觉；边缘处理；特征匹配；尺寸测量 a b s t i i a c t h i g ha c c u r a c y v i s i o nm e a s u r e m e n tf o rw o r k p i e c e d i m e n s i o nb a s e do ns e q u e n c ep a r t i a li m a g e sf e a t u r e s b yx i aq i a l l y o n g s u p e r v i s e db yp r o f e s s o rs h ij i n f e ia n da s s o c i a t ep r o f e s s o rz h a n gz h i s h e n g s o u t h e a s tu n i v e r s i t y a b s t r a c t d u et ot h ea d v a n t a g e so f c o n t i n u i t y , n o n - c o n t a c ta n dn o n - d e s t r u c t i v e n e s s ，v i s i o nm e a s u r e l n e n th a s b e c o m ea l li n n o v a t i v em e t h o di nd i m e n s i o nm e a s u r e m e n t t h ei r a d i t i o n a lm a c h i n ev i s i o nm e a s u r e m e n t b a s e do nas i n g l ei m a g e c a no n l ym e a s u r er e l a t i v e l ys m a l ls i z eo f w o r k p i e c eb e c a u s eo f t h ei n v e r s e p r o p o m o nb e t w e e n l m a g m gr e g t o na n dm e a s u n n gp r e c i s i o n a l t h o u g ht h e r ea r em a n ye x i s t i n g m e a s u r e m e n tb a s e do ns e q u e n c ep a r t i a li m a g e s b u tt h e s em e t h o t i sc a l ln o tm c c tt h ed e m a n do f h i g h p r t s l o nm u r c m e n t n i sp a o c rp r e s e n t san e wh i g h - p r e c i s i o nv i s i o nm e a s u r e m e n tm e t h o db a s e do ns e q u e n c ep a r t i a l i m a g e s t h i sm e t h o de x t r a c t ss i z ec h a r a c t e r i s t i cp a r a m e t e r so f e a c hp a r t i a li m a g ea n dg e t ss e q u e n c e d i m e n s i o nr e l a t i o n sb yu s i n gp a r t i a l i m a g e sw h i c ha r ec o n t i n u o u si ns p a c ea n dt h e n 睇t st h eo v e r a l ls i z e i nt h ep r o c e s so f i m p l e m e n t i n gt h ep r e s e n t e dm e t h o d t h ef i r s tp r o b l e mm u s tt os o l v ei st h ee d g e p r o b l e m t o w a r dt h ew e r k p i e c ec h a r a c t e r i s t i c si no n rs u b j e c tan e wm e t h o db a s e do nt w oc a l i b r a t i o n b l o c k si sp r e s e n t e db ya n a l y z i n gp r o b l e m sw h i c ha r ee x i s t i n gi nm a n ye d g ep r o c e s s i n gm e t h o da n d s u b - p i x e le d g ep r o c e s s i n gm e t h o d s t i i i sm e a s u r e m e n tm e t h o dc a ni m p r o v et h es l x 圮da n da c c u r a c yo f m e a s u r e m e n t h i g h - p r e c i s i o na n d f a s t m a t c h i n g i sa n o t h e r k e y p r o b l e m i n t h e p r o c e s s o f i m p l e m e n t i n g t h e p r e s e n t e d m e t h o d an e 5 rm e t h o di sp r o p o s e da g a i n s tt l l ew o r k - v i e c ew i t hs t r i pt e x t u r es u r f a c e t h i sm e t h o ds o l v e s t h ec o r r e l a t i o nc o e f f i c i e n tm a t c h i n gp r o b l e mw h i c hi sc a u s e db yt h er e l a t i v er o t a t i o na n g l ee x i s t i n gi nt h e t w om a t c h i n gi m a g e s t h i sp a p e ra l s op r e s e n t sg r a yf e a t u r em a t c h i n gm e t h o dw h i c hu l a k e ss u r et h e m a t c h i n ga c c u r a c ya tt h es a m et i m eg r e a t l yi m p r o v i n gt h em a t c h i n gs p e e d b a s e do nt h et h e o r e t i c a la n de x p e r i m e n t a lr e s e a r c h t h es y s t e md e s i g ni sc o m p l e t e d t h ec o l l e c t i o no f s e q u e n c ep a r t i a ii m a g ei sr e a l i z e d a n dt h ed i m e n s i o nm e a s u r e m e n tw h i c hi sp r e s e n t e di nt h i sp a p e ri sa l s o r e a l i z e d o no u re x p e r i m e n tp l a t f o r m ，t h em e t h o do f e d g ec o m p e n s a t i o n , t e x t u r ea n g l em e a s u r e m e n t , g r a y f e a t u r em a t c h i n ga n ds oo ni av a l i d a t e db ye x p e r i m e n t s ；t h em a t c h i n gt i m eo f t w oi m a g e si sw i 也i nl s f i n a l l y 。t h ee x p e r i m e n to f t h eo v e r a l ls i z em e a s n r e m c n to f t h ew o r k - p i e c ei sm a d e t h er e s u l t ss h o wt h a t t h em e t h o dw h i c hi sp r e s e n t e di nt h i sp a p e rc a nm e a s u r et h ed i m e n s i o no f w e i r k p i e w i t hh i g h - p r e c i s i o n ： i t sr e l a t i v em e a s u r e m e n te l o ri sl e s st h a n0 0 2 2 k e yw o r d s ：m a c h i n ev i s i o n ，e d g ep r o c e s s i n g ；f e a t u r em a t c h i n g ；d i m e n s i o nm e a s u r e m e n t 东南人学硕 。学位论文 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：秘日期：2 篚哔 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：触导师签名：她日期：一 第一章绪论 1 1 课题的背景及意义 第一章绪论 现代制造业对高精度检测提出迫切要求。生产实践需要一种新的在线监测方法要提高 零件的检测精度，对加f ：的零什实现快速、逐件检测，并将不合格品消除在加i ：过程中，或 及时剔除出不合格品，避免流入应h 4 生产中构成生产事故隐患。 制造业自动化程度的提高，使得高精度快速测颦显得越来越重要。一方面，随着生产自 动化程度的提高，生产过群人1 ：干预冈素逐渐减少，主要依靠计算机进行控制，加l ：过群质 量必须能自动连续检测，否则，出现偏差不能白动识别和排除，生产就无稳定性可言，也就 不能形成生产力。川另一方面，现代企业生产质鼙的不断提高，产品质蛩监管的难度也在不 断上升，对于某些重要零部件，很有必要实现“逐什检测”，企业不得不投入人越的人力和 物力努力实现这一目标。这两方面的要求，都对i ：f t ：检测系统提出了更高的目标，必须寻求 能兼顾高生产率和高检测精度的有效方法。 现代t ：业自动化生产中，涉及剑各种各样的检查、测餐和零件识别席，例如汽车零配 件尺寸检查、电子装配线的元件自动定位等，这类应删的共同特点是连续人批鹫生产、对外 观质鼙的要求非常高。这种带有高度重复性和智能性的r ：作，过左是靠人i ：检测来完成。人 t 执行这些t 序，在给1 l ：厂增加巨人的人f ：成本利管理成本的同时，仍然不能保证1 0 0 的 检验合格率( 即“零缺陷”) 。0 1 的缺| 5 f ；的存在，对企业在市场上的竞争也是极为不利 的。有些时候，如微小尺寸的精确快速测域、形状匹配、颜色辨识等，人r = 根本无法连续稳 定地进行。现代制造强调实时、在线、非接触检测，确保对制造过程实现全面控制，提高生 产效率和产品的合格率，这是许多传统检测手段无法提供的；现代产品的制造精度大大提高， 要求相应高精度的检测方法。 相对于人： 检测所【捌有的主观性、易疲劳、速度慢、成本高、强度人等缺点，机器视觉 检测具有非接触、速度快、精度合适、现场抗干扰能力强等突出的优点，使有可能实现逐件 检测；还有在线、实时性好，获得的数据便于计算机处理等优势。利川机器视觉来监测机械 加，t = 质量过程，并对检测数据按质鼙控制要求进行实时处理，则可实现机械加i ：质鼙过程的 动态控制。能很好地满足现代制造业的需求，在实际中显示出广阏的麻用前景。机器视觉检 测技术己逐渐应h j 到f ：业领域，已经成为机械加l ：测鼍的一种革新手段，目前已经受到人们 的广泛关注。早在2 0 世纪8 0 年代，美国国家标准局就曾预计朱来9 0 的检测任务将由视觉测 量系统来完成。近年来，随着计算机与机器视觉技术的发展，图像处理与分析方法水平不断 提高，使基于机器视觉成像方法的几何测簧技术成为机械加i 测量的一种革新手段。 由c c d 传感器、光学成像系统、数据采集和处理系统构成的尺寸测鼙装置，具有较高 测量精度、和较高测量速度、以及应用方便灵活等特点，是现有机械式、光学式、电磁式测 量仪器所无法比拟的。在尺寸测晕中，通常采用合适的照明系统使被测物体通过物镜成像在 c c d 靶面上，通过对c c d 输出的信号进行适当处理。提取测量对象的几何信息，计算出被 测尺寸。 传统的机器视觉测量采用基于单幅图像处理的方法，受成像区域和检测分辨率成反比例 关系的制约，只能检测尺寸比较小的零件。这些传统方法主要针对小尺寸零件单什测量的要 求，检测速度不高，不适用丁常规尺寸( 5 0 r a m 左右) 机械零件的高精度测量。 对于确定的机器视觉系统，由于成像区域和检测分辨率成反比例关系，要取得微米级测 量精度，单幅图像的成像区域必须限制得很小，一般只能是常规尺寸机械零 ， ：的局部幽像。 若采_ i 】在虚拟现实中广泛使川的图像拼接方法，也就是将序列局部幽像拼接成全局幽像的方 法，当拼接的图像数目增人时计算的数据量会很人，将对计算提山较高的要求，普通的计算 机很难满足计算要求。 东南大学颀l 。学位论文 1 2 国内外研究现状 机器视觉是一个崭新且发展十分迅速的研究领域，在零件几何性质检测方面，现有的视 觉检测对象基本上都是尺寸精度、形位精度的测锗，如集成电路安装定位，分立器件结构检 测，精度要求并不高，一般只要达剑0 1 m m 数鼙级即可；而在机械零件儿何尺寸测量方面p h ”， 绝对精度有达剑o o l m m 数餐级虽有报道，但它是在检测环境稳定，且处丁| 静j r 状态的条件 卜检测小尺寸 件取得的，一般适j j 。计量中心等。而在机械加i ：中，环境背景复杂，且存 在噪声、振动、灰尘等干扰冈素的情况l - ，如何实现机器视觉对机械加l ：尺寸的在线检测， 这方面的研究还处丁起步阶段。 传统的机器视觉测鼙采川基丁单幅图像处理的方法，受成像区域和检测分辨率成反比例 关系的制约，只能检测尺寸比较小的零件。如l e il i a n g y u 席j j 线扫描c c d 相机和图像处 理方法测鼙轴承直径，对于外径为2 2 7 6 0 r a m 的轴承，1 6 次测晕得到的均值为2 2 7 6 9 ，标准 若为0 0 1 5 m m l 6 j 。吉林大学刘庆民等廊川高分辨率c c d 相机和放人成像方法，测龋齿形链 链板的几何参数及圆度误差，对公称尺寸为9 5 2 5 m m 的讧距，测鼍误筹为7 1 1m ，公称直径 为3 7 6 m m 的圆销孔，测譬圆度误差为8 4 i 1m1 7 j 。这些传统方法主要针对小尺寸零什单件 测量的要求，检测速度不高，不适j j 于常规尺寸( 5 0 m m 左右) 机械零件的高精度快速测鼙。 为了实现常规尺寸机械零件的机器视觉高精度测鼙，机器视觉系统越来越多地和其它新 技术集成麻h 】，取得了较好的效果。如r a j e s hs u b r a m a n i a n 等人把机器视觉系统与坐标测龋 机集成，充分利用视觉幽像便于处理、以及容易与自动化技术相结合的特点，实现了检测基 准的臼动找正，在取得高精度测鲑结果的同时，人人提高了测鼙效率p l 。廖强等应h j 面阵 c c d 器件与赢精度计鼙光栅组成的般重坐标结构，构成基于机器视觉的高精度几何馘测鼙 系统，采_ l 】轮廓跟踪的检测方法，由舣重坐标系米确定零件轮廓的实际位置，实现了零件几 何颦的精密测罐，达剑微米级测鬣精度1 9 j 。上述研究，由于集成了其他检测技术，使得整个 测量系统结构复杂，体积庞大，操作更专业，全系统的实现成本也更昂贵。 现有的基丁：机器视觉的高精度快速尺寸测量研究，还仅仅局限于难以用常规餐具溯量的 微小结构。如h y u k s a n g y o o n 等针对直径为0 ，3 m m 的微细孔加r = 质量在线监测需要，设计 了同轴光前光源和l e d 阵列背光源照明系统，使用带变焦镜头的c c d 相机，应刚边缘提取 算法和聚焦寻形( s h a p e f r o mf o c u s 。s f f ) 原理测鼙微细孔尺寸及毛刺大小，测量毛刺高度 和宽度的精度达剑o 5um 1 0 1 k y o n d i n 等川机器视觉系统监测数控加r 中心刀具切削刃的 微餐磨损，为了克服切削刃对光线的散射效应，设计了白色l e d 光照明系统，并在成像路 径上采用滤光片防l f 像素饱和，视觉成像方法测得的磨损鼙及时反馈【亓l 机床控制系统，h j 于 补偿刀具下次工作时的进给量，取得了很好的控制效果j 。这些研究成果通过设计特殊的 照明系统，采用显微成像方法对被测目标微小区域进 i 放大成像，再采用适当的图像处理算 法获得待测零件的尺寸特征值，具有很高的测茸精度。但是，由于成像区域的限制，这些 系统不能实现常规尺寸机械零件的高精度快速测量。 对于确定的机器视觉系统，由于成像区域和检测分辨率成反比例关系，要取得微米级测 最精度，单幅图像的成像区域必须限制得很小，一般只能是常规尺寸机械零件的局部图像。 然后利用这些相邻序列局部图像之间的重叠区信息来获取机械零件的整体尺寸信息。如果要 找到相邻序列局部图像重叠区之间的相关信息，则需要通过图像匹配技术来实现。 图像匹配可以分为基于灰度特性“和基丁特征点匹配l l 州两种基本方法。前者主要取决 于图像的灰度统计特性，适用丁在灰度分布上有明显线性特征的图像i l ”。后者主要研究幽像 的某些特征，适用于具有明显特征的图像“。传统的幽像配准方法将以上两种基本方法分裂 开来，基f 灰度统计特性的方法加人了算法的计算量，基丁特征点匹配的方法忽视了特征提 取过程中的误匹配。 若采用在虚拟现实中广泛使_ 1 j 的图像拼接方法，也就是将序列局部图像拼接成全局图像 的方法l l “，由于数据鼙很人，将对计算提出较高的要求，难以适应快速测鲑的要求。 传统的结构化模板匹配算法。如：基丁区域灰度相关i i q l ”1 的归一化积相关匹配算法 ( n o r m a l i z e d p r o d u c t c o r r e l a t i o n 。p r o d ) 只适合模板图和基准图之间存在小角度旋转的图像匹 2 第一章绪论 配，当两幅图像相对旋转角度较大时就会出现误配。f o u r i c r - m e l l i n l l 9 1 法，适合存在大角度 旋转两幅幽像的匹配，但这种变换计算量也相当大。基r 不变矩的匹配方法可以圳来解 决目标的旋转问题，但对噪声过于敏感。 通过互相芙系数法实现| 璺l 像的匹配，时间长；而基丁特征的匹配可以提取具有旋转、 平移不变性的不变量，具有快速、准确的特点。为了解决人角度旋转图像匹配同时保证有较 高的速度，天津人学精密测试技术及仪器国家重点实验室牛小兵等人，在l ：业测餐中人为地 加入特制特征，提出采用一点一线法进行拼接测量，并就一点一线法中点和线的参数值对拼 接结果的影响进行了误差分析。最后进行了实物儿何餐测母实验j 。通过对比不同特征对 测颦效果的影响，针对单元摄像机受测量范围、测鼙精度和i 测量效率制约的问题，采h j 二维 i 型像拼接的方法，达到大测量范围、高精度和多参数综合测蟮的目的。这种测鼙方法能够有 效地确定两幅图像之间的人旋转角度匹配，达到快速拼接测量。但是在e 业测鼙中人为地加 入特制的特征，有时很不方便。 综上所述，现有的这些视觉测姑方法都存在一些不足，有的计算鼍较大，有的系统较为 复杂、昂贵，有的不能克服相邻图像之间存在旋转角度的匹配，有的需要人为加入标记。针 对这些不足，本课题提出一种基丁序列局部图像特征的i r j ：尺寸参数的高精度视觉测鼍方 法。将研究机械零件的表面形貌与其局部幽像特征的对应关系，建立i l l ：局部特征的数学模 型，利川序列局部图像在时间和空问上的迮续性，研究序列局部幽像之间的关联关系，获得 ：1 ：件整体特征的数学模型，并从中提取j ：件尺寸特征。研究过程中建立的实验系统和开发的 高精度快速测量算法将进一步应刚于生产实际，实现基于机器视觉的常规尺寸机械零件的测 量。 1 3 本课题要解决的问题 要利用工件的序列局部i 墨i 像，来实现t f t ：整体尺寸的测最，需要建立基于序列局部图像 的工件整体尺寸测量方法。为了保证丁件的测茸精度，边缘处理方法也十分重要，边缘处理 也将会大人影响，f ：件整体尺寸的测量精度。本课题所采取的1 ：件整体尺寸测龉，是利川图像 匹配方法找出序列局部图像之间的尺寸关联关系，晟后达到实现j 二件整体尺寸测量。所以怎 样保证图像匹配的精度和速度，是一个重要问题。 ( 1 ) ：件整体尺寸测量方法 如何利用 ：件的序列局部图像米实现j ：件整体尺寸的测量，是提高机器视觉测量精度的 一个新方法，同时也是一个雉点。 ( 2 ) 。r 件边缘处理问题 机械零件边缘往往存在倒角、倒圆等细部特征，这些特征对用来照明被测平面的光线具 有散射作用，在视觉成像时产生光学衍射效应，从而使零件图像边缘早现出一个跨若干像素 的过渡区域。机械零件图像边缘灰度的这种过渡分布特性，对确定零件边缘的精确位置、实 现高精度测餐造成了很大的困难。 ( 3 ) 高精度匹配问题 图像匹配技术所要解决的主要问题是在保证一定匹配精度的前提下，如何进一步提高 图像的匹配速度。在实际生产中如果要连续测域一批i ：件必须保证有足够的时间来测量【件 尺寸，现有的模板匹配法概念清晰，实现简单，但计算量十分庞大，不能满足幽像处理的实 时性要求。 1 4 论文的组织结构 本文以机器视觉检测j i ：件尺寸偏差实验为背景，主要完成了系统检测平台软硬件设计、 工件图像采集与处理、上件边缘提取与分析、j - 4 l ：尺寸检测及误差分析，最后建立了检测模 3 东南夫学顾1 。学位论文 型，并完成了实验数据保存与传输的程序设计。全文结构如。卜： 第一章，主要介纠课题研究的背景、意义以及图像拼接在零什精度检测方面的研究现状 和本i 聚题要解决的关键问题。 第- 二章，介绍了本文提出的一种新基丁序列局部图像特征的r 件尺寸参数的高精度快速 视觉测鼍方法。此方法，利川在空间上连续的序列局部幽像，提取每个局部图像上的尺寸特 征并且获得序列尺寸关系，最终得剑整体尺寸。在这个方法麻川的过程中，边缘处理和高精 度快速匹配是两个关键的问题。 第二章，详细介纠了i ：什边缘削像处理方法：通过分析比较各种边缘算法平| i 耵像素方法， 针对本课题中l ：什的特点，提出了一种新的弧像素边缘补偿方法。这种方法检测速度快，尺 寸测鹫精度高。最后并通过实验验证了这种方法。 第四章，详细介绍了高精度快速匹配方法：提出了针对条形纹理表面i ：件的纹理方向测 量法，解决了在幽像匹配过程中由丁两幅幽像存在相对选择而导致相关系数法火效的缺陷： 提出了灰度特征匹配，在保证匹配精度的同时人人提高了匹配速度。并通过实验验证了该方 法。 第五章，分析系统需求后，完成了系统设计。实现了序列l ：件图像信息的采集，并实现 了本文提出的，i 1 t t ：尺寸的测鬣方法。最后通过实验验证了一l ：佴：整体尺寸测量方法。 第人章，总结与展望 4 第一章t 件整体尺寸测量方法 第二章工件整体尺寸测量方法 机械零件尺寸测鼙是现代化生产中一个重要环节，对于人批晕生产的零件靠人l ：检测成 本很高。有些时候，如微小尺寸的精确快速测昔、形状匹配、颜色辨识等，人f ：根本无法连 续稳定地进行。现代制造强调实时、在线、非接触检测，确保对制造过程实现全面控制，提 高生产效率和产品的合格率。 2 1 整体尺寸测量方法 机器视觉测晕作为一种机械零件尺寸测量的新方法，被r 。泛地麻f j 丁微酗和小尺寸零件 的测鼍口2 卜忙“。视觉检测由于受成像区域利检测分辨率成反比例芙系的制约，要高精度检测 工= 件尺寸成像区域必须限制在较小的范嗣。对丁 常规尺寸缄人尺寸的机械零件来说，通过视 觉系统采集幅幽像并不能测鼙它的整体尺寸。为了高精度测鬣这些l 件的整体尺寸，1 2 5 z 6 提山了一种基丁序列局部例像测鼙方法。 尽管现有许多基下序列局部图像的尺寸测餐方法。但是当存在很多的局部图像时，由丁 受到处理速度和拼接精度的限制，这些方法都不能满足快速高精度测苗。众所周知机械零件 表面纹理可以帮助我们提高两幅序列图像的匹配精度。如果能够为两幅匹配幽像明确具体地 定义其纹理特征，我们会从中获得更多的帮助。因此利f j 序列局部图像之间的关系，从序 列局部i 划像中提取尺寸特征从而得到工件的尺寸，将是取代图像拼接实现e i i ：高精度快速测 量一种新方法。 “把璋篷体分为部分再将部分合为整体”的思想将对机器视觉测量发展起很大的作用。在 这个部分，我们将主要介绍基于序列局部图像的i = 件尺寸的测量方法并且提出实现序列局部 图像测量方法的关键技术。 基于序列局部图像的【件尺寸的测量方法为：首先采集二i ：件上小部分图像，产生序列局 部图像，这些图像在邻接边缘相互重合。然后利 l j 这些在空间上连续的序列局部图像，提取 每个局部图像上的尺寸特征并且获得序列尺寸关系。最后通过部分尺寸计算r l 件的整体尺 寸。具体的测餐步骤如f ： ( 1 ) 如图2 1 中所示，沿着尺寸方向采集序列局部图像最( 卢l 2 ，n ) 。由于在 ：件图像 采集过程中工件和摄像机之间存在相对的转角变动，所以序列局部图像边缘方向不同。 图2 1 采集序列局部图像示意图 ( 2 ) 在完成t 件序列局部图像采集后，对蜀进行边缘提取获取工件的一个边缘信息 ( 3 ) 对图像置对岛+ l ( 卢i 2 ，, n - 1 ) 进行匹配 5 在序列局部| 璺| 像的采集过程中l 忭和摄像机存在旋转。旋转角度会影响图像匹配，这 个旋转角度需婴通过算法来测量。利川角度测苗结果把s + l 进行旋转以满足图像匹配需要 ( 4 ) 提取尺寸特征点o 经过灰度特征匹配后，便可以图像墨和图像昂l 有重合区域的地方找到一系列匹配点。 为了便下计锋需要再把l 图像旋转6 角度。6 角度的计算是通过图像s 和图像s 0 i 之间系 列匹配点来确定的。如图2 - 2 所示点p l 、p 2 ，对应的匹配点为p l ，岛。当两幅图像不存在 旋转角鲫十p i ( 砷p l 协) = p 2 0 ) p 2 c d ，但是当有小旋转角度j 存在时p l ( 砷一p 1 ( 砷p 2 d p 2 。止是利刚这些匹配点的坐标信息便可以确定旋转角度j 的值。 图2 - 2 艿角度测晕简单示意| 耋】 当蹄l 旋转d 后，在理论上两幅i ：件图像之间不存在角度筹，这时在图像s 和图像s 0 l 的重台区可以任选一点d ( 卢l ，2 ，月1 ) 作为墨和昂i 两幅图像之间的尺寸点。 ( 5 ) 对品进行边缘提取获取l 件的另一个边缘信息 ( 6 ) 当得剑序列尺寸特征点o f ( 卢l a 一1 ) 和边缘信息时便可以进行下件整体尺寸计 算。为了形象地说明”i ：件整体尺寸测最方法，f 面给出l ：件整体尺寸测鼙示意图，如图2 - 3 所示。图中的岛( 卢1 ，2 ，n ) 是经过旋转处理后的图像，d ( i = l ，2 ，一) 为提取的尺寸特征点。 这样局部幽像尺寸特征l ( 卢l ，2 ，) 就可以被获取。幽中旋转过的序列局部图像的连接只是 为了方便人家理解，为了提i 自i 计算速度程序中并未实现图像的连接。在具体实现中只需提取 与尺寸测量有关的序列尺寸特征点q ( 卢l 2 m - 1 ) 。这些尺寸特征点是相邻序列局部幽像上 的重合点，它包含像素坐标信息。 图2 3 建立尺寸特征点示意图 利用尺寸特征点和边缘信息可以计算所有的 ( = - i 2 ，) ，最终得到一i ：件的整体尺寸。 需要注意的是，含零件左、右边缘的局部图像要进行边缘补偿。工件整体尺寸计算为公式： ( 2 - 1 ) = i = 1 ( 2 1 ) 序列i 刳像测茸法的优点在于，把大尺寸机械零件的测量“化粘为零”，得以发挥视觉检 测的优势；然后再“集零成整”，发挥计算处理的长处。测量误差的积累只取决丁i 序列图像 6 第一二章t 件整体j t 寸测量方法 之间特征的选取与匹配精度这是图像处理算法问题问题的转化对提高人尺寸的测量精度 ，f 辟了新的途径。 通过序列局部图像测量方法来达到高精度测鼍，苜先需要解决边缘处理承1 高精度匹配这 两个天键问题。 2 2 边缘处理问题 机械零什边缘往往存在直角、倒角或者倒圆锋细部特征，这些特征对h 来照明被洲平 面的光线具有散射作h j ，并住视觉成像时产生不同程度的光学衍射教应，使机械零件剐像边 缘 现出一个跨若干像素的灰度过渡分布陋域。i 鳘 2 _ 4 所不是一k 方形零件在白色背景前的 图像( 分辨率为2 5 6 x 2 5 6 像素) ，幽2 - 5 是该零件图像右边缘的灰度分布幽。由图可j ! l ，理 论上应该节阶跃状的灰度分布图，变成了斜坡形分布2 7 1 ，过渡区跨越了6 个像素。 图2 - 4 ：【件图像图2 - 5 幽像边缘灰度分布 机械零件图像边缘灰度的这种过渡分布特征，对确定零件边缘的精确能置，实现高精度 测营造成了报大的困难。一方面零什边缘细部形状不同，所产生的光学衍射，效应就会不同， 同时，细部特征尺寸不同，所产生的光学衍射敛麻就有稃度上的蔗别，反映在视觉图像上， 就是幽像边缘过渡区的灰度分布不同。但是，视觉传感器的光敏面是以像元为单位来分辨入 射光强的。像元的不可无限细分性。狄定了以像素为单位的图像边缘过渡区不能分辨筹圳细 微的光学衍射效应而这种细微差别却是确定真实边缘位置所必须的：另一方面，在以像素 当量为计算单位的视觉测量中，像素当量值代表了该视觉系统所能达到的最商像索绒测昔精 度。但是像素当量值是有f 界的，以分辨率为1 0 2 4 1 0 2 4 像素的视觉传感器为例，当标 定视野范围为l o l l l m l o m m 标定区图像分辨率为1 0 0 0 x1 0 0 0 像素时，像素当封值只能达 到o o l m m p i x e l 。机械零件幽像边缘的跨像素过渡特征，使像素级边缘误筹在一个像素当越 以上。由此可她。要达剑精加i ：使用的微米级测鼙精度，必须进行像曩细分，取得弧像素计 算当量。并在不能精确确定实际边缘位置的情况f 。设法消除姐缘过渡区对测量精度的影响。 关于解决上述边缘检测的问题，将在第三章做详细的介绍。 2 3 高精度匹配问题 2 3 1 选择匹配方法 当两幅j ：件倒像存在重合隧域时，如何通过圈像特征快速发现其匹配关系，是一个重 要的研究课题。如果在3 6 0 0 范罔内，以一定角度增量旋转模扳后，再计算搜索区域同模板 之间的相似性。显然，这种匹配处理的运算世镁犬，难以实现快速删量。传统的结构化模板 匹配算法，如：基丁区域灰度相关2 8 1 1 2 9 1 的归一化移 相关匹配算法( n o 彻a i i c d p r o d u c t c o n e l a f i o n p r o d ) 只适合模板图和基准图之问存在小角度旋转的幽像匹配， 当两幅图像相对 7 东南人学硕f 一学位论文 旋转角度较人时就会出现误配。f o u r i c r - m e l | i n 。法，适合存在大角度旋转两幅图像的匹配， 但这种变换计算龄也相当人。基于不变矩的匹配方法1 3 0 可以川来解决目标的旋转闽题，但 对噪声过于敏感。 当匹配图像存在较小旋转角度( 大约为o 7 。) 和缩放比例时，基丁- 灰度相关匹配算 法进行幽像匹配具有较高的精度。但是它存在两个问题。第一闯题是，当两幅匹配的图像存 在较人的相对旋转角度时，基丁相关系数法的匹配就失效了。第二个问题是，匹配速度较慢。 本课题，首先利川f ：件幽像的纹理特征矫正人角度旋转，然后利用一l ：件图像特征提出了 灰度特征匹配方法提高了匹配速度：实现了高精度快速匹配。 2 3 2 矫正旋转角度 当采集序列图像时，如果摄像机绕光轴旋转口角度或者r = 什旋转负。角度，序列图像 鼾一和昌在尺寸方向上将会相著口角度。在使用相关系数法寻找匹配线之前，为了矫止蹄i ( 如 图2 ，5 ) 必须把i 旋转妒卸+ 烈- 8 0 ( 驭8 。) 角度。否则，相关系数法可能会失效1 。 矫正序列图像的关键是确定旋转角度m 。我们将通过图像处理的方法利_ i j i ：件的纹理特 征，测量每幅幽像得至q 旋转角度。 图2 - 6 矫正序列局部图像示意图 这种矫正方法不仅能修正摄像机和f ：件相对旋转的问题，还将运用与非直线边缘的复杂 工件测量。而且，这种方法允许序列局部图像之间的相对旋转的存在，这丈人降低了被测工 件的位置要求并有利于工业应_ l j 。 2 3 3 灰度特征匹配 当确定角度旋转角度妒并将图像l 旋转后，这时两幅图像之间的角度差占在相关系数 匹配法就可以用相关系数法对两幅幽像进行灰度特征匹配了。下面州圈2 - 6 来介绍这种方 法特点。 一，和一：分别是两幅相邻图像墨和取l 可能重复的区域。传统的基于相关系数法的简单 灰度匹配方法是：把一，区域中的每个像素点与整个4 0 区域中所有像素点进行相关系数运算。 最后得到一系列对应的匹配点。 灰度特征匹配方法是：首先在a ，区域中有原则地选择m 个点作为特征点( 般m 5 0 ) ； 然后以这m 个特征点作为依据有原! l ! l | 地在爿j 区域中选择系列点，作为a j 区域中m 个特征 8 第二章t 件整体凡寸测量方法 点的预备匹配点；最后把a 。区域中m 个特征点分别与a j 区域中的预备匹配点进行相关系数 运算，得到合适的匹配点。 - l s i 二4 f 乞 图2 7 基于灰度特征匹配方法与传统的灰度匹配方法相比大人提高了速度，同时特征点以及 预备匹配点的选择原则保证了较高的匹配精度。 9 第三章堆f 双标定块的亚像素边缘补偿算法 第三章基于双标定块的亚像素边缘补偿算法 机械零件的尺寸是由边缘之间的距离决定的，通过视觉方法检测l 。什的尺寸必须对j = 件 图像边缘进行处理。边缘处理方法的好坏会直接影响l 。什尺寸的测苗。 3 1 边缘提取方法及遇到问题 目前有粮多成熟的姐缘处理锋法，但是对了：不同的图像每种算法都有备臼的优缺点。针 对机械零件| 兰l 像特点找到一种适合的方法，将会提高l 刊。糕体尺寸测量精度。 3 1 1 机械零件边缘特点 本课题所研究的r 件边缘与一般的实物边缘相比具有以下特点： 1 、机械零1 ，| ：边缘形状较为简单 机械零件边缘都是一些规则的形状，如直线、倒弧、椭圆，这些边缘形状较为简单。这 些较为简单的边缘形状在检测过程中处理起米也相对简单。 2 ，边缘存在过渡区 在2 2 章节已经提出：件蹦像的边缘蝴题。机槭零件边缘往往存在直角、倒角戚者倒| 虽【 等细部特征这些特征对用来照明被测平面的光线艮有散射作用，井在视觉成像时产生不同 程度的光学衍射效应，使机械零件例像边缘鼍现出一个跨若干像素的灰度过渡分布区域。酗 3 - 1 所示是一长方形零件在白色背景前的图像( 分辨率为2 5 6 2 5 6 像素) ，幽3 - 2 是该零件 图像右边缘的灰度分布闺。由罔可见，理论匕应该单阶跃状的灰度分布图，变成了斜坡形分 布，过渡区跨越了6 个像素。机械零件图像边缘灰度的这种过渡分布特征对确定零件边缘 的精确位置，实现高精度测量造成了很| 人的困难。 图3 ，l 工件图像圈3 - 2 图像边缘灰度分布 3 1 2 边缘检测方法及存在问题 l 、图像边缘概念 图像边缘，主要表现为图像局部特征的不迮续性，即幽像中灰度变化比较剧烈的地方。因 此我们把边缘定义为图像中灰度发生急剧变化的区域边界。根据灰度交化的剧烈挫度，通常 将边缘划分为阶跃状平尾项状两种类型口“。阶跃边缘两边的灰度值变化明显，而厚顶边缘位 于灰度值增加与减少的交界处。那么对阶跃边缘和罐顶边缘分别求墩一一阶二阶导数就可 以表示边缘点的变化。冈此对于一个阶跃边缘点其灰度变化曲线的一阶导数住该点逃剑极 大值，二阶导数在该点与零交义：对于一个屋顶边缘点，其灰度变化曲线的一阶导数在该点 1 0 东南人学顾i ：学位论空 与零交义；二阶导数在该点达到极人值。 2 、常用边缘检测算法 一般常 一阶和二阶微分来检测边缘。一阶微分边缘算子即梯度算子，主要包括r o b e r t 算子、p r e w i t t 算子、s o b e l 算子、k i r s c h 算子、c a n n y 算子等。 ( 1 ) r o b e r t s 边缘检测算于是根据任意一对互相乖直方向上的差分可刖米计算梯度的原理， 采川对角线方向相邻像素之著近似检测边缘，定位精度高，在水平和罨直方向效果较好，对 具有陡峭的低噪声幽像响麻最好，但对噪卢敏感。 ( 2 ) s o b e l 算子利用像素的上、下、左、右邻域的灰度加权算法，根据在边缘点处达到极 值这一原理进行边缘检测。该方法不但产生较好的检测效果，而且对噪声具有平滑作_ l 甘，可以 提供较为精确的边缘方向信息。但是，在抗噪声好的同时增加了计算量，而且也会检测伪边缘， 定位精度不高。如果检测中对精度的要求不高，该方法较为常用。 ( 3 ) p r e w i t t 边缘锋子是一种边缘样板算子。样板算子由理想的边缘子图像构成，依次用 边缘样板去检测图像，与被检测区域最为相似的样板给出最人值，川这个最人值作为算子的 输出。对灰度渐变和噪卢较多的图像处理得较好，和j s o b e l 箅子一样会检测伪边缘，且定位精 度不高。 ( 4 ) c a n n y 算于实质是用一个准高斯函数作平滑运算，然后以带方向的一阶微分岸子定位 导数晟人值，在实际l ：作麻h j 中编程较为复杂，且运算偏慢。它是一阶传统微分中检测阶跃 型边缘效果最好的算子之一，它比p r e w i t t 算子、s o b e l 算子、l a p l a c i a n 箅子极小值算法 的去噪能力都要强，但它也容易平滑掉一些边缘信息。 二阶微分算子有拉背拉斯算子、l o g ( l a p l a e i a no f6 a u s s i a n ) 算子等。 ( 1 ) l a p l a c i a n 拉普拉斯边缘算子的缺点是：由于为二二阶差分，双倍加强了噪声的影响： 另外它产生_ ) 叹像素宽的边缘，且不能提供边缘方向的信息，因此，拉普拉斯算子很少直接用于 边缘检测，而主要用丁已知边缘像素，确定该像素是在图像的暗区还是在明区，朋丁检测屋顶 型边缘的效果不错，但对噪卢敏感性较人。其优点是各向同性，不但可以检测出绝人部分边 缘，同时基本没有出现伪边缘，可以精确定位边