（控制理论与控制工程专业论文）基于匹配的图像识别算法的应用研究.pdf

摘要 摘要 图像匹配作为计算机视觉中的一项基本和重要的技术，在导航制导、工业检 测、遥感图像分析等领域都有广泛的应用对于工业检测应用，同时具备精度高、 可靠性强和实时性好的图像匹配技术一直是人们不懈努力追求的目标。本文研究 适用于工业检测应用的图像匹配算法，通过对几种匹配算法进行理论分析和实验 比较，提出了一种以边缘特征作为相似性测度的分层匹配算法，通过实验验证了 该算法的合理性和适用性。 本文首先介绍图像匹配的基本概念，包括图像匹配的数学描述、匹配方法的 分类、图像匹配中的关键问题、图像匹配的性能要求以及影响匹配性能的因素 然后介绍在本文匹配算法中所涉及到的图像预处理方法，包括高斯滤波、几何交 换、边缘检测等等，这些预处理方法对提高匹配算法的性能起了举足轻重的作用。 接着，从特征空间和相似性测度的角度出发，探讨了几种模板匹配算法，并 相应地进行了一些改进。在基于图像中心矩的匹配算法中，改进了几何矩的快速 计算方法，在基于边缘特征的匹配算法中，提出了启发式的判别标准。通过实验 验证了改进算法的合理性和有效性，并与直接利用像素灰度值的匹配方法进行比 较。实验结果表明，所改进的基于边缘特征的匹配算法能在保证匹配精度的同时， 大大提高匹配速度，且在噪声干扰、光照变化、对比度变化等误差因素影响下均 具有较好的性能表现。 在以边缘特征作为相似性测度的研究基础上，通过构造图像的边缘金字塔结 构，引入分层搜索的策略，从而使匹配算法具有很好的实时性能，并且也具备了 检测旋转角度的能力，实验结果验证了该算法的有效性 最后，以m a t r o x 公司的图像开发包( 加l ) 作为主要的开发工具，结合图像 采集卡和运动控制卡的应用，设计了具有模板匹配功能的计算机视觉定位软件 关键词：计算机视觉；图像匹配；边缘特征：图像金字塔 耋二些奎耋堡圭耋垒竺奎 a b s t r a c t a s 觚e 】e m e m a r ya n di m p o r t a n t 僦h o l o 时o fc o m 】) u t e rv i s i o l l ，i m a g em a t c h i n g i sw i d e i yu s e di i lm “g a t i o l l ，i n d u s t r i a li n s p e c t i o l l ，r e m o t e 璐i n gi m a g ea n a l y s i se t c f o ri n d u s t r i a la p p l i c 咖i m a g em a t c h i n gt e c l b g yw i t hh i g hp r e c i s i o i l ，s t n g r e l i a b i | i t ya n dr e a l - t i m ea b i 嫩yi st h ea i mt h a tp e o p kt r yh a r dt o mp u r s m to f a l lt h e t i m e t h i sp a p e ri sd c d i c a l 。dt ot b ca l g o r i t h m 陀a r c ho fi m a g em a t c h i n ga p p l i e dt o i n d u s t r i a li i l s p e c t i 0 i l 觚e ra t t a i n i n ga n dc o m p a r i n gs e 煳lm a t c h i n ga l g o r i t h m s ，a n e w m a t c h i n ga l g o r i t h mt h a tb a s e so ne d g ec ：i 擒瑚虻t e f i s t i ca n dl l i e 朋h i c a l 或r 砒e g yi s p r e 删e da n dp r o v e d t ob er e a s o m b l cb ye x p e r i m e n t s t h eb 舔i cc o n c e p to fi m a g em a t c h i n gi sf i r s ti n t r o d i l c e di nt h i sp a p e r , i n c l u d i n g m a t l l e m a t i c sd e s c r i p t i o i i ，t i l cc a t e g o r yo fm a t c h i n gm e t h o d s ，t h ek e yp r o b l e mi i ii m a g e m a t c h i n g t h er , e r f o r m a l l c ed e m a n d so fi m a g em a t c h i n ga n d i t si n f l 眦ef a c t o r t h e n n 壕i n l a g ep 唧o c e s s i i l gm e t l 帕d st h a t h t e t ot h em a t c h i n ga k o 血l l l l 魑j nt h i sp a p e r a 聆i n t r o d u c e d , i n c l u d i n gg a u s s m nf i l t 盯, g e o m e t r i c a l 自r a 妪f o m l a t i o n e d g ed e t e c t i o n e t c t h c 辩印鲻j i l gn 鹭t h d d sh o 】dt l l cb a l 孤t 0i m p r o v et i l cp e r f o r m a n c eo f m a t c h i n ga 培。血l l l 璐 s e 砌l y , s e v i 瓢lt e m p l a t em a t c h i n ga l g o r i t h m sa l ed i s c u s s e df r o mt h ea s p e c to f e h a r a c t c r s p a i c e a n ds i m i l a r i t yi m a s u r ea n d m ei n l i ，f 0 v 黜n ti sp r c 辩m c d 他s p e c t i v e l y af a s tm e t e do fe a l e u h t i n gg e o m e t r i er o o m e r si sp r e 锨o d 缸t h e m a t c h i n ga l g o 血h mt h a tb a s e do nc e 酬i z e dm o m e n t s al 峙u 曲i cc r i t e r i o n i s p r e s e n l e x li nt h em a t c h i n ga l g o r i t h mt h a tb a s e d o ne d g ee h a r a e t e r i s t i c n 站靶i m p r o v e d m e t h o d sa f ep f o v e dt ob er e a s o n a b i ea n de f f e c t i v eb ye x p e l i l l l e n ta n dc o r n i ) a r e dw i t h t l l em e t h o d 憾i i l gi m a g ep i x e lv a l u 铝d 曲c t l y e x p e f i m e m a lr e 姒hi n d i c 捆t h a tt h e i m p r o v e dm a t c h i n ga i g o 血l l i i ib a s e do ne d g ee h a r a e t e r i s t i cc a l l 印龇l ye n h a n c e m a t c h i n gs p e e dw i t h i nr e d l l c i n gm a t c h i n gp r e e m i o na n dh a sg o o dp e r f o r m a n c el l i l d 盯 t h em f l u e n e eo f s e v e r a le l l r o rf a c t o r ss u c h 勰i m a g e i s c ，i l l u m i n a t i o nc h a n g e ，m 碱 c h a n g ee t c a f i 盯t h e 如u n d m i o n a lr e s e a r c ho ft a k i n ge d g ec h a r a e t e r i s t i c 舔t i l es i m i l a r i t y h m e 船u 坤，e d g ep y r a m i d a l s t n l c t u r ea i 4b i 雠h i c a ls e a r c hs t r a t e g ya r cu s e dt o h i e v e r e a l - t i m em a t c h i n gp e r f o r m a n c e t h i si m p r o v e da l g o r i t h mc a l la l s oh a v et h ec a p a b i l i t y o f d e t e c t i n gr o t a t e da n g l ea n d i sp r o v e dt ob ee f f e c t i v eb ye x p e r t m e m f i l l a u y , a i 印u t 盯v i s i o n f t 呲o f l o c m m gw i l i c hh a st h ef u n c t i o no f t e m p l a t e m a t c h i n gi sd e s i g n e db ym a t r o xi m a g el i b r a r y 伽l ) m b i n e dw i t ht h ea p p l yo f i m a g ec a p t u r ec a r da n d m o t i o nc o n t r o lc a r & k e o r d $ ：c o m p u t 盯v i s j o n ：i m a g em a t c h i n g ：e d g ec h a r a c t e r i s t i c ) i m a g ep y r a m i d m 广东工业大学硕士学位论文 独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论 文成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 论文作者签字： 指导教师 麂农耽 第一章绪论 第二章绪论 1 1 课题的研究背景及意义 1 1 1 课题的研究背景 人类感知的外界信息有8 0 以上是通过视觉得到的。视觉感知环境信息的效 率很高，它不仅指对光信号的感受，还包括了对视觉信息的获取、传输、处理、 存储与理解的全过程。多年以来人类一直梦想让计算机或机器人也具有视觉，虽 然这是一个难以真正实现的远大目标，但计算机视觉作为- - f l 新兴的发展迅速的 学科已经取得了许多重要的研究成果。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的 能力。这种能力将不仅使计算机能感知三维环境中的物体的几何信息，包括它的 形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。八十 年代以来，计算机视觉的研究已经历了从实验室走向实际应用的发展阶段，从简 单的二值图像处理到高分辨率多灰度的图像处理，从一般的二维信息处理到三维 视觉机理以及模型和算法的研究都取得了很大的进展随着计算机视觉技术自身 的成熟和发展，它已经作为一种应用系统逐渐广泛地应用于视觉检测、机器人的 视觉引导和自动化装配领域中对于现代工业自动化，计算机视觉系统能够提高 生产的柔性和自动化程度。在大批量工业生产过程中，用人工视觉检查产品质量 不仅效率低且精度不高，用计算机视觉检测方法可以大大提高生产效率和生产的 自动化程度；在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求 的场合，也常用计算机视觉来代替人工视觉；而且计算机视觉易于实现信息集成， 是实现计算机集成制造的基础技术 在计算机视觉中，常常需要从图像背景中把感兴趣的物体检测出来，模板匹 配是最常用也是最基本的方法计算机视觉应用中大约有4 0 需要用到图像匹配 技术“1 目前，模板匹配技术已经在半导体封装、工业流水线的自动监控、自动 激光焊接、医学图像分析、卫星遥感、导航制导、气象云图分析、智能交通管理、 光学和雷达图像分析、资源分析以及图像数据库检索等领域得到了越来越广泛的 应用可见，模板匹配技术己经在计算机视觉和众多应用领域中发挥着非常重要 广东1 = 业大学硕士学位论文 的作用，为了满足人们对匹配技术的越来越高的性能要求，有必要继续对其进行 探索研究。 1 1 2 模板匹配技术 匹配技术研究如何在图像与图像、图像与模型之间建立对应关系，以及如何 利用这些对应关系。从空间维数的角度可以把匹配算法分为2 d 匹配，3 d - 2 d 匹配 及3 d 一3 d 匹配。在很多实际应用中，2 d 匹配就足够了。本文所指的模板匹配就是 把不同传感器或同一传感器在不同时间、不同成像条件下对同一事物获取的两幅 图像在空间上对准，或根据已知模式到另一幅图像中寻找相应的模式的2 d 匹配。1 图卜1 是一个简单的示意图，通过在左边的图像中寻找与右边图像最为接近或相 似的部分的过程即为图像匹配的过程。 口 待匹配图像模板 图卜1 待匹配图像与模板图像示意图 f i g i 一1s k e t c hm a po f s o u r c ei m a g ea n dt e m p l a t ei m a g e 图像匹配是一个多步骤的过程，总的来说，可分为离线建立模板和在线匹配 这两个过程。离线过程就是先截取感兴趣的模板图像，再对模板图像进行预处理， 提取出有用的特征信息；在线匹配过程同样需要先对待搜索图像进行预处理，提 取有用信息，然后根据相似测度和搜索策略得出匹配结果。 1 1 3 课题的研究意义 在过去的几十年中，图像匹配一直是人们研究的热点和难点。在实际应用场 合中，由于拍摄时间、拍摄角度、自然环境的变化、多种传感器的使用和传感器 本身的缺陷，使拍摄的图像不仅受噪声的影响，而且有可能存在光照条件变化、 严重的灰度失真、模板与待匹配图像在空闻位置上的相对变化( 如平移、旋转、缩 放等) 、目标物体被部分遮挡、发生几何畸变等因素的影响嘲在这种条件下，匹 配算法如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强成为人们 追求的目标在过去的几十年中，各种图像匹配算法相继出现，而且结合许多数 第一章绪论 学理论和方法，人们又不断提出了新的匹配方法，使其取得了很大的进展，但由 于环境因素的复杂多变，现有的各种算法都或多或少地存在一些不尽人意的缺陷， 尚且没有一种算法能解决所有的图像匹配问题。在设计匹配算法时，一定要根据 具体的应用场合和要求来制定出合适的算法，尤其在工业检测、精密电子封装等 自动化作业中，不仅要求匹配精度高，而且对实时性也有很高的要求。因此，对 匹配算法的研究具有重大的理论意义和实际应用价值。 1 2 课题的研究现状 1 2 1 国外研究现状 图像匹配技术在国外应用较早，目前已经取得了比较深入的发展针对不同 的使用环境和对象，人们研究并制定出了各种各样的解决方案，比如，t a n i m o t o 首先提出利用图像金字塔的分层匹配策略，大大加快了匹配速度嗍b o r g e f o r s 采 用基于距离变换和分层搜索的匹配方法，使匹配结果对噪声，物体存在旋转等不 敏感嗍。h u t t e n l o c h e r 等人利用h a u s d o r f f 距离，通过计算两个点集之间的距离确 定匹配位置，使匹配结果对图像的部分遮挡、局部微小差异、出现杂乱等具有较 好的鲁棒性”。m a r k u s u l r i c h 等人利用改进的广义h o u g h 变换计算相似性测度， 该算法在多种误差因素影响下均具有很好的鲁棒性，且达到了实时的匹配速度嘲。 h a r r i s 等人改进了利用图像灰度自相关函数的兴趣点检测算子，该算子对于图像 存在旋转、照明变化和透视变形是稳定的嗍。v i n c e n t 和l a g a n i e r e 使用h a r r i s 检 测器提取兴趣点，通过变归一化相关，沿极线寻找一幅图像中兴趣点的对应点， 接着使用第三幅图像来得到更准确的对应“”。j a n e 提出了基于小波变换的分层图 像匹配算法，在分解后的每一层图像中提取兴趣点进行匹配，用并行策略迸一步 提高速度“”h u a n g 和c o h e n 提出了一个曲线匹配的算法，使用加权b 一样条曲线 矩，解决了仿射变换和遮挡问题 1 2 a u e n o h a r a 等人采用k a r h u n e n - l o e v e 变换技术， 根据旋转后的模板是高度相关的，用每个模板在低维本征空间中的投影逼近来完 成匹配嘲f u h 和l i u 提出了利用图像投影特征进行图像匹配的算法“”c h a n g 和c h e n g 提出快速图像特征点配对的方法“” 在商业应用方面，美国a d e p t 公司出品的h e x s i g h t 是一款高性能的机器视觉 软件，其功能强大的定位器工具根据几何特征，采用先进的轮廓检测技术来识别 对象和模式，其特点是精度高、定位识别速度快、对环境光线等干扰不敏感，在 世界上率先达到1 4 0 亚像素位置重复精度和o o l 度旋转重复精度“町美国的 i 广东t 业大学硕士学位论文 c o g n e x 公司作为机器视觉的高级开发商，对半导体封装中引线的处理方面采用基 于图像边缘形状的模板匹配方法，仅通过一个定位点实现引线键合机对晶片的快 速定位和旋转角度的计算n 刀。德国m v l r e c 公司的h a l c o n 是发源自学术界的世 界公认具有最佳效能的机器视觉软件，其采用的基于形状和任意大小的多模版匹 配算法具有极佳的鲁棒性，对于旋转、比例缩放、混乱及部分被遮挡物体和照明 变化都能准确识别“”。加拿大的m a t r o x 公司的m a t r o xi m a g i n gl i b r a r y ( m i l ) 提供 了图像模板匹配的功能模块，模板匹配可以通过图像的灰度特征和物体的形状特 征来实现，平移精度可达1 1 0 像素，旋转精度可达1 1 0 度“”。此外，加拿大的 d a l s a 公司、丹麦的j a i p u l n i x 公司、加拿大的c o r e c o i m a g i n g 公司、美国的n a v i t a t 公司、瑞士的p h o t o n f o c u s 公司、日本的c c s 公司等世界一流的图像和机器视觉 技术领先企业对图像处理和识别技术都有深入的研究和应用。 1 2 2 国内研究现状 近十几年来，计算机视觉在我国自动化行业中的应用越来越广泛，大大地提 高了我国的工业自动化水平。模板匹配作为计算机视觉中的一项重要技术受到了 许多国内学者的重视，各种探索研究的成果相继出现，例如，田原等人提出了一 种新的平面点集间的与各自的平移、旋转、尺度变化和排列次序无关的距离描述， 并在此基础上给出了一种新的目标检测与识别算法o ”彭晓明等人提出了一种在 仿射变换条件下，利用h a u s d o r t f 距离进行目标搜索的高效算法，该算法在不影 响搜索成功率和目标定位精度的情况下，还可以显著地缩短搜索时间魄1 。韦燕凤 等人提出了一种基于网格结构图像的从粗到细的目标匹配混合算法，该算法应用 在集成电路显微图像上取得了很好的效果嘲。刘健庄等人将遗传算法与h a u s d o r f f 距离相结合，该方法能有效地检测出具有平移、旋转和尺度变化的物体伽。薛利 军等人提出了一种在完全搜索中寻找最优匹配点的模板匹配算法，大大提高了处 理的效率口司。赵立初等人从定位精度考虑，提出了模板匹配中融合重采样和曲面 拟合的亚像元定位新方法渊。孙远提出一种新的基于投影的快速模板匹配算法啪 刘海鹰等人利用二维图像的小波多尺度分解来模拟2 个最主要的生物视觉通路， 提出了一种基于扫视和凝视的快速识别算法嘲应该指出的是，我国在把研究成 果转化到实际应用方面还做得不够，有待进一步发展 1 3 本文的主要研究内容 本文主要研究适用于工业检测的2 d 模板匹配算法。本文算法假设不存在摄 第一章绪论 像机视觉角度的变化，目标物体只存在平移和旋转变换，在此条件下提出了一种 基于边缘特征的模板匹配算法，通过实验验证了该算法的合理性和适用性。 本文的研究内容包括以下三个方面： ( 1 ) 研究了四种模板匹配算法：去均值归一化相关测度法、序贯相似性检测 法、基于图像中心矩的匹配算法和基于图像边缘特征的匹配算法，并相应地进行 了一些改进，通过实验数据对这几种算法在多种误差因素影响下的性能表现进行 了评价和比较 ( 2 ) 以边缘特征作为相似性测度，引入分层搜索的策略，提高了算法的匹配 速度。并使该算法具备了检测旋转角度的能力，通过实验验证了该算法的有效性。 ( 3 ) 以m a t r o x 公司的图像开发包( 瓶l ) 作为主要的开发工具，设计了具有 模板匹配功能的计算机视觉定位软件。 5 广东工业大学硕士学位论文 第二章与图像匹配相关的若干基本概念 2 1 引言 在上一章中对模板匹配的概念进行了简单的介绍，并指出了模板匹配技术的 许多重要的应用场合。由于其广阔的应用前景，在过去的二十多年罩，人们对其 展开了深入的研究，针对各种不同的应用场合提出了许多有效的匹配算法。鉴于 模板匹配技术应用的广泛性和目前在算法方面的非最优化，因此在对算法进行理 论研究和设计时，必须根据具体的应用场合来考虑匹配算法应该具备怎么样的性 能。在本章的2 2 节中，先后从图像匹配的数学描述、图像匹配方法的分类、图 像匹配中的关键问题、图像匹配的性能要求及影响匹配性能的因素这几方面对图 像匹配作了比较系统的阐述，这里讲到的许多概念对于我们理解和研究各种图像 匹配算法都是非常有用的，将帮助我们根据不同应用场合的具体的性能要求选择 或者设计出合适的匹配算法。 图像匹配算法中往往涉及到许多图像处理方法，这些图像预处理方法或是用 来提高算法的速度，或是为了消除或减少各种误差因素对匹配性能的影响。本章 的2 3 节探讨了与本文算法有关的几个数字图像处理的基本概念和几种常用的图 像预处理方法，这包括：图像的卷积运算、高斯滤波、几何变换( 平移、缩放、旋 转等变换) 和边缘检测( 梯度算子、二阶导数算子、c a n n y 算子等) ，也介绍了一些 与本文实验有关的概念，包括图像的直方图均衡化和噪声模型，在实验中用到这 些处理方法来测试算法对噪声和对比度变化的敏感程度。 2 2 图像匹配概述 2 2 1 图像匹配的数学描述 下面以传统的基于灰度相关的测度为例对图像匹配进行数学描述m 嘲如图 2 - 1 所示，将参考模板描述为m m 图像数组t ( m ，脚，埘，一= 0 ，m - 1 ，并且搜索 图像被描述为n n 图像数组s ( m ，彬，鸭雄= o ，肛l ，其中m 茎，目的是寻找 一种测度用于测量在研巩，驴中查找的m m 子图像s 与参考模板t ( m ，脚是否最 佳匹配最后。参考模板玎，m ，砂叠加在搜索图上，并且平移到所有可能的位置佤 j 【) ，j 和，的取值范围为畦- ， o ，其均值和方差分别为：= l 口，仃2 = 1 口2 5 均匀噪声 均匀噪声的p d f 为： 如，_ 寿其a t 2 ) ，t 1 用来 丝 第二章与图像匹配相关的若干基本概念 找到每条线段，t 2 用来在这些线段的两个方向上延伸寻找边缘的断裂处，并连接 这些边缘。 2 3 6 4 各种边缘检测算法的比较 在边缘检测中，边缘定位能力和噪声抑制能力是一对矛盾体，有的算法边缘 定位能力比较强，有的抗噪声能力比较好。边缘检测算子参数的选择也直接影响 到边缘定位能力和噪声抑制能力，每种算子都有各自的优缺点： 1 r o b e r t s 算子。r o b e r t s 算子利用局部差分算子寻找边缘，边缘定位精度 较高，但容易丢失一部分边缘，同时由于图像没经过平滑处理，因此不具备抑制 噪声能力。该算子对具有陡峭边缘且含噪声少的图像效果较好 2 s o b e i 算子和p r e w i t t 算予。都是对图像先做加权平滑处理，然后再做微 分运算，所不同的是平滑部分的权值有些差异，因此对噪声具有一定的抑制能力， 但不能完全排除检测结果中出现虚假边缘。虽然这两个算子边缘定位效果不错， 但检测出的边缘容易出现多像素宽度。 3 拉普拉斯算子。是不依赖于边缘方向的二阶微分算子，对图像中的阶跃 型边缘点定位准确，该算子对噪声非常敏感，它使噪声成分得到加强，这两个特 性使得该算子容易丢失一部分边缘的方向信息，造成一些不连续的检测边缘，同 时抗噪声能力比较差。 4 l o g 算子。该算子首先用高斯函数对图像作平滑滤波处理，然后才使用拉 普拉斯算子检测边缘，因此克服了拉普拉斯算子抗噪声能力比较差的缺点，但是 在抑制噪声的同时也可能将原有的比较尖锐的边缘也平滑掉了，造成这些尖锐边 缘无法被检测到。应用l o g 算子时，高斯函数中的标准差参数o r 的选择很关键， 这对图像边缘检测效果有很大的影响高斯滤波器为低通滤波器，盯越大，通频 带越窄，对较高频率噪声的抑制作用越大，避免了虚假边缘的检出。但同时信号 的边缘也被平滑了，造成某些边缘点的丢失反之，盯越小，通频带越宽，可以 检测到图像的更高频率细节，但对噪声的抑制能力相对下降，容易出现虚假边缘 因此，应用l o g 算子时，为取得更佳的效果，应该对不同图像选择不同参数 5 c a n n y 算子c a n n y 算子虽然是基于最优化思想推出的边缘检测算子。但 实际效果并不一定最优原因在于理论和实际有许多不一致的地方该算子同样 采用高斯函数对图像进行平滑处理，因此具有较强的抑制噪声能力；同样该算子 也会将一些高频边缘平