基于灰度的图像匹配研究VIP

基于灰度的图像匹配研究李涛（P14201096）摘要： 众所周知，可以说视觉对环境的感知效率是很高的，人类对外部世界的感知80%是由视觉完成的。我们所介绍的计算机视觉，用通俗的话说就是一门研究如何让机器来“看”的科学。具体说来，就是用计算机和摄像头来代替人眼的功能，实现对目标的识别、测量或者是跟踪并且相应的做出图像处理，甚至能够最终做出对目标的判断或者做出反应。当然，计算机视觉和其它的技术一样，经历了长期的发展过程。而是在近数十年计算机技术突飞猛进的背景下，它才真正得到关注和发展。图像匹配是计算机视觉和图像处理领域中一项非常重要且难度很高的工作。它主要用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的两幅或多幅图像进行匹配。图像匹配是多种图像处理及应用的基础，匹配的效果直接影响到其后续图像的处理工作。正因为其应用的广泛性，需求的增多，大大推动了图像匹配技术的研究向前发展。但同时，我们也要认识到图像匹配也是一个难点问题。因此，对现有的图像匹配算法展开分析对于实际工程提高图像处理质量和识别精度具有非常重要的意义。本文作为一篇综述性的文章，我们主要向大家介绍图像匹配问题的由来，其中包含的主要内容，以及该问题所包含的主要技术和算法。关键字： 图像匹配；灰度；特征；算法。The Research of Image Matching Based On The GrayLi TaoAbstract: As we all know, we can say the efficiency of visual perceiving the environment is very high, 80% of the human perceiving outside world is completed by the visual. The so called computer vision, is a kind of science that about how to make machines to see in simple words. Specifically, is using computers and cameras to replace the function of the human eyes, to achieve the target recognition, measurement or make a track and the corresponding image processing, and even be able to make the final judgment on the target. Of course, computer vision has been gone through a long process of development. And it really gets attention in recent decades occurred in the context of rapid development of computer technology.Image matching is a very important and hard job in computer vision and image processing field. It mainly used in a kind of situation that we obtain two or more images to match in different times, different sensors, different perspectives and different shooting conditions. Image matching is the base of a variety of image processing and application, result of the matching directly impact on the effectiveness of subsequent image processing. Because of the large of its extensive application, demand for many new applications and new requirements to vigorously promote the image matching technology research steps forward. At the same time, we have to recognize that image matching is not only a hot issue, but also a difficult problem. Therefore, the existing image matching algorithm to analyze the actual construction improving the quality and accuracy of identification of the image processing has a very important significance. As a review of the field, we mainly to introduce the origin of the image matching problem, which contains the main content, and the problem consists primarily of techniques and algorithms.Key words: Image Matching; Gray; features; algorithm1绪论计算机视觉通过对图像的数字感知和理解来模拟人类视觉，通过由三维世界所感知到的二维图像来研究并提取出三维景物的物理结构。在投影过程中，传感器将三维景物的物理性质、空间关系及表面反射特性综合成二维图像的灰度值。通常情况下，计算机视觉包含了两个部分：低层视觉和高层视觉。底层视觉即为图像处理，包括图像增强、噪声滤除和边缘检测等部分；高层视觉包括图像分析和图像理解，主要是模拟人类对图像信息的认知和决策能力。数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。图像匹配是计算机视觉研究中一项非常重要的工作，是由图像处理到图像分析的关键步骤。图像匹配技术有着广泛的应用，1998年自动化图像协会关于机器视觉的报告中指出，大约有40%的机器视觉应用中需要用到图像匹配技术。图像匹配技术所涉及的应用领域也很广泛，从工业检测可以推广到地形匹配、飞机导航、武器投射系统的制导、光学和雷达的图像模板跟踪、工业流水线的自动监控、工业仪表的自动监控、资源分析、气象预报、医疗诊断、交通管理、文字识别、图像数据库检索以及景物分析中的变化检测等等。2图像匹配理论2.1图像匹配的定义在计算机视觉识别过程中，常常需要把不同的传感器或者是同一个传感器在不同时间、不同环境条件下对同一对象获取的两幅或多幅图像，进行比较，找到该组图像中的共有景物，或是进行图像配准，或是根据已知模式到另一幅图中寻找相应的模式，这就叫图像匹配。从上面这个定义我们很容易想到，由于图像在不同时间、不同传感器、不同视角下获得的成像条件不同，那么即使我们是针对同一物体，在图像中所表现出来的几何特性、光学特性、空间位置等要素都会有很大的差别，如果我们再考虑到噪声、干扰等因素的干扰，最终得到的图像会发生很大变化，而图像匹配就是通过这些不同之处找到它们的相同点。2.2图像匹配的一般过程图像匹配是一个多步骤的过程。从总体上说，大概可分为图像输入、图像预处理、匹配特征提取、图像匹配、输出结果等几个步骤。虽然在实际的工作过程中，由于我们所采用的方法各不相同，而且不同的匹配算法之间步骤也会有很大的差距，但是它们的大致过程在逻辑上是基本一致的。下面是描述图像匹配基本过程的简略方框图。开始输入参考图和模板图预处理特征提取模板匹配输出结果结束图1 图像匹配的一般过程2.3图像匹配的三要素2.3.1特征空间我们所说的特征空间是由参与匹配的图像特征构成的，可以理解为是图像特征的集合。特征可以是灰度值，也可以是边界、轮廓、表面、显著特征、统计特征、高层结构描述与句法描述等等。有一点十分重要，选择合理的特征可以有效提高匹配性,降低我们的搜索空间、减小不必要的噪声等不确定性因素对算法的影响，大大提高适应性。2.3.2相似性度量相似性度量指的是我们用什么度量来确定待匹配特征之间的相似性，它通常可以定义为某种代价函数或者是距离函数的形式。经典的相似性度量包括相关函数和Minkowski距离，近年来人们提出了Hausdorff距离、互信息作为匹配度量。Hausdorff距离对于噪声非常敏感，分数Hausdorff距离能处理当目标存在遮挡和出格点的情况，但计算费时；基于互信息的方法因其对于照明的改变不敏感已在医学等图像的匹配中得到了广泛应用，它也存在计算量大的问题，而且要求图像之间有较大的重叠区域。2.3.3搜索策略搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计，使得图像之间经过变换后的相似性能够达到最大。在这里搜索策略有穷尽搜索、分层搜索、模拟退火算法、Powell方向加速法、动态规划法、遗传算法和神经网络等等等。遗传算法采用非遍历寻优搜索策略，可以保证寻优搜索的结果具有全局最优性，所需的计算量较之遍历式搜索小得很多；相比之下，神经网络具有分布式存储和并行处理方式、自组织和自学习的功能以及很强的容错性和鲁棒性，可以说两种方法各有所长，因此这两种方法在图像匹配中得到了更为广泛的使用。2.4图像匹配方法2.4.1基于区域（图像灰度）的匹配方法基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 互相关法是最基本的基于灰度统计的图像配准方法，通常被用于进行模板匹配和模式识别。它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待配准图像中的位置。2.4.2基于特征的匹配方法 从上面的描述可以看出，基于灰度的匹配方法虽然比较简单，但存在着严重的不足，为克服基于灰度相关匹配方法的缺点，人们又提出了基于特征的匹配方法。该类方法首先从待配准的图像中提取特征，用相似性度量和一些约束条件确定几何变换，最后将该变换作用于待匹配图像。匹配中常用的特征有边缘、轮廓、直线、兴趣点、颜色、纹理等。 2.4.3基于模型的匹配方法模板匹配方法在计算机视觉和模式识别等领域中的应用也非常广泛，它可以分为刚体形状匹配和变形模板匹配两大类。在刚体形状匹配中，原型模板通过平移、旋转和尺度化等简单变换达到和目标图像的匹配，但是它不能处理目标形状存在较大变形时的问题，为此，人们提出使用变形模板匹配方法。Jain将变形模型分为自由式变形模型和参数式变形模型。2.4.4基于变换域的匹配方法频域匹配技术对噪声有较高的容忍程度，检测结果与照度无关，可处理图像之间的旋转和尺度变化。常用的频域相关技术有相位相关和功率倒谱相关，其中相位相关技术使用相对广泛。3相关实验针对以上所介绍的匹配方法，我们主要在基于灰度的匹配上做了一些小实验。3.1实验一第一个实验中，就如上一节中所叙述的，基于图像灰度的匹配不需要对图像进行复杂的预处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。所以，我们直接将需要匹配的原图和匹配图读入，然后根据互相关的图像灰度匹配方法完成实验。在这个实验中，我们直接从原图的左上角开始依次遍历原图中的每一个像素点，并利用互相关函数计算搜索窗口内的图像与匹配图在灰度上的相似程度，当结果大于某个阈值的时候即可判定匹配成功（整个过程类似于图像检索）。实验的结果如下图：图1 原图图2 匹配图从结果可以看出基于灰度的图像匹配方法可以较为准确的得到实验的结果。但是，首先图像灰度的相似度计算的计算量较大，同时，这个实验采用了依次遍历图片中的像素点的方法进行匹配，需要耗费大量的时间。所以，这个实验仅能适用于一些较小图片，否则会花费很多时间，效率较低。3.1实验二正如实验一中所描述的一样，基于灰度的图像匹配较为准确但耗时较长。那么，可以在算法上进行相关的改进以求缩短匹配计算的时间。在这里，我们借鉴图像编码中的金字塔编码方法。金字塔编码法是把图像分解成许多不同分辨率的子图像，将尺寸较大的子图像放在下层，将尺寸较小的低分辨率子图放在上层，这就构成了金字塔