基于SUSAN算子的图像配准技术研究-毕业论文

基于 SUSAN 角点检测算子的图像配准技术研究 - -I 本科毕业论文本科毕业论文 （科研训练、毕业设计） 题目：基于题目：基于 SUSANSUSAN 算子的图像配准技术研究算子的图像配准技术研究 姓名： 学院： 软件学院 系别： 软件工程 专业： 软件工程 年级： 学号： 指导教师： 职称： 年 月 基于 SUSAN 角点检测算子的图像配准技术研究 - -II 基于基于 susansusan 算子的图像配准技术研究算子的图像配准技术研究 摘要摘要 图像配准是图像处理中的一个非常重要的研究方向，被大量用于模式识别、 图像拼接、医学诊治等领域。图像配准是将不同时间、不同传感器、不同视角 及不同拍摄条件下获取的两幅或多幅图像进行匹配融合，变换到同一坐标系下， 在象素层上得到最佳匹配的过程。 目前，关于图像配准的技术很多，其中基于角点的图像配准是现在最常用 的方法之一，其中角点的提取是该图像配准技术的关键，对于角点提取问题许 多研究工作者也提出了许多相应的角点提取算法。本论文在文献调研与整理的 基础上，系统阐述了图像配准技术和角点提取算子的基本思想；设计并实现了 基于 SUSAN 算子角点检测的图象配准方案。论文给出了详细的算法设计过程， 并结合实验对算法的性能进行分析。 关键词关键词 图像配准 角点提取算子 SUSAN 算子 基于 SUSAN 角点检测算子的图像配准技术研究 - -III Image Registration based on the SUSAN operator ABSTRACT Image Registration in image processing is a very important research, was used extensively for pattern recognition, image mosaic, medical treatment and other fields. Image Registration will be at different times, different sensors, different perspectives and different shooting conditions of access to the two or multiple images to match integration, transform to the same coordinate system, in pixels on the best match of the process. At present, the image registration on the many technical, based on the corner of the image registration is now one of the most commonly used method, which is extracted corner of the image registration techniques of the key issues for the corner from many researchers Also put forward a number of the corresponding corner extraction algorithm. This paper in the literature and organize research on the basis of the system on the image registration techniques and operator corner from the basic idea; designed and implemented based on SUSAN operator corner detection of image registration programme. Papers presented a detailed algorithm design process, combined with the performance of the algorithm for analysis. Keywords Image Registration Corner extraction operator SUSAN operator 基于 SUSAN 角点检测算子的图像配准技术研究 - -IV 目录目录 第一章 绪论.1 1.1 选题背景与意义.1 1.2 本文主要工作.2 1.3 论文组织结构.2 第二章 基本概念和相关技术.4 2.1 图像配准技术的相关概率.4 2.1.1 图像配准原理与分类 .4 2.1.2 图像变换技术 .6 2.1.3 图像配准方法概述 .8 2.2 角点提取算子的相关概念14 2.2.1 角点提取算子的要求 15 2.2.2 评估比较角点提取算子 16 2.2.3 主要角点提取算子简介 18 2.3 本章小结20 第三章 算法设计与实现.22 3.1 角点提取算子设计22 3.2 配准算法的设计23 3.3 实验结果24 3.4 本章小结26 第四章 总结与展望27 4.1 本文主要工作27 4.2 下一步研究方向27 致谢.29 参考文献.30 基于 SUSAN 角点检测算子的图像配准技术研究 - -V CONTENTSCONTENTS Chapter 1 Introduction.1 1.1Background and significance of thesis.1 1.2Main work.2 1.3Organizational structure.2 Chapter 2 Basic concepts and related technologies4 2.1Image Registration related probability4 2.1.1Image Registration and Classification Principle.4 2.1.2Image Transformation6 2.1.3Image registration method outlined8 2.2Operator corner from the related concept .14 2.2.Operator corner from the requirements14 2.2.2Comparative assessment corner extraction operator 16 2.2.3Corner from the main operator Introduction.17 2.3Summary20 Chapter 3 Algorithm Design and Implementation.21 3.1Corner extraction operator design21 3.2Registration Algorithm Design22 3.3The experimental results23 3.4Summary24 Chapter 4 Condusions and Future work25 4.1Condusions 25 4.2Future work 25 Acknowledgements27 References 28 基于 SUSAN 角点检测算子的图像配准技术研究 - -1 第一章第一章 绪论绪论 图像配准是图像处理的基本任务之一。图像配准技术在很多目前的应用领 域都有着非常关键的作用，虽然目前图像配准技术发展很快，也渐渐趋于成熟， 但是关于图像配准的诸多技术都并不是十分完美，存在着一定的局限性，因此 在图像配准技术的研究工作中还有许多问题尚待进一步解决和完善。 1.11.1 选题背景与意义选题背景与意义 图像配准技术作为图像处理过程的基础，其算法的实用性直接影响到了图 像处理过程的成功率和运行速度，因此，图像配准算法的研究是多年来图像处 理系统研究的重点。 由于待配准图像的多样性，图像配准算法也多种多样。本文主要研究具有 平移和旋转特性图像的配准算法。目前，解决这种图像的配准方法主要可以分 为两类，一类是基于频域的图像配准方法，一类是基于灰度的图像配准方法。 基于频域的方法主要是是利用傅立叶变换将两幅待配准图像变换到频域，然后 通过它们的互功率谱计算出两幅图像间的平移距离，从而实现图像的配准。这 种方法简单、精确，但是一般需要比较大的重叠比例（通常要求配准图像之间 有 50%的重叠比例） ，如果重叠比例较小，容易造成平移距离的错误估计，从而 较难实现图像的配准；基于灰度级相似的方法是以两幅图像重叠部分灰度级的 相似性为配准准则，自动寻找图像的配准位置，这一类方法采用的思想较为直 观，目前大部分的图像配准算法都可以归为这一类，实现方法主要包括直接法 和间接法，直接法通过建立两幅待配准图像间的变换模型，采用非线性迭代最 小化算法直接计算出模型的变换参数，从而确定图像的配准位置。该算法的收 敛速度较快，但是它要达到过程的收敛要求有较好的初始估计，如果初始估计 不好，则会造成图像配准的失败。间接法通过描述图像的某些特征，在另一幅 图像中以一定的规则（包括块匹配、网格匹配等）搜索最佳配准位置，这种算 法计算量较大，需要进行粗匹配，而且粗匹配时如果步长取的太大，很可能造 基于 SUSAN 角点检测算子的图像配准技术研究 - -2 成较大的粗匹配误差，从而很难实现正确匹配。 可以看出，上述配准算法各有优缺点，它们对于算法的精度和速度上还没 有达到较好的折中，因此目前迫切需要找到一种理想的图像配准算法，不仅符 合图像配准过程的实时性，而且能够准确地完成图像配准任务。 图像配准技术经过多年的研究，己经取得了很多研究成果，例如在图像的 特征点提取方面研究出了多种角点提取算法。但是由于图像配准的输入数据来 源的多样性，以及不同的应用对图像配准的要求各不相同，同时由于影响图像 配准的因素的多样性，以及配准问题的复杂性，图像配准的技术还有待于进一 步发展，目前国内外同行都在研究图像配准的方式与其相关的技术。只要涉及 到两幅图像、两个模型或者一幅图像与一个模型之间的比较与操作，都可能涉 及到图像配准技术，需要找到它们之间元素的对应关系或数学变换。 图像配准问题有一套统一的处理框架和思路，但是每一类具体的图像配准 问题有其特殊的分析处理方法。同时由于图像之间存在复杂多变的成像畸变， 因此图像配准技术是一个非常困难的课题。在图像配准的过程中，既涉及到图 像校正、特征描述等中等处理过程，还涉及到图像的高层匹配、识别等方法。 所以，对它们进行研究，具有理论和实践双重意义。 1.21.2 本文主要工作本文主要工作 本文的主要工作是对图像配准技术进行了分析研究。文中对图像配准的相 关概念和相关技术、图像配准变换技术、图像配准方法、角点提取算子的相关 概念做了一般性的描述；并选择其中的 SUSAN 算子对旋转图像进行了配准，对 其角点检测效率、定位准确性、计算效率做了分析。 1.31.3 论文组织结构论文组织结构 下面是各章主要内容： 基于 SUSAN 角点检测算子的图像配准技术研究 - -3 第一章即绪论部分，对本文选题背景、意义，图像配准以及本文主要 工作做了简要的介绍。 第二章中分析了图像配准技术的基本概念和相关技术，对图像配准原 理和分类，图像配准变换技术，图像配准方法，角点提取算子做了较为详 细的讲述。 第三章主要是对 SUSAN 角点提取算子的设计与实现做了详细介绍和分 析，并通过配准图像加以说明。 第四章对本文工作做了总结，并提出了对图像配准技术未来研究的展 望。 基于 SUSAN 角点检测算子的图像配准技术研究 - -4 第二章第二章 基本概念和相关技术基本概念和相关技术 图像配准是一项重要的图像分析技术，是图像分析和图像处理的基本问题。 图像配准的基本问题就是找出一种图像转换的方法，用以纠正图像的形变。造 成图像形变的原因多种多样。正是图像形变的原因和形式的不同决定了多种多 样的图像配准技术。下面就为你讲述图像配准的相关概念和相关技术。 2.12.1 图像配准技术的相关概率图像配准技术的相关概率 2.1.12.1.1 图像配准原理与分类图像配准原理与分类 图像配准技术虽然多种多样，根据图像处理的最终目的和图像配准的定义， 各种图像配准技术的原理都是一样的： 定义两幅具有偏移关系（包括平移、旋转、缩放）的图像分别为参考图像 和待配准图像，利用二维数组 f1(x,y)和 f2（x,y）表示图像相应位置处的灰度 值，则两幅图像在数学上有如下变换关系： f f2 2(x,y)(x,y) = = gfgf1 1(h(x,y)(h(x,y) （2.1.12.1.1） 其中 h 表示二维空间坐标变换，g 表示灰度或仿射变换，配准问题就是要 寻找最优的变换 h,g，在此变换下将两幅图像最大程度地对齐，从而可以进一 步处理图像。通常意义的配准只关心位置坐标的变换。灰度变换可以归为图像 预处理部分，所以寻找空间几何变换关系 f 便成为配准的关键所在。于是上式 可改写成更为一般的表示方式： f f2 2(x,y)=f(x,y)=f 1 1(f(x,y)(f(x,y) （2.1.22.1.2） 以上是关于图像配准原理的介绍。下面根据 Brown 的总结，在几个主要的 应用领域，图像配准可以粗略的划分为四类： 基于 SUSAN 角点检测算子的图像配准技术研究 - -5 （1）多模态配准：同一场景上由不同传感方式获得的图像间的配准。多模 态配准的典型应用主要是多传感器图像的信息融合。多模态配准通常需要建立 传感模型和变换模型；由于灰度属性或对比度可能有很大的差异，有时需要灰 度的预配准；利用物体形状和一些基准标志可以简化问题。主要应用在医学图 像领域如 CT,MRI,PET,SPECT 图像结构信息融合以及遥感图像领域，多电磁波段 图像信息融合，如微波、雷达、可视的或多谱段的等；利用 SAR 发现隐藏在树 林里的坦克，结合可见光图像，可以看到机械化部队的位置和密度就是属于此 类情况。其它如场景分类、分类建筑物、道路、车辆、植被等。 （2）模板配准：指在图像中为参考模板样式寻找最佳匹配。其应用包括在 图像中识别和定位模板样式，例如地图、物体、目标物等。模板配准通常基于 模式，预先选定特征，已知物体属性，高等级特征匹配。其应用主要在遥感数 据处理，定位和识别定义好的或已知特征的场景，如飞机场、高速路、车站、 停车场等。其它如模式识别、字符识别、标志确认、波形分析等。 （3）观察点配准：对从不同观察点获得的图像进行配准。典型应用是深度 或形状重建。观察点配准的特征：变形多为透视变换；常应用视觉几何和表面 属性等的假设条件；主要应用：计算机视觉，从视角差异中构建三维深度和形 状信息；目标物运动跟踪；序列图像分析。 （4）时间序列配准：对同一场景上不同时间或不同条件下获得的图像的配 准。典型应用包括检测和监视变化。时间序列配准需要容忍图像中部分内容的 差异和形变对配准造成的影响；有时需要建立传感噪声和视点变换的模型。应 用包括医学图像处理，如数字减影血管造影(DSA)、注射造影剂前后的图像配准、 肿瘤检测、白内障检测；遥感数据处理，如自然资源监控、核生长监控、市区 增长检测。 在当前图像配准技术的研究中，通常每一种配准技术都是针对某一具体应 用而设计的，没有哪一种技术是广泛适用于各种图像配准问题的，同时对某特 定问题也没有哪一个技术是必须和唯一的。图像配准问题概括来说都是以在变 换空间中寻找一种特定的最优的变换，达到使两幅或者多幅图像在某种意义上 匹配为目的，但对于不同图像和不同应用，则要具体问题具体分析。 基于 SUSAN 角点检测算子的图像配准技术研究 - -6 2.1.22.1.2 图像变换技术图像变换技术 各种图像配准技术都需要建立自己的变换模型，变换空间的选取与图像的 变形特性有关，图像的几何变换可分成全局、局部两类，全局变换对整幅图像 都有效，通常涉及矩阵代数，典型的变换运算有平移、旋转和缩放；局部变换 有时又称为弹性映射，它允许变换参数存在对空间的依赖性。对于局部变换， 由于局部变换随图像像素位置变化而变化，变换规则不完全一致，需要进行分 段小区域处理。 经常用到的图像变换主要有刚体变换、仿射变换、投影变换和非线性变换。 他们所适应的变换类型如表 2.1 所示。下面分别对这四种变换进行数学描述： 表 2.1 图像的变换模型(表示满足条件) 反转旋转平移缩放投影扭曲 刚体变换 仿射变换 投影变换 非线性变换 （1）刚体变换：如果一幅图像中的两点间的距离经变换到另一幅图像中后 仍然保持不变，则这种变换称为刚体变换。刚体变换只局限于平移、旋转 和反转(镜像)。在二维空间中，点(x,y)经过刚体变换到点(x ，y)的变 换公式为: （2.1） 其中 为旋转角，ttx x,ty T T为平移向量。 （2）仿射变换：仿射变换是配准中最常用的一类转换模型，由平移、旋转、 缩放的笛卡尔变换构成，属于全局刚体变换，具有将平行线转换成平行线 有限点映射到有限点的一般特性。如果第一幅图像中的一条直线经过变换 基于 SUSAN 角点检测算子的图像配准技术研究 - -7 后映射到第二幅图像上仍然为直线，并且保持平行关系，则这样的变换称 为仿射变换。仿射变换可以分解为线性（矩阵）变换和平移变换。在二维 空间中，点(x,y)经仿射变换到点(x,y)的变换公式为： （2.2） 其中是实矩阵。 （3）投影变换：如果第一幅图像中的一条直线经过变换后映射到第二幅图 像上仍然为直线，但平行关系基本不保持，则这样的变换称为投影变换。投影 变换可用高维空间上的线性（矩阵）变换来表示。在高维空间中，点(x,y)经投 影变换到点(x,y)的变换公式为： （2.3） 则二维投影变换则按照式(2.1.1)将像素坐标点(x,y)映射为像素坐标点 (x,y): （2.4） 它们的变换参数 a(i=0,1,8)是依赖于场景和图像的常数。不失一般 性，令 a8 = 1,则式（2.2.4）变为： （2.5） 基于 SUSAN 角点检测算子的图像配准技术研究 - -8 （4）非线性变换：如果第一幅图像中的一条直线经过变换后映射到第二幅 图像上不再是直线，则这样的变换称为非线性变换。在二维空间中，点 (x,y)经非线性变换到点(x,y)的变换公式为： （x ，y ） = F(x,y) （2.6） 其中，F 表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典 型的非线性变换如多项式变换，在二维空间中，多项式函数可写成如下形式： （2.7） （2.8） 非线性变换比较适合于那些具有全局性形变的图像配准问题，以及整体近 似刚体但局部有形变的配准情况。 2.1.32.1.3 图像配准方法概述图像配准方法概述 图像配准技术都可以看成是有以下四个功能模块组成： (1)特征空间 特征空间指从图像中提取出来的用来匹配的信息的集合。 图像配准中使用的图像特征有着重要的意义，因为它们通常决定了这个方 法适合于什么样的图像。基本的象素灰度值可以是一种特征，还可以包括常见 的特征如边缘、曲线、曲面；显著的视觉特征如拐角、交叉线、高曲率的点等； 统计特征，如不变矩以及高层语义的描述算子等等。图像特征几乎是所有计算 机视觉和图像处理任务都会涉及到的基本因素，在图像配准上它会关系到： 成像设备和景物中哪种特征会对算法敏感(通常选择的特征都会降低图像 噪音和畸变的干扰)； 图像的何种特征被匹配(比如需要的是匹配景物的结构而不是纹理信息)； 算法执行的效率和搜索代价，因此，好的特征选择将会消除畸变噪音的 基于 SUSAN 角点检测算子的图像配准技术研究 - -9 干扰，降低参与计算的数据量又不失充分的表达图像内容的内部结构。 (2)搜索空间 搜索空间是指一系列可以配准图像的变换操作的集合。 搜索空间中以几何变换为主要因素。图像的几何形变可以分为三类：全局 的、局部的和位移场形式的。全局的变换指整幅图像的畸变都可以用统一的参 数矩阵来描述。典型的全局几何变换包括以下的一种或几种简单变换的组合： 平移、旋转、各向同性或各向异性的缩放、二次或三次多项式变换等等。局部 变换允许变换参数有位置依赖性，在图像中不同的位置上具有不同的变换参数 矩阵，一般变换参数只是定义在特定的关键点上，而在其他区域进行插值。位 移场方法，有时候又称为光流场法，使用一个连续函数优化机制，为图像中的 每一点计算出一个独立的偏移量，并使用某种规整化机制进行约束。一般来说， 变换类型在某个特定应用场合可以作为一种先验知识，将搜索空间限制在几种 可能出现的特定变换。当没有先验知识参考时，就必须考虑所有可能出现的变 换形式。 (3)搜索策略 搜索策略决定了下一步可选的变换的依据，用于最优变换的评估。 由于很多配准算法伴随着庞大的计算量，常规的贪婪搜索法实际上无法实 现，因此有效的搜索策略成为一个不容忽视的问题。给定一组对应特征和特征 间参数化的变形，由搜索空间和相似性度量方法决定了搜索策略。常用的搜索 策略有：松弛匹配、动态规划、牛顿法、最速下降法、共轭梯度法等等。 (4)相似度测量 相似性度量决定了每一次变换优劣评估的结果。 相似性度量往往和提取的图像特征相关，它给出的评价值将直接决定了配 准变换的选择。在从每幅图像中提取图像特征后，由相似性度量函数来计算决 定在当前所取的变换模型下图像是否被正确匹配了。通常，配准算法抗干扰的 能力是由特征提取和相似性度量所共同决定的。最常见的相似性度量方法为特 征空间的欧式距离，一般这样的相似性度量必须考虑归一化。 以上四个方面的组合，就构成了配准算法的基本框架。几乎目前所有的配 基于 SUSAN 角点检测算子的图像配准技术研究 - -10 准算法都可以分解成这样四个步骤。 虽然图像配准技术发展很快，新的图像配准算法不断涌现，但是总的来说， 图像配准的方法可以分为三类：基于灰度信息的图像配准方法、基于变换域的 图像配准方法和基于模型的配准方法。 （1）基于灰度信息的图像配准方法 Barnea 等人提出了序贯相似检测算法，这种方法具有比传统的交叉相 关法更高的效率，其改进体现在两个方面，首先，建立了一个在计算上更 为简单的相似性度量准则 E(u,v)： （2.9） 归一化的准则定义为： （2.10） 其中和分别表示模板和图像窗口的均值。这一准则即使在非归一 化情况下仍可在匹配处获得极小值，并且没有乘法运算。其次，Barnea 等 人提出了与准则相配合的序贯搜索策略，由于该准则实际上是一个误差绝 对值的累加和，在图像不匹配的位置，累加时 E(u,v)增长很快，而在图像 匹配位置上 E(u,v)随累加次数增长缓慢。如果选择一个简单的固定门限 T，并规定累加误差一旦超过该门限 T 就停止运算，则在各个不匹配位置上 累加运算将提前停止，从而大大节省了运算量。 除了上面介绍的序贯相似检测算法以外，基于灰度信息的图像配准方 法还有很多，比如 1982 年 Rosenfeld 提出的交叉相关法就是最基本的基于 灰度统计的图像配准方法，不过这种方法并没有序贯相似检测算法的效率 高，这里就不做详细介绍了；除此还有基于交互信息原理的图像配准技术 也是利用灰度统计信息的方法之一。 由于以上方法均是在全局作相似性度量，对高分辨率大尺度图像，相 似性度量的计算量也相应增大，应用这些方法的必要条件是有对应的搜索 策略以减少计算量。最常用的方法是称为金字塔法的由粗到精的迭代搜索 基于 SUSAN 角点检测算子的图像配准技术研究 - -11 算法，它将分辨率较高的图像分解为分辨率较低的图像从而减少搜索数据 量，再由低分辨率图像的搜索结果作为下一步搜索过程的初始值，利用迭 代逐步提高分辨率直到得到原分辨率图像的搜索结果。 基于全局统计信息的图像配准方法具有对噪声较敏感的缺点，而这一 缺点在基于变换域的方法中可以得到一定程度的缓解。 （2）基于变换域的图像配准方法 在基于变换域的图像配准方法中，最主要的方法就是傅氏变换方法。 图像的平移、旋转、镜像和缩放等变换在傅氏变换域都有相应的体现。利 用变换域方法还有可能获得一定程度的抵抗噪声的鲁棒性。另外，傅氏变 换方法由于有成熟的快速算法并且易于硬件实现，因而在算法实现上也具 有独特的优势。 相位相关技术是配准两幅图像的平移失配的典型方法。相位相关方法 依据的是傅氏变换的平移性质。对于仅差一个平移量(dx,dy)的两幅图像 f1(x,y)和 f2(x,y)即： （2.11） 则它们的傅氏变换 F1和 F2之间将有如下的关系： （2.12） 可见，这两者间的傅立叶频谱幅度相同，仅差一个与平移量(dx,dy)相 关的相位差。根据位移原理，这一相位差等于两幅图像的交叉功率谱： （2.13） 其中*为共轭运算。相位差的傅立叶反变换在平移量(dx,dy)处为一冲 激函数，这一冲激函数指示了图像配准的平移位置。在视觉应用中，需以 离散傅立叶变换代替连续傅立叶变换，从而在配准位置上是一个单位脉冲， 如图 2.1 所示。 基于 SUSAN 角点检测算子的图像配准技术研究 - -12 图 2.1 理想的峰值分布 在实际的图像配准过程中，由于两幅图像间只有部分重叠及其它噪声 和误差，一般对式(2.13)进行傅立叶逆变换后的相关值分布如图 2.2 所示 （大小都是指反变换后所得复数的模） ，这时，最大峰位置对应于两图像间 的相对平移量。反之，如果两幅图像之间不满足平移变换关系，那么式 (2.13)傅立叶逆变换后的函数没有明显的峰值，且呈现出不规则分布，如 图 2.3 所示。通过这一方法，图像配准问题可以被转化为找到交叉功率谱 的傅立叶反变换的峰值位置。由于相位差对于所有频率的作用是相同的， 因此这一技术适用于混有窄带噪声的图像间的配准。对不同照明条件下获 得的图像，照明函数通常变化缓慢且集中于低频部分，因此应用相位相关 技术也可获得较好的效果。同时，由于相位相关对谱能量的变化不敏感， 所以对从不同传感器获取的图像配准也有一定的作用。 图 2.2 实际的峰值分布 基于 SUSAN 角点检测算子的图像配准技术研究 - -13 图 2.3 不匹配时的峰值分布 变换域配准方法在噪声的敏感性和计算的复杂度上都有一定的优势， 但是从实际应用中发现，这一方法受限于傅立叶变换的不变性质，只适用 于在傅立叶变换中有相应定义形式（如旋转、平移、缩放等）的图像转换 中，一般应用于仿射变换的图像配准中，对于图像转换形式较复杂的情况 无能为力，此时需要基于图像特征的方法来解决这类问题。 （3）基于特征的图像配准方法 基于图像特征的方法是图像配准中最常见的方法，对于不同特性的图 像，选择图像中容易提取并且能够在一定程度上代表待配准图像相似性的 特征作为配准依据。基于特征的方法在图像配准方法中具有最强的适应性， 而根据特征选择和特征匹配方法的不同所衍生出的具体配准方法也是最多 种多样的。 基于特征的方法作图像配准一般分为三个步骤： 特征提取：根据图像性质提取适用于该图像配准的几何或灰度特 征。 特征匹配：根据特征匹配准则，寻找两幅待配准图像中对应的的 特征，排除没有对应的特征。图像转换：根据所求得的图像转换参数， 将其带入符合图像形变性质的图像转换式以最终配准两幅图像。 图像转换：根据所求得的图像转换参数，将其带入符合图像形变 性质的图像转换式以最终配准两幅图像。 基于 SUSAN 角点检测算子的图像配准技术研究 - -14 在常用的图像特征信息中，点特征式最常用到的。由于在第三章中将 会详细研究和分析点特征（主要是角点）提取算子，因此这里就不再 对点特征作详细说明。 以上介绍了最常用的三种图像配准方法，各种图像配准方法在效率，计算 量，抗噪性等方面的优劣不同，所以在实际应用中要根据需要配准的图像的信 息来选取合适的配准方法。 2.22.2 角点提取算子的相关概念角点提取算子的相关概念 许多应用需要从两幅或者更多的相关的图像中提取有用的信息。那种比较 两幅图像中每个象素点的原始方法对大多数实际应用在计算上是不可行的。直 观上，我们可以把两幅图像中我们在某种方式上感兴趣的点进行匹配。这些点 我们称作特征点，特征点中主要的一类是角点，本文就是针对角点进行研究， 用来确定这些点位置的算法叫做角点提取算子。那么我们就可以用这些点来完 成两幅图像之间的对应关系，这减少了大量的计算时间。许多不同的特征点突 起算子被提出根据一系列不同的对于图像特征点的定义。对这些提取算子，有 的找那些局部高度几何对称点，有的则找纹理明显变化的区域，有的测定位于 角点。角点之所以感兴趣是因为它们形成与两个或两个以上的边缘，边缘通常 定义为两个不同物体或同一物体不同部分的边界。许多角点提取算子已经被提 出并被完善。本文将要讨论的特征点均是针对角点的。 本节将对角点提取算子需具备的要求、评估比较角点提取算子、主要角点 提取算子进行系统的描述。 2.2.12.2.1 角点提取算子的要求角点提取算子的要求 一个角点提取算子应该尽量满足以下标准： （1） 能提取到所有真实的角点; （2） 不提取假的角点; （3） 角点定位要准; （4） 角点提取算子有好的重复率 基于 SUSAN 角点检测算子的图像配准技术研究 - -15 （5） 角点提取算子有好的抗噪性; （6） 角点提取算子计算效率好。 角点提取算子在理想的理论上应该满足以上标准，但是在实际的图像配准 实现中，以上条件是很难完全满足的，都或多或少的存在着某个或某些方面的 缺陷。因此在实际的图像配准过程中，大多情况都是根据输入的需要配准的图 像的信息来选择合适的角点提取算子。 定位涉及到发现角点的位置的精确性。这项要求在某些需要多幅图像融合 的应用中特别重要，例如在图像配准中，在图 2.4 中用红色的圆圈表示角点， 左边的角点提取算子定位准确，而右边的定位不准确。 图 2.4 准确的角点定位和不准确的角点定位示意图 角点提取算子的重复率是指两幅图像之间重复出现的所有角点的百分比。 图 2.5 显示三角形一个角点在旋转后没有被提取到，那么这种变化后的重复率 为 2/3。 图 2.5 旋转后再检测丢失一个角点 在一些应用中，造成丢失角点或出现错误角点的因素主要有图像噪声。然 而图像噪声是不可避免的，所以解决的办法只有在角点提取算子上来寻求，要 求角点提取算子必须具有抗噪性，角点提取算子不能把图像噪声点当成角点， 通过抗噪性算法的过滤，噪声对角点提取算子的定位有最小的影响。 基于 SUSAN 角点检测算子的图像配准技术研究 - -16 2.2.2 评估比较角点提取算子 角点是基于特征点的，特征点又代表着图像信息中有特征的位置，根据不 同图像的信息，图 2.5 中包含几种典型的角点类型（L 型交叉点，Y 型交叉点， 型交叉点，箭型交叉点，X 型交叉点在图 2.6 中描述） ，图 2.6 被广泛用来评估 角点提取算子对不同类型角点的响应，这幅图像也包含角点形成于不同的灰度 值范围用于测试不同强度的角点。 L 型交叉点 Y 型交叉点 T 型交叉点 箭型交叉点 X 型交叉点 图 2.5 各种不同的角点类型 图 2.6 包含了许多角点类型的人造图像 大多数应用需要在现实世界图像上操作，所以每一个角点提取算子要用两 幅现实世界图像评估。用于测试角点提取算子砖块图的角点在直观上很清楚， 背景统一，每个目标物体颜色和纹理几乎统一。房子图较为复杂是因为房顶和 基于 SUSAN 角点检测算子的图像配准技术研究 - -17 侧面的纹理，而且包含不同类型的角点。同时这些例子也说明为什么一个严格 的角点的定义无法确立，不同的人在图像的那些部分存在角点不可能观点一致， 同样在一个被确定的角点的准确位置也会有分歧。图 2.7 给出用于这次算法实 现的测试图像。 (a)图像配准参考图像 (b)图像配准待配准图像 图 2.7 参考图像与待配准图像 2.2.32.2.3 主要角点提取算子简介主要角点提取算子简介 前面讲述了一个角点提取算子需具备的条件以及评估了角点提取算子，下 面将简要的介绍几种常见的角点提取算子： （1）Moravec 算子 Moravec 算子是于 1977 年提出利用灰度方差提取点特征的算子16， Moravec 算子被认为是角点提取算子是因为它定义在各个方向上灰度值变化大 的点为兴趣点。这是角点的一个例子。许多人都将这一概念作为对角点的宽松 定义。至今也没有一个很好的角点定义。 Morvaee 算子可以对图像中每一个象素点给出角点化测量值。这个值是在 八个方向上的灰度变化最小值。对图像中每个象素点适用 Morvaee 算子就产生 基于 SUSAN 角点检测算子的图像配准技术研究 - -18 一个角点化映射。图 2.8 显示的是用 3x3 窗口产生的角点化映射。这幅图说明 了在 Moarvec 算子中一些重要的点。 角点是局部最大值； 孤立象素点的角点化值等于角点的角点化值； 在图像边缘的区域无法直接适用 Morvaec 算子。 图 2.8 Moravec 算子产生的角点化映射 第一点表明，角点是在角点化映射中局部最大值。局部最大值可以由抑制 局部非最大确定。但是，这导致被隔绝的像素点被查出作为角点。因此， Morvaee 角点算子是认为对噪声敏感。使用一个更大的窗口大小使算法更加抗 噪因为真实的角点将有更大的灰度变化相对于孤立的象素点。然而，孤立的象 素点可能还是局部最大值。因为每个象素点都对应一个角点化值。我们很容易 想象在灰度图像中将会有许多局部最大值并不对应于角点。克服这一问题就是 将所有的角点化值设置在某一阂值到 O。选择这闲值是困难的因为它必须被设 置足够高避免这些假的角点，但足够低尽可能保留许多个真实的角点。最后将 自然的把那些 Moarvec 算子无法适用的那些在图像边缘的点(因为窗口可能会移 出图像)的角点化值设置为 0。 （2）Harris 算子 Hmas 和 StPehnes 开发了这种组合角点和边缘的提取算子来突破 Morvaee 算子的局限性11。它是一个很令人满意的角点提取算子，并且有很好的重复 性。但代价是需要相当的计算时间。尽管很高的计算量，这个算法在实践中仍 旧广泛使用，即 Harris 算子，Harris 算子与 Morvaec 算子的不同之处在于局 基于 SUSAN 角点检测算子的图像配准技术研究 - -19 部自相关测量结的估计方式。这种测量允许获得所有方向上的自相关变化(也就 是灰度变化)。这自然使得 Harris 算子突破 Morvaee 算子的局限性。 Harris 算子和 Moravec 算子的不同之处在于局部自相关检测结果的估计方 式。这种测量允许获得所有方向上的自相关变化（也就是灰度变化） 。这自然使 得 Harris 算子突破 Moravec 算子的局限性。 （3）SUSAN 算子 SUSAN 算子是由英国牛津大学的 M.Smiht，J.M.Brday 首先提出的6。下 面介绍一下它的特点： 对角点的检测比对边缘检测的效果要好，适用于基于角点匹配的图像配 准; 无需梯度运算，保证了算法的效率; 有积分特性(在一个模板内计算 SUSAN 面积)，这样就使得 SUSAN 算法在 抗噪和计算速度方面有较大的改进。 为了说明 SUAN 算子的思想，以图 2.9 的简单二值图像为例.如图 2.9 所示， 在白色背景下有一个黑色矩形区域.圆形模板(中央像素称为核)位于图像中五个 不同位置.比较模板内像素的灰度值与核的灰度值之间的大小关系，与核的灰度 值相同的像素数目之和定义为模板的面积.这个面积就称为 SUSAN。 图 2.9 USAN 模板 图 2.9 的模板面积在图中用白色表示.观察图中的各个模板，容易发现： 当核位于平坦区域时(即模板 e)，USAN 面积最大; 基于 SUSAN 角点检测算子的图像配准技术研究 - -20 当核位于一条直线边缘附近时(即模板 a)，USAN 面积减少; 当核恰好位于直线边缘上时(即模板 b)，USAN 面积减半; 当恰好位于核位于角点上时，USAN 面积仅是(1)的四分之一 总之，USAN 模板运算后得到的是 USAN 面积，USAN 面积越小，表明当前点 是特征点的可能越大，也即输出图像增强了特征点，而且对二维特征(如角点) 的增强程度要大于对一维特征(直线边缘)的增强.因此将这种算法称为 SUSAN 算 法。 2.32.3 本章小结本章小结 本章主要对图像配准的相关概念和相关技术从理论上做了比较详细的介绍。 从图像配准原理、图像配准分类、图像变换技术、图像配准方法做了描述性的 介绍；其次是对角点提取算子的相关概念的介绍，对角点提取算子应该具备的 条件、评估比较角点提取算子做了系统的介绍，并简单的描述了三种比较常用 的角点提取算子，包括 Moravec 算子、Harris 算子、SUSAN 算子。 通过本章的介绍，我们了解到各种算子在检测效率、计算量等方面都各有 优缺点。总的来说，检测效率高的一般计算量相对较大，所以可以通过一些辅 助性的算法来优化检测中的搜索效率等来降低角点检测算法的计算量等，对计 算量较大的算法进行优化，这是今后研究的一个主要问题。 基于 SUSAN 角点检测算子的图像配准技术研究 - -21 第三章第三章 算法设计与实现算法设计与实现 以上是从理论上介绍了图像配准的相关问题，下面将选择 SUSAN 角点提取 算子，并采用相关点匹配方案对测试图像（图 2.7）进行实验。 3.13.1 角点提取算子设计角点提取算子设计 这里将对 SUSAN 角点提取算法的设计思想进行介绍。其设计原理如下： （1）SUSAN 模板在图像上滑动，在每个位置上，比较模板内各图像像素的 灰度值与模板核的灰度值: （3.1） 式中，是核在二维图像中的位置，是模板内除核之外的任意一个点的 位置，为的灰度值，为核的灰度值，t 是灰度值差的阀值，它控制角点 的提取数量为灰度值比较结果。 （2）模板内所有点（共 n 个）与核灰度值比较的和为： （3.2） 然后与一个给定的阀值 g（称为几何阀值）比较，得到图像的边缘响应： ，如果 假设模板能取道的最大 n 值为 nmax。为了消除噪声的影响，通常用几何阀 值 g 控制角点提取质量，一般可取为 3*nmax/4。这样就可以确定边缘的位置。 基于 SUSAN 角点检测算子的图像配准技术研究 - -22 （3）计算重心 （3.3） 然后求出核到重心的距离，对应正确角点，其重心距离核较远，通过一该 距离可以消除虚假的角点。最后使用非最大抑制方法，即通过将一个边缘点作 为 3x3 模板的中心，在它的八邻域范围内的点进行比较，灰度值最大保留，这 样就可以找出角点。 3.23.2 配准算法的设计配准算法的设计 在配准算法的设计中，这里选取 SUSAN 算子进行角点检测，负责提取参考 图像和配准图像中的角点，并通过基于灰度信息的匹配方案来设计配准算法， 具体设计步骤如下： （1） 由 SUSAN 算子获取参考图像和待配准图像的角点集 A 和 B； （2） 假设 (x,y)为 A 中的角点，在 B 中寻找点(x,y)，以满足条件 x-30xx+30 且 y-30yy+30 的点做为点(x,y)匹配参考点； （3）对于 A 中的每个点(x,y)如果该点的匹配参考点数不为 0，则计算其 自身与所有匹配参考点半径为 3 的圆形邻域的灰度值和方差。否则不进行 上面的操作。 （4）计算（x,y）所有匹配参考点与该点的均值差值和方差差值的绝对值 a 和 v，并给定均值差域值 Ta 和 Tv; （5）aTa 且 vTv 的点对为匹配点对； （6）任意取三个匹配点对，计算仿射变换参数，并将待配准图像变换到参 考图像空间，计算变换后的图像与参考图像重叠部分的灰度差值的和，若 灰度差值和足够小，则运行结束，否则再任取三个匹配点，直到灰度差值 和足够小。 基于 SUSAN 角点检测算子的图像配准技术研究 - -23 3.33.3 实验结果实验结果 在本章第一节和第二节中，分别对 SUSAN 角点提取算子的设计和配准方法 的设计做了理论分析，并通过以上算法的设计对图 2.7 中的待配准图像(b)在参 考图像(a)下进行实验得出了以下图像配准的实验结果。 图 3.1 用 SUSAN 算子检测到参考图像的角点 图 3.1 是用 SUSAN 角点提取算子对图 2.7（a）中参考图像进行角点提取， 并显示了角点的位置，从图中可以看出，SUSAN 算子提取了所有的角点，并且 几乎没有提取伪角点，说明了 SUSAN 算子的效率非常高。 基于 SUSAN 角点检测算子的图像配准技术研究 - -24 图 3.2 用 SUSAN 算子提取待配准图像的角点 图 3.2 是用 SUSAN 算子提取了旋转后的待配准图像的所有角点，从图 3.2 可以看出，较图 3.1 多了许多伪角点，这再一次说明角点提取算子的局限性。 图 3.3 配准后的图像示意图 图 3.3 是采用 SUSAN 角点提取算子，基于灰度信息的图像配准技术对旋转 了一定转角的图像（图 2.7(b)）在参考图像（图 2.7(a)）的参考下进行配准的 结果，从图 3.3 看，配准效果非常好。即 SUSAN 角点检测算子在角点提取方面 的效率和准确度都非常高。 基于 SUSAN 角点检测算子的图像配准技术研究 - -25 3.43.4 本章小结本章小结 本章主要讲述了图像配准算法的设计与实现。首先选择了 SUSAN 角点提取 算子进行对图像的角点提取，并介绍了其设计原理；其次就是选择了基于灰度 信息的图像配准方法来实现图像配准，并分步介绍了关于图像配准算法的实现 过程；最后通过实验，得到配准的结果。 通过本章我们可以看到，SUSAN 角点提取算子的提取效率很高，但在没有 比较合适的搜索策略对 SUSAN 算法进行优化的情况下，其计算量比较大，所以 在今后的研究工作中，需要寻求一种方法能从搜索策略上对 SUSAN 算法进行优 化，以降低其计算量，这样 SUSAN 算法在角点检测方面就更加完善。 基于 SUSAN 角点检测算子的图像配准技术研究 - -26 第四章第四章 总结与展望总结与展望 图像配准技术经过多年的研究，已经取得了很多研究成果，例如在图像的 相似性检测方面研究出了许多种技术方法。但是，由于图像配准的输入数据来 源很多，以及不同的应用对图像配准要求也各不相同，同时由于影响图像配准 的因素的多样性，以及配准问题的复杂性，图像配准技术还有待进一步发展， 国内外图像配准技术研究人员都在研究图像配准更有效的方法和更完善的技术。 目前图像配准技术的应用范围越来越广，也将会有越来越多的图像配准技术的 研究成果出现。 4