（计算机软件与理论专业论文）稳健的图像拼接算法研究.pdf

稳健6 图像拼接算法研究 摘要 数字图像拼接技术是指把从同一或多个不同传感器对同一场景获取有视差 的系列图像进行信息融合的过程。数字图像拼接是数字图像处理领域的一个重要 研究方向，在数字视频、计算机视觉、计算机图形学、虚拟现实技术、遥感图像 处理、医学图像分析等领域有着广泛的应用价值。 通常获得高质量的全景l 羽( p a n o r a m a ) 需要使用昂贵的专用设备，而且拍摄时 需要精确地校准摄像机。从普通摄像机获取的图像拼接是获得全景图的一种低成 本且比较灵活的方法。 采用普通照相机拍摄的照片可能出现图像形变、重叠和倾斜，照片之间可能 有一定的色差。因此，在图像的拼接和建立全景图方面难度较大。本文给出了一 种从特征点提取、匹配到图像间空间变换估计和拼接融合的稳健算法。本文分析 了各种角点特征的选取方法，以h a r r i s 算予提取特征点集合，以一种鲁棒性很好 的选择策略提纯内点( i n l i e r s ) ，确保提纯后的特征点集合可以准确地进行空间变 换估计。这样就对特征点的提取和匹配的准确性放松了限制。使得在较宽松的条 件下获取的图像仍可以准确的匹配。 最后使用v c 一十实现了图像拼接系统的各个步骤演示，提供了实验图片，较 好的完成了本文算法的思想。 关键词：图像拼接，图像匹配，角点检测，鲁棒性估计，仿射变换，图像融合 稳健的图像拼接算法研究 r e s e a r c ho na nr o b u s ti m a g es t i t c h i n ga l g o r i t h m a b s t r a c t i m a g es t i t c h i n gi st h ep r o c e s sw h i c hb u i l d st h ep a n o r a m aw i t has e r i e so fi m a g e s h a v i n gp a r a l l a xf r o mo n eo rm u l t i s e n s o li m a g es t i t c h i n gh a si m p o r t a n ta p p l i c a t i o n s i n i m a g ep r o c e s s i n gf i e l d ，e g d i g i t a lv i d e o 、c o m p u t e rv i s i o n ，c o m p u t e rg r a p h i c ， v i r t u a lr e a l i t y , r e m o t ei m a g ep r o c e s s i n g ，m e d i c a li m a g ep r o c e s s i n ga n ds oo i l g e n e r a l l y , t og e tap a n o r a m aw i t hh i g hq u a l i t y ，w en e e ds o m es p e c i a l ，e x p e n s i v e a n dc a r e f u l l yc a l i b r a t e de q u i p m e n t ，i m a g es t i t c h i n gi sac h e a pa n df l e x i b l ea p p r o a c h t og e tp a n o r a m aw i t has i m p l eh a n d h e l dc a m e r a ， t h ep h o t o st a k e nw i t hah a n d h e l dc a m e r au s u a l l yh a v el a r g ep e r s p e c t i v e d i s t o r t i o n , s m a l lo v e r l a p ，b r i g h m e s sd i f f e r e n c e a n dc a m e r ar o t a t i o n s t h e s e c h a r a c t e r i s t i c sm a k eb o t hi m a g ea l i g n m e n ta n dp a n o r a m ab u i l d i n gm o r ed i f f i c u l tt h a n u s i n gp h o t o st a k e nb yc a m e r a sc a l i b r a t e db ys p e c i a le q u i p m e n t i nt h i sp a p e r , w e p r o p o s ear o b u s ta l g o r i t h mw h i c hc o m p o s e so ff e a t u r ep o i n t se x t r a c t i n g ，m a t c h i n g ， e s t i m a t i n gt h et r a n s f o r mr e l a t i o n s h i pa n db l e n d i n gf i n a l l y , f i r s t l y ，w ea n a l y z ev a r i o u s a p p r o a c ht oe x t r a c tf e a t u r ep o i n l s _ 一c o m e lt h e 玛w ep u r i f yt h ei n l i e r sw h i c ha r e e x t r a c t e db yh a r r i sd e t e c t o ru s i n gar o b u s tf i l t e rs t r a t e g y , a n di n s u r et h es e l e c t i o n a f t e rp u r i 分i n gb ea b l et oe s t i m a t et h et r a n s f o r mr e l a t i o n s h i pp r e c i s e l y w ed e c r e a s e t h ec o n s t r a i n ti nt h ea s p e c to fe x t r a c t i n gf e a t u r ep o i n t sa n dm a t c h i n gn i c e l y , s ot h e i m a g e ss t i l lc a l lb em a t c h e dp r e c i s e l yf r o mt h o s eo b t a i n e di nt h ef l e x i b l ec o n d i t i o n ， f i n a l l y , ii m p l e m e n ta ni m a g es t i t c h i n gs y s t e ma n dd e m o n s t r a t et h es t e p sw i t h e x p e r i m e n t a lp i c t u r e s t h es t e p sd e m o n s t r a t i o no ft h ei m a g es t i t c h i n gs y s t e ma r e r e a l i z e db yv c + + p r o g r a m s o m ee x p e r i m e n t a lp i c t u r e sa r es h o w e di nt h i sp a p e r k e yw o r d s ：i m a g es t i t c h i n g ，i m a g em a t c h i n g ，c o r n e rd e t e c t ，e s t i m a t er o b u s t l y a f f i n et r a n s f o r m a t i o n ，i m a g eb l e n d i n g i l 独创性声明 即8 9 9 6 1 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获碍南昌史学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：徐堤 签字日期：埘年4 月珞日 学位论文版权使用授权书 本学位论文作者完全了解南昌史学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权南昌史学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 徐况 导师签名： 签字日期：狮玎年年月增目 签字目期：删f 年年月移，日 学位论文作者毕业后去向 工作单位： 通讯地址： 电话 邮编 稳健的图像拼接算法研究 第一章绪论 1 1 课题研究背景 图像拼接( i m a g es t i t c h i n g ) 技术是由于摄像设备的视角限制，不可能一次拍出 很大图片而产生的。图像拼接技术可以解决由于相机等成像仪器的视角和大小的 局限，不可能次拍出很大图片而产生的问题。它利用计算机进行自动匹配，合 成一幅宽角度图片，因而在实际使用中具有很广泛的用途，同时对它的研究也推 动了图像处理有关的算法研究。 图像拼接是数字图像处理领域的一个重要研究方向，它已成为基于图像绘制 ( i b r ) 方法中的一项重要技术，在数字视频、计算机视觉、计算机图形学、虚拟 现实技术、遥感图像处理、视频压缩、视频检索、医学图像分析等领域有着广泛 的应用价值。 图像拼接是用来自动创建高分辨率的大范围图像，是生成全景图的关键技 术。图像拼接在很多方面都有不同运用。传统运用于从收集来的照片构造人造卫 星的照片。现在的运用包括场景的构造和变化检测，视频压缩以及视频索引，增 大视角，甚至简单的图像编辑。一个特别流行的运用是用数字全景图像模拟传统 的基于电影的全景图像来构建一个虚拟的场景和虚拟漫游。 在计算机视觉中，图像拼接是近来的一个趋势，即可视场景显示的研究。虚 拟场景和场景模拟的完全表示通常也需要恢复深度或视差信息。在计算机图形学 中，图像拼接是基于图像的绘制技术( i b r ) 的一个重要部分，i b r 的目的是从真 实或预先绘制好的图像中快速绘制新的真实感图像场景。 早在计算机诞生之前对图像的配准和拼接就已在实践中有了应用。当时人们 需要把从山顶或气球上获得的照片手工拼接在一起。从1 9 0 3 年后随着飞机技术 的发展，航空摄影术成为人们感兴趣的技术，它为人们获得更大场景的清晰照片 提供了条件。但由于飞机飞行高度的限制和对照片分辨率的要求，人们想获得更 大场景的图片时仍需要专业人员手工利用有重叠区的照片来构造大场景的拼接 图，这些便是最初的手工拼接。通常为了较好的完成图像拼接工作往往需要专用 的设备来标定摄像机和配准图像。随着卫星和技术的发展，当人们获得人造卫星 传回地球的图片时，也常常需要图像拼接来获得大场景的全景图。同时在军事、 稳健的图像拼接算法研究 工业、医学、环境保护等领域都有使用显微镜、望远镜、照相机、摄像机等成像 设备来观察和记录研究对象的情况。但是由于成像设备都有一定的视野限制，所 以也常依赖图像拼接来获得研究对象的全景图像。另外随着计算机视觉技术和虚 拟现实技术的发展，人们希望能够用摄像机对景物拍摄完毕后，自动获得所拍摄 环境或物体的二维增强表示或三维模型。这些也是需要在图像拼接技术基础上完 成的。 1 2 国内外研究现状 近年来随着图像拼接技术的研究与发展，它使基于图像的绘制( i b r ) 成为结 合两个互补领域计算机视觉和计算机图形学的研究焦点。在计算机视觉领域 中图像拼接成为对可视化场景描述( v i s u a ls c e n er e p r e s e n t a t i o n ) 的主要研究方法 ；在计算机图形学中，现实世界的图像过去一直用于环境贴图，即合成静态的 背景和增加合成物体真实感的贴图。图像拼接可以使i b r 从一系列真实图像中 快速绘制具有真实感的新视图【2 1 。 关于图像拼接的原理和方法国内外已有不少的论文发表，但是现在还没有通 用的拼接软件。同时在已使用拼接图像的领域( 如对卫星图片的拼接) 要实现图 像的拼接，则对获取图像的设备要求很高。一般情况下要对摄像机的有关参数进 行标定和控制。这就使得拼按图像的应用因为设备成本高操作复杂而受到很大限 制。 国外具有代表性的研究人员有微软研究院的r i c h a r ds z e l i s k i 教授和匹兹堡 大学的s e v k e tg u m u s t e k i n 博士等人。s e v k e tg u m u s t e k i n 博士主要对消除在固定 点旋转摄像机拍摄自然景物时形成的透视变形，和将捕获的图像拼接为全景图进 行了研究。起主要的研究成果是通过标定摄像机来建立成像模型，再利用成像模 型将捕获到的图像投影到统一的高斯球面上，从而获得拼接图像【7 8 1 。用这种基 于投影模型的方法来完成图像拼接，拼接的效果好、可靠性高。但是该方法要求 对摄像机进行精确的标定，同时要求摄像机透镜本身的畸变参数引起的图像变形 可以忽略不计。s z e l i s l d 教授又提出通过迭代求精每幅图像对应的旋转矩阵和摄 像机焦距，来实现拼接的方法刚1 0 j 。这种方法在一定程度上减少了拍摄图像时对 摄像机运动的限制，但计算量却大量增加，拼接结果也不稳定。 国内浙江大学c a d & c g 国家重点实验室和中国科学院自动化所模式识别国 稳健的图像拼接算法研究 家重点实验室在图像匹配和拼接方面做了较多的研究工作【1 2 】。研究的成果主 要是利用模板匹配的方法进行搜索来确定重叠区边界或最佳匹配位置，从而获得 拼接图像。他们分别对微血管循环的图像拼接和集成电路的图像拼接进行了研 究。该方法的优点是原理比较直观，相对来说容易实现，缺点是计算量大，容易 发生误匹配。浙江大学的许雷、张恒义等利用基于傅立叶变换的相位相关法对眼 底图像的拼接进行了研究【l3 1 。香港大学的p a u lb a o 和西北工业大学的张素等则 对基于小波变换的图像拼接方法进行了研究 1 4 】。基于傅立叶变换和小波变换 的方法有匹配准确率高和拼接效果好等优点，但是也有计算量大和受噪声干扰影 响大的缺点。 一个完整的图像拼接过程通常包括图像采集、图像校正、图像匹配和图像合 并四个步骤。图像采集的优劣直接影响到图像校正的难易，会造成图像几何畸变 和灰度差异。引起的图像畸变大致可分为4 类，在下章节会有论述。图像的匹配 是在图像经过几何校正的前提下进行的。没有好的图像校正将影响到图像匹配算 法的效率，造成误匹配。图像融合就是将两幅经过校正且通过匹配确定重叠区域 的图像合并为一幅图像。在这个环节中有如何确定重叠区及消除拼缝的问题。可 见，图像拼接的各个环节紧密联系、互相影响。一个好的图像拼接系统能够根据 实际应用有效的整合各个技术环节，提高图像拼接的效率、减少处理时间和增强 拼接系统的适应性。 1 3 本文的研究思路 图像拼接最终能否达到良好效果，最重要的一点就是选择一个鲁棒而快速的 图像配准方法。但是，很多图像配准方法有各种各样的缺陷。在基于空域匹配的 方法中，它利用互相关函数对两幅图像进行相似性度量，使得互相关函数值( 一 般使用最小平方差函数) 最小。这种方法简单直观，但是很难处理镜头存在旋转 和缩放情况，而且要搜索整个图像空间，计算代价太大，对图像噪声也很敏感， 所以对全景图的制作并不适用。基于以上考虑本文提出一种鲁棒性强的图像拼接 算法。该算法根据图像的角点特征进行互相关匹配，然后用一种鲁棒性好的选择 策略提纯匹配点，确保提纯后的特征点集合可以准确地进行空间变换估计。本文 的研究思路可用图1 1 概述。 在众多的成像设备中，常用的普通相机、摄像机、数码摄像机都是利用光学 稳健的图像拼接算法研究 镜头的针孑l 模型成像原理来获取二维图像的，其单张的二维图像几乎失去了所有 的深度信息。但由于所获取图像视差不大，所以可用仿射变换( a f f i n c t r a n s f o r m a t i o n ) 近似图像间的变换关系。此外，从简化计算的角度考虑，我们忽 略了镜头的非线性畸变，使得图像完全在线性模型中进行。对于图像非线性畸变 较小、精度要求不很高的场合，这种简化是可以接受的。 匹配问题是图像拼接的核心问题，匹配的准确性对融合的结果影响很大。本 文采用基于兴趣点( i n t e r e s tp o i n t s ) 的匹配，综合比较了几种c o i n e rd e t e c t o r 3 1 ，选 用h a r r i sd e t e c t o r 4 1 作为兴趣点检测器，经过灰度相关和鲁棒性优化算法提纯内 点，然后用最d , - 乘法计算像间的变换矩阵h 。 对齐图像可能会存在强度或颜色的不连续性而留下的缝隙。这些问题可以通 过图像融合来减小或消除。在融合过程中可以对交叠处进行颜色插值或用多分辨 率样条技术进行颜色过渡【5 】【6 | 。本文采用了简单的双线性插值方法。 图像拼接 ( i m a g es t i t c h i n g ) 图1 1图像拼接流程图 4 稳健的图像拼接算法研究 1 4 本文的组织结构 首先，本文研究了图像获取的几种方式和运动模型。图像拼接就是找到图像 间点的对应关系，建立了从一幅图像到另一幅图像象素映射关系的数学模型。本 文根据手持摄像机获取图像时的特点，用仿射变换来建立这种数学模型。 接下来，对图像特征角点进行提取。介绍了几种经典的角点检测算子，分析 比较了他们之间的适用性及提取性能。着重对h a r r i s 算子进行了介绍，对其的改 进增强了算子对角点与边缘的区分能力。并给出了h a r r i s 提取的实验图片。 然后，介绍了特征的匹配及伪匹配的消除。首先在角点提取的基础上用互相 关的匹配方法提取粗匹配点。由于场景在景深、平移、旋转、光亮等方面的差异， 使得提取出的角点不可能一一匹配。经过互相关匹配后的点集呈不稳定性，是一 种病态结果，所以需要一种鲁棒性的方法对其进行最优化估计。然后探讨了几种 常用的鲁棒性优化方法，分析、比较他们的适用性、算法速度等方面的性能。 本文最后，讨论了当图像匹配点集之间的最优变换估计出来后进行图像颜色 融合的过程。 穗健的图像拼接算法研究 第二章图像的获取与几何校正 对于图像处理系统来说，图像采集往往是第一步工作。在实际应用中，人们 关心的是如何从要求的技术指标出发，设计一个性能价格比高的图像聚集系统。 较早人们常采用照相机作为图像捕获的主要手段。在实际操作中，相机的旋转、 抖动及曝光时间不一致等因素常不可忽视，且相片需通过扫描仪扫描才可用于图 像处理，这其中又会带来一定的噪声。图像质量不高直接影响余下环节。数码相 机的应用提高了图像的分辨率、成像质量，且易于计算机接收，减少了可能引入 嗓声的中间步骤。图像拼接有时还会需要实时的视频序列拼接，普通摄像机及 c c d 摄像机可作为输入视频信号源。 2 1 图像的获取方式 图像获取方式的不同直接导致了输入图像的不同。最后获得的拼接结果以及 需采用相应的后续算法也不同。图像获取由照相机拍摄时的运动状态决定。一般 有三种情况1 1 6 】【1 7 ： ( 1 ) 使用三角架，旋转照相机拍摄； ( 2 ) 使用特殊装置，使照相机不发生抖动，平移拍摄； ( 3 ) 最普通的一种情况手持相机拍摄。 2 1 1 旋转照相机拍摄 在这种情况下，放置照相机的三脚架在拍摄过程中一直在同一位置。拍摄时 照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片。理想的情况下，照相 机不绕照相机光轴旋转。 拍摄到的一系列图像中相邻两张有部分重叠。重叠部分的多少是拼接质量的 重要影响因素。重叠比例越大，拼接就越容易，但是需要的照片就多。 旋转照相机拍摄由于相机固定，不需要更多的相机参数，比较容易实现。但 是由于拍摄的图片不在同一平面上，若投影到同一平面上会产生图像变形。一般 采用这种方法获取图像序列的描述与合成用柱面和球面投影表示。在柱面与球面 合成的3 6 0 度的图像称为全景图【1 s 1 。 稳健的图像拼接算法研究 2 1 2 平移照相机拍摄 平移照相机指的是照相机在一个平行于成像平面的方向上平移。在固定焦距 的情况下，照相机放置在一个滑轨上移动拍摄。物体和照相机的距离远近，或者 拍摄物体的大小的变化，都会影响到晟后的拼接结果。 由于拍摄条件比较苛刻，实用性不大。 2 1 3 手持照相机拍摄 这种方法比较容易做到，包含以上两种拍摄方式，可手持相机原地旋转拍摄， 可手持相机按某一路线平行于对象拍摄。但是，拼接这种方式下获取的图像是很 困难的，因为在拍摄过程中，照相机的运动情况很复杂，不易估计。为了减少这 些影响，可以增加重叠比例，使照相机旋转、平移减小，从而可以减小相邻图像 的不连续程度。 上述方法均不同程度的限制了照相机的运动，使获取的图像满足定的要 求。但是实际上，拍摄时不可避免的会有小视差，不同比例的缩放和大角度的旋 转。这些使拼接的不稳定因素增大，需要选择鲁棒性能更好的匹配算法来应对平 移( t r a n s l a t i o n ) 、旋转( r o t a t i o n ) 、比例( s c a l e ) 、光强( i l l u m i n a t i o n ) 的变换。 因此很多文献 1 8 , 1 9 1 要求照相机以最小的运动视差拍摄。 2 2 几何校正 图像的几何形变校正就是对图像进行几何运算，通过几何运算可以改变图像 中物体的形状和空间位置。一般几何校正分两步独立完成。首先根据图像畸变的 类型确定合适的算法来定义空间变换本身，用它来描述象素如何从其初始位置变 换到终止位置。这就需要了解图像畸变的成因、类型和几何变换。 2 2 1 图像畸变类型 匹配算法一般依据图像的某些特征进行匹配，景象类型不同，成像特征就不 同，必然导致匹配性能的差异。同时，参与匹配的两幅图像的成像条件是不同的， 两者之间存在畸变误差，使得匹配参数的估计出现偏差，从而影响匹配性能。将 不同类型区域之间的分界线组成的结构称为图像的结构特征，则可将图像畸变分 为4 类： 大尺度结构特征和区域灰度分布特征都不变的细节特征畸变； 7 稳健的图像拼接算法研究 大尺度结构特征不变的区域灰度特征畸变； 大尺度结构特征仿射变换； 景物变化等因素引起的结构特征改变。 不同匹配算法对4 类成像畸变的适应能力是不同的。由于所获取图像视差不 大，所以可用仿射变换( a f f i n et r a n s f o r m a t i o n ) 近似图像间的变换关系。因此本文 主要是针对第三类的成像畸变。 2 2 2 运动模型与几何变换 在拼接图像前，我们必须建立从一幅图像到另一幅图像象素映劓关系的数学 模型。有许多运动模型可以参考，例如：简单的二维变换、平面投影模型、3 d 昭相走兀旋转【6 ，l9 。 图2 12 d 几何变换的基本形式 图2 。1 显示了2 d 几何变换的基本形式。理解这些变换的最简便方法是定 义3 3 的2 d 齐次坐标向量： x = h x 门1 、 、一1 ， 其中x = ( x ，y ，1 ) 、x = ( x ，y ，1 ) ，t i 为一3 3 矩阵。 2 dt r a n s l a t i o n 只有x ，y 方向的偏差，通常用于跟踪视频来补偿照相机图画 的瞬间抖动。2 de u c l i d e a nt r a n s f o r m 为平移+ 旋转的三参数变换。2 ds i m i l a r i t y t r a n s f o r m 是旋转+ 比例变换，当缓慢地全景拍摄和变焦距拍摄，尤其是照相机为 一长焦距时是很好的数学模型。相似变换能很好的保持线段间的夹角不变。 六参数的仿射变换模型通常用2 3 矩阵来表示； 稳健的图像拼接算法研究 阱置 ：lx 或者等同于用齐次坐标表示 一 y 1 a 1 1a 1 2 a 2 1a 2 2 00 ( 2 2 ) ( 2 3 ) 仿射变换一般处理局部变形和由正交投影照相机形成的3 d 表面形变。并且 能保持直线间的平行性。 2 d 平面变换的更一般表达形式是8 参数的透视变换。用非齐次射影坐标表 达时，透视变换用8 参数单应矩阵( h o m o g r a p h y ) h 表示，改变矩阵h 进行透 视校正，透视变换也表示为平面的分式线性： x i y 。 w m 1 1 m 2 1 m 3 1 m 1 2 m 2 2 m 3 2 m 1 3 m 2 3 1 x y 1 ( 2 4 ) x f = ! ! ! 兰竺! ! ! 竺坚 m3 1 x + m 3 2 y + l ( 2 5 1 。；竺! ! 兰竺兰z 竺翌 、 m3 1 x + m3 2v + 1 其中w 为缩放参数。变换后的新图像坐标为：一= x w ；y = p 。透视 变换后的直线仍保持直线性质，但平行性被破坏。 几何变换是指一种建立一幅图像与其变换后的图像中所有象素点间的映射 关系的函数。在几何变换中我们采用齐次坐标表示。齐次坐标含有冗余信息：笛 卡儿n 维空间中的一点可以用齐次n + l 空间中的一条直线表示。还可以方便地用 变换矩阵实现对图形的变换。假设二维图形变换前的一点坐标为【xy1 】，变 换后为 x + y +1 ，则 x + y +1 】= 【xy1 t 2 d ，变换矩阵可用下式表示： 。dg 丁z 。= lb 8h l c ，f j ( 2 6 ) =oooo且 稳健的图像拼接算法研究 功能上可把t ：n 分为四个子矩阵，其中医习是对图形进行缩放、旋转、对 称、错切等变换；k 门是对图形进行平移变换； 罚对图形作投影变换；z 是 对整体图形作伸缩变换。从中可以导出上述所有的2 d 基础变换形式。 稳健的图像拼接算法研究 第三章图像特征的提取 特征空间指的是从图像中提取出来用于匹配的信息。特征可以是灰度值、边 界【2 3 1 、轮廓、纹理、显著特征( 如，角点、线交叉点、曲率最大点) 、统计特征 ( 如矩不变量、中心) 。特征空间的合理选择可以降低成像畸变对匹配性能的影 响，提高匹配算法的适应性。 3 1 特征提取概述 图像的匹配是拼接技术中重要的一个步骤。图像匹配大多是采用基于特征的 匹配来完成的。本文所研究的匹配技术也是主要围绕特征匹配来展开的。一个特 征匹配一般分为三步来完成2 4 ： 1 特征的提取； 2 特征匹配； 3 。伪匹配的消除。 后两步都属于图像匹配的范畴，我们在下一章节进行论述。 特征是用来建立两幅图像之间的匹配对应关系。提取“好”的特征点是图像 匹配非常关键的一步。特征提取的难点在于自动、稳定、一致性的特征提取。如 何在同一场景不同视角、不同光强等情况下提取稳定、一致的特征是值得探讨的 问题。 3 2 特征基元的选取 在对图像进行匹配时，选择合适的特征基元是至关重要的。而且不同特征的 提取也决定了各种匹配算法的差异性。常用的特征基元有【2 5 ：区域特征、边缘特 征和点特征。 3 2 1 区域特征 若能较好的进行区域分割，则可以使用区域统计特征作为特征匹配的基元。 它的优点是显而易见的，选取灰度值作为匹配基元不需要额外的计算抽取图 像的特征，可以避免由于特征抽取过程所导入的参数估计误差；它所利用的信息 是最大的，区分不同对象的能力强、精度高，特别是在十分复杂的图像环境和要 求高精度的应用领域能够有效地工作。但是基于区域的匹配方法也有其不足：它 1 l 稳健的图像辨接算法研究 受光强影响大，对灰度变化比较敏感；以区域作为特征，在匹配中图像处理的信 息量大，计算复杂度高；虽然不需要前期做特征的抽取工作，但是基于区域的特 征对珏配中的旋转、尺度变化以及遮掩等极为敏感。 而基于图像特征的匹配方法就可以避免上述缺点。首先，图像特征比象素在 数量上要少得多，计算复杂度不高；其次，特征间的匹配度量随位置变化很尖锐 容易找到准确的匹配位置；最后特征提取能大大减少噪声影响，对灰度变化、形 变和遮挡等有较强的适应力。 3 2 2 边缘特征 在基于图像特征的匹配方法中，边缘是一种常用的图像特征之一。边缘无疑 是图像中最显著和直观的特征，边缘存在于图像的e l 标区域和背景之间，对应着 图像更抽象的信息和匹配时比区域匹配更少的计算量。采用边缘线段作为特征匹 配基元的优点是孤立边缘点的位置偏差对边沿线段的影响很小，另外还显式的加 入边缘连接性约束。 3 2 3 角点特征 角点是目标轮廓线上曲率的局部极大点，对掌握目标轮廓特征具有决定作 用。角点特征也可以被称为兴趣点，提取点特征的算子也可以被称为兴趣算子。 目前的角点检测主要分为两类：一类是基于边缘的角点提取算法，此类方法 的主要思想是通过对边缘的分析来寻找角点，但这类方法对边缘的提取依赖性较 大，如果检测到的边缘不连续，则会对角点提取结果造成较大影响；第二类是赢 接基于图像灰度的角点检测，主要通过计算曲率和梯度来达到检测目的。 本文主要是提取角点作为特征进行特征匹配，对现有的几个经典角点算子进 行了分析比较，其中重点讨论了h a r r i s 算子，并得出了实验结果。 3 3 图像特征提取角点检测 通过角点可以大致描述一条线段，因此图像的特征用角点来描述比用线段来 描述更加简洁。角点最简单的几何描述为图像中边缘上曲线方向改变较大的位置 的点。用这种描述来检测点，不仅计算复杂，而且边缘检测的准确性对角点的检 测有影响。这些年来出现了多种角点检测方法。k i t c h e n 和r o s e n f e l d t 2 8 1 通过局部 梯度大小乘以梯度方向的变化来判断角点。m o r a v e c l 2 7 发展了“兴趣点”( p o i n to f 1 2 稳健的图像拼接算法研究 i n t e r e s t ) 的思想，在一个局部窗口内计算各个方向的图像亮度变化，找到在各个 方向亮度变化很大的点作为角点。h a r r i s 和s t e p h e n s 4 1 在m o r a v e c 方法上进行了 改进，形成了h a r r i s 角点检测方法。它与m o r a x r e c 方法主要不同在于用阶偏号 来描述亮度变化。s m i t h 和b r a d y 2 9 1 提出了s u s a n 方法。它通过计算u s a n ( 单 一值分割相似的核心) 区域来判断角点。 下面先讨论历来对角点的多种定义，然后主要对这三种角点检测算法进行介 绍和比较。 3 3 1 角点的定义 在计算机视觉领域中关于角点还没有很好的数学定义，存在多种数学描述方 法。因为角点本身的含义就比较模糊，所以在各种文献的角点检测方法中，不同 的角点检测方法对于“什么是角点”有自己的定义，并由此引出各种检测角点的 数学方法。晷前关于角点具体定义和描述主要有如下几种：1 ) 角点是一阶导数 的局部最大所对应的象素点：2 ) 角点是指两条以上的边缘的交点；3 ) 角点指示 了物体边缘变化不连续的方向；4 ) 角点处的一阶导数最大，而且h 阶导数为零； 5 ) 角点处不仅梯度的数值大，而且梯度方向的变化率也很大。也就是说，角点 指示了图像在两维空间内灰度变化剧烈的位置，是和周围的邻点有着明显差异的 象素点【2 5 ，2 6 1 。 第一类定义不能准确定位角点，当检测到边缘时其一阶导数均局部最大，能 较好的的区分边缘和灰度平滑区域，但没有考虑角点处的曲率，故不能区分边缘 与角点。第二类定义不够准确，不易于数学表达，定义太抽象；第三类考虑到了 角点处曲率的变化与边缘处的不同，为更准确的角点定义提供了基础；第四类定 义不够准确，不能很好的区分角点、边缘、平滑区域，不易于数学描述；第五类 定义即考虑了梯度的局部最大( 角点也是边缘点的一部分) ，又考虑了梯度方向 的变化率( 只有当梯度方向剧烈变化时才指示为角点) 。 可知第五类定义利用灰度信息，计算曲率和梯度能很好的区分角点、边缘与 平滑区域，且易于数学表达。由于在实际工作中不需要提取边缘，因此得到了广 泛的应用。在此基础上也发展了很多算法，下面介绍了几种经典角点算子均可归 为此类定义。 稳健酌图像拼接算法研宄 3 3 2 m o r a v e c 检测算法1 2 7 】 m o r a v e c 于1 9 7 7 提出了基于兴趣算子( i n t e r e s to p e r a t o r ) 提取角点的方法。该 算子计算各象素沿不同方向的平均灰度变化，选取最小值为对应象素点的角点响 应函数c r f ( c o r n e rr e s p o n s ef u n c t i o n ) 。然后通过抑制局部非最大值点得到角点。 m o r a v e c 兴趣算子用4 4 窗口计算每个象素在水平( h o f i z o n t a l ) 、垂直( 、，e r t i c a l ) 、 对角线( d i a g o n a l ) 、反对角线( a n t i d i a g o n a l ) 4 个方向上的平均灰度变化。取这4 个 值当中的最小值为c r y ，若此值为局部最大则该象素点为角点。 各个方向上的灰度变化计算公式为： 聆= 三王( p ( 工十f ，y + j ) 一p ( x + i + l ，y + ，) ) 2 ( 3 1 ) ，o u “；z z ( p ( x + i ，y + j ) 一p ( x + i ，y + - ，+ 1 ) ) 2( 32 ) j 枷i - - o v d2 丢善( p + i ，y + ) 一尸伍+ i + 1 ，y + j + 1 ) ) 2 ( 33 ) k = 丢2 善3 ( p o + f ，y + ) 一尸+ f l ，y + + 1 ) ) 2 ( 3 4 ) v ( x ，y ) = m i n ( v h ( x ，y ) ，v v ( x ，y ) ，v d ( x ，y ) ，v a ( x ，y ) ) ( 3 5 ) 酶功= r 一州8 8 竺 b 。， 在计算过程中有以下三种可能口5 】： 如果窗口处于灰度均匀区域，则在计算4 个方向上的灰度变化时为较小 的值。 当窗口跨越边缘时，那么沿边缘运动方向的结果为一较小的值，而在垂 直边缘的地方将是一个较大的灰度变化。 1 4 稳健的图像拼接算法研究 如果窗1 3 处在角点或独立的点上时，那么在该点的每个方向上都是捉皮 变化剧烈的地方，所以值也较大。 m o r a v e c 最显著的优点是运算速度快。它对边缘比较敏感，这是由于晌应值 是自相关的最小值而不是差值。但是m o r a v e c 算法过于简单，产生了很明显的问 题： 由于只利用了四个方向实现局部相关，所以算予响应是各项异性的； 算子在抑制噪声方面效果不佳，算子的响应也包括了对噪声的响应。可 以考虑用更平滑的滤波来消除噪声。 3 3 3s u s a n 检测算法 s m a l l e s tu n i v a l u es e g m e n t a s s i m i l a t i n gn u c l e u s 是s u s a n 的全称，中文是最 小单值分割相似核心。s u s a n 绘我们提供了一个完全不同的处理角点的方法。 它提供了一个能够不受噪声干扰的角点检测算法。 s u s a n 的基本原理是通过以一个点为中心的局部区域内亮度值的分布情况 来判断平滑区域、边缘及角点。s u s a n 算子是基于以下观察，图3 1 显示了一 个在图像上移动的圆形模板，它的位置有以下五种形式。图中表示了一个白色背 景中有一块黑色区域的图像，图中有五个圆形区域模板，圆形区域模板的中心称 为核心。每个小模板区域中每个象素的亮度值与核心点的亮度值相比较。把比较 结果相似或相同的点组成的区域叫做u s a n ( 单值分割相似核心) 。u s a n 区含 有图像在某个局部区域的结构信息。u s a n 的大小反映了图像局部特征的强度。 如图3 1 a 所示，模板区域( a ，b ，c ，d ，e ) 中与黑色区域重叠部分叫做u s a n 。 分析图3 1 b 中各个模板区域的u s a n 的大小，其中e 最大，a 最小。因此， u s a n 在边缘处( 如b ) 大概是最大值的一半，在角点处( 如a ) 它的值最小。 我们可以计算一幅图像中的每个象素点处的u s a n ，即以一个象素点作为核心 ( 模板的中心点) ，这个象素点周围区域( 大小与模板区域大小相同) 内的象素 点组成模板区域，u s a n 的大小就是与中心点象素亮度相似或相同的象素点的数 量。通过对图像中的每个象素进行计算s u a n ，在局部区域内u s a n 最小的象 素点就是所求的角点。这个方法能不受噪声干扰的主要原因是没有计算图像亮度 的偏导。 稳健的图像拼接算法研究 ( a ) s u s a n 算子的五种形式 ( b ) 各种形式u s a n 的大小 图3 1s u s a n 原理图 在计算中，s u s a n 模板在图像上滑动，在每个位置上比较模板内各图像象 素的灰度与模板核心的灰度： ，一一、fl ，圳i ( i ) 一i ( 柚巨t c 【。如j 2 10 ， o t h e r w i s e ( 3 1 7 ) 式中r o 是模板核心的位置，r 是模板内除核心之外的任意一点的位置；i 为 象素的灰度值：t 为灰度差的闽值，它控制生成角点的数量。c 等于1 时为u s a n 成员。 稳健的图像拼接算法研究 通常对于上式采用更稳健的形式 酊胁e 掣k t 堕6 模板内所有点c 的和为 ( 3 8 ) 门( 尹o ) = c ( 尹，尹。)( 3 9 ) f 然后n 与一个给定的闰值g 比较，得到图像的角点响应值： 酬= g l 艺赢笔g 阖值t 表示所能检测角点的最小对比度，也是能忽略嗓声的最大容限。它主 要决定了能够提取的特征数量，t 越小，意味着可从对比度越低的图像中提取特 征，而且提取的特征也越多。因此对于不同对比度和噪声情况的图像，应取不同 的t 值；这在实际应用很不方便。 闽值g 决定了输出角点的u s a n 区域的最大值。即只要图像中象素具有比g 值小的u s a n 区域，该点就被判定为角点。g 的大小不但决定了可从图像中提 取角点的数量，它还决定了所检测到的角点的尖锐程度，所以一旦确定了所需要 角点的质量，g 就可以取一个固定不变的值。通常如果是提取边缘的话，可取g 为3 n 。4 ，若提取角点，则取r t m , x 2 就可以了。模板能取到的最大n 值为1 1 。 模板半径一般取为3 4 象素，面积为3 7 象素，如图3 2 所示： x x x x x x 图3 2 模板图 1 7 稳健的图像拼接算法研究 s u s a n 算法性能分析： 无需梯度运算，保证了算法的效率： 具有积分特性，这样使撂s u s a n 翼法在抗嗓和计算速度方面有较大的 改进； 因为是圆形模板，所以具有各向同性的特点，对旋转保持不变性： 对角点的检测比对边缘检测的效果要好，适用于基于角点匹配的图像配 准： 在弱边缘上不易检验出正确的角点。因为仅有一个固定的闽值所以在对 灰度差不大的情况下，角点不易检出； 阈值t 、g 不易设定，要随实际图像而改变值，增加了人为因素； 定位不够精确，容易出现角点偏移和错误判断的情况。 3 3 4h a r r i s 检测算法 h a m s 算于是c h a r r i s 和m i j s t e p h e n s t 4 】于1 9 8 8 年提出的一种点特征提取算 子。他们在m o r a v e c 算子的基础上进行了改进，形成了h a r r i s 角点检测算法。它 与m o r a v e c 方法主要不同在于用一阶偏导来描述亮度变化，这种算予受信号处理 中自相关函数的启发，给出与自相关函数相联系的矩阵m ，m 的特征值反映了 局部互相关曲率。 3 3 4 1 h a r r i s 算子数学表达 m o r a v e c 由于只考虑了4 个方向上了灰度变化所以是各向异性的。而h a r r i s 定义了任意方向上的自相关值为一组方形区域中图像灰度误差的总和： e ( u ，v ) = w ( x ，y ) 【( x + “，y + v ) 一，( 工，) 2 ( 3 1 1 ) j ， 它的泰勒展开式为： e ( u ，v ) 兰l ( 3 1 2 ) m 是2 2 的对称矩阵： m = ab c 卜一x 2 + y z 啪，1 x i c bi 。i 。 i j 7 t x 、b 分别为图像x 、y 方向的梯度值；w ( x ”为高斯滤波器。 稳健的图像拼接算法研究 3 3 。4 2h a r r i s 算子原理 e 可近似作为局部互相关函数，m 描述了在这点上的形状。设x l 、x 2 是矩阵 m 的两个特征值，则九1 、h 可表示局部自相关函数的曲率。由于各向同性，所 以m 保持旋转不变性。如图3 - 3 所示，通过对矩阵m 的两特征值分析，可得出 以下三种情况f ”： a 、如果两特征值都很小，意味着窗口所处区域灰度近似常量。任意方向的 移动，函数e 都发生很小的改变，如图中的“f l m ”t e g i o n 。 b 、如果一特征值很大，而另一特征值很小时，表明成屋脊状，例如：边缘。 沿着边缘方向移动使得函数e 变化很小，而垂直边缘移动则变化较大，如图中的 “e d g e ”r