（光学工程专业论文）基于图像的自适应图像拼接算法研究.pdf

浙江人学硕1 ：学位论文摘要 摘要 图像拼接技术是当前图像处理领域的一个热门研究课题。它将一组相互存在 重叠部分的图像进行空间匹配对准，经融合后成为一幅包含各图像信息的大视场 的完整图像。在实际中有很广泛的应用场景，可以应用于全景图像的合成、虚拟 现实的实现、卫星图片的处理和军事等领域中。 本文首先介绍了图像拼接技术的研究现状、应用领域和技术原理。介绍了图 像拼接的流程，并对图像拼接过程中的一些关键技术进行了深入的分析，并进行 了概括和总结，分析和总结了现有图像拼接的主要方法，并对他们的优点和局限 性进行了一定的分析。并在已有的算法基础上，进行了一系列的改进，并通过实 验对改进算法和原有算法在稳定性、抗噪性、算法运行时间上进行了比较和分析。 本文改进算法的最关键在于对特征点提取算法和特征匹配算法上的改进。通 过结合多尺度h a r r i s 算子和中心b 样条函数，使特征提取算子对噪声有很强的 抑制能力。通过利用h a r r i s 算子提取特点，并利用特征点周围区域像素的主梯 度方向信息，更准确地进行特征点匹配，消除伪匹配点对。本文还对含有透视和 缩放变换的图像进行了分析，提出了一种基于仿射迭代的算法用于对该类图像特 征点集合进行匹配，但该算法准确度还不够，有待进一步优化和提高。图像匹配 完成后，本文使用r a n s a c 算法来估算变换矩阵，通过剔除外点，估算出最佳特 征矩阵。最后通过使用后向映射和双线性插值法在图像合并过程中进行插值运 算，并使用重叠区域线性过渡算法来消除图像拼接缝，实现图像之间的无缝拼接。 关键词：图像拼接，图像匹配，图像融合，特征点检测，特征点匹配。 i i i 浙江人学硕 二学位论文a b s t r a c t a b s t r a c t i m a g es t i t c h i n gi sa ni m p o r t a n tr e s e a r c ha r e ao fc o m p u t e rp r o c e s s i n g i ti sa t e c h n o l o g yt h a tc a r r i e so nt h es p a t i a lm a t c h i n gt o as e r i e so fi m a g ew h i c ha r e o v e r l a p p e dp a r t l yw i t he a c ho t h e r , a n df i n a l l yg e n e r a t e sas e a m l e s sa n db i ge y e s p o t i m a g eb ym e r g i n gt h e s ei m a g e s i th a sw i d ea p p l i c a t i o n si n t h ef i e l d so f p h o t o g r a m m e t r y , c o m p u t e rv e r s i o n ，r e m o t es e n s i n gi m a g ep r o c e s s i n g ，m i l i t a r ya n ds o o n t h et h e s i sf i r s ti n t r o d u c e st h ep r e s e n tr e s e a r c hs t a t u s ，t h ea p p l i c a t i o n sd o m a i n s a n dt h e o r yo fi m a g e s t i t c h i n gt e c h n o l o g y t h e nt h et h e s i sd i s c u s s e st h eb a s i cs t e p so f i m a g es t i t c h i n g i ta l s od e e p l ya n a l y z e sa n ds u m m a r i z e st h ek e yt e c h n o l o g i e so f i m a g es t i t c h i n g ，i n c l u d et h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s t h et h e s i sa l s op r o p o s e s a ni m p r o v e da l g o r i t h mb a s e do no r i g i n a l a l g o r i t h m s a n dt h e ni tc o m p a r e st h e s t a b i l i t y , n o i s er e s i s t a n c ea n dt i m ec o s tb e t w e e nt h ei m p r o v e da l g o r i t h ma n do r i g i n a l a l g o r i t h mb ye x p e r i m e n t s t h ei m p r o v e m e n to nf e a t u r ep o i n t se x t r a c t i o na n df e a t u r ep o i n t sm a t c h i n ga r e t h ek e yp o i n t so ft h ei m p r o v e da l g o r i t h m w i t ht h em u l t i s c a l eh a r r i sc o m e rd e t e c t i o n a n db s p l i n ef u n c t i o n ，t h ei m p r o v e dc o m e rd e t e c t i o nc a nl a r g e l ys u p p r e s st h ee f f e c to f n o i s e w h e ni tr e f e r st of e a t u r ep o i n tm a t c h i n g ，i tm a k e su s eo ft h ec h a r a c t e r i s t i c so f f e a t u r e sp o i n te x t r a c t i o na n dm a i ng r a d i e n tv e c t o r so fn e i g h b o rp i x e l s i nt h i sw a y , i t c a nm o r ec o r r e c t l ym a t c ht h ef e a t u r e sa n dr e m o v et h ef a l s em a t c h e s t h et h e s i sa l s o p r o p o s ea l la l g o r i t h mb a s e do nt h ea f f i n e da l t e m a t e l ya l g o r i t h mt om a t c ht h ef e a t u r e p o i n t so ft h ei m a g e sw i t hp e r s p e c t i v ea n ds c a l et r a n s f o r m a t i o n b u ti t sa c c u r a c yo f t h i sa l g o r i t h mi sn o te n o u g h ，a n dt h ea l g o r i t h mn e e df u r t h e ri m p r o v e m e n t w h e n f i n i s h i n gt h ef e a t u r ep o i n t sm a t c h i n g ，t h et h e s i su s er a n s a cm e t h o dt oc a l c u l a t et h e t r a n s f o r m a t i o nm a t r i x b yr e m o v et h eo u t e rc o m e r , i tc a ng e tt h eb e s tt r a n s f o r m a t i o n m a t r i x f i n a l l y , t h et h e s i su s eb a c k w a r dm a p p i n ga n db i l i n e a ri n t e r p o l a t i o nf u n c t i o nt o e x e c u t ei n t e r p o l a t i o nc a l c u l a t i o ni ni m a g em e r g e a n dt h e ni tu s eo v e r l a p p e da r e a l i n e a rt r a n s i t i o nm e t h o dt ob u i l das e a m l e s si n t e g r a t e di m a g e v 浙江人学硕l ：学位论文 a b s t r a c t k e y w o r d s ：i m a g es t i t c h ，i m a g ef u s i o n ，i m a g er e g i s t r a t i o n ，c o m e rd e t e c t i o n ， c o m e rr e g i s t r a t i o n v 1 浙江人学硕i ：学位论文第一章绪论 1 1引言 第一章绪论 在实际应用中，人们如果想要获得较宽视场的场景图片时，只能通过调整相 机焦距从较远的位置进行拍摄，从而获取完整的场景，但是这样获取的图片分辨 率较低，因为相机分辨率是一定的，拍摄场景越大，得到图像的分辨率越低。因 为分辨率太低，这样获得的图片不能满足我们的应用要求，而且，有些超大尺寸 的物体既是调整焦距也无法用一张照片拍摄下来，在航天照片的拍摄中显得尤为 突出。这个问题可以通过两种途径解决，一种是硬件的方法，比如使用广角镜头 和扫描式相机解决视场不足这一问题，但这些设备价钱昂贵，使用复杂。而且广 角镜头的边缘可能会产生扭曲变形。扫描式相机最大缺点是拍摄速度慢。还有一 种是软件的方法，就是本文要介绍的图像拼接技术，它可以在不降低图像分辨率 和不影响拍摄速度的条件下，通过将普通图像或视频图像进行无缝拼接的方法获 取大视场范围的场景照片，得到超宽视角甚至3 6 0 度的全景图，这样就可以用普 通相机实现场面宏大的景物拍摄。这种使用图像拼接的方法成本低，不需要使用 广角镜头等高性能的硬件，实用性比较好。它使用软件的方式将具有重叠区域的 多幅图片进行自动匹配，从而合成一幅宽视场图片，以扩大视场的范围。 图像拼接技术是当前图像处理的一个热门研究课题，已成为基于图像的绘制 方法( 简称i b r ) 的一项重要技术。在数字视频、计算机视觉、虚拟现实技术、 遥感图像处理、宇宙空间探测、海底勘测、医学、气象、地质勘测、视频压缩和 传输、视频的索引和检索、军事等领域都有些很广泛的应用。因此图像拼接技术 有着很好的应用前景和应用价值。 图像拼接技术是以多幅图像为处理对象，需要对两幅或两幅以上的图像进 行综合的分析，因此相对于其他图像处理技术来说，有着以下特点：多样性、针 对性和复杂性。 1 、多样性 图像拼接的材料来源于客观世界，而客观世界中的物体种类繁多、形状各异， 使得图像的内容千变万化，再加上光照条件的变化和景物中可能出现的物体移 浙江人学硕 ：学位论文第一章绪论 动，所以相机从不同视角拍摄的图像之间以及在不同时间从同一视角采集的同一 物体的图像之问都存在着差异。而且即使物体是静止的，相机在采集图像的过程 中，存在着多种运动方式，如平移、旋转、倾斜等，这也造成了不同运动方式的 相机所采集到的图像具有不同的特点。以上这些复杂的原因造成了图像拼接技术 的处理对象的复杂性和不可把握性，也决定了图像拼接技术的多样性。因此，目 前来说没有一种通用的图像拼接技术可以适用于各种不同类型的图像，一般来 说，每种类型的图像需要各自不同的处理方法。 2 、 针对性 拍摄内容不同、拍摄环境不同或拍摄的运动方式不同等原因都使得各类图像 都具有各自鲜明的特点，比如有些是柱面图像，有些是球面图像，有些是视频图 像序列等等。因此，针对每一种特点应该使用特定的图像拼接算法。一般来说， 图像拼接算法的针对性都很强，对于某种特点的图像下产生的图像拼接算法可能 不适用于另一特点的图像。 3 、复杂性 图像拼接算法要经过很多的步骤，从图像的采集，到图像的预处理，到图像 的具体拼接细节处理，直到最终生成无缝的拼接图像，中间经历很多的环节，每 个环节都涉及到很多复杂的技术。这决定了图像拼接技术具有复杂的特点，图像 拼接算法一般都是多种图像处理技术和算法的总和。 图像拼接技术的这三个特点决定了图象拼接技术没有标准的测试图像，也没 有统一的评价标准，评价一个算法的优劣主要靠人的主观视觉感知。 1 2国内外研究现状 图像拼接技术主要包括图像配准和图像融合这两个关键环节。图像配准是图 像拼接的核心部分，主要是找出对齐的两幅或多幅重叠图像之间的运动情况。对 图像配准处理的优劣直接关系到图像拼接算法的成功率和运行速度。图像融合技 术是为了消除由于光照变化、几何校正等引起的相邻图像间的光照强度或图像颜 色不连续问题，将两幅经过匹配确定了重叠区域的图像融合为一幅无缝图像。关 于图像拼接算法，国内外已有不少专家、学者对这方面进行了大量的研究，其算 法主要有基于模板的算法、基于灰度相关的算法、基于相位相关的算法和基于特 2 浙江人学硕i ：学位论文第一章绪论 征的算法。提高图像拼接算法的准确率，减少算法时间和增强拼接系统的鲁棒性 一直是图像拼接研究的重点。 1 9 9 6 年，微软研究院的r i c h a r ds z e l i s k i 提出了一种基于运动的全景图像拼 接模型，它是一个2 d 空间八参数投影变换模型，采用l e v e n b e r g m a r q u a r d t 迭代 非线性最小化方法( 简称l - m 算法) 求出图像间的几何变换参数来对图像进行配 准。这种方法在处理具有平移、旋转、仿射等多种变换的待拼接图像方面效果好， 运算速度快，因此成为图像拼接领域的经典算法。2 0 0 0 年，s h m u e lp e l e g 、b e n n y r o u s s o 、a l e xr a v - a c h a 在r i c h a r ds z e l i s k i 的基础上作了进一步的改进，提出 了自适应图像拼接模型心。，根据相机的不同运动方式，自适应选择拼接模型，通 过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果推动了图像拼 接技术的进一步的发展，从此自适应问题成为图像拼接领域新的研究热点。匹兹 堡大学的s e v k e tg u m u s t e k i n 对消除在固定点旋转摄像机拍摄自然景物时形成的 透视畸变3 3 利，并对全景图像的拼接进行了研究，通过标定摄像机来建立成像模 型，根据成像模型将捕获到的图像投影到统一的高斯球面上，从而得到拼接图像。 这种拼接方法效果好、可靠性高，但是要求对摄像机进行精确的标定，同时要求 摄像机透镜本身的畸变参数引起的图像变形可以忽略不计。1 9 9 7 年，s z e l i s k i 教授又提出了通过通过迭代求精每幅对应的旋转矩阵和相机焦距，从而实现图像 拼接引。 基于灰度的图像拼接算法主要通过采用整幅图像或者图像中部分像素做为 模板，利用模板中像素的相关性进行匹配，从而配准图像位置的方法。常用的基 于区域灰度的算法有比值匹配法、块匹配法和网格匹配法。1 9 9 4 年，r h a r t l y 提出了比值匹配法它是从幅图像的重叠区域中选取相邻的两列，取出部分 像素，然后以它们的比值作为模板，在另一幅图像中搜索最佳匹配的两列像素， 这种算法计算量不大，但精度低；为了解决比值匹配法的精度问题，1 9 9 6 年，汪 成为提出了块匹配法哺1 ，它是以一幅图像重叠区域中的一个窗口区域中的像素作 为模板，在另一幅图像中搜索与此模板相似度最高的匹配块，这种算法精度较高， 但计算量太大；2 0 0 0 年，李志刚提出了网格匹配法憎1 ，它先进行粗匹配，每次水 3 浙江人学硕i ：学位论文第一章绪论 平或垂直移动一个步长，记录下最佳匹配位置，然后再对粗匹配结果进行精确匹 配，每次步长减半，循环该过程直到步长减为o ，这种算法较前两种计算量有所 减小，但如果粗匹配步长过大会造成比较大的误差。 1 9 7 5 年，k u g l i n 和h i n e s 提出了相位相关法u ，利用傅立叶变换将两幅待拼 接的图像变换到频域，然后利用互功率谱直接计算出两幅图像间的平移矢量。 1 9 8 7 年，d ec a s t r o 和m o r a n d i 提出了扩展相位相关法u ，利用傅立叶变换的性 质能够实现具有旋转和平移变换的图像的配准。1 9 9 6 年，r e d d y 和c h a t e r j i 提出 了基于快速傅立叶变换( f f t b a s e d ) 的的方法引，利用极坐标变换和互功率谱， 对具有平移、旋转和缩放变换的图像都能够实现精确配准。相位相关法计算简单 精确，但要求待配准图像之间有较大重叠比例，同时算法计算量和适用范围会收 到图像的大小的影响。 基于特征的方法是目前研究最多的一种图像拼接方法。它首先从待匹配图像 中提取特征集合。特征是图像的一些显著位置例如图像的边缘、角点等。利用这 些特征的对应关系进行匹配，从而映射到整幅图像的匹配。基于特征的方法利用 了图像的显著特征，具有计算量小，速度快的特点，对图像的几何变形、噪声、 畸变等具有一定的鲁棒性。它的匹配性能很大程度上取决于特征提取的质量，因 此要根据不同特点的图像使用合适的特征提取算法提取合适的特征。1 9 9 5 年，出 现了一种基于轮廓的图像匹配方法u 副，它采用l o g 算子提取出两幅图像的特征轮 廓，用链码来表示轮廓，根据相同轮廓的链码差分值不变的特性找出对应轮廓， 从而确定图像间的变换关系。这种方法对轮廓的提取准确度依赖性比较高，容易 受到噪声的干扰，其计算量和轮廓数量成正比。1 9 8 8 年，h a r r i s 提出了h a r r i s 角点检测器1 ，它使用自相关函数确定图像像素在二维空间发生变化的位置， 该方法提取的特征点具有旋转、平移不变性，并且可以达到亚像素精度。对噪声、 图像获取时光照等条件的影响有较好的鲁棒性。 图像匹配算法经过几十年的发展己经取得了很大的进展，但由于拍摄环境复 杂多变，现在还没有一种算法能够解决所有图像的匹配问题。现有的几种方法各 有其优缺点，如果能综合利用这些方法的优点将会取得更好的匹配结果。 4 浙江人学硕。 ：学位论文第一章绪论 1 3 论文内容和结构 本论文的主要内容是在图像拼接技术中，对基于特征的图像拼接算法进行研 究。本论文主要研究基于h a r r i s 检测算法的图像拼接算法，并在原算法基础上 提出改进算法。重点是要解决现有算法抗噪能力不够、鲁棒性不够强的问题。 本文一共分为七章，主要内容如下： 第一章是绪论，主要介绍为什么需要用到图像拼接技术，图像拼接技术的特 点、图像拼接的应用场景和现在国内外的研究现状。 第二章是图像拼接技术原理，主要介绍图像拼接技术的流程和一般步骤，图 像拼接技术两大类：基于区域的图像拼接技术和基于特征的图像拼接技术。并介 绍这两大类技术各自的特点以及算法的原理以及各自的优缺点。 第三章是特征点提取，主要介绍现有的特征点提取算法，然后着重介绍 h a r r i s 特征点检测算法，并指出了h a r r i s 算子的两大不足，并在此基础上提出 了一种多尺度结合b 一样条函数的一种改进h a r r i s 检测算法，并修改了原有 h a r r i s 算子的特征计算公式，使其减少随机性。从而能更准确地提取出特征点。 第四章是特征点匹配，主要介绍现有的特征点匹配技术，并提出了一种基于 h a r r is 检测算法原理的，并利用周围像素主梯度向量信息从而更准确地计算出 匹配特征集合。 第五章是变换矩阵估计，主要介绍现有的几种特征矩阵估计算法，并提出了 一种基于r a n s a c 原理的估计变换矩阵的算法。 第六章是图像融合，主要介绍了现有几种插值技术和消除拼接缝技术，并主 要使用双线性插值方法来对拼接过程进行插值运算，并使用重叠区域线性过渡技 术来使图像消除拼接缝。 第七章是总结与展望，对已进行的工作进行了总结，并分析了现有算法的一 些不足，并指出了还有待研究的一些方向。 浙江人学硕一l 学位论文第二章图像拼接技术原理 第二章图像拼接技术原理 2 1 图像拼接的一般步骤 图像拼接总体来说可以分为两大类，一类是基于区域的拼接方法，一类是基 于特征的拼接方法：基于区域的拼接方法8 m m6 i 一般通过直接利用待拼接图像 和参考图像中像素的相关性，构造模板进行匹配的方式来确定待拼接图像各个像 素在参考图像中的位置，从而得到完整的图像；而基于特征的图像拼接方法 n 3 1 1 4 3 n 明1 7 儿19 l ，一般首先提取图像的特征点或特征区域，然后利用这些特征点或 特征区域之间的相关性来确定图像之间的相关性，再根据这些相关性来进行图像 之间的匹配和拼接。 一般图像拼接主要包括以下四个步骤： l 、图像的预处理：如果是基于区域的图像拼接算法，这一步主要是建立图 像的匹配模板，匹配模板可以是直接由图像中的像素灰度值建立，也可以先对图 像进行某种变换( 如傅立叶变换) 之后再利用变换结果中的某个区域建立；如果 是基于特征的图像拼接算法，这一步主要是指图像特征的检测，通过某种检测算 法提取图像中的特征点或者特征区域等特征集合，从而获得图像中突出和显著的 特征部分，如封闭区域、边界、轮廓、角点等，提取出的这些特征可以表征一幅 完整的图像。 2 、匹配：如果是基于区域的图像拼接算法，这一步主要是模板的匹配，在 两幅图像中找到最匹配的两个模板，从而确定两幅图像的匹配关系；如果是基于 特征的图像拼接算法，这一步将待拼接图像中检测到的特征点与参考图像中检测 到的特征点进行匹配，建立起特征集合之间的对应关系，从而确定两幅图像问的 对应关系。也就是说，匹配就是要在两幅图像的重叠区域中，找出待拼接图像某 个模板或某个点在参考图像中相应的位置。 3 、几何变换模型的确立：待拼接图像与参考图像的关系一般都可以反映在 一定的几何变换模型上，在匹配过程中，已建立了模板之间或者图像特征之间的 映射关系，通过这些关系可以得出几何变换模型中各个参量的值，从而建立起几 6 浙江人学硕 学位论文第二章图像拼接技术原理 何变换模型。 4 、图像转换和重构：根据上一步建立的几何转换模型，将待拼接图像转换 到参考图像的坐标系中，从而构成完整图像。而坐标转换过程中可能出现非整数 坐标，可以通过插值技术进行计算。图像拼接过程中可能由于图像获取时光照度 的不同，使图像拼接处出现拼接缝，这时需要使用图像融合技术来达到无缝拼接 的效果。 以上是一般图像拼接的四个步骤，不同算法之间在实现细节上有一些差异， 因此在拼接过程中一定要考虑到具体的实际应用背景。 首先，应该根据实际的图像特点来确定使用哪种图像拼接算法。一般只有简 单的平移情况且图像之间光照度一样的情况下，可以使用基于区域的图像拼接方 法。而在图像带有旋转、平移、透视、缩放等复杂情况下需要使用基于特征的图 像拼接方法。对于基于区域的图像拼接方法，应考虑到模板匹配计算量的问题， 以及匹配过程中是否会受到其他条件的影响，如图像质量、光照条件、噪声等因 素。而对于基于特征的图像拼接方法，应该要考虑如何选取具有代表性的特征， 要使检测出来的图像特征集合能够足够反映原图像的信息，同时也要考虑尽量减 少提取特征和匹配特征集合所耗费的算法时间，要根据具体的图像来选取合适的 特征集合，并为该特征集合选取合适的算法，从而获得较好的拼接效果。 在模板匹配和特征匹配的过程中，匹配算法在空间不变性的处理上应该具有 鲁棒性。匹配过程中不可避免会产生误差，尤其是在噪声比较多或者图像光照度 不均匀的情况下，要使算法具有鲁棒性就要使这些误差对最后结果有尽可能少的 影响。 在几何模型的建立过程中，几何模型的采用也需要具体情况来考虑，几何模 型不是越复杂越好，虽然复杂的几何模型一般能使精确度有所提高，但是往往会 带来较大的计算量。因此应该根据拼接要求的不同，实际拼接图像的不同，选取 合适的几何模型。 最后，在图像的转换和重构这一步，基于区域的图像拼接算法一般比较简单， 因为使用这种算法的图像之间一般变化都不大，而且一般都只有水平或者垂直方 向的位移，转换不会很复杂；而基于特征的图像拼接算法，因为碰到的拼接任务 一般会比较复杂，图像之间存在平移、旋转、扭曲、透视变换、照度变化等情况， 7 浙江人学硕一i ：学位论文第二章图像拼接技术原理 因此图像转换过程相对复杂一些，而且转换坐标很可能会出现非整数坐标，需要 通过插值来解决，并且经常还需要考虑拼接缝的问题，通过图像融合的方法来实 现无缝拼接。 在本章后面几节中，会按照基于区域和基于特征的这两类拼接算法来分别介 绍图像拼接的具体过程。 2 2 基于区域的图像拼接 基于区域的图像拼接方法一般应用在需要拼接的几幅图像之间没有复杂变 化的情况下，一般只是图像之间具有水平或垂直方向上的位移，并且要求这几幅 图像的光照度要一样。对于这类拼接，工作的重点在模板的匹配上面，而对于变 换模型的建立、图像的重构方面都比较简单。 2 2 1 模板选取 基于区域的图像拼接方法一般都是直接利用图像中的像素或先对图像进行 一定变换之后再选定一定区域来建立模板来进行拼接，而其中模板的选取一般都 不会很复杂。最简单的方法就是利用整幅图像的像素灰度为模板，但这种模板的 选取方式往往为模板的匹配带来很大的计算量。但如果为了减少匹配的计算量， 只选用图像中一列图像作为模板进行匹配，拼接精度往往不高。所以现在一般都 会选取图像中某个部分区域中的像素作为模板。另外基于傅立叶变换的相位相关 法也是一种典型的算法，该算法首先对图像进行傅立叶变换，通过频域中的相位 差峰值找到图像的重叠位置，从而进行图像拼接。 2 2 2 模板的匹配 基于区域的图像拼接算法主要针对不具有显著特征的图像进行拼接，如比较 平滑的自然图像等比较少特征区域的图像。一般模板都会选择预定义大小的的窗 口甚至整幅图像来进行区域的匹配。比较适合需要拼接图像之白j 只有水平或者垂 直方向上位移的情况。 基于区域的算法有一定的局限性，这种局限性主要是其算法基本思的。首先 8 浙江大学硕士学位论文第二章图像拼接技术旅理 匹配过程中经常被采用的矩形窗口只适合那些需要拼接的图像之间只需要将参 考图像和待拼接图像中水平或垂直方向上的景物的相同部分拼接起来。如果图像 有了更多形状上的改变，那么这种矩形窗口就不能处理这种复杂情况了。虽然有 些方法是可以解决那些相互有旋转的图像，例如使用圆形的窗口，但是这种简单 形状的窗口的还是不能完全适合对于在图像中可能存在更复杂几何意义上变形 的情况。基于区域的算法另外一个缺点就是基于区域的方法就是指窗口中内容必 须很明显，但由于窗口中包含没有任何显著细节的平滑区域将导致与参考图像中 其他平滑区域匹配错误的情况出现的概率也很高。这两个缺点对模板的匹配带来 了一定的难度，也是基于区域的图像拼接算法有一定局限性的主要原因。 经典的基于区域的匹配方法有相关性法( c c ) 、傅立叶变换法、信息交互法等 等，这些算法都是直接对图像的像素值进行匹配，不需要任何结构分析。但是它 们会对由噪声、光照度变化、不同镜头类型造成的像素值的改变非常敏感，往往 造成拼接误差。 1 、相关性算法( c c ) 嵋：经典的基于区域的匹配算法，也就是交叉相关法， 计算的是参考图像和待拼接图像重叠区域中被选取模板之间的相关系数，计算相 关系数的公式如下： 刚圳卜矗臻鞘幕赫 。 ( 嘭一e ( ) ) 2 。( 一e ( ) ) 2 其中彬、分别为参考图像和待拼接图像中的象素值，e ( ) 、e ( ) 分别为 参考图像和待拼接图像中像素值的平均值。 这种对于相似性的计算是对参考图像和待拼接图像重叠区域中选定模板所 做的计算，并寻找其中相关系数的最大值，当待拼接图像选定的窗口与参考图像 中选定模板达到最大相关系数时，这两个模板就是重叠的，因此可以确定参考图 像和待拼接图像之间的重叠区域，得到完整的拼接图像。基于区域的相关性算法 可以将具有水平或垂直方向位移的图像对齐，也可以应用于有轻微旋转和变形的 情况。 对于几何上变形比较多的图像有更一般化的相关性算法。它对待拼接图像的 模板的每种可能出现的几何变形进行计算，甚至能够解决比一般平移的近似变换 更复杂的几何变形。 9 浙江大学硕 = 学位论文第一二章图像拼接技术原理 有一种连续相似性检测算法( s s d a ) 比引，和相关性算法有点类似，使用了 连续搜索的方法来检测参考图像和待拼接图像种像素点之间的距离，该算法计算 拼接图像之间像素值绝对差的和，并选定一个阈值，如果计算得出的绝对差之和 大于区域则认为图像匹配，则使用下一组模板，直到计算结果小于这个阈值，模 板匹配才算完成。这种算法没有相关性算法准确，但是速度快很多。 相关性算法的局限性导致了它很容易受图像本身的原因影响，如图像边界不 明显，图像之间亮度、对比度差别比较大等。而且这种算法一般都有比较高的算 法复杂度，因为相关运算运算量比较大。虽然我们可以通过使用边界相关的方法 使极大值突出出来减少计算量，而且可以通过图像滤波器提高抗噪能力，而且边 界的相关算法只对图像边界进行计算而不是图像本身，因此会待拼接图像和参考 图像之间的像素值变化不会太敏感。 虽然相关性算法有一定的局限性，但这类算法也是经常被使用的，特别是拼 接任务相对比较简单的情况。 2 、傅立叶变换法：该算法对图像进行傅立叶变换，对待拼接图象和参考图 象的交叉频谱进行计算，寻找它们的倒转峰值位置，从而找到图像的重叠位置。 使用傅立叶变换法在算法计算速度，以及处理在不同光照条件下获取的图像和存 在频率噪声干扰的图像上要比相关性算法强。特别是大型的待拼接图像使用傅立 叶变换法能减少很多的计算量。 3 、最优化方法：对相似方法的最大值和非相似方法的最小值的查找是一个 多维优化的问题。维数代表期待的几何意义上变形的自由程度。在整幅图像做穷 尽式查找能够寻找到全局极值点。虽然说该方法对计算要求比较高，但一般仅存 在只考虑平移的情况。 当变化涉及到更多的自由度和更复杂的相似性的时候，就需要更复杂的最优 化算法，对相应的最大值和最小值进行定位。在使用投射几何变换时， g a u s s n e w t o n 数字最小化算法瞄驯能最小化均方差的和。信息交互法的最大值可 以通过梯度下降的优化算法比钊得到。最优化算法还能使相应的像素值的区域变 化最小化。l e v e n b e r g m a r q u a r d t 法比副与方差和最小的方法组合在一起能对显著 变形的图像进行拼接。最优化方法现在还被用来在模拟退火算法求得非相似度的 l o 浙江大学硕士学位论文第二章图像拼接技术原理 方法中求取最小值。另外一种最优化算法在多模型数据拼接的应用中采取了信息 交互技术和相关率的组合。而且还可以通过金字塔方法提高计算速度。 在应用最优化算法中需要注意，在非相似处理阶段需要使用最小化公式，还 包含规划或判决阶段，有变化的交叉和变化的数据。伴随着拼接，这两个阶段一 起形成消耗函数，而且最优化技术的目标就是使该消耗函数最小化。这些技术方 法被称为“能量最小化”方法。由于刚性变化，这些规范化阶段通常被忽略。 2 2 3 基于区域图像拼接算法小结 基于区域的图像拼接算法有两个局限性：待拼接图像和参考图像必须在某种 程度具有一定的相似性，要么具有比较容易辨认的特征( 可以使用相关性算法) ， 要么统计学意义上可靠( 可以使用最优化算法) 。从几何意义上看，图像之间仅 存在垂直或水平位移或较小的旋转才可以使用基于区域的图像拼接算法。虽然可 以对全部旋转和缩放进行一般化处理，但计算量过大而且拼接精确度太低，在实 际应用时没有太大的意义。在使用基于区域的图像拼接算法时还可以通过使用金 字塔算法来减少计算量。 在基于区域的图像拼接算法中，在得到最佳模板之后，可以很容易得将模板 之间的关系对应到整幅图像之间的对应关系，因为一般只有垂直或水平方向的位 移，因此拼接过程一般不会太复杂。 2 3 基于特征的图像拼接 由于基于区域的图像拼接技术具有较多的限制条件而且受图像本身特征影 响太大，决定了它在实际应用过程中只能适应一部份几何变换关系比较简单的图 像。在实际应用种大多数图像有较多的几何变换关系，因此需要使用另一种图象 拼接技术一基于特征的图像拼接技术。该类技术也是本文讨论的重点。 基于特征的图像拼接技术是目前采用最多的一种图像拼接方法。由于它本身 算法的优越性以及具有应用范围广、拼接效果好、计算量小等特点，因此成为了 图像拼接技术的主要发展方向。这类方法主要是提取各类图像中几何变换不变特 征，如边缘点、闭区域的中心等，作为两幅图像配准的特征点集，然后将这两组 特征点集进行匹配对应，生成一组对应特征对集，最后利用这组特征对之间的对 浙江大学硕 ：学位论文第二章图像拼接技术原理 应关系估计出全局变换参数。它的主要优点是提取了图像的显著特征，大大压缩 了图像的信息量，使得计算量小，速度较快，而且它对图像灰度的变化具有鲁棒 性。但另一方面，正是由于只有一小部分的图像灰度信息被使用了，所以这种方 法对特征提取和特征匹配的错误更敏感，需要可靠的特征提取和鲁棒的特征一致 性。1 9 9 2 年，b e s l 提出了一种算法汹1 ，用最近邻点之间的距离原则来确定一个点 集中的点与另一个点集中的点之间的匹配对应关系，并引入一个参数来控制出界 点( 即一幅图像中的某些特征点在另一幅图像中没有相对应的特征点) 效果。但 随着噪声的增加，这种方法逐渐变得不可靠，同时在优化时极易陷入局部最小化。 1 9 9 3 年，h u t t e n l o c h e r 提出了一种算法口7 | ，定义两个特征点集之问的h a u s d o r f f 距离，通过使其最小化来寻找图像之间的变换参数，但实验结果表明h a u s d o r f f 距离随着空间变换参数的变化并不是平滑的。因此为了克服这些困难而寻找一种 高精度的特征点提取方法及高准确度的匹配算法是研究者一直追求的目标。 2 3 1 图像拼接流程 基于特征的图像拼接算法主要步骤： ( 1 ) 特征提取：首先根据一定的特征点提取算子提取出图像的特征，现在 可以选取的特征点提取算子有很多，包括m o r a v e c 算子、s u s a n 算子、h a r r i s 算子 等，他们各有一定的优势，可以根据图像特征的不同选取不同的算子。 ( 2 ) 特征匹配：根据两幅图所选出的特征点进行特征点的匹配，匹配可以 通过空间相关的方法或固定描述符的方法。 ( 3 ) 变换模型计算：因为匹配特征点之间的映射关系可以反映整幅图像的 映射关系，所以在匹配特征集合确立以后就需要构造变换模型来将待拼接图像根 据变换模型映射到待拼接图像坐标空间里。 ( 4 ) 图像变换、插值和重构：根据变换矩阵将待拼接图像映射到参考图像 的空间坐标的过程中，有可能出现坐标非整数的情况，这时我们需要插值的方法 来解决。从而将待拼接图像和参考图像拼接在一起。 ( 5 ) 图像的融合：因为待拼接图像和参考图像有可能存在图像照度不一致 的情况从而出现拼接缝，这时需要通过图像融合的方法消除图像间的拼接缝，实 现无缝拼接。 1 2 浙江大学硕上学位论文第二章图像拼接技术原理 流程图如下： 图像获取 上 特征点提取 j 特征点匹配 上 变换模型计算 1 l l i 图像变换、插值和重构 1 l 图像融合 土 拼接后图像 图2 1 基于特征图像拼接算法流程图 2 3 2 基于特征图像拼接算法小结 基于特征的方法使用是对存在足够显著而且容易检测的特征的图像的检测 效果比较好， 其典型应用是在局部结构信息比图像灰度值携带的信息更多的情 况下使用的，它们可以对完全不同特性的图像比如太空照片或地图进行拼接，可 以解决图像之间复杂的图像扭曲，通常是遥感或者计算机视觉应用比较多，因 为这种情况典型的图像包含很多细节城镇、河流、道路、森林和家居等等。而一 般的基于特征的匹配方法的缺点就是当各个特征集合很难检测如角点特征不是 很明显的时候或者不能保持稳定性的时候、或者噪声干扰对特征点的影响比较大 的情况下时，特征匹配的意义就不大了。所有基于特征匹配的方法的关键就是使 特征匹配具有鲁棒性，使得特征集合的匹配尽量少受图像质量的影响，保证图像 拼接的效果。 随着对图像理论研究的不断深入，图像特征检测技术不断发展，越来越多 的图像拼接技术都采用了基于更加准确、更加快捷的特征检测的算法。因此本文 浙江人学硕上学位论文 第一二章图像拼接技术原理 也是的理论基础也是建立在基于特征的图像拼接算法之上的。基于特征的图像拼 接算法的各个步骤将在下列章节中一一详细描述。 1 4 浙江大学硕上学位论文第三章图像特征点提取算法 第三章图像特征点提取算法 图像拼接需要从两幅图像中提取有用信息从而进行图像的匹配。在实际应用 中对每个像素点分别进行匹配显然是不可行的，因为计算量太大特别是对于大图 像。直观上来说，我们只需要对图像中一些感兴趣的点( 称为兴趣点或特征点) 进行匹配就可以了，通过这些兴趣点的对应关系可以反映出整幅图像的对应关 系，可以极大地减少计算量。 特征空间是从图像中提取出来的用于匹配的信息。特征可以是灰度值、边界、 轮廓、纹理、角点、线交叉点、曲率最大点、矩不变量、中心等。特征空间的合 理选取对提高图像匹配的准确度起着非常大的作用。 3 1图像特征点一般检测算法 图像特征点的检测是图像拼接算法中非常重要的一个步骤，也是基于特征的 图像拼接的第一步。如果特征点检测做得不好会极大地影响后面的匹配工作，可 能直接导致匹配失败，所以我们要根据具体情况选择合适的特征点检测算法。 3 1 1 角点定义 角点是目标轮廓线上曲率足够大的点，对掌握目标轮廓结构具有决定作用。 角点特征也可以被称为兴趣点，提取兴趣点特征的算子也可以被称为兴趣算子。 目前关于角点具体定义和描述主要有如下几种： ( 1 ) 角点是一阶导数的局部最大所对应的象素点； ( 2 ) 角点是指两条以上的边缘的交点； ( 3 ) 角点指示了物体边缘变化不连续的方向； ( 4 ) 角点处的一阶导数最大，而且二阶导数为零； ( 5 ) 角点处不仅梯度的数值大，而且梯度方向的变化率也很大。 也就是说，角点代表了图像在两维空间内灰度变化剧烈的位置，是和周围的 邻点有着明显差异的象素点。 第一类定义不能准确定位角点，当检测到边缘时其一阶导数均局部最大，能 浙江人学硕十学位论文 第三章图像特征点提取算法 较好的的区分边缘和灰度平滑区域，但没有考虑角点处的曲率，故不能区分边缘 与角点。第二类定义不够准确，不易于数学表达，定义太抽象；第三类考虑到了 角点处曲率的变化与边缘处的不同，为更准确的角点定义提供了基础；第四类定 义不够准确，不能很好的区分角点、边缘、平滑区域，不易于数学描述；第五类 定义既考虑了梯度的局部最大( 角点也是边缘点的一部分) ，又考虑了梯度方向 的变化率，只有当梯度方向剧烈变化时才表示为角点。可知第五类定义利用灰度 信息，计算曲率和梯度能很好的区分角点、边缘与平滑区域，且易于数学表达。 由于在实际工作中不需要提取边缘，因此得到了广泛的应用。在此基础上发展了 很多算法。 目前角点检测的算法分为两类：一类是基于边缘的角点提取算法n3 | ，此类方 法的主要思想是通过对边缘的分析来寻找角点，但这类方法对边缘的提取依赖性 较大，如果检测到的边缘不连续，则会对角点提取结果造成较大影响。第二类是 直接基于图像灰度的角点检测n 钔，主要通过计算曲率和梯度来达到检测目的。 衡量角点检测算法的优劣，我们可以从以下几个方面进行描述： l 、检测的准确性：所有角点都被检测到，且非角点不被包括。 2 、定位的准确性：检测到的角点应该尽可能靠近它的真实位置。 3 、性能的稳定性：对同一场景进行多次检测，其中的每一角点不应该丢失 或位置偏移。 4 、噪声的鲁棒性：在较强噪声情况下也能正确检测出角点。 5 、算法的准确性：检测算法要尽量简单，计算速度快，自动化程度高。 本文主要通过提取角点特征进行特征匹配，对现有的一些经典的角点检测算 子进行了分析比较。其中本文重点讨论h a r r i s 算子，h a r r i s 算子是本文算法的基 础。 3 1 2 t o r a v e c 算子 m o r a v e c 算子嗌1 是h a n sp m o r a v e c 于1 9 7 7 年提出的，通过定义角点测度 并在此基础上进行阈值处理和非最大值抑制最终来确定角点。 图像的角点在各个方向灰度都会有较大的变化，如图： 1 6 浙江大学硕： ：学位论文第三章图像特征点提取算法 雌，) 。 ，“y、 玛 吒 坞巧 图3 - 1m o r a v e c 算子5 5 窗口 算法步骤： ( 1 ) 计算各个像素的特征值：以像素点p ( c ，r ) 为中心，选取一个w x w ( 图 中为5 5 ) 的窗口，按式( 3 1 ) 计算出图2 所示的垂直、水平、对角线、 反对角线4 个方向相邻像素灰度差的平方和，作为该像素的特征值。 k = ( “，一g c + i + l , r ) 2 j = 一k 忌一l 砭= ( + f ，一- g 胁l ，m 。) 2 。 i = - k k - 1 = ( 厂肿。) 2 ( 3 - - 1 ) i = - k 七一l = ( + f ，川一g c 帆一) 2 其k ： w 2 ，g 吖表示该点的灰度值。 从这四个方向的值中