（计算数学专业论文）位置关系未知的全景图拼接算法研究.pdf

摘要 摘要 随着成像系统的进步，获得普通画幅的数字图像越来越容易，但是全景图的 获取依然比较困难。全景图拼接算法可以以较小的代价使用普通数字图像生成全 景图，从而成为数字图像处理领域的一个热点。 目前大部分的全景图自动拼接算法需要知道图像序列的位置关系，本文提出 了一种不需要知道图像序列位置关系的全自动图像拼接算法。该算法基于图像的 h a r r i s 特征点，用户只需要输入待拼接图像集合，自动图像拼接算法将完成图像序 列位置关系的寻找、图像的拼接、全景图的生成。 本文提出的自动拼接算法在提取了h a r r i s 特征点后，将特征的匹配分为两个 阶段。第一个阶段使用规一化相关来进行特征点的粗略匹配，由于在规一化相关 上加入了单一性和对称性的限制，粗略匹配有着较好的精度。本文给出了粗略匹 配在不同图像上的表现，以及柱面和球面投影对粗略匹配精度的影响。 第一个阶段匹配后，本文使用遗传算法寻找图像序列位置关系，该遗传算法 使用粗略匹配得到的结果作为一种位置关系的适应度。本文给出了对图像拼接问 题进行了优化的交叉和变异算子，这样使得遗传算法能够以非常大的概率获得正 确解。 获得了图像序列位置关系后，自动拼接算法进行第二个阶段的特征匹配，这 一个阶段使用了必a s a c 算法提纯粗略匹配数据。自动拼接算法在提纯后的数 据上使用最小二乘法获得了精度较高的图像之间的位置变换关系。 最后本文使用了帽状加权函数对拼接图像进行融合，以消除图像之间的拼接 痕迹。全景图的集成采用了逐步扩大的方法，获得了质量较高的全景图像。 关键词：全景图，图像拼接，h a r r i s 特征点，遗传算法，m 气n s a c 算法 a b s t r a c t a b s t r a c t a 慨o u 曲i ti se a s y t 0g e tr e g l l l a rd i g i t a li i n a g e s 船曲屺a d c eo f h a g ea c 删血g s y m s ，i ti sh a r dt og e tp a n o r a n 潞a sp a n o 枷c 曲a g em q s a i ct e c h n o l o g yc a n g e 朐r a t ep a l l o r a m au s i i l gas e to fr e g l l l a r 妇a g e se a s i l y ，廿l i st e c h n 0 1 0 9 yh a sb e c o m e i n c r e a s i n 酉yp o p l l l a ri nd i g 砌i f n a g ep r o c e s s 证晷 c u r r e m l y ，m a n ya u t o m a t i ci m a g em o s a i c i n gs y s t e m s n e e dt ol ( 1 l o w 血e a r 珊g e m e n to fi m 纠g e s af 1 1 1 1 ya u i o m a t i ci m 列g em o s a i c i l l gs y s t e mi sp r o p o s e di nt 1 1 i s p a p e r ，w h j c hd o e s 口o tr e q u i r et l l ea m n g 锄e n to fj m a g e sa sap d o r t 1 1 i si sa f e a t i l r e _ b 髂e dm e m o d 砌c hu s i n gh a r r i si m e r e s t i n gp o i n t so fi i n a g e s b a s e do nt 1 1 e u s e r si n p u ti m a g e s ，也em e m o d 谢l l 矗n dm ea r r a n g 锄e n ti n | 碗m a d o na n do u t p u t p a n o r 锄aa u t o m a t i c a l l y 1 1 1 e o c e s s t o m a t c h 岫h 枷s i n t e r e 池g p o i d t s i sd i v i d e d 抽t o 伽op h a s e s i nm e p 印c r t h ev a r i 锄c en o n n a l i z e dc o r r c l a t i o ni su s e dt 0m a t c ht h ei n t e r c s t i l l gp o i m s r o u g l l l yi nt l l ef i r s tp h a s e t h er o u g l lm a t c hi sa c c u r a t ei s o m ee 椭nb e c a l l s eu i l i c i 母 a i l d 町m l 就r y 甜ei m p o s e do n 幽ec o n l a t i o t h ep e r f b 咖a n c eo fr o u g hm a t c ho n d i 腧r e mi m a g e s ，a n dt h ei 1 1 n u e n c eo fc y l i n d r i c a la n ds p h e r i c a lp r o j e c t i o no nr o u g h m a t c ha r e g i v c n g e n e t i ca l g o r i t h l ni su s e dt of i n da r r 孤g e m e n ti n f o 蛐a t i o n 心e rf i r s tp h a s e m a t c 王l i n g r o u g hm a l 【c hr e g i l l to fo n e 缸m g 哪e n ti su s e d 嬲i t sf i n l e s sv a i u ei n 也e p a p e r t h ep r o b a b i l i 哆t oo b t a i n 也ec o r r e c ta s w e ro fg e n c t i ca l g o r i t l l mi sb i gt h r o u g h t h el l s eo f o p t i m i z e dc i o s s o v e ra 1 1 dm u t a t i o no p 盯a t o r s ， a r 也ea r r 粗g e i n e h “n f o m l a 矗o nh 镐b 咖曲t a i n e d ，也er a n s a cm e m o di s u s e dt og e tr i do ff 酣s em m c h e si nm es e c o n dp h a s em a t c h i l l g t h ei n 0 加1 a t i o no f t r a n s f o mo fi m a g ec a i lb ef m e ri m p m v e db yl l s i n gt h el e a s ts q u a r en l e t h o do nm e p u r c d a 诅 a t1 a s t ，ah a t 一1 i k ew e i 曲t 血n c t i o ni s 锄p l o y e dt oh i d et 1 1 ee d g e so f e a c hc o m p o n e n t i r n a g e s t h ef i n a lp a i l o 姗ai sg e n e m t e ds u c c e s s i v e l yb ya d d i n gn e wi m a g e st o 也e e x i s t i n gp a n o r 呦ao n e a tat i m e k e y w o r d s ：p a n 嘞a ，i m a g em o s a i c ，h 跏si n t e r e s t i n gp o i n t ，g e n e t i ca l g 吲， r a n s a c i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名； i 毒衣v 。r 一 日期：妒6 年1 月i 咽 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名! 圭墨里 导师签名继丝垡彳艺r 砂 日期：泐6 年1 月l 明 第一章绪论 1 1 引言 第一章绪论 使用图像拼接技术自动建立大型、高分辨率的图像一直是摄影测量学、计算 机视觉、数字图像处理、计算机图形学的活跃研究领域。实际应用中广泛地使用 了图像拼接技术：使用图像拼接技术从一系列航空和卫星图像中建立超大图像是 航空卫星图像处理的传统手段【1 】【2 】；在视频处理领域，图像拼接技术可以用来进行 视频压缩【3 1 、视频检索【4 】；在电影拍摄过程中，常利用图像拼接技术来合成场景图 像；医学图像处理【5 】使用亚像素精度的拼接算法将一系列小幅图像生成大幅图像； 同时图像拼接技术在基于图像的绘制技术、虚拟现实嘲c 7 l 之中也有着重要的应用， 传统的生成虚拟场景的方法是用计算机图形学对场景进行三维建模，而基于图像 的绘制技术通过拼接生成的图像经过运算生成虚拟的三维场景，在真实感和速度 上都有了很大的提高。 全景图一般指视角宽广的长条形图像。传统的获得全景图像的方法是使用特 殊的照相机。可拍摄3 6 0 度图像的“转机”在拍摄的过程中让照相机按要求的速 度旋转，机内的胶卷也按一定的比例移动，依次通达狭缝进行曝光。转机拍摄的 角度可按摄影者的要求进行调整，最大甚至可以超过3 6 0 度。这种相机主要用于 其拍摄团体照，其效果较好，但是价格昂贵。使用特殊的广角镜头比如鱼眼镜头 同样也可以获得全景照片，但是用这种镜头获得的图像在边缘部分存在畸变。 图像拼接技术可以使用普通照相机获得若干的图像来生成全景图。首先使用 普通照相机拍摄出一组互有重叠并覆盖整个场景的图像，然后使用图像的拼接技 术合成全景图。根据图像采集时的情况，在进行图像拼接之前首先需要确定图像 拼接模型。 1 2 图像拼接模型 图像拼接模型包括投影模型和变换模型。投影模型用来校正图像在采集过程 中可能引起的透视误差，而变换模型用来描述相邻图像之间的位置关系。 电子科技大学硕士学位论文 1 2 1 投影模型 普通的图像基于平面模型( 图1 1 ) ，没有任何的透视校正。一般情况下，当 用相互重叠的普通照片来生成全景图的时候，如不进行投影变换，将会引起较大 的误差。生成全景图时一般使用三种投影模型：球面投影、柱面投影、立方体投 影。如图1 2 所示。 a 、柱面投影 图1 1 普通平面照片 b 、球面投影“立方体投影 图1 2 三种投影变换 柱面投影是最简单的一种投影方式，柱面投影图看起来就像在一个圆柱体内 部。原图像中平行于圆柱中轴线的直线条投影后仍然是平行于中轴线的直线条， 其他方向的直线条转换后在不同程度上都有所弯曲。柱面投影简单易行，较多文 献 7 】 【”】对此进行了研究。但是柱面全景系统在上下方向畸变较为严重。 球面投影州克服了柱面投影在上下方向畸变的缺点，球面全景图外观上类似 于鱼眼相机所拍出的照片。球面投影是较为真实的投影系统，但在实际的拼接工 作较为困难。 立方体投影1 1 5 】几乎不需要拼接，只需要按要求拍出6 幅图像，然后将其放在 合适的位置上。立方体投影使用的最大的难点就在于图像的采集，要求非常苛刻。 1 2 2 变换模型 平面上最简单的位置变换关系1 叼有如图1 3 所示几种 2 第一章绪论 ( 一) 平移变换 2 维的平移变换可以表示为： 图1 3 变换模型 i x = x + “ l ，= y + v 其中力和0 ：y ，分别表示两幅图像中点的坐标。”和v 分别表示在x 轴和y 轴方向上的偏移程度。 ( 二) 刚性变换 刚性变换实际上是平移变换和旋转变换的组合，由于这种变换保持了欧几里 得距离，刚性变换也被称作为欧几里得变换，可以表示为： 这里口表示旋转角度。 ( 三) 相似变换 相似变换也被称作为放缩变换，相似变换保持角度不变，可以表示为： ( 1 - 2 ) ( 1 3 ) s 表示放缩系数。 ( 四) 仿射变换 仿射变换是保持平行的变换，即平行线经过仿射变换后依然平行。表示为 3 v + +口目璺 s o y y 一 +础啪 c s x x = = f y ，、，l ” v + +口口口哪 y y s s 一 十口口m c s x x 占 占 = i i x y ，l 电子科技大学硕士学位论文 f 2 射h + 【y = q o 工+ 玛l 。y + q 2 ( 1 哪 同质变换( 透视变换) 所联系【1 7 】。透视变换保持竖直线条方向不变。透视变换可 州鞋劐 m s ， 七是比例因子，o ，_ ) ，1 ) 和0 ：y ，1 ) 分别是二维坐标瓴力和 ：y ) 的齐次 i 譬 ( 1 6 ) 1 3 研究现状 一个全自动的全景图拼接算法主要包含三个方面的内容：图像序列位置关系 的寻找技术，确定相邻图像位置关系( 即确定变换模型中参数) 的对齐技术，图 像的融合与集成技术。 1 3 1 图像序列位置关系的自动寻找 一个完全自动化的图像拼接系统不需要知道输入图像的上下前后顺序，用户 只需要输入两幅或多幅待拼接图像，系统将自动完成图像序列位置关系的寻找和 图像的拼接工作。b r o w n 等使用七- d 树的方法 3 2 】来寻找图像序列之间的位置关系， 但基于商业化的考虑并未将算法的具体内容公开。t o y 锄a 等使用了遗传算法【1 9 】 来解决这个问题，但是其算法只能处理图像之间位置关系是简单的平移的情况， 同时算法时间复杂度较高。 4 第一章绪论 1 3 2 图像之间的对齐 ( 一) 基于灰度统计特性的对齐方法 基于灰度统计特性的对齐方法 8 】根据图像的一些灰度统计信息来确定两幅图 像的相对位置关系，比较适合用于在灰度分布上有线性关系的图像集合。基于灰 度统计特性的对齐方法首先需要选择一个相似性度量函数，通过求解这个函数的 最小值或最大值来确定图像间的相对位置关系。常用的相似性度量函数有：平方 差【8 】【1 2 h 1 4 1 、绝对差【1 9 1 、统计相关、规一化互相关【1 1 】【1 7 】等。使用平方差和相关性相 似函数的方法如下文描述。 平方差 假设待拼接的两幅图像之间是简单的平移关系，在其中一幅图像中选择一个 图像模版而( i ) ，表示在图像而的位置i f = 0 。蝴上所取的一系列的灰度值，通过 寻找该模版在另一幅图像五( x ) 中的位置可以确定两幅图像之间的位置关系。灰度 之间的平方差相似函数可以表示如下： e ( u ) = 【 ( x t + u ) 一厶( i ，) 】2 ( 1 7 ) i 其中的= ( 豁，v ) ，表示两幅图像之间的平移参数，通过求解耳u ) 的最小值可以 确定平移参数u 。在计算上，绝对值差相似函数更容易计算一些，但是其在原点处 不可导，给相似函数的求解带来了困难，实际中较少使用。 相关性 另一种比较两幅图像相似程度的方法是使用相关函数，即通过寻找式f 1 8 ) 的 最大值确定平移参数u 。 c ( ) = 芝：厶( x ，) ( i f + ) ( 1 - 8 ) 如果 ( i ) 的某一块区域灰度值较大，通常会让最终结果出现偏差。为避免这 种情况的发生，通常使用规一化的相关函数 吲旷舞等揣篱器 m 功 5 电子科技大学硕士学位论文 其中 元= 专；厶 五= 专车五伍+ u ) 表示图像模版灰度的平均值，表示图像模版中像素点的个数。 ( 1 1 0 ) ( 1 - 1 1 ) 使用基于灰度统计特性的拼接方法还可以使用窗口化误差函数。b a k e r 等提出 了在相似函数中加入曝光补偿f 2 0 j 的方法，这种方法减小了曝光不同对基于灰度统 计特性的对齐方法的影响，使得对齐更为准确。 当误差函数确定后，需要使用一个合适的方法来寻找使误差函数取最优值的 点。最简单的方法是在重叠区域进行穷举搜索，但是这种方法一般速度很慢。在 实际中常常使用b e r g c n 等提出的由粗到细的金字塔模型的方法【2 ”，该方法使得搜 索的速度大为提高。为了使拼接精度达到亚像素级别，可以使用l u c a s 等提出的梯 度下降法网。 如果两幅图像之间的位置关系不是简单的平移，比如手持照相机进行拍照， 这样一般就有更多的参数需要确定，用搜索法几乎不可能。改进的梯度下降法加 上金字塔模型的搜索方法1 2 1 】可以解决这种问题，s z e l i s k i 等结合了迭代法【1 棚来解决 这种问题。 基于灰度统计特性的拼接方法充分利用了每一个像素的信息，因此可以提高 拼接精度，但基于灰度统计特性的拼接方法对图像灰度变化比较敏感，计算复杂 度较高。 ( 二) 基于特征的对齐方法 基于特征的方法首先提取图像中某些不变的特征，通过对这些特征的匹配来 获得图像之间的相对位置关系。 这里的特征可以是空域特征，比如特征点、边缘、闭区域的中心、纹理，也 可以是频域特征，比如傅立叶变换的相位2 3 】【2 4 】，小波频谱口5 1 。这类方法的主要优 点是它提取了图像的不变特征，大大压缩了图像的信息量，使得计算量较小，速 度较快，而且对图像的灰度变化具有鲁棒性。但另一方面，由于只有一小部分的 图像灰度信息被使用了，所以这种方法对特征的提取和特征匹配的错误更敏感， 需要可靠的特征提取和匹配的方法。 6 第一章绪论 特征提取 由于特征点的方法较容易处理图像之间旋转、仿射、透视等变换关系，因而 经常被使用。特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣 点。 h a r r i s 等提出了一种角点检测算法m 】，该算法是公认的比较好的角点检测算 法，具有刚性变换不变性，并在一定程度上具有仿射变换不变性，但该算法不具 有放缩变换不变性。针对这样的缺点，l o 、e 提出了具有放缩不变性的s 口盯特征 点嘲。 基于灰度的图像角点检测方法考虑其像素点领域的灰度变化，通过计算曲率 以及梯度检测角点，文献【1 】利用最小同值吸收核算法( s u s a n 算法) 提取角点， 周鹏等在s u s a n 算法基础上提出一种沿圆弧曲线扫描的方法提取角点【2 7 j 。 t o n 等提取了图像中较多的湖面区域、油田和气田的块状区域，然后利用这些 区域的中心作为图像的特征进行匹配p l j 。 f o n s c a 【2 】、h s i e h 【2 6 1 等采用多尺度分析理论，对图像作小波变换，边缘点为小 波变换模值得最大点。h l l i 等提出了基于轮廓的匹配方法p o j ，首先采用l o g 算子 提取出两幅图像中物体特征轮廓，然后采用链码表示，根据链码差分值不变的特 性找出另一幅图像中对应的轮廓，从而确定图像之间的位置关系。 特征匹配 当提取了两幅图像特征后，下一步工作需要把共有的特征匹配起来，特征匹 配是指建立两幅图像中特征对应关系的过程。可以描述为：两幅图像而和 中分 别有州和n 个特征，其中_ j 对是两幅图像所共同拥有的，特征匹配就是确定这_ j 对特征的过程。 常用的匹配方法有相关法【3 2 】【3 3 】、互信息法、聚类法、点间距法等。在特征点 匹配中常常使用相关法来比较特征点领域中像素点灰度值的相似性，从而确定两 个特征点是否匹配。 一般情况下，匹配后确定的特征对包含较多的伪匹配( 并且会丢失一些真实 的匹配) 。f i s c h l e r 等提出的凡心t s a c 算法【4 2 具有较好的剔除误差点的能力，经 常被使用在图像特征匹配中。m 心i s a c 算法虽然有较好的效果，但是该算法时间 复杂度也比较高。v i n c e n t 介绍了在匹配上加上单一性和对称性的限制 4 l 】的方法， 这种方法可以以较小的代价在一定程度上去除伪匹配。 7 电子科技大学硕士学位论文 1 3 3 图像融合与全景图的集成 图像的融合也称作为图像的无缝连接，目的是消除因曝光不同在图像之间引 起的拼按痕迹。b u r t 等提出了l a p l a c e 多分辨率技术【3 7 】，该方法将图像分解成不同 频率域上的一组图像，在每一个分解的频率域上将图像重叠边界附近灰度加权平 均，最后将所有频率上的图像合成全景图，这种技术获得的全景图质量较高，但 是速度慢。s z e l i s h 使用一种加权平均法【l ”，这种方法使用一个帽状函数，该函数 在边缘处值为o ，在图像的中心取最大值，使用这一函数对重叠图像的对应像素进 行加权。加权平均法比较直观，速度快，是比较常用的方法。其他图像融合的方 法有梯度域的融合方法【3 8 1 ，曝光补偿方法口9 】等。 将多幅图像拼接起来。要保证全局的一致性就需要寻找一秘方法最小化全局 拼接产生的误差。s a w h n e y 等提出了逐步扩大的集成方法，即每次加入一张图 像到已有的全景图像中去，但如果是3 6 0 度的全景图，积累的误差可能会导致两 端不能衔接。s z c l i s k i 等提出使用g 叩c l o 妇g i l 4 】的方法解决这种问题。其他的全景 图的集成技术有多幅图像调整对齐技术t 3 甜、线性方程系统求解技术1 3 6 】等。 1 4 本文的工作和论文结构 本文提出了一种基于h a m s 特征点的全自动的图像拼接算法。该算法假定图 像的采集是通过放在三角架上的照相机转动拍摄得来，或者拍摄者站在一点手持 照相机转动拍摄得来。这种情况下，任意两幅相邻图像的位置关系是近似于刚性 变换的仿射变换，h a r r i s 特征点在这种交换模型下具有不变性。本文的算法将特征 的匹配分为两个阶段，第一个阶段首先获得一个粗略的结果，根据这一结果，使 用遗传算法图像寻找图像序列正确的位置关系；获得正确的位置关系后，提纯匹 配结果并计算出相邻图像的相对位置关系。最后将图像序列集成为全景图。 本文提出的拼接系统需要经过如图1 4 所示的几个阶段： 8 第一章绪论 l投影变换 l i特征提取 l i 特征粗略匹配 0 寻找位置关系 0 计算变换矩阵 上 全景图的融合与集成 图1 - 4 基于特征的自动拼接过程 论文第二章介绍了在全景图像中常用的两种图像投影变换：柱面、球面投影， 给出了具体的投影变换公式和变换实例。 第三章介绍了特征点的提取与粗略匹配。本文使用图像的h a r r i s 特征点，给 出了特征点提取的实例。在粗略匹配中采用了加上了单一性和对称性限制的规一 化相关算法，对特征点的粗略匹配在不同图像上的性能和准确度进行了对比研究。 第三章最后讨论了投影变换对粗略匹配的影响。 第四章提出了使用遗传算法寻找图像序列正确的位置关系的方法。使用了粗 略匹配对数量描述一个位置关系得“正确程度”，给出了适用于图像拼接的交叉 和变异算子。 第五章介绍了变换矩阵的计算，首先使用n s a c 算法去除粗略匹配中的伪 匹配，去除了伪匹配之后采用最小二乘法获得变换矩阵，由于选用仿射变换模型， 本文提出的算法可以处理图像位置的关系有旋转的情况。 第六章介绍了使用帽状函数来消除图像对之间的拼接痕迹，使用了逐步扩大 的方法来生成全景图。本文的最后对全文做出了总结和展望。 9 电子科技大学硕士学位论文 第二章柱面和球面投影 所谓柱面或球面投影就是将图像投射到观察点，在柱面或球面上形成投影图 像的过程。 如果拍摄图像时，相机离景物较近，那么在进行图像拼接时，一般需要进行 投影变换，否则将会破坏实际场景中的视觉一致性，如本来是直线的道路，经过 拼接后可能变成了折线。为了维持实际场景中的空间约束关系，必须将拍照得到 的反映各自投影平面的重叠图像映射到一个标准投影上。复杂的系统中，当用户 实时浏览全景图像时，视觉一致性要求恢复实际场景中的空间约束关系，即将柱 面或球面全景图像与用户观察方向相对应部分反变换投影到用户观察平面上。 2 1 柱面投影 柱面投影虽然在顶部和底部有较大的畸变，但其拼接容易且其能满足大部分 应用的要求，因此得到了非常广泛的应用。 图2 1 柱面投影全景图( 4 幅图像拼接而成) 假定一幅图像的水平视角是目，图像的宽度为，高度为日拍摄这幅图像的 焦距是从图2 - 2 1 0 第二章柱面和球面投影 图2 - 2 焦距、水平视角、图像宽度的关系 可以得出： ，= 意志 ( 2 - ) 假定照相机拍摄图像时没有发生转动，图像的中心点就是光轴与图像平面的 交点，如图2 - 3 所示，待投影的图像，、投影图像，和柱面置，观察点( 投影中心) 为0 。现在要得到在d 点观察图像，在柱面置上的投影影像 我们可以认为柱面 半径为，那么可以得到投影后图像的高度日j 和宽度矽： h = h t ：2 ，s i n 旦 ( 2 - 2 ) a k ps bc 图2 - 3 柱面投影 对图像，上的任意一点坼，力，现求，在柱面图像j 上的对应点，y ，。过 点p 作平行于x 伪平面的直线船，平面只妨如图2 3 b 所示，可得： 电子科技大学硕士学位论文 巴妻篡差 ， 卜如洫鲁+ ，幽砧詈 u 刘 拈曲导+ 厂s i 啦t a l l 兰竽) ( 2 5 ) 同样地，过点p 作垂直于x 伪平面的直线交x 也平面于? ，设0 p 与z 晓平面 的夹角为口，如图2 - 3 c 所示，则有 憋差y 孚 ， 1 t a i l 口：星丝= z 肛i 吨) 七= 厣 ( 2 - 7 ) ，= 譬一华班譬 ( 2 8 ) 。 2 露”一2 ” 同样当y 譬时，可推导出 步等+ 华护冬 ( 2 _ 9 ) 。 2后 ” 2 ” 综上所述，柱面投影公式如下 卜加i n 詈移s j n 恸号马 1。鱼+ 地= 丝丝。 ( 2 锄) l 2 七 其中，和由式( 2 1 ) 和式( 2 - 7 ) 确定，根据目前常用的照相机的规格，臼一般可 以取4 5 度。对一幅图像进行柱面投影的结果如图2 - 5 b 所示。 1 2 矽一2矿一2 差， 协 鼬 第二章柱面和球面投影 2 2 球面投影 球面投影全景图可以允许用户进行左右和上下方向的浏览，较多的商业软件 使用这种投影方式。 图2 4 球面投影全景图( 4 幅i 冒像拼接而成) 类似于柱面投影，假设妒为图像的垂直视角，那么可以得到球面投影后图像的 高度日，和宽度矿： 1 日t ：2 厂s i n 里 1 肚2 ， 血鱼 。1 d l 2 由式( 2 1 ) 可得，在同一幅图像中水平视角口和垂直视角伊存在如下关系： 篇= 芳 t 卸佃2 1 7 这里，和日分别表示图像的宽度和高度，即有： 唧一( 芳恂争 ( 2 1 3 ) 对原图像，上的任意一点p 0 ，力，p 在球面图像，上的对应点，y ) 可以用 如下公式计算： 1 3 半半 咖 咖 缸 蛳 咖 口 电子科技大学硕士学位论文 其中 t = ，2 + 辱训2 砖：、厢 砖2 j 簟叫) 2 对一幅图像进行球面投影的结果如图2 5 c 所示。 a 、原图 b 、柱面投影图c 、球面投影图 图2 5 柱面投影和球面投影 1 4 ( 2 - 1 5 ) ( 2 1 6 ) 第三章特征点的提取与粗略匹配 第三章特征点的提取与粗略匹配 3 1 特征点的提取 图像的特征点又被称作为兴趣点，指的是图像中具有特殊性质的像素点，比 如图像中物体的角点。角点具有明确的物理意义，而且有较多成熟的算法，因而 在图像拼接中有着广泛的应用。 最初的角点检测算法曹先提取出物体的边缘，用链码表示该边缘，边缘中存 在较大“转弯”的地方即被认为是角点。该算法较为复杂，而且分为几个步骤进 行，个别步骤误差的积累将会导致最终结果的不准确。目前大部分的角点检测算 法都是直接作用于灰度图像本身，早期m o 麟c 角点【帅】的提取使用了一个窗口， 让窗口在图像某一个点周围的各个方向上移动，考察因移动导致的灰度变化情况。 根据图像灰度分布特征，窗口移动时会有如下三种不同的情况： 1 如果窗口所覆盖的区域很平坦( 灰度变化很小) ，那么因窗口移动导致的 灰度变化也很小。 2 如果窗口所覆盖的区域含有一条边缘，那么，当窗口沿边缘方向移动时， 灰度变化很小，当窗口沿垂宣于边缘的方向移动时，灰度变化就很大。 3 如果窗口所覆盖的区域含有一孤立点，或一个角点，那么窗口沿任意方向 的移动都会导致比较大的灰度变化。这样，如果窗口在某个点任意方向上 的一个很小的移动导致的灰度变化的最小值很大，那么这个点就可以看作 是一个角点。 可以用下面的公式表述m o r a v e c 角点的计算： e 。= ：州x ，y ) p + “，j ，+ 功一，( x ，y ) r ( 3 1 ) i - ， 这里船， 表示图像在点0 ， 的灰度值。w 协，一是卟窗口函数，在咀缸，力 为中心的一个矩形区域内值为1 ，其他点值为o 。( ，表示移动的方向，一般在集 合 ( 1 ，0 ) ，( 1 ，1 ) ，( 0 ，1 ) ，( - 1 ，1 ) 】中取值，这样m o r a v 特征点的寻找就可以归纳为： 在某个阈值在上，寻找使r n i n 日取得局部最大值的点。 m o r a v e c 角点检测算法可以成功的提取出某些角点，但是存在如下的问题： m o r a v e c 角点检测算法可以成功的提取出某些角点，但是存在如下的问题： 1 5 电子科技大学硕士学位论文 1 面口移动的方同与步长有较大的限制。 2 由于窗口是矩形，而且在矩形的边界取值发生跳跃，因而窗口移动导致的 灰度变化是含有噪声的。 3 由于只考虑灰度变化的最小值，边缘不能被检测到。 h a r r i s 对上述缺点进行了改进，提出了h a r r i s 特征点【2 8 】检测算法。 对于缺点1 ，允许窗口在各个方向上移动，并且移动的步长可以是任意的正数， 这样可以在点0 ，y ) 处对灰度响应函数进行t a y l o r 展开，如下式： 瓦。却= 乏：w ( 与y ) ，( 石+ 缸，y + 缈) 一，( x ，y ) 】2 * 莓似x ，力 ， ，y ，+ kc x ，力l c x ，力】 鬈 一，c x ，y ，) 2 r y l l v j j = 驴力忙y 川训) 】- 琊 ( 3 ：) j ， ll v j j 其中五舡，力和五如，力分别表示原图像在x 轴和y 轴方向上的一阶梯度图像，可 以表示为： 厂一lo1 、 啪h “力固汁掣 p ， r 一111 、 删叫训坶汁掣 c ，由 其中符号“ ”表示对图像进行二维卷积操作。 简单地用厶和毒表示z 如，y ) 和与如，力，则式( 3 - 2 ) 可以表示为： “b 聃 娥锻虢鬻悯 p s ， 这里矩阵乘法采用对应元素相乘的方法，故有： i x l y 2 i 文 对于缺点2 ，使用一个光滑的圆形高斯函数，即 w 舻e 醑挚 实际运用中使用式( 3 7 ) 的离散形式。 1 6 ( 3 6 ) ( 3 7 ) 第三章特征点的提取与粗略匹配 对于缺点3 ，假设 m = 嚣盟虢嬲 p s ， m 是一个2 阶对称矩阵，实际上描述了在点0 ，力的一个椭圆的形状，假设a l 和如表示其两个特征值，如图3 1 所示。 灰度变化大 图3 1 矩阵m 特征值的几何意义 根据a l 和屯的取值，有如下三种情况： 1 如果弯曲程度在椭圆两个轴方向都比较小( a 1 和屯均很小且a l m 屯) ，那 么窗口函数的移动引起的灰度变化在各个方向上都很小，可以判断窗口处 于图像中灰度变化平坦的区域。 2 如果弯曲程度在一个轴方向上很大，而在另一个轴方向很小，即i l 瑚2 ( 或a l q 2 ) ，则窗口函数在某一个方向上的移动会引起较大的灰度响应， 可以判断窗口处于一条边上。 3 如果弯曲程度在椭圆的两个轴方向都比较大( a l 和屯均很大且 * 屯) ， 这样窗口函数在任意方向上的移动都会引起较大的灰度变化，进而可以判 定窗口处于一个角点( 特征点) 上。 如上的三种情况可以用图3 2 形象地表示： 1 7 电子科技大学硕士学位论文 图3 2 角点、边界、平坦区域的划分 h a r r i s 使用了如下的特征点响应函数： r = d e t ( m ) 一七妇c e ( m ) 2 = 也一七( 丑+ 五) 2( 3 - 9 ) 式( 3 - 9 ) 避免了特征值得计算，一般建议七在 0 0 4 ，o 0 5 】之间取值，这样r 在特 征点区域为正值，在边缘区域为负值，在平坦区域胄的绝对值很小。 综上，对一幅图像j 进行h a r r i s 特征点提取的算法可以概括如下： 1 计算图像，在工和y 方向上的梯度图像五和： 2 计算e 、正山和，并对其迸行高斯滤波： 3 使用式( 3 9 ) 求出特征点响应图像厶。； 4 求出五h 的局部最大值点，即为原图像川向h a r r i s 特征点。 图3 3 显示了在两幅图像上进行h a 戚s 特征点检测的结果，可以看出大部分物 理意义上的角点已经被界定。 1 8 第三章特征点的提取与粗略匹配 a 、大楼a c 、大楼a 特征点 b 、大楼b d 、大楼b 特征点 图3 3 h a m s 特征点 表3 1 大楼a 、b h a 而s 特征点的数目 图像特征点的数目 大楼a 大楼b 9 4 9 1 2 6 4 3 2 粗略匹配 3 2 1 规一化相关函数 当特征点被提取出来后，需要把它们匹配起来。由于不同图像上的同一个特 征点的领域必然是相似的，可以使用领域灰度相关性将它们匹配起来，比如绝对 平均相关： 1 9 电子科技大学硕士学位论文 c ( i ，i ) 2 面备善挚( 卜y 卅州扣y 嘲】2 ( 3 。1 0 ) 其中( 2 + 1 ) 表示覆盖特征点矩形窗口的边长。当c 伍，x ) 大于某一个闽值的时 候就可以认为特征点x 和1 ，相关，但是在实际使用中很难为绝对平均相关公式选 一个统一的阈值，规一化相关避免了这种问题： c ( i i t ) = 面丽丽磐( 川扩力一五h 咖一五】( 3 - 1 1 ) 其中五和j ；分别表示以特征点i 和x 为中心、以( 2 + 1 ) 为边长的窗口内灰度 的平均值，q 。( i ) 和气( x ) 分别表示特征点i 和i 领域窗口内灰度的标准差。规一 化相关函数在区间【- 1 ，1 】内取值，这样可以方便地对所有特征点选取一个统一的阈 值。 对图3 3 所示的大楼a 和大楼b 的特征点在不同闽值下进行匹配的得到如下 结果： 表3 2 不同阙值情况下大楼a 、b 匹配的特征点数目( 1 l 1 l 的匹配窗口) 阙值o 6 o 7 o 8o 9 通过上述方法匹配特征点可能产生众多伪匹配，即一幅图中的特征点被另一 幅图中多个特征点所匹配，由表3 1 和表3 - 2 的结果亦可得出这个结论，伪匹配对 后续处理设置了巨大的障碍。 本文使用单一性和对称性限制【4 l 】初步去除匹配对的冗余。单一性限制即对一 幅图中的点，只选择另一幅图中匹配响应值最大的点作为其匹配点( 该最大响应 值需要超过一个阈值) 。单一性限制除去了相当多的伪匹配，但是带来了不对称 的问题：五中的i ，对而中i 的匹配响应值最大，但是而中x 不是使 中的1 ，得到 最大匹配响应的点。这样的点显然是伪匹配，对称性限制加入了这样的要求：若 中的x 对而中i 的匹配响应值最大，且，0 中x 是使得 中的i ，得到最大匹配响 应值的点( 这里的两个最大响应值均需要超过一个阈值) ，这样的点才能被称为 匹配点。 第三章特征点的提取与粗略匹配 表3 3 加入单一和对称限制后大楼a 、b 匹配的特征点数目( 1 1 1 1 的匹配窗口) 表3 3 列出了加入单一性和对称性的限制后，大楼a 和大楼b 匹配的特征点 的数目与所取的阈值关系。对比表3 2 和表3 - 3 ，可以看出匹配对的数目减少的非 常多，而且所取的阈值越大，匹配对数量减少的越多。 加入单一性和对称性的限制并不能完全消除伪匹配的情况，如图3 4 所示，第 五章将使用i 乙a n s a c 进一步去除伪匹配。 ab 图3 4 大楼a 和大楼b 的粗略匹配点( 1 1 1 1 的匹配窗口，阈值o 8 ) 3 2 _ 2 粗略匹配在不同图像上的表现 使用不同匹配窗口与阈值，本文对大楼a 和大楼b ，以及图3 5 所示的4 组 图像做了不同实验，结果如下，表中括号中的数值表示所含真实匹配对1 的百分比： 1 实际中很难获得一个匹配对集合中真实匹配对的数目，这里的真实匹配对数目是使用第五章 中的i m n s a c 算法获得的最大内点集所包含的匹配对的数量。 2 1 皇王型垫奎堂堡主堂垡笙塞 表3 - 4 不同图像对在5 5 窗口下的匹配对数目 o 6 2 9 7 ( 5 1 )4 6 3 ( 1 9 o ) 6 2 6 ( 2 5 2 ) 1 9 9 ( 4 9 2 )7 2 ( 9 7 ) o 72 9 7 ( 7 7 煳4 5 5 ( 1 8 2 徇6 1 6 ( 2 4 7 ) 1 9 8 ( 4 9 0 呦7 0 ( 7 1 脚 0 8 2 9 2 ( 7 9 )4 0 l ( 2 2 9 ) 5 2 8 ( 2 9 7 ) l8 5 ( 4 9 7 ) 5 6 ( 2 1 4 呦 q ：2；垒丛! q ：皇墅21 1 ；q ! ：! 塑垄竺坚! ：i 塑! 箜( ! q ：! 堑2 ；苎q z ：i 堑2 表3 - 5 不同图像对在7 7 窗口下的匹配对数目 o 62 9 6 ( 2 4 o ) 4 2 8 ( 3 9 7 ) 5 8 1 4 ) 2 2 2 ( 6 2 6 ) 6 3 ( 4 1 3 呦 0 7 2 9 4 ( 2 3 8 ) 3 7 9 ( 4 2 1 2 ) 5 1 9 ( 4 6 6 ) 2 1 7 ( 5 9 9 ) 5 2 ( 4 6 2 呦 0 8 2 8 0 ( 2 4 _ 3 ) 2 7 2 ( 4 7 1 ) 3 9 8 ( 5 2 8 ) 2 0 1 ( 6 1 2 ) 3 5 ( 6 0 o ) q ：!兰! 塾! 鱼：塑! 兰兰g ! ：2 塑! ! 垒丝兰：兰堑21 i ! 堕! ：堑21 1 ( ! ! ：! 墅2 表3 - 6 不同图像对在9 x 9 窗口下的匹配对数目 o 6 3 1 2 ( 3 1 2 呦4 1 3 ( 4 6 5 呦5 7 l ( 5 4 1 呦2 2 3 ( 7 2 7 呦5 6 ( 5 3 6 蛳 0 7 2 9 9 ( 3 1 4 ) 3 4 1 ( 4 9 o ) 4 8 9 ( 5 6 7 ) 2 2 0 ( 7 2 3 ) 4 4 ( 6 5 9 ) o 8 2 6 7 ( 3 2 6 ) 2 4 0 ( 5 2 5 ) 3 5 6 ( 6 4 4 脚2 0 0 ( 7 0 5 呦3 4 ( 7 0 6 呦 ! ：!三旦圣i ；鱼：翌! 望丝：兰翌! 垒垒塑! ：! 塑! i ：l ：兰：! 塑! 墅! ：蚴 第三章特征点的提取与粗略匹配 表3 7 不同图像对在1 1 1 1 窗口下的匹配对数目 0 6 3 1 l ( 3 9 o ) 4 0 2 ( 5 4 o ) 5 9 9 ( 6 2 1 ) 2 3 8 ( 7 8 2 ) 4 9 ( 6 5 3 ) o 7 2 9 9 ( 3 9 1 ) 3 3 5 ( 5 6 1 ) 4 7 1 ( 6 1 2 ) 2 3 2 ( 7 8 5 ) 4 6 ( 6 7 4 ) o 8 2 6 2 ( 3 8 6 ) 2 2 7 ( 6 5 2 ) 3 2 9 ( “4 ) 2 0 9 ( 7 5 6 ) 3 2 ( 7 8 1 ) ! ：! ! ! q 兰：! 丝2：! f ! ! ：! 墅! 兰! i ! 兰：兰堑21 1 曼! z ! ：j 堑21 ：【坠：! 堑2 表3 8 不同图像对在1 3 1 3 窗口下的匹配对数目 o 6 3 0 9 ( 4 5 3 ) 3 9 1 ( 5 7 8 ) 5 6 3 ( 6 1 1 ) 2 5 0 ( 7 8 4 ) 4 9 ( 7 1 4 ) 0 7 2 9 5 ( 4 5 8 呦3 2 7 ( 6 0 9 ) 4 6 1 ( 6 5 1 呦2 4 5 ( 7 8 4 嘲4 5 ( 7 3 3 哟 o 8 2 5 1 ( 4 6 2 ) 2 1 8 ( 6 7 4 ) 3 l o ( 6 8 1 ) 2 2 3 ( 7 8 5 ) 3 0 ( 9 0 o ) ! ：21 垒垒q ! ：! 堑22 i ! ：! ：! 墅! ! ! ! 【! i ：! 丝21 垒z ( ! ! ：! 墅21 i ( ! 呈：i 墅 电子科技大学硕士学位论文 & 河岸 b 校园 c ，实验室 d 工地 图3 5 四对待拼接图像 第三章特