（计算机软件与理论专业论文）全景图生成技术研究.pdf

山东大学硕士学位论文 摘要 全景图是一种能覆盖大范围场景的宽视角图像。除了用特殊的相机获取外， 目前多采用图像拼接的技术，即将普通相机拍摄的两幅或多幅来自同一场景的有 重叠区域的图像拼接合成为一幅宽视角的高质量图像。这是当前图像处理的一个 热门研究课题，也是基于图像绘制的一部分，实用性很强，广泛应用于虚拟现实 的实现、卫星照片的处理和医学图像处理等领域。 全景图生成技术有很久的研究历史，由于它的多样性、针对性、复杂性， 使得对这方面有广泛研究。根据i s i ( i n s t i t u t eo fs c i e n t i f i ci n f o 瑚a t i o n ) 的统计，近十几年发表的科技论文中，关于这方面的文章超过1 0 0 0 篇。本文研究 了国内外的一些全景图生成算法，阐述了全景图生成技术的研究现状，分别从投 影模型、图像对准技术、融合技术等方面进行了分类，介绍全景图生成技术的相 关知识点。 借鉴前人的部分工作，针对手持相机拍摄图像的拼接特点，我们实现了一 个全自动球面全景图拼接算法，并做了改进：导入多幅图像，算法可以识别出图 像之间是否匹配，进而将输入的图像划分为多个图像匹配块，对每一个图像块自 动拼接生成球面全景图。根据这种拼接的要求，从拼接鲁棒性、拼接速度、拼接 质量等多方面考虑，设计的算法思想为：首先提取每幅图像的s i f t 特征点；其次 根据特征点描述信息建立每幅图像的k d 树，通过搜索k d 树进行特征点匹配；然后 我们基于常用的r _ n s a c 进行了算法改进，有效的剔除两幅图像问的非匹配特征点 对( 外点) 。图像之间是否有拼接关系是通过总特征点对数和总匹配点对数( 内 点) 的线性不等式关系判定，进而将输入图像分为几个图像匹配块。在每个图像 块的自动拼接中，将图像映射到同一个球面上，由l m 迭代法求取图像欧拉角等参 数，最后对球面映射后的平面展开图用多段融合法拼接合成，最终得到多幅球面 全景图。 在球面全景图生成的基础上，本文还实现了球面全景图浏览系统和简单的 场景漫游系统，可以用于场景漫游，房地产展示，数字地图展示等。 关键词全景图；图像拼接；s i f t 特征点；欧拉角 山东大学硕士学位论文 a b s t r a c t p 趾o r 锄ai s 肌i m a g e 、i t l la 、v i d e 一锄酉ev i e 、】v nc 锄b et a k 朗谢ms p e c i a 王 c 锄e r 勰；i tc 锄a l s ob ec o n s 仇l c t e dm r o u 曲i m a g ea l i 印m e l l tt e c h i l i q u e sf 如m 啦g l l l a r h a n d h e l dc 锄e r 勰t h et e c h n i q u et 0c r e a t ep a n o r a m 鹪i sa m 伽gm eh o t t e s tt o p i c si n f i e l do f m r ( i m a g eb a s e dr e n d e r i n g ) a p 锄o r 锄r e c o g n i 五n & a l s oc a l l e di m a g es d t c h i n go ri n l ；l g em o s a i c ，h 嬲b e s t i l d i e df o rai o n gt i m e b e c a l l s eo fi t s 谢e t y 锄dc o m p l e ) ( i 饥i th 鹪b e s t l l d i e d 诵d e l ya c c o r d i n gt os t a t i s t i c so fi s i 血s t i t l i t eo fs c i e n t i f i ch l f o m l a l i ) ，1 1 l e 旭a 阳 o v e r1 0 0 0a r b c l 器s u c hf i e l d h lt h i s 枷c l e ，w ei 1 1 仃o d l l c es e v e r a li m a g es t i t c h i n ga l g o r i t h m sb o mn a 缸o n a la n d a b r o a da n dc l 撕每1 l l e m ；w ea l s od 船c r i b e 血en e wt e c h 0 1 0 9 y 锄di l l 仃o d u c e m e r e l a t e dk n o w l e 如ed b o u ti t w i t 量lp 硎o l 塔r 嚣e a r c h ，w eb l i i l da na u t o m a t i cs p h 甜c a l p a l l o r 锄am c o 鲫i z i l l gs y s t 咖1 1 1 ei m a g e st ob es t i t c h e da r ec a p t u r e d 谢t 1 1h a l l d - h o l d c 砌e r 裙a f t e ri n p u 撕n gs e v e r a li m a g e s ，i tc a np a n i t i o n 血e mi n t os e v e r a lp 鹏， i m a g e si l le a c hp a nb e i n go v e d 印p e d ，柚ds t i t c he a c hp a ni 1 1 t oas p h e r i c a lp 锄o r 锄乱 a c c o r d i n gt o 如c hr e q 证r 锄乜，w ed e s i g nap a n o r 锄ar e c o g i l i 五i 玛a 1 9 0 r i 也m ，f m l y c 0 砸i d e r i n gr o b l l s 廿l e s s 、e m d e n c y 、q u a l 崎觚ds 0o n a tf i r 魄s 球t ( s c a l eh 1 v 撕肌t f e a t i l r et r a i i l s f o r m ) a r ee ) c t r a c t e df 如me a c hi m a g e sa 1 1 dm a t c h e dw i mk d 仃e e ； s e c o n d l y ，吼m a t c h e df b a t u r ep a i 巧( o u t l i e r s ) a 糟r e m o v e db yt h ei m p r o v e dm e t l l o d b 嬲e do nr a n s a c w h e m e rt w oi m a g e sa r em 砷c h e do rn oi sd 印d e do nm el i n e a r r e l 撕o n s h i pb e t 、e e l ln 砌b e ro ft o t a lf e a 士i l r ep a i r s 锄dn u m b 既o f 砌e df b a t u r e p a i r s ( i n l i e r s ) ；t 1 1 i r d l y ，e u l e r 锄酉ea 1 1 do t l l e rp a r 锄e t e 培a r ec o m p u t e d 谢t l ll m m e t h o da n di m a g 韶c a nm a p p e di n t oa 、，i n l l a ls p h e r e 、v i mt l l e p a r 锄e t e r s ；a tl 弱 r e m a p p e di m a g e sa r eb l e i l d e di n t oas p h 缸c a lp 锄o r 啦谢t 1 1m u l t i - b a l l db l e n d i n g m e 山o d w ba l b l l i l dt w o 印p l i c a t i o ns y s t 咖sb a do ns p h e f i c a lp a n o r 锄髂，o n ei s 由ov i 哪s p h e r i c a lp 锄。舢aa i l d l l l e o t l l e r i s as c e t o u r 锣s t e i i l t h e yc 锄b e l l s e d f o r s h o w h o l l s m g ，d i 西t a lm 印m d s oo n k e y w o r d s ：p a n o r a m a ；i m a g es t i t c h i n g ；s i f t ；e u l e ra n g i e i i 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导 下，独立进行研究所取得的成果。除文中已经注明引用的内容 外，本论文不包含任何其他个人或集体已经发表或撰写过的科 研成果。对本文的研究做出重要贡献的个人和集体，均已在文 中以明确方式标明。本声明的法律责任由本人承担。 论文作者签名：左抱画日期：2 塑 ：垒： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：壅垫醢导师签名：呲日期三回：垒：查 山东大学硕士学位论文 第1 章绪论 1 1 全景图生成技术的意义 在实际的科研和工程中，经常会用到超过人眼视角的高分辨率图像，而普通 相机的视角往往不能满足需要，例如由于距离的限制，某些超大尺寸的物体无法 用一张照片拍摄下来，这在航空航天照片的拍摄中显得尤为突出。另外，在虚拟 现实领域中，传统的计算机图形学方法即基于图形的绘制( g b r ) 直接绘制一个 结构已知的三维几何模型，为达到较强的真实感，采用纹理映射、光照模型等算 法，但对于复杂场景，建模难，渲染慢，这一缺陷不符合虚拟现实中达到照片级 真实和实时操纵的要求。上世纪九十年代提出的基于图像的绘制( i b r ) 是用宽 视角图像或3 6 0 度柱面全景图或球面全景图来虚拟展示实际场景，通过对这一静 止图像进行连续插值而实现对场景的交互式连续浏览，是g 职的一种互补。另外， 用这一方法代替视频图像序列可大大降低数据量，为数据的传输和保存都带来巨 大便利。这些领域中所需要的特殊图像便依赖于图像拼接技术，因此图像拼接技 术有着较强的应用背景和研究价值。随着计算机技术的进步而发展起来的数字图 像处理技术为这一问题提供了很好的解决方法。它通过将一组具有部分重叠的图 像或视频图像进行无缝拼接而得到超宽视角的图像或全景图。这一类技术的出现 使采集图像的设备更普通化，利用普通的摄像机和数码照相机即可得到满足要求 的图像。 因此，图像拼接技术可广泛应用于诸多领域，在宇宙空间探测、海底勘测、 医学、气象、地质勘测、军事、视频压缩和传输、档案的数字化保存、视频的索 引和检索、物体的三维重建、数码相机的超分辨率处理等领域都有广泛应用，主 要表现在： 1 ) 全景图和超宽视角图像的合成，将普通图像或视频图像进行无缝拼接， 得到超宽视角甚至3 6 0 度的全景图，这样就可以用普通相机实现场面宏大景物拍 摄。 2 ) 碎片图像的组合，将医学和考古的碎片图像或空间、海底探测得到的局 山东大学硕士学位论文 部图像合成大幅的整体图像。 3 ) 虚拟现实，图像拼接是基于图像绘制中的一项基本技术，利用图像拼接 技术可以生成全方位图像，代替3 d 建模和绘制。 图像拼接技术的产物一般分为两类：宽视角的高分辨率图像和全景图像。为 了叙述方便，本文接下来的内容将之统称为全景图。图像拼接技术也称为全景图 生成技术。 1 2 国内外相关研究进展 图像拼接技术有悠久的研究历史。早期用于航空遥感照片合成，由于飞机 或卫星上的相机和地面景物之间距离很远，所以可以合理地假设所用图像都是由 光轴相互平行的相机拍摄得到的，图像之间是位移变换，这种的图像对准可采用 简单的模板匹配法，从一幅图上取一定窗口大小的模板，在另外一幅进行匹配， 最终合成了平面全景图，这种方法在现在也有广泛应用，可应用于航空图片合成、 大文档扫描合成，视频压缩。在2 0 世纪9 0 年代h e u n g y e u n gs h u m 1 研究了同心 圆拼图( 柱面全景图) ，从此国内外出现了很多柱面全景图生成技术的文章，柱 面拼接可以用模板匹配法 2 、相位相关法 3 和特征点法 4 ，技术相对比较成 熟了，拼接效果也比较好，得到广泛的应用。手持相机定点多角度拍摄图像的拼 接一直是研究热点，按照摄像学原理，图像之间的转换关系可以8 一参数投影矩阵 5 表示，有些文章 6 用6 一参数仿射矩阵来简化图像的转换关系，用2 0 世纪9 0 年代中期，微软研究院的s z e l i s k i 教授 7 提出基于运动的全景图像拼接模型， 将8 参数减低为4 参数，采用l m 迭代算法求取图像间的几何变换关系来进行图像配 准，这种方法效果好，收敛速度快，可处理平移、旋转、仿射、投影等多种变换， 因此也成为图像拼接领域的经典算法。图像拼接中经常会出现叠加误差现象， t a r r i s ( 1 9 9 9 ) 8 用捆绑调整技术解决了这个问题。2 0 0 3 年m b r o w n 发表了全自 动的图像拼接算法的文章 9 ，使用捆绑调整技术，是目前图像拼接方面较好的 算法，已经整合到微软d i g i t a li m a g e 软件中。其他图像拼接的商业软件还有 p t g u i 1 0 ，h u g i n 1 1 ，u l e a dc o o l 3 6 0 1 2 ，p a n o r 鲫af a c t o r y 1 3 等等，这 些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 同时，鱼眼镜头拍摄图像生成球面全景图的绘制技术 1 4 也得到广泛研究， 山东大学硕士学位论文 这种技术能产生出3 6 0 木1 8 0 全景图像，直到现在很多球面全景图也是通过鱼眼镜 头产生的。其间，对于立方体全景图也有研究 1 5 ，1 6 。还有一些针对特殊图像 拼接研究，如微型零件的拼接 1 7 、多层显微图像的拼接 1 8 、还有动态全景图 生成 1 9 ，2 0 、多视点下的图像拼接 2 l ，2 2 等技术。 因此，图像拼接技术本身就具有多样性和针对性，在这十几年来各种技术 都得到很大的发展，同时还存在一些问题。目前的重点在于拼接的自动性、拼接 速度、图像鲁棒性和融合质量上。我们结合前人的研究成果，从这几个目标出发， 实现了一个全自动的球面全景图生成系统，并在算法上进行了改进。 1 3 本文的主要研究内容 本文的研究重点是手持相机拍摄图像的全自动拼接。 在总结国内外相关研究的基础上，对全景图生成技术进入深入研究后，我 们根据手持相机定点拍摄图像的特点设计了全自动的球面全景图生成算法：导入 多幅图像后，算法会自动识别出图像之间是否匹配，并将相互匹配的图像进行全 自动拼接，最后生成多幅球面全景图。 算法基本思想为：首先提取图像特征点( s i f t 特征点) 和进行特征点匹配 ( 建立i ( d 树) ；其次剔除非匹配特征点对( 基于r a n s a c 的改进算法) ，并对图像 是否匹配进行判定，从而得到几个图像匹配块：然后求取每一个图像块内的图像 在球面模型上的参数( 使用u i 迭代法) ；最后用融合生成全景图( 采用多段融合 法) 。 本文所做的主要研究工作概括如下： ( 1 ) 基于r a n s a c 算法进行算法改进来剔除外点 r a n s a c 算法是计算机视觉中剔除非匹配点的算法。在特征点匹配后产生不 少非匹配点( 外点) ，外点的存在对以后图像模型参数的求取有很大的负面影响， 必须剔除这些非匹配点。我们通过实验发现特征点匹配与否跟s i f t 特征点描述 子误差信息有关系，基于这个信息，我们进行了算法改进，更有效剔除外点。 ( 2 ) 对两幅图像是否匹配进行判定 导入系统的多幅图像有可能来自不同的场景，需要把它们分成不同的匹配 块，我们根据特征点对总数和匹配对数的非线性关系来判定，通过实验统计获取 山东大学硕士学位论文 非线性不等式的两个参数信息。 ( 3 ) 球面模型映射 由于手持相机定点拍摄的灵活性，映射到球面模型中能更好反映拍摄场景， 并消除常见的叠加误差现象，借鉴p a n o t 0 0 1 s 的思想，我们实现了平面图到球面 映射，并用l m 迭代法求取了图像在球面上的欧拉角参数，最后得到图像在球体 上映射后的平面反展开图。 ( 4 ) 球面全景图浏览工具和场景漫游工具 通过分析p t v i e w e r 思想，我们实现了一个本机运行的球面全景图浏览工具， 将球面全景图导入系统后，可以对其进行上下左右环视、靠近远离视点、自 动漫游播放、全屏展示。同时建立了一个简单的场景漫游工具，在场景地图上建 立多个热点区域，实现对场景全方位、多角度、自动漫游展示或者手动交互展示。 1 4 本文的组织结构 本文第一章我们简要介绍了全景图生成技术的来源、目的和意义，阐述了 国内外在全景图生成技术中的研究进展，并说明了本文的主要工作和组织结构； 在第二章，从投影模型，对准技术，和融合技术三个方面分类介绍全景图生成的 相关知识：第三章重点阐述我们所做的工作一手持相机拍摄图像的全自动球面全 景图生成过程，分四个步骤来完成图像拼接过程：第四章展示实验结果；第五章 说明球面全景图的两个方面的应用：球面全景图的浏览系统和简单的场景漫游系 统。第六章是总结和展望，对论文所做工作进行回顾，以及算法需要改进的地方。 4 山东大学硕士学位论文 第2 章全景图生成技术分类 由于不同的应用需要不同的全景图，不同的全景图生成就需要不同的图像 拼接技术，每一种图像拼接技术本身又会有不同方法，从而产生很多图像拼接方 法a 早在9 2 年b r o 硼就对图像配准技术进行了综述 2 3 ，近十几年来全景图生成 技术有很大的发展，这两年国外的研究人员s z e l i s k i ( 2 0 0 5 ) 2 4 和国内的解凯 ( 2 0 0 4 ) 2 5 也对图像拼接技术做了新的综述。 总体上，全景图的生成过程是：1 ) 获取图像序列；2 ) 选取投影模型；3 ) 进行图像局部对准；4 ) 图像融合。 有多种途径用于获取全景图：1 ) 利用全景照相机直接采集一张柱面全景图 像；2 ) 利用配备较大视域的镜头如鱼眼镜头拍摄：3 ) 将视频帧重新投影至单独 的参考帧；4 ) 利用普通相机采集若干能够覆盖整个可视空间的图像序列。 拍摄方法有：1 ) 定点拍摄，相机固定在三脚架上并围绕相机光心旋转或者 相机固定位置向不同方向拍摄；2 ) 多视点拍摄，相机在不同位置拍摄，一般只 能是水平移动来拍摄。 在投影模型上可以将全景图投影到平面、柱面、多面体、球面。图像局部 对准技术有基于频域空间、基于区域空间( 模板匹配) 、基于特征信息的图像拼 接法；图像的融合技术有平均迭加法、线性法、加权法、多段融合法( 多分辨率 样条) 、泊松融合法。下面就对这些技术分类进行阐述。 2 1 投影模型 2 1 1 平面全景图 图像拼接技术最早的应用是对航空和卫星照片的拼接，由于飞机或卫星上 的相机和地面景物之间的距离很远，所以可以合理地假设所用图像都是由光轴相 互平行的相机拍摄得到的。就是说，所有的图像位于同一个平面内。按照几何学 原理，同一个平面内的图像之间的几种关系如下图所示： 山东大学硕士学位论文 图2 12 维平面内图像转换关系示意图 变扭名称寰按坷车自由度俣持不妻性 圈示 方向，长度、角度平 口 平移变换 f f l t l 甜， 2 行性、直鳢性 欧式变蛰 誓痿浊角度平触 fr i tl h l 3 相似蔓撬 角度、平行性直垅性 s l i h 【s 冗le l 4 仿射壹奠 巳 f 4l 6 平行性、直蟥性 投影变换 直蛾眭 口 p r 。j c t l ” 【詹l 8 ，：l ：i 为单位矩阵 。， o o1l f = ( ，1 ) 为平移向量 ( 2 2 ) r ：篙= ：l 为旋转娥硝旋转角度( 2 3 ) l oo 1 j i q 口2 4 2 i 码吼口5i 为仿射变换 ( 2 - 4 ) ool q 如 日= l 呜q 呜i 为投影变换 ( 2 5 l q 1j 山东大学硕士学位论文 ( a ) 平移变换( b ) 仿射变换( c ) 投影变换 图2 3 两图像之间的三种转换关系图，红框图像是基准图像，绿框是转换图像 下图是多幅图像按照8 参数投影矩阵拼接生成平面全景图： 图2 4 多幅图像由8 一参数投影矩阵拼接的平面全景图，红框图像为基准图像 在平面图生成过程中，根据待拼接图像的不同转换关系，使用图像对准技 术求取图像之间的转换参数，最后根据转换矩阵将图像投影到同一个模板内，就 可以融合成平面全景图了。在图像对准技术上，平移变换可以用区域匹配法、相 位匹配法、特征点匹配法；欧式变换、相似变换可以用相位匹配法、特征点法： 6 一参数仿射变换和8 一参数投影变换则多用特征点法。在图像融合上，可以用平均 叠加法、加权法( 羽化) 、多段融合法、泊松法。 平面全景图生成技术有很强的应用价值，多应用于宽视角图像的获取。其 中航空遥感图像的拼接、扫描图像的合成可以采用简单的平移变换、欧式变换、 相似变换，大屏幕的拼接、普通相机的定点拍摄图像的拼接多采用8 一参数投影矩 阵，但往往会出现叠加误差现象，可以使用全局优化技术例如捆绑调整 ( b i l l l d l e - a d j u s t m e n t ) 2 0 来解决。 2 1 2 柱面全景图 固定视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的 山东大学硕士学位论文 连续环视图像序列，将这组图像序列无缝拼合，并投影到柱面空间坐标，就得到了 一幅柱面全景图。柱面投影就是将图像投影到柱面上( 图2 5 ( a ) ) ，它是一种透 视投影而非平行投影，通俗的讲就是要获得从投影中心( 视点) 这一点上观察图 像在柱面上的成像。图2 5 ( b ) 表示将三维空间上的点，y ，z ) 映射到柱面模型上 得到对应于柱面模型上的点( x ，弘z ) 过程。其中目为观察视域中心与石轴夹角， 为柱面模型高度，( x ，j ，z ) 为( x ，y ，z ) 在柱面模型上的投影。 ( a ) 相机固定，循环拍摄6 幅图像( b ) 世界坐标系内和柱面坐标系上点对应关系不意图 图2 5 柱面全景图生成模型 其中： 8 i n 占，矗，8 p 2 x ，y ，2 2 ：了雾寺尹石，y ，z ( 2 6 ) ：y = ( 卵，曲) + ( ，) ( 2 7 ) 图2 - 6 柱面全景图( 山东大学校园一角) 柱面全景图生成的关键步骤为图像匹配、柱面投影变换与图像融合。因为 是围绕垂直轴拍摄，可以用三角架+ 云台固定相机拍摄，也可以手持相机定点环 绕拍摄。图像配准工作可以采用相位匹配法，通过傅立叶公式转换到频域空间来 分析图像间的变换量，也可以用区域匹配法，或者特征点法，由于柱面图像之间 的特殊性，可以近似看为平移变换，因此柱面图像的配准工作多采用区域匹配法。 图像的融合则多参用线性加权法。 柱面全景图( 同心圆拼图) 可用于宽视角图像的获取，但多应用于基于图 像的绘制( i b r ，i m a g e _ b a s e d r e n d e r i n g ) ，方便对场景的全景展示，这种应用就 山东大学硕士学位论文 包括了柱面全景图生成和柱面全景图浏览两个部分，柱面全景图的浏览对全景图 的虚拟展示，是柱面到平面的反映射过程。 2 1 3 多面体全景图 以景物中心为固定视点来观察整个场景，并将周围场景的图像记录在以该 点为中心的环境映照到多面体上，这样环境映射以多面体全景图像的方式来提高 其中心视点的场景描述。多面体全景图中以立方体最为简单，立方体全景图 1 5 是由6 幅广角为9 0 度的画面组成( 图2 7 ) 。获取立方体全景图的方式通常有3 种： 一是使用三维软件来生成无缝拼接于一个立方体的6 个面的贴图；二是使用特殊 的拍摄装置，依次在水平、垂直方向每隔9 0 度拍摄一张照片，获得6 张就可以无 缝拼接于一个立方体的6 个面上；三是使用图形软件来生成。 图2 - 7 立方体全景图的六个面 立方体全景图主要用于场景的全方位的展示，因此需要根据视角的变换将 立方体全景图映射成视平面上 1 6 ： 图2 - 8 从立方体中心视点发出视线投影到视平面 如图2 8 ，根据当前视域大小力v 和视线的中心方向，从立方体中心发出的 9 山东大学硕士学位论文 视线透过立方体面交于视平面，通过反采样计算出视平面的图像信息，对于通过 立方体边缘线，立方体角点处的视线需要特殊处理。另外，如果仅对关键点( 视 平面投影到立方体的四边行顶点) 进行设备坐标系到观察坐标系的变换，其他部 分根据与关键点的关系，通过平移、变形等形式同等的进行投影变换的功能，这 样可以减少开销，提高浏览速度。 立方体全景图方便全景图像数据的存储，而且与屏幕像素对应的重采样区 域边界为多边形，便于显示，另外，这种立方体映射方式还可以实现水平和垂直 方向3 6 0 度旋转，便于更大自由度的观察，主要应用于虚拟展示。 2 1 4 球面全景图 理想的球面全景图是定点拍摄场景在球面模型上投影得到3 6 0 0 + 1 8 0 0 平面 展开图，这样全景图多用特殊的鱼眼相机获取，通过鱼眼镜头获取原始图像( 图 2 9 ( a ) ) ，恢复扭曲( 图2 - 9 ( b ) ) ，合成图片( 图2 9 ( c ) ) ，亮度调整( 图2 9 ( d ) ) ， 最后得到了球面全景图。 ( a ) 原始图像 ( b ) 恢复图像扭曲 ( c ) 图像合成 1 0 山东大学硕士学位论文 ( d ) 亮度调整 图2 - 9 鱼眼镜头拍摄的图像生成球面全景图的过程 另外获取球面全景图的方法是将手持相机定点拍摄的图像进行拼接，通过 求取图像映射到球面的参数，将图像映射到球面模型上，然后得到的平面反展开 图就是球面全景图或者部分球面全景图。本文就是基于这种思想进行全景图生 成，在第三章进行详细的介绍。用球面全景图浏览器对其进行浏览( 图2 一l o ) 能 产生出漫游效果。 图2 1 0 动态浏览展示效果 将三维球面全景图像、二维图像、声音、文字材料等素材结合起来可以产 生场景虚拟漫游效果，广泛应用在房地产展示、旅游景点展示、校园展示、博物 馆展示、更大的应用是结合数字地图进行城市的漫游。在第五章对这方面的应用 进行介绍。 2 2 图像对准技术 图像对准技术是图像拼接成功的关键，下面的讨论可以仅从两幅图像的对 准考虑。两幅待拼接图像总是存在某种程度上的重叠信息，图像对准就是识别出 图像的重叠信息，并根据重叠信息求取两幅图像的转换关系，进而将图像映射到 同一个模型中。 山东大学硕士学位论文 2 2 1 基于区域的对准 基于区域的对准也称模板匹配或相关性匹配，一般都应用在没有复杂变换 的图像拼接情况下，例如平移变换。这种方法的工作重点在模板匹配上，而变换 模型的建立，图像的重构都比较简单。 模板的选取一般都不会很复杂，简单的方法是利用整幅图像的象素为模板， 但这种模板的选取往往为模板的匹配带来很大的计算量，如果减少匹配计算量， 只选用图像中一列为模板进行匹配，那么拼接的精度往往不高，因此一般都选取 图像中预定义大小的窗口的象素作为模板( 图2 1 1 ) 。 图2 - l l 模板匹配法示意图 这种方法简单、便于硬件实现，在图像拼接发展早期有广泛的应用。但有 一定的局限性，这种局限性是算法基本思想造成的：首先，匹配过程中经常被采 用的矩形窗口只适合那些需要拼按的图像之间只是存在水平和垂直平移运动的 情况，如果图像有了更多形状上的改变，那么这种窗口就不能将参考图像和待拼 接图像中景物的相同部分拼接起来( 矩形窗口可能会变成其他的形状) ；另一个缺 点是窗口中内容必须很明显，但由于窗口中没有包含任何显著细节的平滑区域导 致与参考图像中其他平滑区域匹配错误的情况出现的概率也很高。这两个缺点影 响了模板匹配法的应用广度。 2 2 2 基于特征的对准 基于特征的对准首先从图像上选取特征信息，然后识别出两幅图像对应的 特征信息。常用的特征信息有特征轮廓 2 6 、特征曲线 2 7 、特征点。多采用特 征点匹配法，常用的特征点彳孤a r r i s ( 1 9 8 8 ) 2 8 、k l t ( 1 9 9 4 ) 2 9 、s i f t ( 2 0 0 4 ) 3 0 等。提取特征点后需要进行特征点匹配，剔除非匹配特征点，然后由特征点匹配 对信息进行图像转换参数求取，从而把待拼图像按转换关系来拼接。 山东大学硕士学位论文 基于特征的图像算法，可以建立任何转换关系之间图像的拼接，适用范围 广，因其算法本身的优越性，拼接效果好，计算量不大等特点，是图像拼接技术 的发展方向，但不能处理特征不明显的图像拼接，如草地、天空、海洋。 2 2 3 基于相位的对准 相位相关法最早由k u g l i n 和h i n e s 在1 9 7 5 年提出的 3 1 ，并且证明在纯二维 平移的情形下，拼接精度可以达到1 个像素，多用于航空照片和卫星遥感图像的 配准等领域。该方法对拼接的图像进行快速傅立叶变化，将两幅待配准图像变换 到频域，然后通过它们的互功率谱计算出两幅图像间的平移量。如果图像之间还 存在旋转变换，先将图像坐标变换到极坐标下，旋转量就转换为平移量来计算。 由于其具有简单而精确的特点，也是有前途的图像配准算法之一。但相位相关方 法需要比较大的重叠比例，如果重叠比例小，则容易造成错误估计。另外，对应 图像之间是仿射变换或者投影变换，这种方法得不到好的结果。 2 3 图像融合技术 图像配准后，需要对图像重叠部分融合，图像融合技术决定了最终图像合 成质量，常用的有平均叠加法、线性法、加权法，多段融合法。 1 平均叠加法 平均叠加法是直接对图像进行平均叠加： p ( 训) = 主见( ；，多) 即( 2 8 ) 扛1 在同一模板上点p j ，) 的灰度值等于该点通过向后映射到其他图像对应点 a ( 乏多) 灰度的平均叠加值。这种方法很明显会出现拼接缝隙，由于图像间往往 会出现亮度差，一幅图像的边界投影到模板后，图像的亮度差就产生出一条明显 的缝隙。 2 线性法 柱面图像的拼接多用简单的线性法 3 2 ( 图2 1 2 ) ，图像映射到柱面坐标下， 图像之间就是简单的纯平面平移变换，局部对准后，对重叠区域用线性法融合： 山东大学硕士学位论文 i = i l p i g + 1 2 p i t 瞧吣 较 位 一瞄 厶 闲 幂早踞 图2 1 2 柱面全景图生成过程中相邻图像融合的线性法示意图 厶，厶，分别为图g ，r 在位置p 处的权值，易，为图g ，r 在p 处的灰 度，这种方法简单，适合柱面全景图生成，或者仅具有平移变换的两幅图像融合。 3 加权函数法 很多图像拼接系统用的是加权法 3 3 ： 贴力= ，j ，) 4 m ) 水w ) ) ( “) + w ) ) ( 2 1 0 ) 只( 一，y 。) 是第f 幅图像在对应点心y ) 值，m 为线性权重函数，中心为l ， 边界为o 。这种方法也是广泛应用的融合方法之一，该方法能有效去除边界缝隙， 加权法实际是一种平滑效果，但在拼合区往往出现叠影模糊现象。 4 多段融合法( 多分辨率样条) 多段融合( m u l t i - b a n d b l e n d i n g ) 是1 9 8 3 年b u r ta d e l s o n 3 4 提出的思想， 先构建图像的金子塔，将输入图像分解成一系列不同频段的带通层，然后对不同 频率带通层在边界处分别进行拼合，得到拼接图像的带通层，由拼接图像的的带 通层组合得到最终拼接图片。因为是在不同频段进行的图像拼接，所以能避免图 像的叠影。由于图像的分解和组合是一个无损互逆的过程，即原始图像分解能得 到带通层，带通层组合能得到原始图片，所以用这种方法得到拼接图像能保证正 确性。具体实现： 【1 】获取每一幅图像的低通层g ；，g l g ；( g ；是原始图) ： 瓯= w 铆，n ) g 工4 ( 2 l + m ，2 ，+ n ) ( 2 1 1 ) m m = _ 2 w ( m ，栉) = w ( ) + w ( ) 为5 + 5 窗口的加权函数。 1 4 山东大学硕士学位论文 【2 1 进行分解获取每一幅图像的带通层厶，厶厶- 1 ： 厶伉力：g ，似力一日z 4 q 瓯。l ( 与力= q 魄力一4 壹q 。( ! 竽，三 ( 2 1 2 ) 【3 】图像融合操作在带通空间中实现，针对当前丘层： i 十1，f 十1 工i d 甜f ( x ，y ) = 乏：( t “( x ，) ，) w ，( ，) 幸w ，( y ) ) 乏：( 1 吩( x ) w ，( y ) ) ( 2 1 3 ) i = 0，扣0 获取的输出图像的对应带通空间厶d ”f z d 埘。 = ”一l 【4 】进行组合得到拼接图像( o = 上m ( 2 1 4 ) i = o 多段融合法是目前比较好的融合方法，拼成的图像即清晰又光滑无缝，能 避免缝隙问题和叠影现象，另外，如果选取好的最佳缝隙线还能处理有轻微运动 物体的图像拼接。但这种方法的运算量大。 2 4 本章小结 全景图的生成过程大概分为：1 ) 获取图像序列；2 ) 选取投影模型；3 ) 进 行图像局部对准；4 ) 图像融合。 本章从分类阐述了常见全景图生成技术： 在投影模型上将全景图分为平面全景图、柱面全景图、多面体全景图、球 面全景图，简单介绍了每一种模型的一般表现形式和一般生成技术。 在图像局部对准技术有介绍频域空间、基于区域空间( 模板匹配) 、基于特 征信息的图像拼接法，和它们的优缺点。 图像的融合技术有平均迭加法、线性法、加权法、多段融合法( 多分辨率 样条) 。 这些是目前几种比较常见的图像拼接技术，由于图像拼接具有多样性和针 对性，因此每一种图像拼接技术都有自身的适应范围。 山东大学硕士学位论文 第3 章全自动球面全景图生成算法 我们所做的工作是手持相机拍摄图像的全自动拼接，根据这种情况的拼接 特点，从拼接鲁棒性、拼接速度、拼接质量等多方面考虑，我们设计了相应的 图像拼接算法。 3 1 算法流程 算法是一个全自动的拼接过程，导入多幅图像，算法自动识别出有拼接关 系的若干图像块，对每个图像块分别拼接生成球面全景图。 算法大概可以分成四个步骤：首先提取图像的s i f t 特征点，并进行特征点 匹配，剔除非匹配特征点对：其次判定图像之间的匹配关系，将输入图像划分成 若干个图像匹配块；然后对每一个图像块用l m 迭代法求取图像的欧拉角等参数， 并得到图像球面映射后的平面展开图；最后用多段融合法对平面展开图融合拼 接。本系统的流程图如图3 1 所示： 图3 一l 全自动球面全景图生成算法流程图。 山东大学硕士学位论文 3 2s l f t 特征点的提取 按照计算机视觉理论 5 ，手持相机定点拍摄的图像之间是投影变换，对这 种变换关系的图像配准多使用基于特征点的对准技术，而手持相机又具有很强的 灵活性，因此特征点的选取相当重要。研究表明( 2 0 0 5 ) 3 5 ，l 0 w e 教授提出 的s i f t 特征点( s c a l ei n v a r i a n tf e a t u r et r a i l s f o 蛐) 3 0 性能较优，用s i f t 特征点进行图像拼接，不受图像旋转变换、缩放变换的影响，也不受图像本身色 差、噪声的影响，能较好应用于手持相机拍摄图像，或计算机处理后图像的拼接。 s i f t 特征点的提取过程包括下面四个步骤：1 ) 候选极值点获取，2 ) 弱特征 点和边界特征点剔除，3 ) 主方向求取，4 ) 计算特征点描述子。 1 提取图像缩放空间的极值点，这一步保证了特征点的缩放不变性，并保 证特征点不受亮度差、噪声的影响。 图像的缩放空间( 图3 _ 2 ( b ) ) 是图像的高斯空间( 图3 2 ( a ) ) 的差值空间， 即对图像进行了d o g ( d i f f e r e n to fg a u s s i a n ) 变换。图像的高斯空间是对原始 图像进行一系列高斯变换得到的。对图像进行高斯变换保证了图像特征点不受噪 声影响，对高斯空间求的差值空间保证图像特征点不受色差影响，在一系列缩放 空间中提取的极值点( 图3 3 ) 保证特征点的缩放不变性。 ( a ) 图像的多层高斯空间( 受空间限制，第一层中6 幅图像仅显示3 幅) 1 7 山东大学硕士学位论文 ( b ) 图像的多层缩放空间( 受空间限制，第一层中5 幅图像仅显示3 幅) 图3 2 图像的高斯空间和缩放空间，图为山东大学校园一角 图3 3 图像的极值点是图像缩放空间层中的点，该点在是上层9 个点、下层9 个点、中间8 个点中为最值点。 2 精确定位特征点，剔除边界上的特征点，剔除响应弱的特征点。 特征点是角点，需要剔除边界上的特征点，首先获取特征点h e s s i a n 矩阵： 日= 臣窆 ， h 的特征值口，代表特征点两个方向的梯度，剔除仅一个方向剃度大的特 征点，这些特征点是边界特征点( 图3 4 ( b ) ) 。 获取的特征点应该是响应强的特征点，需要剔除弱特征点。 先获取候选特征点处拟合函数： 。瑚+ 等+ 挈x 慨z ， 求导得到极值点： j = 一挈。罢( 3 s ) 对应极值： 爹 山东大学硕士学位论文 。囟= 。哇署j ( 3 t ) 其中x = j ，盯) 是3 维向量，代表特征点在缩放空间中的位置，不断修正 x 求取局部最优点，剔除d ( 雪) 厶 ( 3 1 0 ) 其中，是总特征点对数，厶是总内点对数，口，6 是参数。 m b r o 吼用概率分析得到口= 3 0 ，6 = 8 0 。我们也采用这种判定方法。 但我们在剔除外点过程上的改进影响了内点数和总匹配数，这两个参数值对我们 的图像拼接不合适，需要重新获取参数值。 1 参数8 ，b 的求取 我们通过先验信息，对1 0 5 对匹配图像和9 2 对非匹配图像( 来自房屋、树 木、中英文文本图像、印刷图像、街道、山川等) 进行实验，来考察图像匹配与 总特征点对数只以及内点数厶的关系，得到下图： ( a ) 匹配图像的总对数和内点数( b ) 非匹配图像的总对数和内点数 图3 一1 1 图像匹配和非匹配情况下，统计总对数只和内点数( 上面蓝线是总对数， 下面红线是内点数) 从3 1 1 ( a ) 可知，如果图像匹配，一般情况下，内点数厶随总对数乞增加 而增加，9 5 情况下内点数大于1 0 个；从3 1 1 ( b ) 可知，如果图像非匹配，内 点数厶跟总对数只没有明显关系，且内点数一般小于1 0 个，为6 个左右。我 们可以设定参数6 = 5 o 来考察a 的变换，计算口= ( l 一6 ) 只，得到下面参数a 的统计图： 山东大学硕士学位论文 ( a ) 匹配图像的参数a 统计( b ) 非匹配图像的参数a 统计 图3 1 2 图像匹配和图像非匹配两种情况下，在b = 5 时，参数a 的统计 从3 一1 2 ( a ) 可知，如果图像匹配，9 5 情况下参数a 大于o 2 ；从3 一1 2 ( b ) 可 知，如果图像非匹配，几乎l o o 图像对的参数a 小于o 2 。因此在6 = 5 0 时，a 取o 2 可以作为图像匹配一个界限值，即如果只事o 2 + 5 0 厶判断图像是否匹配。 由于仅仅考虑一幅图像最近的k 图像，时间复杂性为0 ( 砌) ，可设m = 6 ，k = 4 。 根据图像匹配信息可以构建个图像匹配邻接矩阵，用广度或深度优先搜 索法搜索邻接矩阵就得到几个连通图，即匹配的图像块。下面对每一个图像块分 别拼接，最后得到几个全景图。 3 5 球面模型映射和图像融合 将图像块内图像拼接起来有两种方法：一是选取其中一个图像为模板，计 算其他图像和该模板图像之间的转换关系；二是将所有图像映射到到同一个模型 上，计算每个图像在该模型上的参数信息。前一种方法容易产生叠加误差现象， 山东大学硕士学位论文 为原点的相机坐标系的图像中的对应点( x ，只1 ) 的对应关系可以表示为三维变换 ，料料旧限 f = 、】l ，i d n 以+ t 肌m f b v 2 ) ( 3 1 2 ) ( w 触矗， p 玛h f ) 图像的长宽。j j ! ，晰是水平视阈，对于一般手持相机恿加v 初始 值取5 1 ，实验表明初始值对最后的结果影响不大。( q ，c ，) 为投影中心在图像中 r ：。：。跏。8 跏= 竺爿饵脚 r = 10 c o s a s i n 盯i l ol0 | | 一s i n yc o s yo l 3 1 3 j l ll i l o s i i l 口c o s 口j ls i n 声oc o s j l oo l j 下面用l m 迭代法 3 9 求所有图像的待求参数( 口，屈托蜘v ) ，对图像l 进行 五= 峨饥) 一反魄) 0 2 ( 3 1 4 ) 其中，m ( t ) 是图像的匹配图像集合， ( j ，女) 为图像，的内点集合。