（计算机应用技术专业论文）基于ibr的全景图生成技术研究.pdf

摘要 摘要 基丁图像绘制的虚拟环境构造是近年来虚拟现实技术研究的热点，它以简单的图像合成代替基 于二维几何的建模和渲染，加快了画面的显示速度，是建立特定三维场景的一种高效率的方法。其 中全景图像生成技术的研究是虚拟环境临场感的一个关键冈素，已经成为虚拟现实和计算机视觉中 一种重要的场景表示方法。全景图( p a n o r a m a ) 生成技术已经有很久的研究历史，由丁它的多样性、 针对性、复杂性，使得对这方面有j 泛研究。根据i s i ( i n s t i t u t eo f s c i e n t i f i ci n f o r m a t i o n ) 的统计，近十 几年发表的科技论文中，关于这方面的文章超过1 0 0 0 篇。本文研究了国内外的主要全景图生成算法， 阐述了全景图生成技术的研究现状，分别从投影模型、图像对准技术、融合技术等方面进行了分类 ： 总结，介纠全景图生成技术的相关知识点。 在深入研究图像的局部熵和序贯相似性检测算法的基础上，提出了基丁熵差的柱面全景幽生威 算法。该算法具有抗噪声和儿何火真的能力，提高了柱面全景图生成的效率和准确度。 研究分析了图像中的兴趣点选择和兴趣点提取问题，对常川的几种提取兴趣点的算法进行了分 析比较，提出一种关键兴趣点提取的方法，该方法不仅能够提高图像中兴趣点提取的精度和速度， 而且能减少后续图像拼接算法的运算量。 针对存在旋转变形较人的上下相邻图像的拼接问题，本文研究了基丁关键兴趣点的图像拼接笼 法，此算法能稳健的解决图像问存在旋转变形较大，同时有亮度差异、平移等问题。 研究了基丁相位相关法的全景图像序列的自动识别技术，该技术能对输入的杂乱无章的图像序 列自动排序识别。 关键字：虚拟现实；全景图：局部熵羞；序贯相似检测算法；图像配准；图像融合 中图分类号：t p 3 9 1文献标识码：a 第一章绪论 a b s t r a c t v i r t u a le n v i r o n m e n tb u i l d i n gb a s e do ni m a g em o d e l i n ga n dr e n d e r i n gi st h eh o tp o i n to ft h er e s e a r c h o nv i r t u a lr e a l i t yt e c h n o l o g y i nt h ei b r t e c h n o l o g y ，a3 ds c e n ei ss e tu pb yu s i n gi m a g e c o m p o s i n gi n s t e a d o f3 dg e o m e t r ym o d e l i n g ，s oi tc a ns p e e du ps c e n er e n d e r i n ga n di sh i g h l ye f f i c i e n ti nc o n s t r u c t i n ga s p e c i f i cv i r t u a ls c e n e s i n c ep a n o r a m ai m a g ei sa ni m a g er e p r e s e n t a t i o no fv i r t u a le n v i r o n m e n t ，p a n o r a m a i m a g em o s a i ct e c h n o l o g yh a si m p o r t a n ta p p l i c a t i o n si nv i r t u a l r e a l i t ya n dc o m p u t e rv i s i o na n di st h ek e y o fi b r p a n o r a m ar e c o g n i z i n ga l s oc a l l e di m a g es t i t c h i n go ri m a g em o s a i c ，h a sb e e ns t u d i e df o ral o n gt i m e b e c a u s eo fi t sv a r i e t ya n dc o m p l e x i t y ，i th a sb e e ns t u d i e dw i d e l y a c c o r d i n gt os t a t i s t i c so fi s i ( i n s t i t u t eo f s c i e n t i f i ci n f o r m a t i o n ) ，t h e r ea r eo v e rl 0 0 0a r t i c l e so ns u c hf i e l d i nt h i sa r t i c l e w ei n t r o d u c es e v e r a li m a g e s t i t c h i n ga l g o r i t h m sb o t hn a t i o n a la n da b r o a da n dc l a r i f yt h e m w ea l s od e s c r i b et h en e wt e c h n o l o g ya n d i n t r o d u c es o m er e l a t e dk n o w l e d g ea b o u ti t a s t i t c h i n ga l g o r i t h mo fc y l i n d r i c a lp a n o r a m ai sp r e s e n t e do nb a s eo ft h el o c a le n t r o p yd i f f e r e n c ei n t h i sp a p e r a f t e ra n a l y s i n gt h el o c a le n t r o p ya n ds e q u e n t i a ls i m i l a r i t yd e t e c t i o na l o g r i t h m t h em e t h o dh a s t h ep r o p e r t i e so fa n t i n o i s ea n da n t i g e o m e t r i c a ld e f o r m a t i o n ，a n dc a ni m p r o v et h ee f f i c i e n c ya n da c c u r a c y o f b u i l d i n gp a n o r a m a t h i sp a p e rs t u d i e sa n dr e s e a r c h e st h eq u e s t i o no ft h ec h o i c ea n de x t r a c t i o no fi n t e r e s tp o i n t s a n d a n a l y s e st h eu s u a la l g o r i t h mo ft h ee x t r a c t i o no ft h ei n t e r e s tp o i n t s am e t h o do ft h ek e yp o i n t si s p r o p o s e d ，w h i c hc a l ln o to n l yr e d u c et h er e d u d a n ti n t e r e s tp o i n t sa n di m p r o v et h es p e e do f t h ei m a g e ，b u t a l s or e d u c et h ec o m p u t a t i o n a li n t e n s i o no ft h el a t e rs t i t c h i n gi m a g e s t h ei m a g es t i t c h i n ga l g o r i t h mm a i n l yr e s o l v e st h eq u e s t i o n so fi m a g e sw i t hf o r m a t i o n ，t h ed i f f e r e n c e o ft h eb r i g h t n e s sa n ds oo na tp r e s e n tt i m e t h ep a p e rr e s e a r c h e st h ea l g o r i t h mb a s e do nt h ek e yi n t e r e s t p o i n t s t h em e t h o dn o to n l yc a nr e s o l v et h em e n t i o n e dq u e s t i o n s b u ta l s oc a nd e a lw i t ht h et r a n s l a t i o na n d t h ew o r s ed e f o r m a t i o nw i mt h ea d j a c e n ti m a g e s a u t o m a t i cr e c o g n i z i n gt e c h n o l o g yo ft h ep a n o r a m ai sr e s e a r c h e di nt h i sp a p e r ，w h i c hc a nr e c o g n i z e p a n o r a m ai na nu n o r d e r e di m a g e s e t k e yw o r d s ：v i r t u a lr e a l i t y ；p a n o r a m a ；l o c a le n t r o p y ；s e q u e n t i a ls i l i l a r i t yd e t e c t i o n ；i m a g e r e g i s t r a t i o n ；i m a g ef u s i o n 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究曾做出重要 贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明 的法律责任由本人承担。 论文作者签名：耳 关于学位论文使用授权的声明 本人完全了解贵州大学有关保留、使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权贵州大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，- q - 以采用影印、缩印或其他复制手段保存论文和汇编本 学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：二趸竭l 导师签名：随日期： 第一章绪论 第一章绪论 真实世界是一个丰富而多彩的信息源，其中视觉信息义是众多信息中最重要的信息，人类所获 得信息的7 0 8 0 来自丁视觉。由此可见视觉信息对人类的重要性，而图像正是人类获取视觉信息 的主要途径。通常我们能够很容易的获取现实世界中的一系列局部的分离图像，然而把这些分离的 图像信息合成为“全景世界”对我们更为重要，冈此全景图生成技术应运而生。它的目的就是把一 系列局部真实世界的图像合成为一个单一的、更人的、更复杂的全景图像，使我们可以更加客观、 形象地认识和理解真实世界。 图像拼接技术是数字图像处理技术的一个重要的研究分支，它是将一组相互间存在重替部分的 图像序列进行空间匹配对准，经重采样融合后形成一幅包含箨图像序列信息的宽视角场景的、完整 的、高清晰的新图像。通过图像拼接技术，可以剔除冗余信息，压缩信息存储量，从而更加有效地 表示信息。早期的图像拼接研究一直用+ 丁照相绘图学，主要是对人量航拍或卫星图像的整合。近年 来随着图像拼接技术的研究和发展，它使基于图像的绘制技术成为结合两个互补领域一一计算机视 觉和计算机图形学的研究焦点。在计算机视觉领域中，图像拼接技术成为对可视化场景描述的土要 研究方法。在计算机图形学中，现实世界的图像过去一直用丁环境贴图，即合成静态的背景和增加 合成物体真实感的贴图。而图像拼接技术可以使一系列真实图像快速绘制成具有真实感的新视图。 目前，一个特别流行的图像拼接技术的应用是全景图生成技术，它是基丁i b r 的虚拟现实场景 创建和虚拟漫游的基础。全景图像提供一种在虚拟场景交互式浏览中良好的感觉，使刚1 ，点合成多 个场景可以让用户在场景之间切换漫游，利用计算机视觉的方法，能够从两个+ 肖点之间产生新的中 间视点图像，通过在全景图像中的漫游可以使用户能够主动地从不同的观察点和方向了解环境。全 景图生成技术是一个日益流行的研究领域，它已经成为照相绘图学、计算机视觉、图像处理和计算 机图形学研究中的热点，被广泛的应用- 丁数字视频压缩、运动分析、虚拟现实技术、遥感图像处理、 医学图像分析等领域。 1 1 虚拟现实的发展概况 随着社会和科学技术的发展，计算机己经深入人们的各个领域，人们越来越希望以更方便、更直 观的方式与计算机进行交互。虚拟现实( v i r t u a lr e a l i t y , v r ) 技术正是基丁这一思想而产生的一种交互 形式。虚拟现实是人们借助计算机技术、传感器技术、仿真技术等仿造或创造的一类人：j ：媒体空间。 它是虚拟的，但是又有真实感，可通过多媒体传感交互设备使人进入一种虚拟的环境，产生身临其 境的感觉。它为人类探索宏观世界和微观世界以及由于种种原因不便于直接观察的运动变换规律， 提供了极大的便利。 虚拟现实技术从出现经过十儿年的发展已经逐步走进了人们的日常生活，无论是在游戏、告 第一章绪论 ! 宣传还是在建筑设计、军事仿真等领域都显示山强人的魅力，随着计算机软硬件技术的发展，利川 虚拟现实技术进行复杂场景的虚拟漫游已经成为现实，耐心这一技术可以足不i 出户地浏览风景胜地， 可以漫游虚拟l 尊物馆欣赏文物，可以进行室内装滇预览，可以浏览虚拟校l 元| 欣赏校岗景致等。虚拟 现实技术作为人机交互的一种新的手段和鳃决现实世界问题的一砷新的方式，其戍用开发前景1 卜常 广阔，市场潜力不可估量，而且很多应用是其他技术所无法替代的。 虚拟现实的关键在丁虚拟场景建模一一虚拟世界的构造。虚拟现实要求具有沉浸感，使得对逼 真的虚拟环境的建立的要求越来越高。同绕虚拟场景建模问题的解决方式主要有两种：一种是基 计算机图形学的二维儿何模型建模和绘带j j ( g e o m e t r y b a s e dm o d e l i n ga n dr e n d e r i n g g b m r ) 技术，另 种是基丁酗像的绘铜j ( i m a g e b a s e dr e n d e r i n g i b r ) 技术。 g b m r 这种儿何的场景构造方法通常是建立场景的二维儿何模淝，然后对场景中的光照、物体 的材料、表面的纹理等特征进行描述，当视点在场景中移动的时候，通过光强的计算和消隐笛技术 米生成视点观察剑的图像。该方法需要进行人量的计算，对系统的硬件计算能力和图形加速性能都 有很高的要求，一般刖在基丁高性能幽形l ：作站的系统。 在虚拟现实技术的研究中，图像绘制的实时性利高质量往往是一对难以解决的矛盾。以往的虚 拟现实系统一般通过g b m r 技术米生成，即按基丁图形渲染技术生成虚拟环境，这需要人麓的环境 建模一：作以及昂贵的专门硬件的支持。而且，计算机图形的生成与显示时间依赖丁- 图形的复杂度， 这与虚拟现实的实时要求相矛盾。所以j 艮多情况卜_ 不能避免显示质量和景象复另车度受到约束。可以 看到这种方法存在二个严重问题： 第一，创建这样的虚拟环境很火程度上是一个人i ：建模的过程； 第二，由丁实时要求，所以景象复杂度承 质鼙受到限制： 第三，需要专门的图形处理硬件，限制了这种虚拟现实系统的推广。 当传统的基于儿何的绘制方法难以处理好这对目益尖锐的矛盾时，i b r 技术提出了较为完善的 解决方案并引起了人们极人的兴趣。这种建模方式是近儿年才发展起来的，该建模方式是在一定的 图像处理算法和视觉计算算法的基础上，由待建二维虚拟空间的有限幅图像样本来直接构造二维场 景。即是以环境中抽样出的离散图像组成基础数据，通过处理与组织这些图像数据得到环境的连续 描述的过程。i b r 技术摒弃传统的三维建模生成虚拟场景的方法，通过对一组预先采集到的场景图 像进行适当组合米完成虚拟场景的图像绘制一f ：作。它具有真实场景的绘制质量，而且算法复杂度与 场景复杂度无关，只与图像的分辨率有关，避免了人量的图形计算，逐渐成为研究的主流。 但是总的来说，目前的虚拟现实技术还很不成熟。尽管近年来在各界的关注下，该技术已经取 得了长足的发展，但是由于其发展时间有限，技术难度高，冈此当前的发展状况距离各行各业的实 际需求仍然相差甚远。虚拟现实技术要得到充分的应蹦还有很多：作需要完成。在虚拟现实硬件方 面，正在大力发展基于p c 的低价格的虚拟现实系统，而基于多个视频输入的系统也逐渐受到重视。 而在虚拟现实软件方面，正在出现管理不同输入的f ：具包，将来有可能发展成为操作系统。同时虚 2 第一章绪论 拟现实也在向网络化、智能化方向发展，最终将形成网络化的虚拟社会。 1 2i b r 技术的研究与分析 虚拟现实技术的核心内容是虚拟场景的建立，虚拟场景包括静态场景和动态场景，常见的静态 场景有山、水、房屋等静物，动态场景有运动的汽下、人等。虚拟场景的建模是整个虚拟现实系统 建立的基础，建模方法可以分为两人类，一是基丁计算机图形的方法，另一种是基丁图像的方法。 i b r ( i m a g e b a s er e n d e r i n g ) 技术是基丁图像绘制技术 l m c m i l l a n1 9 9 5 。国际上对丁基丁图像的 绘制技术( i b r ) 的研究是从2 0 世纪9 0 年代中期开始的。最初e r i ec h e n 和l a n c ew i l l i a m s 在1 9 9 3 年 的s i g g r a p h 会议上提出了使用视图插值进行图像合成的方法 e l ：i cc h e n1 9 9 3 。在1 9 9 5 年的 s i g g r a p h 会议上e r i cc h e n 提n 了一个基1 - n 维的虚拟现实系统q u i c k l i m ev r e r i cc h e n1 9 9 5 而l e o n a r d m c m i l l a n 和g a r y b i s h o p 则在【l m c m i l l a n1 9 9 5 中提出了另外一个基丁图像的绘制系统一 全视建模( p l e n o p t i cm o d e l i n g ) ，从此掀起了国际上对i b r 技术的研究热潮。 i b r 的主要特点是它的绘制是和场景复杂度无关的。卜面是以图像数据建模、传统图形几何学 它f i j 所io i 的比例以及数据的表达方式作为i b r 技术的分类标准，它将分为二个部分：几何表示、全 光线函数表示和图像表示。 ( 1 ) 表示方式的i b r 技术 采用几何表示方式的i b r 技术它所需的显示方法和传统图形学相似，以完全的几何信息为基础。 与传统图形学相比，其差别在于它主要以图像数据为依据建模，i b r 数据被组织成传统计算机图形 学当中的元素，如点、面、几何体等，并采用传统计算机图形学的纹理映射等技术的理论和实现方 法。几何表示方式因借助传统计算机图形学的理论，使用较方便，但也有着与传统图形学类似的困 难，如建模和显示真实度等等。 根据基丁几何表示方式所用儿何元素的不同，可把基丁几何表示方式的i b r 技术分为以一i - 类： 基丁儿何体表示、基于层或者面表示和基丁儿何点表示。根据场景的性质、视点和距离从远至近， 依次可采用卜面这儿种表示方式：背景图、分层的场景、层次深度图像，最近距离的场景。 基于儿何的虚拟场景是由各种几何形体构成的，场景的漫游是一个不断实时绘制儿何体的过程。 基于儿何的建模方法很早被提出来，是发展得很完善的一种建模方法。该方法具有绘制精度高、易 于交互、模型描述完善等优点。但是，几何建模方法主要具有以下三个问题：第一，建模过程非常 费时。几何建模是利川图形学的方法，首先建立场景的三维几何模型，然后处理几何体的表面材料、 光照、纹理等，这是一个非常烦琐的过程。第二，场景的复杂度和真实感难于兼顾。为了得到更多 的数学计算，从而影响了实时绘制。第三，获取现实物体的表面模璎也是十分困难的。 ( 2 ) 线函数表示方式的i b r 技术 基于全光线函数表示的i b r 技术，其基本思路是把摄取的图像看成是一个场景中光线集合的样 本，显示时，通过抽取这个集合中属下当前场景的光线米组成新场景。全光线函数 a w a t t2 0 0 1 根 3 第一章绪论 据维数( d i m e n s i o n ) s 1 i 所允许观察空间的自由度不同，可以分为从2 7 维不等的儿种全光线函数。从全 光线函数的观点山发，重要的不是图像代表什么儿何体，而是代表怎样的光线，基本上可不利川传 统图形儿何学米建模。拍摄是采集光线的过程，显示是根据新的视点，从己采集到的光线集合中去 抽取【5 】所对应光线的过程。 ( 3 ) 图像表示方式的i b r 技术 图像表示方式部分依赖传统图形几何学来建模。主要图像表示方式有图像插值( i m a g e i n t e r p o l a t i o n ) c h e ns e1 9 9 9 、图像变形( i m a g em o r p h i n g ) b e l e rt2 0 0 2 1 。它把原始数据图像看 成是像素之间相互有对应关系的图像，以一系列已知像素间对应关系的图像为基础的。 图像插值是通过二维幽像变换( 2 d w a r p i n g ) d g a f i a g a2 0 0 1 得剑在两幅幽像中间位置视点上的 新视图。插值技术的一个关键问题是如何确定相邻两幅图像间的像素点的对应关系。对丁相互之间 建立了对应关系的两幅图像，随着视点的移动，像素点在对应点之间存在移动关系。为了加速新图 像的生成速度，像素点移动时，相邻像素常常是一起移动的，冈此可将相邻像素点组织成像素块， 进行成块移动，这样可提高绘制的速度。 图像变形广泛地用于生成两幅图像之间的过渡图像。一般分西个步骤：首先是通过手：l ：指定或 者其它方法，建立开始图像和结束图像之间的一些点，或者线条之间的对应关系( 稀疏对应) ，然后通 过计算生成图像上每一个点的映射( 稠密对应) 进行插值。这种映射分别从开始图像和结束图像出发， 向对方进行映射和插值演变。中间图像由这两个方向的图像混合而成。 在图像表示方式里，像素间对应关系的获得及对虑关系的正确与否，都会对应用范围和显示质 量产生影响。另一缺陷是由于只对原有图像进行插值和变形，当中间插值图像和原始数据图像著距 比较大时，容易因像素在新视图上所占面积的扩人和缩小出现空洞和重叠( o v e r l a y ) 现象。但它具有 模型简单，存储方式和显示方法都比较容易等优点，不仅适合于一些简单的i b r 应用，而且在很多 场合中被作为一种重要的辅助i b r 技术使用。 综上所述，现代图像技术的发展己经使得我们具有可以直接利刚特别拍摄的视频或图像构造山 具有三维效果的复杂场景的能力，它用全景图的集合来构成虚拟场景，在虚拟场景中漫游相当于选 择不同的全景图。全景图可以用计算机生成，也可以用全景照相机拍摄，或川普通照相机拍摄后进 行拼接。基于图像的绘制技术的核心问题在于如何对获取的图像进行处理，以得到任意视点、任意 角度的图像信息，从而产生一个基于照片的虚拟环境。和传统的儿何绘制方法相比，具有以下优点： ( 1 ) 计算量适中。i b r 方法计算量相对较小，不需要特殊的图形设备，能用于：j ：作站和个人计算 机。 ( 2 ) i b r 和场景的复杂度无关，只和图像分辨率有关，不需要进行贴图处理，可用于复杂的虚拟 场景。 ( 3 ) 满意的绘制质量。虚拟场景可以直接从真实环境获取，冈此可以获得更加丰富的图像信息， 同时又不会增加计算量。 4 第一章绪论 i b r 技术已经逐渐走向实用，但是还面临着很多的问题f 杨键2 0 0 1 ，主要有： ( 1 ) 表示模式：如何找剑一种简单有效且适合计算机表示的模式，能精确完整地对场景进行编码。 ( 2 ) 捕获方法：心手持相机还是数控摄像机、图像采样的数餐是多少、采样模式及样本均匀性等 都会影响问题求解的难度和精度。 ( 3 ) 走样和空洞：如何解决冈采样引起的走样和空洞的问题。 ( 4 ) 信息压缩：基丁图像的方法不可避免地面临着人钴图像的压缩问题，怎样利川数据间的迮贳 性，找到合理的压缩机制。 ( 5 ) 完全漫游：如何实现基丁表示模式的完全实时漫游。包括模拟相机旋转、对象旋转、相机移 动及缩放等相机运动方式。 ， 目前，利川图像的方法解决虚拟场景的绘制问题有很多优点，所以基丁图像的虚拟现实系统成 为了一个新热点，世界上很多国家的学者在研究和探索这一新方法，并且取得了一批很有意义的研 究结果。 1 3 全景图拼接技术 全景图拼接技术是指以观测者为中心，绕同定点旋转一周所观测剑的3 6 0 度的视野场景的表示 技术，它是一种全新的图像信息组织模式，可以表达完整的周嗣的环境信息。 在日常生活中，使刚普通相机米获取宽视野的场景图像时，人们必须通过调：1 了相机焦距才可以 摄取完整的场景，但这样所获取的全景照片的分辨率相对较低，这是因为相机的分辨率是一定的， 拍摄的场景越犬，得到的图像的分辨率就越低。冈此人们只能通过缩放相机镜头减小拍摄的视野以 换取高分辨的场景照片。另外，由丁距离的限制，某些超人尺寸的物体无法用一张照片拍摄卜- 米， 这在航天照片的拍摄中显得尤为突出。利用j 角镜头和扫描式相机可部分解决视角不足这一问题， 但这些设备价格昂贵，使用复杂，而且广角镜萝；的边缘难免会产生扭曲变形。为了在不降低图像分 辨率的条件下获取人视野范同的场景照片，人们提出了全景图拼接技术，将多幅普通图像或视频图 像进行无缝拼接，得到超宽视角甚至3 6 0 度的全景图，这样就可以刚普通相机实现场面宏人的景物 拍摄。 全景图拼接技术主要包括图像匹配和图像融合两个关键环节。图像匹配是图像拼接的核心部分， 其目标是找出对齐的两幅或多幅重叠图像之间的运动情况，图像匹配直接关系到图像拼接算法的成 功率和运行速度。图像融合技术是h j 米消除由丁儿何校正、动态的场景或光照变化引起的相邻图像 问的强度或颜色不连续问题，将两幅经过匹配确定出重叠区域的图像合并为一幅无缝图像。 关于全景图拼接的方法国内外己发表了不少的论文，其算法大致可分为基于模型的方法、基丁 变换域的方法、基于灰度相关的方法和基丁特征的方法，而如何提高图像拼接的效率，减少处理时 间和增强拼接系统的适应性一直是研究的重点。 1 9 9 6 年，微软研究院的r i c h a r ds z e l i s k i 提出了一种2 d 空间八参数投影变换模巧 - j r i c h a r ds z e l i s k i 5 第一章绪论 1 9 9 6 】，采用l e v e n b e r g m a r q u a r d t 迭代1 卜线性最小化方法( 简称l m 算法) 求出图像间的儿何变换参数 来进行图像匹配。这种方法在处理具有平移、旋转、仿射等多种变换的待拼接图像方面效果女r ，收 敛速度快，冈此成为图像拼接领域的经典算法。2 0 0 0 年，s h m u e lp e l e g 等人在r i c h a r ds z e l i s k i 的基 础上作了进一步的改进，提出了白适应图像拼接模型 s h m u e lp e l e g2 0 0 0 1 ，根据相机的不同运动白适 应地选择拼接模型，通过把图像分成狭条进行多重投影米完成图像的拼接。这一研究成果推动了图 像拼接技术的进一步的发展，从此自适应问题成为图像拼接领域新的研究热点。匹兹堡人学的s e v k e t g u m u s t e k i n 对消除在i 制定点旋转摄像机拍摄自然景物时形成的透视变形利全景图像的拼接进行了研 究i s g u m u s t e k i n1 9 9 6 1 【s g u m u s t e k i n1 9 9 8 】。通过标定摄像机来建立成像模型，根据成像模型将捕获 到的图像投影到统一的高斯球面上，从而得到拼接图像。这种方法拼接效果好、可靠性高，但是要 求对摄像机进行精确的标定，同时要求摄像机透镜本身的畸变参数引起的图像变形可以忽略不计。 1 9 7 5 年，k u g l i n 和h i n e s 提出了相位相关法【c k u g l i n1 9 7 5 ，利用傅立叶变换将两幅待匹配的 图像变换到频域，然后利刚互功率谱直接计算出两幅图像间的平移久餐。1 9 8 7 年，d ec a s t r o 和 m o r a n d i 提出了扩展相位相关法 e d ec a s t r o1 9 8 7 】，利川傅立叶变换的性质能够实现具有旋转利平移 变换的图像的匹配。随着快速傅立叶变换算法的提山以及信号处理领域对傅立叶变换的成熟应州， r e d d y 和c h a t e i j i 提出了基丁快速傅立叶变换( f f t - b a s e d ) 的方法【b s r i n i v a s ar e d d y1 9 9 6 】，利州极坐 标变换和互功率谱，对具有平移、旋转和缩放变换的图像都能够实现精确匹配。相位相关法计算简 单精确，但要求待匹配图像之间有较人重叠比例，同时计算量和适用范嗣与图像的人小有很人关系。 除了傅立叶变换外，人们还选择更可靠、更符合人眼视觉生理特征的g a b o r 变换s l i d , 波变换进行图 像匹配。 基于灰度相关的方法是以两幅图像重叠部分所对应在r g b 或c m y 颜色系统中灰度级的相似性 为准则寻找图像的匹配位置。常用的算法有比值匹配法、块匹配法和网格匹配法。比值匹配法 【r h a r t l e y1 9 9 4 是从一幅图像的重叠区域中部分相邻的两列上取出部分像素，然后以它们的比值作 为模板，在另一幅图像中搜索最佳匹配，这种算法计算量较小，但精度熊；块匹配法【汪成为1 9 9 6 】 是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算 法精度较高，但计算量过大。网格匹配法【李志刚2 0 0 0 首先进行粗匹配，每次水平或垂直移动一个 步长，记录最佳匹配位置，然后再进行精确匹配，每次步长减半，循环此过程直至步长减为0 ，这 种算法较前两种运算量有所减小，但如果粗匹配步跃过人会造成较人的误差。 基于特征的方法首先从待匹配图像中提取特征集，利用特征的对应关系进行匹配。基丁特征的 方法利用了图像的显著特征，具有计算量小，速度快的特点，对与图像的畸变、噪声、遮挡等具有 一定的鲁棒性，但是它的匹配性能在很人程度上取决于特征提取的质量。文献 h u i ，m a n j u n a t h1 9 9 5 】 提出了一种轮廓的图像匹配方法，采川l o g 算子提取出两幅图像的特征轮廓，川链码米表示轮廓， 根据相同轮廓的链码差分值不变的特性找出对应轮廓，从而确定图像间的变换关系。这种方法在特 征轮廓的提取上容易受到噪声的干扰，其计算量随着轮廓数量的增多而增长。文献 e t i e n n ev i n c e n t 6 第一章绪论 2 0 0 2 使) 4 jh a r r i s 检测器提取兴趣点，通过计算归一化相关系数，沿极线寻找一幅图像中兴趣点的对 应点，然后使川第二幅图像米得到更准确的对应：j a n e j a n e y o u2 0 0 0 提出了基丁小波变换的分层图 像匹配算法，在分解后的每一层图像中提取兴趣点进行匹配，用并行策略提高了计算速度。 图像匹配算法经过儿十年的发展己经取得了很人的进展，但由丁拍摄环境复杂多变，现在还没 有一种算法能够解决所有图像的匹配问题。现有的儿种方法各有其优缺点，如果能综合利川这些方 法的优点将会取得更好的匹配结果。 1 4 本文的主要研究内容 本课题针对i b r 方法中全景图的生成技术这一关键性问题，闱绕着全景图拼接开展了较为深入 的研究，其土要研究内容如。卜： ( 1 ) 全景图像生成理论及其关键技术研究 查阅并学习了国内外人量的相关文献，首先对虚拟现实、i b r 技术以及全景图的研究发展现状 进行归纳和总结，分析了各种常用建模技术方法的优点和不足。然后研究了全景图的生成过程中的 基本理论，对图像的获取方式以及图像的投影模型进行分析比较，实现了用于生成柱面全景幽的桴 面投影算法和刚丁生成球面全景图的球面投影算法。最后深入研究了全景图生成技术中的两个关键 技术图像配准技术和图像融合技术，对全景图生成技术现有的方法和原理做了归纳和分析。 ( 2 ) 基丁熵著的柱面全景图生成算法 为了提高全景图生成的效率和准确度，在深入研究了图像局部熵和序贯相似检测算法( s s d a ) 后，提出了基于熵著的柱面全景图生成算法。该算法首先根据初始图像构造图像金字塔，然后结合 图像最小局部熵差和自适应阈值的s s d a 实现全景图的拼接。该算法的有三个优点：对输入的图 像构造图像金字塔，这样可以减少后续图像数据处理的运算量，加快全景图生成的收敛速度。利 用图像局部熵性质可以避免了对图像获取条件和图象质量的严格控制，提高对有噪卢和几何火真图 像的处理能力。在搜索匹配点的s s d a 中采h j 白适应的阈值，与传统同定阂值的s s d a 算法相比， 在选定阈值的初始值后，在后续的拼接计算过程中不断白适应更新，计算中超过当前阑值就停1 ：， 在保证准确拼接的前提下，大大提高了全景图拼接的速度。 ( 3 ) 图像中关键兴趣点的提取 研究分析了图像中的兴趣点选择和兴趣点提取问题，对常用的儿种提取兴趣点的算法进行了分 析比较。利h j 定位精度比较高，对视点的变化，照明的不同，旋转和尺度变化有较好鲁棒性的h a r r i s 算子提取图像中兴趣点。但是在实践中，通过h a r r i s 算子提取的兴趣点中有相当多的冗余点。在不 影响后续图像匹配精度的基础上，论文提出一种提取关键兴趣点的方法。该方法是将所得剑的候选 兴趣点按评价函数值的大小从人到小进行排序，对于每一个当前点删除所有排在其后面的且位于其 某一邻域内的候选点。这样就得到了图像中的关键兴趣点，同时也保证了检测剑的兴趣点在图像中 均匀分布。 7 第一章绪论 ( 4 ) 基丁关键兴趣点的图像拼接技术研究 针对存在变形较人的上卜i 相邻图像的拼接问题，本文研究了基丁关键兴趣点的图像拼接算法， 此算法能稳健的解决图像间存在旋转变形较人，同时有亮度差异、平移的问题。该算法首先提取出 关键兴趣点，利川相关窗口匹配法 z h a n g1 9 9 5 得到一个初始匹配对集合，再采刖r a n s a c 提纯算 子有效的剔除误匹配点对，然后线性的计算出变换矩阵m 。实验证明，对丁存在平移和旋转变形的 有重叠区域的相邻图像都能够实现平滑拼接。 ( 5 ) 全景图像序列自动识别技术、 在生成全景图的过程中，一口涉及到匹配问题时，以前的方法都使川人i ：干预的方式对图像序 列输入顺序进行限制，这往往给操作者带来一定的麻烦。为了实现全景图拼接中图像序列的自动排 序，本文在研究全景图序列自动识别技术的基础上，采川一种基丁相位相关法的图像序列排序算法， 根据相关函数值米判断两幅图像是否重叠以及两幅重叠图像的位置关系。该算法避免了图像序列排 序中的人上干预。实验结果表明，该算法能有效地实现顺序混乱的图像序列的自动排序，并能很好 地应川丁全景图拼接。 1 5 本文的组织结构 本文按照全景图生成技术处理的过程，分五章图文并茂地阐述了本研究课题的研究i ：作情况。 第一章绪论部分，对虚拟现实、i b r 技术雨1 全景图生成技术及国内外研究现状做了详细的介坌i f _ ， 并且简要地说明了在研究过程中所做的主要：i ：作及本文的组织结构； 第二章介绍了全景图生成的原理、图像的预处理、全景模型以及不同全景模型图像获取的方式。 重点研究了全景图生成过程的图像配准和图像融合这两个关键技术，分析比较了各种方法的优缺点。 第三章详细介绍了基于熵差的柱面全景图生成过程，对整个流程进行了比较详细的阐述； 第四章深入研究基于关键兴趣点的图像拼接算法，重点介绍了h a r r i s 算子和r a n s a c 提纯算子； 第五章研究分析了目前全景图像序列自动识别技术，重点阐述了基丁傅里叶变换位移性质的相 位相关法判断两幅图像是否重叠以及两幅重叠图像的位置关系的完全自动的图像序列排序算法； 第入章总结了本论文的研究内容和成果，对虚拟实现技术在朱米的发展提出了一些展望； 8 第二章伞景图生成理论j 其关键技术研究 第二章全景图生成理论与其关键技术研究 由丁不同的应h j 需要不同的全景图，不同的全景图生成就需要不同的图像拼接技术，每一种图 像拼接技术本身义会有不同的方法，从而产生很多图像拼接方法。早往9 2 年b r o w n 就对图像配准 技术进行了综述 b r o w n1 9 9 2 】。近十几年来全景图生成技术有很人的发展，这两年国外的研究人员 s z e h s k i s z e l i s k ir2 0 0 5 $ 1 1 国内的解凯f 解凯2 0 0 4 对图像拼接技术做了综述。 总体上，全景图生成过科是：( 1 ) 获取图像序列：( 2 ) 图像预处理；( 3 ) 选择全景图模砸，以一 定方式投影到统一的空间面中，空间面有正方体、圆杵体和球体表面等，这样多幅照片就具有了统 一的参数空间坐标；( 4 ) 在统一的空间对相邻图像进行比较，以确定可匹配的i 又：域位置；( 5 ) 将图像重 叠区域进行融合处理，生成全景图。 本章首先简要介纠了全景图生成技术的原理以及相关基础理论，然后重点研究了图像的预处理， 全景图的投影模型，图像配准技术和图像融合技术。卜面就对这些技术分类进行阐述。 2 1 全景图像 普通图像反映的往往是局部场景( 朋户在某一视角看到的场景) ，这种图像被称为局部图像。能反 映全局场景的图像被称为全景图像( p a n o r a m i ci m a g e ) 。 2 1 1 全光函数 构造虚拟环境的各种i b r 技术实际上都是基于全光函数理论的。而全景图像实际上描述的是一 个二维全光函数。 全光函数描述的是一个观察者在一个特定空间中所接收到的所有辐射能颦。原始的全光函数是 一个7 维函数： = h e n o p t i c ( o ，a ，0 ，屹，f ) ( 2 一1 ) 它被定义为对丁任意视点( ，圪，屹) ，以任意视角即方位角与仰角( 0 ，矽) 、任意波长兄、任意 时间t 通过该视点的光线的强度。可见，只要在场景的任意视点采集剑所有入射的光线，记录下全 光函数，就能通过某种方法构造出此场景。 全光函数的维数可以降低，这是由提供的视点空间米决定的。二维的全景图像就是最简单的全 光函数： = p l e n o p t i c ( o ，矽) ( 2 2 ) 它的视点是同定的。全光函数是一个连续的函数，可以在固定的视点以一定的规则拍摄图像序 9 第二章伞景图生成理论j l c 关键技术研究 列，对未知环境进行采样，然后川一定的方式对获得的图像采样序列进行拼合，即根据奈垒斯特定 律重建连续的全光函数一一全景图像。当视点的参数改变时，再对全光函数根据视点的参数进行采 样，就可以得到视点观察到的图像了。 2 1 2 全景图拼接原理 全景图是视点位置i 刊定，而视线环视一周所观察剑的所有图像经过处理后所构成的图。全景图 可以川计算机生成，也可用全景相机拍摄，或川普通相机拍摄后进行拼接。 ( 1 ) 计算机绘制：采小计算机图形学的技术给场景建模，然后再绘制成全景图，采川这种方法的 图像拼接技术不需要实时控制，冈此可绘制比较复杂的场景和采川真实感较强的光照模型。基丁- 计 算机绘制技术的方法可以得到任意形状的全景图，且不需要任何附加步骤，但是建模相当费时和繁 琐。 ( 2 ) 用全景相机直接拍摄：这种方法容易得到全景图，而且不需要复杂的建模1 ：作，但是需要昂 贵的专门设备。 ( 3 ) 川普通相机拍摄山一系列相互重叠的照片，然后将它们拼接成全景图。这种方法可做成任何 模型的全景图，而不需要专门设备，可对每幅相片进行曝光控制，因此得到的全景幽光强分布比较 平衡。该方法的关键是需要川模式识别和颜色拟合的方法进行无缝拼接。 采用普通相机拍摄照片然后拼接成全景图的方法无须场景建模一【：作，能实时地显示构建的环境， 处理时间独立于场景的复杂性，不川专用的硬件加速就可获得真实感很强的图像和实时的交互速度。 因此人们常用这种方法构建全景图。全景图像的生成是一个复杂的过程，包括全景模型选择，图像 采集，图像拼接，图像融合以及全景图展示浏览五个步骤，如图2 1 所示。 1 0 第一二章伞景幽生成理论0 j e 关键技术研究 2 2 全景图像的采集 图2 一i 伞景图生成过程 2 2 1 柱面全景图的图像获取 柱面全景图制作的图像采集一般有两种方式：第一种方式是使用特殊摄像设备( 如全景照相机) ， 带鱼眼镜头的相机等，第二种方式是使用普通照相机，数码相机等。第一种方式实现简单，只需1 3 张照片，容易处理，效果好，但是这种方法往往意味着购买昂贵的摄影器材，冈此影响了其通刚性； 第二种方式实现较为复杂，但成本低，并且可以按照要求合成需要的场景图像。 在第二种方式中传统的图像拼接算法通常要求相邻图像不能有旋转形变，所以拍摄时相