（电路与系统专业论文）图像配准与拼接方法研究[电路与系统专业优秀论文].pdf

摘要 摘要 随着数字成像技术的迅速发展，数字成像设备( 数码相机、数码摄像机等) 得到了越来越广泛的应用。然而，在一些特殊环境下，由于设备本身的限制使得 数字图像和视频的视场宽度不能满足应用要求。本文研究了利用图像拼接技术突 破成像设备本身的物理限制，得到大视场的数字全景图像的理论和方法。 图像拼接过程包括图像获取、图像配准、图像再投影、平滑处理等几个基本 步骤，其中图像配准是整个图像拼接的基础。本文研究了图像的几何学配准和光 度学配准方法的基本原理，对基于变换优化方法和基于傅立叶变换的相位相关方 法的图像配准进行了深入的分析。提出了一种多尺度多模型自动图像配准算法， 该算法首先对原始图像进行梯度塔形分解，并对梯度图像进行自适应阈值分割， 然后将同一分解层中不同梯度方向的分割图像进行融合，确定出各分解层的特征 点，特征点的数量根据梯度分布的方差按比例选择，以减少计算量。图像配准使 用二维平移、网4 体以及仿射变换作为图像间的变换模型，从最低分辨率层开始， 每层的配准结果作为下一层配准的初始值，并且在不同层使用不同的参数数量。 在原始图像层，使用l e v e n b e r g m a r q u a r d t 优化算法以及双线性插值进行基于像素 灰度值的配准，以得到精确的配准参数。实验结果表明，本文提出的算法快速准 确，而且无需任何人工干预。 图像再投影模型能够以不同形式对全景图像进行表达，本文对凹种再投影模 型：平面流形、柱面流型、球面流形，和一种自适应流形进行了研究，重点研究 了自适应投影流形算法原理，并且实现了基于该模型的图像拼接软件。 一个良好的平滑函数能够消除拼接图像中明显的缝隙。本文对几种常用的平 滑函数进行对比研究，根据比较选取最近图像中心函数作为平滑函数，取得了满 意的图像拼接效果。 关键词：图像拼接图像配准特征检测特征匹配再投影流形 a b s t r a c t - - - _ _ _ _ _ - - - _ _ - _ - _ h - - 一 a b s t l a c t w i t ht h er a p i dd e v e l o p m e n to fd j g j t a 】 i m a g i n gt e c h n 0 1 0 9 y ， d i g i t a 】j m a g i n g e q u i p m e n t sh a v eb e e nw i d e l yu s e d h o w e v e r ，i ns o m es i t u a t i o n s ，t h ed i g i t a li m a g ea n d v i d e oc a nn o tm e tt h ed e m a n d sb e c a u s eo ft h el i m i t e df i e l do fv i e w t h i sp a p e rs t u d i e s t h ed i g i t a l i m a g em o s a i c i n gt e c h n o l o g yt og e n e r a t el a r g ef i e l d o f _ v i e wp a j l o r a m ai m a g e f r o mi m a g es e q u e n c eo rv i d e o i ng e n e r a l ，i m a g em o s a i c i n gp r o c e s sc o n s i s t so ft h e f o l l o w i n gs t e p s ：i m a g e a c q u i s i t i o n ，i m a g er e g i s t r a t i o n ，i m a g er e p r o j e c t i o n ，a n db l e n d i n gp r o c e s s i l l g i m a g e r e g i s t r “o ni st h ef o u n d “o n o fi m a g em o s a i c i n g i n 畦1 i s p a p e r t h ep r i n c i p l eo f g e o m e t r i ci m a g er e g i s t r a t i o n a n d p h o t o m e t r i cf e g i s t r a t i o n a r er e v i e w e d t h e t r a l l s f o h n a t i o no p t i m i z a t i o ni m a g er e g i s t r a t i o nm e t h o da i l df f t _ b a s e dp h r a s e c o r r e l a t i o ni m a g er e g i s t r a t i o nm e t h o da r es t u d i e dr e s p e c t i v e l y an e wa u t o m a t i c m u l t i s c a l em u l t i - r e s o l u t i o ni m a g er e g i s t r a t i o na l g o d m mi sp r o p o s e dt h ei n p u ti m a g e s a r ed e c o m p o s e di n t og r a d i e n tp y r a m i d s t h es u b - i m a g e si ne a c hp y r a m i dl a y e ra r e t h r e s h o l d e da d 印t i v e l ya n dt h e n 如s e dt of i n do u tf e a t u r ep o i n t s t h eq u a i l t i t yo ff e a t u r e p o i n t sa r es e i e c t e dp m p o r t i o n “i ya c c o r d i n gt ot l ev a r i a t i o no fg r a d i e md i s 仃i b u t i o nf o r d e c r e a s i n gc o m p u t i n gc o s t t h ei m a g e si nc o a r s el a y e r sa r er e 百s t e r e db a s e do nf e a t u r e p o i m s t h er e g i s t m t i o ns t a n sf 而mm ec o a r s e s t1 a y e ra 1 1 dt h er e s m ti su p - s a m p l e da st h e i n j t i a le s t i m a t i o nf o rt h e n e r1 a y e ld i 氐r e n tt r a n s f o m a t i o nm o d e l sa r eu s e df o re a c h l a y e r ，f b ms i m p l et oc o m p l e xa st h ei m a g er e s o l u t i o ni n c r e a s e s a tt h eo r i g i n a l i m a g e s i z el a y e r ，t h er e g i s t r a t i o nr e s u l ti s 姚e rt u n c db yl e v e n b e r g m a r q u a r d tn o n l i n e a r o p t i m i z a t i o n a n db i l i n e a r i n t e r p 0 1 a t i o nm e t h o d o ni m a g ep i x e l g r a y l e v e l t h e e x p e r i m e mr e s u l t si n d i c a t et h a t 也ep r o p o s e da l g o r i t l l mi se f e c t i v e t h er e 巾r o j e c t i o nm o d e lc a 工le x p r e s st h ep a n o r a m ai m a g ei nd i 承尊e n tw a y s f o u r d j b r e n t 埘n d so fr e p m j e c t i o nm o d e la r es t u d i e d n l c s em o d e i sa r ep ja f l a rm a n i f o l d ， c y l i n d r i c a lm a n i f 0 1 d ，s p h e r i c a lm a n i f o l d ，a n da d a p t i v em a n i f o l dm o d e l _ b a s e do nt h e c o m p a r i s o nr e s u h s ，m ea d a p t i v em a i l i f o l di su s e di n t h i sp a p e ra st h er e p r o j e c t i o n m o d e lt oc e r a t ep a n o r a m a 怕mi m a g es e q u e n c ea n dv i d e o a g o o db l e n d i n g 劬c t i o nc a ne r a s et h ea n i f 如t si t lm o s a i c s i nm i sp a p e r s e v e r a l k i n d so fb l e n d i n g c t i o na r ec o m p a r a t i v e l ya n a l y z e d t h ee x p e r i m e n tr e s u ns h o w s 也a tm en e a r e s ti m a g ec e m e r b l e n d i n g 如n c t i o nc a np r o d u c er e l a t i v e l yg o o db l e n d i n g k e y w o r d s ：i m a g em o s a i c i n g f e a t u r em a t c h i n g i m a g en g i s t r a t i o n f e a t l l r ed e t e c t i o n r e p r o j e c t i o nm a n i f o l d 独创性( 或创新性) 声明 y8 5 8 8 3 7 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电了科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的蜕明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担切相关责任。 本人签名： 庭坠叁 同甥：二 。t j ； 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电手科技大学。本人保证毕 、i k 离校后，发表论文或使用论文t 作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名： 导师签名： 色堕奎 擎垒 日期：丝型：! ：兰 日期：垫! 墨：i ：三三 第章绪论 第一章绪论 1 1 引言 众所周知，人们通过使用五种感官来感知和体验自然世界，它们分别是触觉、 味觉、听觉、嗅觉以及视觉。人们在艺术和科学等领域做出了一系列的努力，力 图提高人类的感知能力。其中，增强视觉的感官体验已经逐渐成为最为吸引人并 且最为流行的挑战之。从眼镜镜片到望远镜，从绘画到i m a x 剧院，从眼药水 到激光手术，为了突破人类单靠双眼来感知和体验自然界的局限，大量的创新相 继出现。其中动物视觉系统为过去出现的许多创新提供了灵感。现在，先让我们 简单地讨论一下鱼类和昆虫的视觉系统。许多鱼类具有所谓的周视视觉：它们的 眼睛分别处于头部的两侧并且向外突出，光线以这种方式折射使得每个眼睛具有 大约1 8 0 度的视野峨昆虫的眼睛通通常常由类似于传感器的感光细胞以一定的图 案构成，每个眼睛覆盖一个指定的方向，同样使得眼睛具有一个广角视野【2 j 。这些 适应性的改变可以让这些动物在黯淡的光线条件下同样能够看见，并且能够觉察 到来自任何方向上的威胁，从而提高了它们对周围世界的感知能力。 很长时间以来人们都认为使用广角视觉来表现一个场景能够提高观测者的可 视化程度。广角可视化概念多以“全景图”或者更为专业的说法“全方位图像” 的形式被广泛应用。全景图试图从单一的观测点用尽可能宽广的视野来描述一个 场景，它提供了一个在所有可能的观测角度上场景的独特描述方式。所以它让观 测者感觉就好像站在场景中的某一个真实的位置上观察一样。有文献记载的最早 的全景图像的建立要追溯到1 7 8 7 年，当时一个名叫r o b e r t b a r k c r 的画家以其作品 “av i e wo f n a t u r e ”【3 】取得了专利，这是一幅被绘制在一个圆形大厅内壁上的全景 图，游客可以站在大厅的中央来欣赏这幅作品。所以说，全景图作为一种艺术形 式，在十八世纪的欧洲和美洲已经成为一种大众娱乐方式。全景( p a n o m m 曲的概念 本身并不算新颖，大约在1 0 6 6 年，一幅名为贝叶挂毯( b a y e l l ) 【1 a p e 螂) 州的刺绣品 描绘了当时诺曼人征服英格兰的情景，这可以认为是更早的全景概念的形成时期。 然而，b a r k e r 试图通过欺骗双眼从而让人相信它不仅仅是一幅绘画而更像是真实 的景物，进而对全景的概念进行了扩展。r d b e n b a r k e r 的全景图和贝叶挂毯在图 1 1 中给出。 图像配准与拼接方法研究 翻1 1 全景概念在艺术领域的应用 ( a ) 贝口| 拌毯的部分拷贝吼在这一早期的全景概念的应用中，诺曼人入侵英格兰的故事按照 年代顺序排列的方式进行描述。( b ) r o b e r tb a r k e r 的全景圈的横截面川。该全景图绘在一个圆 形犬厅的内壁上。观察者站在圆形大厅中央的一个平台上来观看该全景图。 当摄影这一新的技术出现之后，人们又把兴趣转向了通过使用照片来建立全景 图。世界上第一个名为“s e w i n gl e n sc a m e m ”的全景照相机于1 8 4 3 年由p p u c h b e 曜e r 发明，第一个旋转相机于1 8 5 7 年由m g a r e l l a 发明，该相机可以在枢 轴上转动从而捕获广角图像。在1 8 5 8 年，t s 州o n 发明了一种使用内部注水的球 形透镜相机。在1 9 7 0 年，d wr e e s 以一个全方位图像捕获系统取得专利，该系 统将一个普通的透视相机和一个双曲面镜子结合在一起。这可能是第一个利用反 ( 折) 射光结构的相机来捕获广角图像。这样的相机通过进一步研究应用于远程 电视会议的视觉传感器、监视器以及机器人导航等领域。 从前，人们采用的机械的、面向硬件的方法来表示一幅场景，而现在，越来 越多的更加智能化的方法相继出现。随着高速、强大并且易用的计算机的出现， 现在我们可以使用面向软件的方法使景物可视化变得更加容易。寻找新的由数字 图像表示景物的方法在近2 0 年已经成为研究的焦点所在。比如在景物插值( v i e w i n t e r p o l a t i o n ) 、图像变形( i m a g em o r p h i n g ) 以及立体重建( s t e r e or e c o n s t m c t i o n ) 等研 究主题中，我们的目标是利用输入图像来合成一个场景的崭新视觉影像甚至得到 该景物的三维信息。可以这样浇，这些技术是利用较少的图像来生成大量的图像。 第一章绪论 而另外还有一个研究领域f 好与此相反：数字图像拼接的目的j i i j 是利用大量的图 像来合成幅大尺寸、高分辨率的图像。 使用现代计算方法，我们已经可以由输入图像集合智能地建立景物或场景的广 角表现形式。以前，为了建立无缝广角图像我们只能使用面向硬件的方法( 反折 射系统、鱼眼透镜等) 。而如今，使用普通相机拍摄的图像可以很容易合成一张全 景图像，我们称之为数字拼接图像。相对于使用面向硬件的方法，使用面向软件 的方法建立数字拼接图有什么优势呢? 反折射相机和鱼眼透镜通常是在有限的 成像面上捕获尽可能多的信息，这样就会导致图像的严重失真。在这种失真的图 像中，图像的解析度即分辨率是不规则的。所以虽然这些图像能够提供较好的景 物或场景的全局影像，然而由于缺少细节信息使得许多景物可视化应用不适合使 用该技术。 另一方面，数字图像拼接技术允许我们由多幅图像快速地建立一幅高分辨率的 拼接图像，该图像不仅具有较好的景物的全局影像，而且还保留了原始图像中的 细节信息。拼接图中的缝隙是由于原始输入图像中光照条件的变化或是相机自动 曝光机制造成的，这一现象可以通过一系列图像处理手段得到弥补。最后，面向 软件的方法让我们可以利用视频数据快速地建立全景拼接图，而完全使用面向硬 件甚至是手工操作的方法来完成这任务则会相当复杂并且耗时。 最有名的数字图像拼接方法就是全景图拼接( p a n o r a m i cm o s a i c ) 。这种方法将 在一个固定观测点拍摄的图像序列拼接在一起形成一个广角甚至3 6 0 度视野的图 像。这种方法通常被于互联网上的虚拟漫游，登入网站的游客可以浏览真实世界 中景物的全景影像。然而全景图的建立对于输入图像有一个很重要的限制：由于 全景图只有在单一的观测点看上去时才有意义，所以所有的输入图像必须是在同 一个静止位置拍摄得到。图1 1 帮助我们区分这两种不同的情况，即静止相机拍 摄情况和运动相机拍摄情况。r o b e r tb a r k e r 的全景图描述了在单观测点观察景 物时的3 6 0 度全方位景象，它是静止相机拍摄的典型代表。而另方面，贝叶挂 毯随着故事的变化场景也随之改变，它表达了类似于移动相机拍摄图像从而生成 广角拼接图的概念。 1 2 图像拼接技术的发展 近二十年来，有关数字图像处理领域的研究有了长足的进步。图1 2 给出了一 种描述数字图像拼接过程较为方便实用的模型。根据这一模型，通常情况下，图 像拼接遵循一种基本结构，它包含以下步骤：图像获取、图像预处理、图像配准、 图像再投影阱及图像融合( 平滑) 。 图像配准与拼接方法研究 l | 、”6 q ” ：l 1 h 、一l 一：2 二一一j 一一一一j i 二竺兰兰j r i ，j = i j 乏一 l， 一一 j 【墨至至l = ! 当 i 一f 1 #l “! ，l ，j j t ，、雕、h d 1 图1 2 图像拼接的通用步骤。摘自文献【6 。 图像获取，简单地说是以一定方式方法获取景物或场景图像的过程，采用的 方式方法应当尽可能地对最终拼接图的生成起到帮助作用。在这一步里，我们需 要考虑的问题通常有拍摄照片所使用的相机的类型、相机的可视角度和焦距以及 拍摄照片时相机所处的位置和运动方式等等。使用传统相机拍摄得到的普通照片 通常会有一些特性对图像拼接过程造成一定影响，比如图像模糊、噪声、镜头形 变、色彩不连续及无规律性等等。图像配准是图像拼接中的一个关键步骤，在这 一步就是要计算出一个场景的不同视图之间的点到点的映射关系。这一映射关系 通常被称为“对应变换”( h o m o g r a p h y ) 。这些变换可以表现为平移、旋转、仿射 以及投影等形式。经过图像配准，接下来就是如何利用配准参数将所有的图像投 影到统一的坐标系下并合成为一幅高分辨率的渲染图像，我们称之为图像再投影 过程。最后，为了改善渲染图像的视觉效果，我们需要进行平滑处理，称之为图 像融合，即采用何种平滑函数消除在图像合成时重叠区域上出现的缝隙。以下， 我们重点对图像配准、图像再投影、以及图像融合这三种技术的发展做一回顾。 第一章绪论 1 2 1 图像配准技术的发展 图1 2 图像间的对应变换 图像配准是整个图像拼接技术的核心部分。图像配准实际上就是点映射问题： 给定同一场景的两幅不同视图，其中一幅图像中的每个像素点都和另一幅相对应， 也和实际场景中的每点相对应。一般情况下，这种映射是复杂的，而且必须显 式定义每个像素点。然而，在某些条件的约束下，这种映射可以用图像问简单的 几何关系来描述。 根据图像配准中所利用的图像信息的不同，可以将图像配准方法分为三个主 要类别：基于灰度信息的方法、基于变换域的方法和基于特征的方法，其中基于特 征的方法又可以根据所选用的特征属性的不同而细分为若干类别。以下将根据这 一分类原则简单讨论目前已经报道的各种图像配准方法。 一、基于灰度信息的图像配准方法 本类方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有的 灰度统计信息来度量图像的相似程度。其主要特点是实现简单，但应用范围较窄， 不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的 运算量。 1 9 8 2 年r o s e n f e l d i7 j 提出的交叉相关是最基本的基于灰度统计的图像配准方 法。它通常被用来进行模板匹配和模式识别。它是一种匹配度量，给出了一幅图 像和一个模板的相似程度。另一个类似的度量方式，有时候可能更为优越，就是 相关系数心j 。 另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法 幽像配准与拼接方法研究 ( s e q u e n t i a ls i m i l 撕t yd e t e c t i o na l g o r i t h m s ，s s d a s ) 。它是由b a m e a 等人【9 】提出来 的。s s d a 方法最主要的特点是处理速度快。另一种非常类似的准则称为整合平方 误差( i n t e g r a t e ds q u a r ed i 髓r e n c e ) 州，有时也称为残差( r e s i d u e ) ，它的主要不同之 处是用误差的平方来求累加和的。 以卜的相似准则方法都是比较传统的基于直接灰度信息的相关运算类或误差 运算类方法。这些方法尽管各自具有一定的优点，但总的来说有着共同的不足之 处，那就是对于噪声的影响和不同灰度属性或对比度差异的影响缺乏鲁棒性。 1 9 9 5 年，出现了一个新的解决图像配准问题的方向，那就是基于信息理论的 交互信息相似性准贝j j 。交互信息的概念最早可以追溯到1 9 4 8 年s h a n n o n 川的工作。 从此之后，交互信息在很多领域得到应用，例如统计、通信理论、复变分析等等。 】9 9 5 年v i o l a 等人王1 3 】和c o l l i g n o n 等人【1 4 15 】分别独立地把交互信息引入到图像 配准领域，初衷是为了解决多模态医学配准问题。 瓦信息图像配准方法一经提出，在图像配准领域尤其是医学图像配准领域， 引起了人们一定的研究兴趣，有不少基于此类的研究出现。比如，p l u h n 等人【l q 提出将交互信息和图像的梯度信息结合起来以改善其极值性能；t h e v e n a z 等人l ”1 采用一种多分辨率图像金字塔方法以提高最大化交互信息的优化速度；s k o u s o n 等 人【旧】贝0 推导出两幅图像交互信息的上界，从而为交互信息的属性给出了更深的认 识，并提出在一些情况下交互信息不一定能够得到最优化的结果。 交互信息是在概率密度估计的基础上建立的，有时需要建立参数化的概率密 度模型，它要求的计算量很大，而且要求图像之间有较大的重叠区域。此外，函 数可能出现病态，且面临大量局部极值。 二、基于变换域的图像配准方法 最主要的变换域方法就是傅氏变换方法【1 9 0 。该方法利用了傅立叶变换的良 好性质，即函数平移，旋转和缩放在频率域都有其对称性。对于图像的平移，计 算两幅图像功率谱的傅立叶变换可得一个脉冲函数，该函数仅在平移量处不为零。 对于旋转，可使用极坐标方式表示，使图像的旋转转化为图像的平移，再用相同 的方法计算图像问的旋转角度。假如图像之间不仅有平移变换还有旋转变换，则 我们分两步进行计算：先计算旋转变换后计算平移变换。该方法对于小平移量和旋 转及缩放的图像配准非常适合。同时，它具有硬件支持和快速算法，因此计算速 度快，同时能克服相关性噪声和依赖频率噪声，可适合多传感器和光源变化采集 的图像。 傅氏变换对于图像配准是非常有用的，但它也有相当的局限性。那就是，傅氏 变换方法只能用来配准灰度属性有线性币相关的图像，图像之间也必须是严格满 足定义好的变换关系。 第章绪论 三、基于特征的图像配准方法 基于特征的图像配准方法是阁像配准方法中的个犬类，这类方法的主要共 同之处是首先要对待配准图像进行预处理，也就是特征提取的过程，再利用提取 到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像问的配准 映射变换，由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方 法。常用到的图像特征有：特征点( 包括角点、商曲率点等) 、直线段、边缘、轮廓、 闭合区域、特征结构以及统计特征如矩不变量、重心等等。 点特征是图像配准中常用的图像特征之一，其中主要利用的是图像中的角点。 图像中的角点在计算机视觉、模式识别以及图像配准领域都有非常广泛的应用。 因而基于角点检测的算法也有很多的报道【2 l 拉j 。基于角点的图像配准方法主要思 路是：首先在两幅图像中分别提取角点，再以不同的方法建立两幅图像中角点的 相互关联，从而确立同名角点，最后以同名角点作为控制点确定图像之间的配准 变换。由于角点的提取己经有了相当多的方法可循，因此基于角点的方法最困难 的问题就是怎样建立两幅图像之渊同名点的关联问题。解决点匹配问题的方法包 括松弛法【2 3 2 4 1 ，相对距离直方图聚集束检测法【2 5 2 6 1 h a u s d o r f r 距离及相关方法【2 7 ，2 8 】 等等。这些方法都对检测到的角点要求比较苛刻，比如要求同样多的数目，简单 的变换关系等等，因而不能适应普遍的配准应用。 直线段是图像中另一个易于提取的特征。s t o c k m a n 等人和m e d i o n i 等人 2 9 】都 曾通过匹配图像中提取的直线段来配准图像。h o u g h 变换幽3 l 】是提取图像中直线的 有效方法。h o u g h 变换可以将原始图像中给定形状的曲线或直线变换到变换空间 的一个点位置。它使得原始图像中给定形状的曲线或直线上所有的点都集中到变 换域上的某一个点位置从而形成峰值。这样，原图像中的直线或曲线的检测问题 就变成寻找变换空间中的峰点问题。正确地建立两幅图像中分别提取的直线段的 对应关系依然是该方法的重点和难点。综合考虑直线段的斜率和端点的位置关系， 可以构造一个这些信息指标的直方图，并通过寻找直方图的聚集束达到直线段的 匹配。 近十几年来，随着图像分割、边缘检测等技术的发展，基于边缘、轮廓和区 域的图像配准方法逐渐成为配准领域的研究热点。分割和边缘检测技术是这类方 法的基础，目前有很多图像分割方法可以用来做图像配准需要的边缘轮廓和区域 的检测，比如c a 加y 边缘提取算子【3 2 1 ，拉普拉斯一高斯算子( l o g ) ，动态闽值技术 口，区域增长【3 4 】等等。尽管方法很多且各具特点，但并没有任何一种方法能对所 有种类的图像都能获得最佳效果，大多数的分割技术都是依赖于图像本身的。 图像配准与拼接方法研究 1 2 2 图像再投影技术的发展 经过图像配准后，每幅图像上的每一点都可以变换到全局帧中的一个点。所 有图像几何对应矩阵集合组成了场景的拼接表示。为了能够真j 下地渲染一幅拼接 图像，我们必须作进一步的变换，即将全局帧中的点投影到演染图像上来。在某 些例子中，这种投影和相似变换一样简尊( 包括缩放和平移) ，也可以是种复杂 的变换，如相机旋转或圆柱极映射。若已经选取了某一种渲染变换，那么每幅图 像就可以投影到渲染帧上。我们称图像的拼接渲染表示图形成的二维曲面为流形。 根据使用的再投影模型的不同而产生的不同的流形，我们大致分为以下几种：平 面流形( p l a n a rm a n i f 0 1 d ) 、圆柱流形( c y i i n d r i c a lm a n i f 0 1 d ) 、球面流形( s p h e r i c a l m a i l i f 0 1 d ) ，以及自适应流形( a d a p t i v em a i l i f o l d ) 。 l2 3 图像融合技术的发展 升i 同时刻的图像采样，光强都有差异。因此在图像拼接的边界处都会有明显的 缝隙。图像融合就是要消除图像光强或色彩的不连续性。它的主要思想是让图像 在拼接处的光强平滑过渡以消除光强的突变。常用的方法有三种：( 1 ) 中值滤波器： i r a n i l 3 5 】让中值滤波器作用在边界附近区域。它让与周围灰度值差比较大的像素取 与周围像素接近的值，从而消除光强的不连续性。( 2 ) 加权平均法：s z e l i s k i 【36 j 使 用一个“帽状函数”来加权平均到每个重叠帧的对应像素上。该函数在图像边缘 处为最低，而在中心处贡献最多。更为简洁的方法是s h 啪口7 j 将平滑过渡区域放在 蘑叠图像中央，权为像素点距边界的距离。( 3 ) 多分辨率样条技术：b e r t 3 8 】采用 l a p l a c e 多分辨会字塔结构。将图像分解成不同频率上的一组图像，在每个分解的 频率域上，将图像重叠边界附近加权平均。最后将所有频率上的合成图像汇总成 一幅拼接图像。 中值滤波器处理边界附近的狭长地带，因此该方法速度快，但是质量一般。而 多分辨率样条法是在所有频率域上处理边界附近区域，因此计算量大，但是质量 高。加权平均法直观简洁，速度比较快，是比较常见的一种方法。 1 1 3 本文的主要工作 本文的研究工作是结合国家自然科学基金项目( 6 0 4 0 2 0 3 8 ) “多光谱多镜头视频 信息融合的人体跟踪与识别方法研究”展丌的，主要是针对由静止拍摄的图像序列 以及摄像机拍摄的视频序列进行全景图拼接的研究。本文重点针对现有基于灰度 的图像配准方法的缺点，融合了基于灰度图像配准方法以及基于特征图像配准方 第一章绪论 法的优点，提出了一种多尺度、多模型自动图像配准算法。 研究工作分为以f 五个阶段进行： 1 ， 酊期工作中，查阅并学习国内外大量的相关文献，掌握了图像配准技术的 基本理论和主要方法，并对当前图像拼接领域的发展及现状有一个总体的 认识； 2 ，研究了静止拍摄图像序列的配准技术，并对变换优化图像配准算法进行了 研究和仿真； 3 研究了基于f f t 变换的相位相关图像配准算法，并进行了算法仿真。 4 提出了一种多尺度、多模型自动图像拼接算法，并进行了算法仿真及效果 比较； 5 提出了两幅图像问光度差异的简化模型，展示了图像间的光度差异补偿。 6 对阁像再投影流形进行了探讨和研究，对平面流形、柱面流形、球面流形 进行了介绍，重点研究了自适应投影流形，根据该思想完成了一个用于图 像序列与视频的全景图生成软件，给出了实验效果图并进行了算法分析。 1 4 本文的组织结构 本文的第一章，我们简要地介绍了论文的研究背景、研究目的、主要内容和 组织结构。第二章介绍了成像几何原理，描述了一个理想的针孑l 相机模型的成像 过程，以及相机的内参数和外参数，为图像配准作了准备。第三章介绍了图像配 准，分别详细叙述了图像的几何学配准和光度学配准，给出了平面变换模型和光 度模型。第四章介绍了图像再投影流形，并且进行了对比与仿真，最后一章是总 结和展望，对论文提到的主要内容作了回顾，并且对其应用前景作了展望。 第二章成像几何原理 第二章成像几何原理 为了对数字图像进行几何处理，我们必须首先搞清楚数字图像的捕获过程。如 何将现实的三维世界投影到一个二维的图像平面，这是计算机视觉中劓影几何学 所需解决的问题。下面的几个小节中，我们将详细叙述数字图像的成像原理。 2 1 射影几何学基础 我们首先假设一一个理想的相机模型一针孔相机( p i n h o l ec 锄e r a ) ，针孔相机成 像的最大几何特征就是透视投影( p e r s p e c t i v ep r o j e c t i o n ) ，也称作中心投影( c e n t r a l p r o j e c t i o n ) 。在透视图像世界中的平行线不再平行，这在我们现实生活中是常见的， 如沿着铁轨往远处看，感觉它们在远处好像汇聚成一点。如图2 1 所示： 幽2 1 半付线的透视投影 我们从简要地介绍基本的符号和射影空间的定义开始【3 9 1 ，考虑除原点外的 + 1 ) 维空间r ”l 一 ( o ，o ) ，定义如下的等价关系： b ，k ，r = b ，_ 。】 i 徊d o ：b 。，z 。 ，= 口b 。，一。r 欧射空司是p ”是该等价关系两空司。在映射空间中，点用齐次坐标 ( h o m o g e n e o u s c o o r d i n a t e s ) 表示。我们更习惯于欧式几何空间矗”，从届”到p ”的一 对一的映射如下： b 。】一h ，一。，l 】7( 2 2 ) 只有点k ，x 。，0 1 7 没有对应的欧式点。很容易证明它们代表了某个特别方向 上的无穷远点。将k 。，_ ，o 】，作为b ，口】，的一个极限情况来考虑，即对于其 图像配准与拼接方法研究 映射等价的点k 肛，l 他，1 y 而言口斗。时的情况。这对应于欧式空问胄”在辐射 向量k 髓，“似，1 】，r ”方向上的无穷远点。 共线或射影变换是+ 1 ) ( n + 1 ) 的f 则矩阵4 定义的p ”_ p ”的任意映射 萝= 4 量。射影变换将超平面映射为超平面，一个特例是将宜线映射为直线。 2 2 理想单透视相机 考虑单个针孔相机成像情况。图2 2 绘制出了针孔相机的几何结构，底部的平 面是真实世界在其上投影的图像平面( i m a g ep 1 a n e ) 万，纵向的虚线是光轴( o p t i c a l a x i s ) ；透镜位于焦点( f o c a lp o i n t ) c 也称作光心( 0 p t i c a lc e n t e r ) 】与光轴垂直；焦距 厂是透镜参数。 图2 ，2 线性透视相机的儿何结构 投影是由从场景x ( 图2 2 左上部) 反射出的或起源于光源的光线( 或光束) 形成的。光线穿过光心c 落在图像平面的u 处。 为了进一步解释，我们需要定义4 个坐标系统： 欧式坐标系( 下标为w ) ，原点在点d 。点x 和u 以世界坐标来表示。 欧式摄像机坐标系( 下标为c ) ，原点在焦点c = d 。坐标轴z 。与光轴重 合并指向图像平面外。在世界坐标系和摄像机坐标系之间存在唯一的关 系。我们可以通过出一个平移f 和一个旋转胄构成的欧式变换将世界坐标 第二章成像几何原理 系转化为摄像机坐标系。 欧式图像坐标系( 下标为f ) ，坐标轴与摄像机坐标系一致，x 和y 位于 图像平面上。 图像仿射坐标系( 下标为d ) ，坐标轴是“，h w ，原点d ，与欧式图像坐标系 相同。轴w 和轴v 与轴z ，和轴一，但是轴“可能与轴x ，具有不同方向。 引进这些坐标系的原因是基于以下事实：一般来说我们并不需要像素是垂直 的，轴可以有不同的尺度。仿射坐标系是因视网膜的构造而引进的。 摄像机完成从三维射影空问p 3 到二维射影空间p2 的线性变换。 一个场景x 在欧式坐标系下表示为一个了j 的矢量。为了将同一个点在欧式 摄像机坐标系下表示出来，即x ，我们必须通过减少矢量f 的平移并进行有矩阵 r 定义的旋转来得到。 胄( x 。一f ) ( 2 - 3 ) 点x 。投影到图像平面z 上是点u 。投影后的点的坐标x 和y 可以从图2 3 所 示的相似三角形中导出： 降，一， ， c ( 2 4 ) 图2 3 投影后的点的坐标计算 ( 注：为了表示方便将图像平面和场景放在同一边，结果相差一个符号) 还剩下导出投影后的点u 。在图像仿射坐标系下的位置这个问题，也就是要确 定真正的摄像机给出的坐标。 原点在图像左上角的图像仿射坐标系是欧式图像坐标系的裁减和重新调整 ( 也常称为高宽比) 。主点“在摄像机标定过程中有时成为图像的中心，是光轴 蹦像配准与拼接方法研究 与图像平面万的交点。主点在图像仿射坐标系中的坐标是。= 扛。，v 0 ；o r 。 投影后的点可以用二维图像平面万上的齐次坐标矗= 眇k 形r 来表示，它的二 维欧式对应点是= b ，v r = 眇形y r 。齐次坐标使我们得以将仿射变换表示为 单个j j 矩阵的乘积，其中未知的口，6 ，c ，表示裁减并含有沿坐标轴的尺度量， “。和代表在图像中的主点的仿射变换。 蔚料 i | = i ：悸= 慝 f 2 5 1 我们的目标是获得该矩阵中的所有常量，有时称其为摄像机标定矩阵置。由 于使用的是齐次坐标，公式可以用任何非o 的常量与之相乘，这样我们乘上z 。，上 而公式改写为： 扣一“o 弦一v o 01 = 阡 一弦 一扣 0 r 2 6 1 l o o1 j 摄像机的外参数取决于欧式摄像机坐标系相对于欧式世界坐标系的方位( 参 单情况下，即x 。= x 。公式( 2 6 ) 可简化为： z 。面= = 。f 蓦 = f f ：爹：i ： 蒌1 c ：一， k一乙儿一乙 rlljiiiiiiij_l o 0 “v 0 一 一 尼矗o 一 一 1j 砭虬乞 矿iiii皿 kt儿一 riiiiiiiijiji二。+l 弦o o 一 ，l f z 一一 “ c z 第一二章成像几何原理 其中，我们做了如下替换：口。= 一向，口。= 一弦，甜，= 一弦。这样我们有5 个内参数，都以像素为单位。这些公式也给出了内参数的解释：a 代表的尺度， 给出厂沿着轴“的以像素为单位的度量，类似地，口。给出了厂沿轴v 的以像素为单 位的度量，口。，给出在摄像机图像平面中以像素为单位的坐标轴倾斜程度的度量， 代表与轴“重合的焦距厂在轴v 方向上从轴x ，倾斜的有多远。 这就完成了对内外摄像机参数的描述，我们可以回到公式( 2 6 ) 所给出的一般 情况中。如果我们在齐次x = i x w ，叫下表达场景点，可以用单个，一矩阵表示透 视投影。最左侧的3 j 子矩阵描述旋转而最右侧的列代表平移。分隔符“i ”表示 矩阵由两个子矩阵构成。 面料附叫冲阱域 p 其中贾。是在齐次坐标下三维场景点。矩阵肘成为投影矩阵( p r o j e c t i v em a t r i x ) 或摄像机矩阵。可见摄像机完成的是从三维射影空间p 3 到二维射影空间p 2 的线性 射影变换。我们可以看到，线性公式( 2 9 ) 代替了非线性公式( 2 5 ) ，表达更加简单。 由投影矩阵m 最左的3 列构成的，子矩阵是正则的，即行列式非o 。非齐次 坐标下场景点爱。的表达在相差一+ 个尺度量的意义下是确定的，即对于n o 的所 有时可以使用最简单的投影矩阵m 的形式： 1 o o o 凹2 lo 1o o i( 2 1 0 ) io o 1 0 1 该特殊矩阵对应于规范化的摄像机坐标系3 9 】，其中摄像机的特殊参数可以忽 略。当需要以简单的方式独立于具体的摄像机情况来解释立体视觉和运动视觉的 性质时可以使用。 2 3 理想单摄像机的标定 摄像机的标定时确定标定矩阵眉( 见公式2 6 ) 或投影矩阵m ( 见公式2 9 ) 中的 数值过程。当我们只需要摄像机的内参数时可以使用第一种情况。如果摄像机是 b 儿乙t o 口 飞 监，乙 丝t 镏 弦 警 = = uw旷一 幽像配准与拼接方法研究 标定了的并且已知图像中的点，则在以摄像机为中心的窄i 阿j 中可以唯确定 条对应的射线，第二种情况覆盖了内外参数。 单个摄像机标定有如下两种主要情况： 1 已知场景：已知在3 d 世界中的一组 个非退化( 非共而) 的点以及对应的 2 d 图像点( 见图2 4 ) 。每个3 d 场景利2 d 场景的对应点提供一个方程： 厂r 口，菇，= m l ，l ( 2 1 1 ) l1j f a u g e r a s 【3 9 】通过求解超定线性方程系统来得到。它的主要缺点是必须已知 场景，为此经常需要使用特殊的标定物体。 图2 4 从已知场景标定摄像机 ( 至少需要6 对场景点，和图像的对应点“，米标定摄像机) 图2 5 从未知场景标定摄像机 ( 至少需要两个视图。假设摄像机的内参数不变，冈此j r l = 置2 ) 2 ，未知场景：如果场景“未知”，就需要更多的视图来标定摄像机( 参见 图2 5 ) 。对于不同的视图而言，摄像机内参