（通信与信息系统专业论文）线性拟合联合参数法在图像配准中的应用.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：墨塞鳌日期：塞翌z ：! 生 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅：本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 一：群一名：陋 山东大学硕士学位论文 中文摘要 图像配准是计算机视觉领域研究的重要问题之一，是立体视觉、运动分析、 数据融合等实用技术的基础。所谓图像配准，是寻求两幅图像问一对一映射的过 程，就是说把两幅图像中对应空间同一位置上的点进行联系。为了达到理想的配 准结果，很重要的一个因素在于我们是否使用了合适的变换模型。在图像配准的 研究领域，研究重点主要集中于单纯的空域配准，即对图像函数的空域坐标进行 配准。典型的配准方法常以假定图像问空域坐标存在特定的几何关系为前提，例 如：平移、仿射、透视关系等。在涉及到光流场计算或者镜头扭曲的问题时，所 要假定的几何关系更为复杂近年来，光图像的亮度配准理论逐步发展，即研究 如何对图像函数的像素值进行配准，目的是从若干幅不同曝光强度下的图像中构 建出高清晰度图像。对图像进行空域和亮度域的联合配准，以解决不同光照变化 下的全景图的配准问题，是目前研究领域较为前沿的课题。 本文基于s m a r t 教授提出的基本理论亮度响应模型，结合图像的空域和亮 度域进行联合分析，做了以下几个方面的研究工作； 提出了一种基于仿透视函数模型和亮度响应模型共同作用下的图像配准 算法，对不同曝光度下的图像进行图像配准。 进一步分析了分段线性拟合理论，对其亮度域配准的细节部分进行了改 进。 对于普通相机所拍摄的不同曝光度下的图像，我们应用其获取h d r ( h i 曲 d y n a m i cr a n g e 高动态范围) 图像，其中关键的步骤是正确标定亮度响应函数。本 文讨论了亮度响应模型在全景图配准中的应用，提出了一种改进的曝光差异图像 的配准算法。与其他传统的配准算法相比，本算法充分体现了分段线性拟合的思 想，对图像的亮度域和空域进行联合的分析，改善了图像配准过程中出现的亮度 连贯性问题。算法应用最小二乘法求解联合参数模型的初始值，可以较为精确的 提供迭代优化的初始值，提高了迭代速度。r a n s a c 算子和l 】迭代算法保证了 图像配准的稳健度和精度。实验表明，本文算法对使用普通相机拍摄的亮度差异 图像均可正确地配准。 山东大学硕士学位论文 在接下来的章节中，进一步分析了分段线性拟合理论，对其亮度域配准的细 节部分进行了改进。所阐述的内容弥补了图像因曝光过度或曝光不足而导致配准 失败的缺陷；降低了分段数量对配准过程的差错影响；能够得到更为精确的分段 线性近似和曝光估计。提出算法的改进之处主要体现为更为严格和细节上的亮度 响应函数的斜率约束和节点位置的规范选择。 关键词：图像配准线性拟合亮度响应函数角点匹配 2 山东大学硕士学位论文 a b s t r a c t i m a g er e g i s t r a t i o ni so n eo fi m p o r t a n tr e s e a r c hi s s u e si nc o m p u t e rv i s i o nf i e l d w h i c hi st h e f o u n d a t i o no fp r a c t i c a lt e c h n i q u e s ，s u c ha ss t e r e o s c o p i cv i s i o n ，m o v e m e n t a n a l y s i s d a t af u s i o ne t c i m a g er e g i s t r a t i o ni st h ep r o c e s st os e e ko n e - t o - o n em a p p i n g b e t w e e ni m a g e s ，t h a ti s ，t or e l a t et h ep o i n t sb e l o n gt od i f f e r e n ti m a g e sa tt h es 撇 p o s i t i o ni ns p a c e t oa c h i e v eg o o de x p e r i m e n tr e s u l lt h ek e yf a c t o ri sw h e t h e rw e u s e t h ep r o p e rt r a n s f o r m a t i o nm o d e l 硼砖l a r g eb o d yo fr e s e a r c hi n t ot h er e g i s t r a t i o no f i m a g e s , h o w e v e r , h a sb e e ns l a n t e dt o w a r dd o m a i n - o n l yr e g i s t r a t i o n ；t l l a ti sr e g i s t r a t i o n b e t w e e ni m a g ef u n c t i o n s s p a t i a lc o o r d i n a t e s t h e s er e g i s t r a t i o na p p r o a c h e sh a v e t y p i c a l l ya s s u m e das p e c i f i cg e o m e t r i cr e l a t i o n s h i pb e l v 嘲i m a g e s s p a t i a lc o o r d i n a t e s , f o re x a m p l et r a n s l a t i o n a l ，a f f i n eo rp e r s p e c t i v er e l a t i o n s h i p sh a v eb e e nc o m m t o n a l s o a s s u m e dh a v eb e e nm o r ec o m p l e xr e l a t i o n s h i p si n v o l v i n gt h ec o m p u t a t i o no f t h eo p t i c a l f l o wf i e l do rt h em o d e l i n go fl e n sd i s t o r t i o n m o r er e c e n t l y , t h e r ei sag r o w i n gt r e n di n o p t i c a li m a g i n gi n v o l v i n gr a n g e - o n l yr e g i s t r a t i o n ；t h a ti sr e g i s t r a t i o nb e t w e e ni m a g e f u n c t i o n s p i x e lv a l u e s t h er e s e a r c hs e e k st oc o n s t r u c th i g hd y n a m i cr a n g em a p so fa n i m a g e ds c e n ef r o ms e v e r a li m a g e sc a p t u r e da td i f f e r e n to p t i c a ls e t t i n g t h ej o i n t l y r e g i s t r a t i o no fo p t i c a li m a g e si nb o t hd o m a i na n dr a n g e i no r d e rt 0r e s o l v ei m a g e r e g i s t r a t i o np r o b l e ma td i f f e r e n to p t i c a ls e t t i n g ，h a sb e e nf r o n t i e ri nr e s e a r c hf i e l d t h i st h e s i s ，b a s e do nc o m p a r a m e t r i cm o d e lp u tf o r w a r db yp r o f e s s o rs m a r t , j o i n t i y a n a l y s e st h ei m a g er e g i s t r a t i o ni nb o t hd o m a i na n dr a n g ea n dd os o m ec o n t r i b u t i o n sa s f o l l o w s ： an e wa l g o r i t h m , b a s e do nj o i n ta c t i o no fp s e u d o - p e r s p e c t i v em o d e la n d c o m p a r a m e t r i cf u n c t i o n i sp r o r a t e dt od ow e l li ni m a g er e g i s t r a t i o na td i f f e r e n to p t i c a l s e t t i n g f u r t h e ra n a l y s i si sd o n et oi m p r o v et h ee n h a n c e m e n to fp i e e e w i s ol i n e a r c o m p a r a m e t r i ci m a g er e g i s t r a t i o na n di m p r o v e m e n ti sa l s om a d ef o rr a n g er e g i s t r a t i o n d e t a i l s t h ek e ys t e pf o ru st 0d oa n a l y s eo fi m a g e st a k e nb yc o m m o nc a i l l e r 雒a td i f f e r e n t o p t i c a ls e t t i n gf u rr a n g er e g i s t r a t i o ni st oe a f i b r a t ec o m p a r a m e t r i cf u n c t i o nc o r r e c t l y t h i st h e s i sd i s c u s s e st h ea p p h c a t i o no fc o m p a r a m e t r i cf u n c t i o nt oi m a g er e g i s 廿a d o n ， a n dp r e s e n ta ni m p r o v e da l g o r i t h mf o ri m a g er e g i s t r a t i o na td i f f e r e n to p t i c a ls e t t i n g c o m p a r e dw i t ho t h e rt r a d i t i o n a la l g o r i t h m , t h i sa l g o r i t h mf u l l ye m b o d i e sp i e c e w i s e l i n e a ra p p r o x i m a t i o ni d e a , m a k ej o i n t l ya n a l y s i so fi m a g e si nb o t hd o m a i na n dr a n g e 3 山东大学硕士学位论文 a n dr e s o l v er a n g ed i f f e r e n c ep r o b l e mi ni m a g er e g i s t r a t i o np r o c e s s m o r ep r e c i s ei n i t i a l p a r a m e t e r so f j o i n td o m a i na n dr a n gi m a g er e g i s t r a t i o nm o d e lf o ro p t i m a li t e r a t i o nc a l l b eo b t a i n e dw i 山ac o m p u t a t i o n a l l ya t t r a c t i v el e a s ts q u a r e sf o r m a l i z e t h a ta l s ol e a d st o i m p r o v ei t e r a t i v es p e e d r a n s a ca n dl ma l g o r i t h mc o u l di m p r o v et h es t a b i l i t yo f i m a g er e g i s t r a t i o na n dt h es p e e do fi t e r a t i o n f i n a le x p e r i m e n t ss h o wt h a tt h i sm e t h o di s d o i n gw e l lt 0s o l v et h ep r o b l e mo fe x p o s u r ed i f f e r e n c eb e t w e e ni m a g e st a k e nb y c o m h l o nc a m e r a i nt h ef o l l o w i n gc h a p t e r , i m p r o v e da n a l y s i so fp i e c e w i s el i n e a rc o m p a r a m e 扛i c a l g o r i t h mi si n t r o d u c e d n ei n t r o d u c t i o ns o l v e st h ep r o b l e ma r i s i n gf r o mu n d e r e x p o s e d o ro v e r e x p o s e di m a g e sr e g i s t r a t i o n ，配i v e st or e d u c ee r r o ra n ds e n s i t i v i t yt ot h en u m b e r o fp i e c e w i s ef i n e a rs e g m e n t sa n dg a i nt h eb e t t e rr e s u l to fe x p o s u r ee s t i m a t i o na n d p i e c e w i s el i n e a ra p p r o x i m a t i o n t h i sa l g o r i t h m sa d v a n t a g ei sf o u n da ss t r i c t e rl o p e c o n s t r a i n si nd e t a i la n ds t a n d a r ds e l e c t i o no f k n o tl o c a t i o n k e yw o r d s ：i m a g er e g i s t r a t i o n ；l i n e a ra p p r o x i m a t i o n ；c o m p a r a m e 仃i ce q u a t i o nc o m e r m a t c h i n g 4 山东大学硕士学位论文 第一章图像配准技术概述 1 1 计算机视觉领域简介及发展 计算机视觉是研究用计算机来模拟人和生物的视觉系统功能的技术学科，是 一门综合性的学科，其中包括计算机科学和工程、信号处理、物理学、应用数学 和统计学，神经生理学和认知科学等。计算机视觉研究的目的是通过传感、抽象、 判断、识别、理解，让计算机能够感知周围视觉世界，了解它的空间组成和变化 规律。 人们可以很容易“看到”一幅画，但这一“简单”过程并不如此简单。大致上它可 以分为以下几个阶段：首先是通过眼睛将图成像在视网膜上；其次大脑对图像进 行理解；最后根据处理的结果做出反应。用比较专业一点的语言来描述，该过程 包括了识别、描述与理解三个层次，这其中还隐含了边缘检测( 各物体的轮廓等) 、 图像的分割( 各物体区域的划分) 等阶段以上概述了视觉系统的三个层次，即 低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图 像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段这是根据 先验知识介入的程度划分的，且实现起来也越来越困难。毫无疑问，如何人工实 现这一过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而生 计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学 科，其目标是从图像或图像序列中获取对外部世界的认知和理解。即利用二维图 像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、 识别与理解 计算机视觉技术的基础是各种成像观测设备人类感知只限于电磁波谱的视 觉波段，而成像设备则可覆盖几乎全部电磁波谱，从伽马射线到无线电波计算 机视觉的核心是数字电子计算机，其发展可谓突飞猛进，在计算和存储能力上， 人脑已经无法与之相比人们的目标就是利用计算机非凡的计算处理能力来代替 人脑实现对图像的理解，而计算机日新月异的发展也使得这一愿望越来越成为可 能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法。计算机视觉 使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论 山东大学硕士学位论文 它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工 智能等理论。在2 0 世纪7 0 年代，视觉研究大多采用模式识别的方法；8 0 年代， 开始采用空间几何的方法以及物理知识进行视觉研究；9 0 年代以后，随着智能机 器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、 融合技术等，并应用于许多计算机视觉系统中。 研究计算机视觉，不得不提的是英国已故科学家戴维冯尔( d a v i dm a r r ) ，他 在计算机视觉发展史上可谓写下了浓重的一笔。在2 0 世纪7 0 年代末，戴维马尔 提出了第一个较为完善的视觉系统框架，即计算视觉理论框架1 1 。他认为视觉是一 个复杂的信息处理过程，并有不同的信息表达方式和不同层次的处理过程，而最 终的目的是实现计算机对外部世界的描述。 d a v i dm a r r 提出了三个层次的研究方法，如图1 1 1 ，即计算理论层、表征与 算法层以及实现层： 计算理论 层次 计算目的与 计算策略； 总的输入与 输出 表达与算法 层次 各模块的输入、 输出和内部的 信息表达、以及 实现计算理论 规定的目标的 算法 硬件实现 层次 如何用硬件 实现以上算 法 图1 1 1 马尔视觉层次图 马尔计算机视觉理论设想为白下而上，没有反馈的视觉处理框架，认为视觉 的主要任务是获得物体的三维形状，并把获取过程分为三个阶段( 参见图1 1 2 ) ， 即原始基元图( 埘m a ls k e t c h ) - - - - 2 5 维图( 2 5 d i m e n s i o n a ls k e t c h ) - - - , 3 维高层模型分 析。其中，基元图作为图像的底层处理部分，由二维图像中的边缘点、直线、曲 线、顶点等基本几何元素或特征组成；2 5 维的图是指对基元图进行一系列处理运 算，推导出可见表面的朝向、轮廓等几何信息，是在观察者坐标系下描述的部分 6 山东大学硕士学位论文 的、不完整的三维物体形状( 另一部分是物体的背面或被遮挡的部分) ；3 维模型 作为图像的高层处理部分，表示描述物体坐标系下的各种形状及其空间组织，涉 及在图像分析中被识别物体的总体理解。 迄今为止，研究者们在m a r r 计算视觉理论框架下，进行了大量的研究，并取 得了丰富的成果，最瞩目也最完善的成果当属基于几何方法的计算机视觉理论体 系。 图1 1 2 马尔视觉过程图 日常生活中最常用的成像设备一数码相机的理想成像模型是针孔模型，很多 视觉研究内容都是在这种模型下进行的如图1 1 3 所示，可以看出：景物点、针 孔、景物点的像三点共线。为了方便起见，通常认为图像平面在针孔的前面，即 虚拟图像的位置，除了是相互倒立的外，二者是完全等价的。利用成像设备，获 取了图像，这时图像点的位置已经确定，如果针孔的位置也可以确定的话，那么 根据三点共线的约束，可知景物点一定在这条射线上 牛誓 图1 1 3 像机成像的针孔模型 由于固定射线上的每一点成像都是相同的，所以仅从一幅图像是无法确定景 物点距离摄像机光心( 即针孔位置) 的深度的。这样，若再有一幅包含上述景物 7 山东大学硕士学位论文 点的图像( 同一景物点在不同相机下的像为一对对应点) ，则存在另一条射线，两 条射线相交，从而可以确定出景物点的空间位置，如图1 1 4 所示。对于两幅或多 幅图像上的每对对应点都进行类似的处理，则可获得物体的三维形状信息，这种 由两幅或多幅两维图像恢复物体三维几何形状的方法，即是立体视觉方法，这一 过程就是三维重建。其间包含了许多步工作，例如特征提取、匹配、摄像机标定、 运动估计等，每一步都凝结了众多研究者的心血，并取得了大量优秀的研究成果， 像c a n n y 边缘检测算子，h a r r i s 角点检测，t s a i 块标定，张正友的平面模板标定等。 图1 1 4 立体视觉 在m a n 计算视觉理论框架下，观测者( 计算机) 只是被动地分析获取的静态 图像，并不对成像设备( 摄像机) 做任何控制，这使得许多视觉任务( 如识别、 导航等) 难以完成。可以想一下人类的视觉，人们在看的时候，眼球通常不自觉 地或半自觉地跳动或转动，这说明大脑在主动且交互式地接受外界的信息。因此， 有学者提出了主动视觉、有目的的视觉、定性视觉等理论，但主动视觉的研究往 往与有目的的以及定性视觉的研究结合在一起。在主动视觉系统中，摄像机的状 态参数如焦距、缩放、聚散度都可以控制，加之具有可以精确控制的平台，使得 许多不确定的视觉任务变为确定的。图1 1 5 为主动视觉平台，下方是- - + 车，最 上方是两个摄像机。计算机可以控制小车和摄像机的运动、调整摄像机的注视点， 并通过精确控制平台的运动，获得摄像机的运动参数，从而使一些原本是非线性 的问题变成线性问题，提高了计算速度和准确性。这对实时地获取外界信息并做 出反应( 如避障) 是非常重要的。 8 山东大学硕士学位论文 图1 1 5 主动视觉系统平台 除了重建，视觉的另一个任务是识别。其基本方法是首先建立物体模型，然 后使用各种匹配算法从图像中识别出与物体模型最相似的物体。它是当前计算机 视觉领域最困难但也是最活跃的领域。之所以困难，可以借用宋朝著名诗人苏轼 的一首诗概括：“横看成岭侧成峰，远近高低各不同”这说明同一事物，因观测的 角度不同甚至会产生截然相反的图像，即使同一幅图像，也可能有天壤之别的 感受 计算机视觉技术正在蓬勃地发展着，且已经有了广泛的应用嘲。目前，基于内 容的图像数据查询、基于内容的图像自动索引等成为很热门的研究和应用课题， 可应用于数字图书馆、体育图像自动分析、运动物体自动跟踪等系统。根据物体 的二维图像提取相应的特征不变量进行识别和分类也是一个十分重要的研究方 向。同时，三维物体识别也开始进入了实用阶段。可以看到，视觉技术在如此多 的领域都已经成功地得到了应用，而且越来越贴近生活。虽然这些对于计算机视 觉研究与发展来说，只是迈出了万里长征的第一步，但人们有理由相信有一天计 算机会拥有人一样的视觉识别和理解能力，为人们带来精彩的生活。 1 2 图像配准背景介绍 计算机视觉的基础是各种成像设备，例如c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像机 ( 数码相机属于此类型) 、红外摄像机、医学上常用的核磁共振成像、x 射线成像 9 山东大学硕士学位论文 等。这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们可以形象地 把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始， 就为计算机视觉的诞生奠定了基础。 图像是用各种观测系统以不同形式和手段观测客观世界而获得的，可直接或 间接作用于人眼并进而产生视知觉的实体。这里图像是比较广义的，例如照片、 绘图等等。为了增强视觉的感官体验，突破人类单靠双眼来感知和体验自然界的 局限，人们在计算机视觉领域做出了一系列努力。 1 2 1 图像配准的定义 图像配准是计算机视觉领域的热点问题之一图像配准实际上就是点映射问 题：给定同一场景的两幅不同视图，其中一幅图像中的每个像素点都和另一幅相 对应，也和实际场景中的每一点相对应。一般情况下，这种映射是复杂的，而且 必须显示定义每个像素点。图像配准问题可以定义为两幅图像像素坐标和灰度值 上的双重映射。 设图像分别为i - 、1 2 ，i - ( x ，y ) 、1 2 ( x ，y ) 分别代表像素点的灰度值。如上所述 的映射关系为： 1 2 ( x y ) = g ( iz ( f ( x ，y ) ) ) ( 1 2 1 ) 其中f 为2 i ) 空间几何变换，g 为灰度变换。 配准问题就是要寻找最优的变换f 、g ，在此变换下将两幅图像最大程度地对 齐，从而可以进一步处理图像。在拍摄场景光照变化不大的情况下，亮度变换关 系的校正并不是必要的，此时寻找空间几何变换关系f 成为配准的关键所在。于是 上式可改写成更为一般的表示方式： 1 2 ( x ，y ) = i l ( f ( x ，y ) ) ( 1 2 2 ) 常见的简单变换形式有： 平移：1 2 ( x ”2 i t ( x + a ，y + b ) 旋转：1 2 ( x ，y ) 2 i i ( x e o s o y 。s i n s , x s i n 0 + yc o s 0 ) 亮度：1 2 ( x ，y ) 2 a i l ( x ，y ) + b ，如果是不同光照条件影响，亮度变换会更复杂。 平滑和锐化：1 2 ( x ，y ) 2i t ( x ，y ) + n ( x ，y ) ，是原图像与点扩散函数的卷积。 当配准的图像存在着曝光差异时，则需要考虑亮度变换关系的校正，这也是 引入亮度模型的意义所在。 1 0 山东大学硕士学位论文 1 2 2 配准技术的不同分类准则 依据不同的标准，图像配准技术的分类也有所不同。 b a r b a r a z i t o v a 【3 】从配准技术应用角度来分析，可以把配准问题概括为下面四类 情况： 1 ) 同一场景从不同角度拍摄形成的不同图像的配准问题。其研究目的是获得 更宽阔视野的图片，获得立体信息、进行三维模型等。 2 ) 不同时间拍摄的不同图像的配准问题。其研究目的是检测并定位场景中的 变化部分，比如在遥感图像处理技术中检测地理环境是否发生变化，在医学图像 处理技术中检测患者的局部部位是否发生病变，在自动视频监控系统中智能化的 检测是否有入侵等。 3 ) 不同传感器所拍摄图像的配准与融合问题，比如在c t s p e c t 、m r s 等医 学图像系统中的应用。 4 ) 二维场景的图像跟三维模型的配准问题，比如在g i s 系统、目标辨识图像 数据库检索系统中的应用。 无论所处理的图像是发生何种形式的变化、是用何种传感器去拍摄，我们总 是力求使用不变的部分、共性的信息去完成配准，然后再根据需要去处理变化的 部分这就是图像配准技术的核心思想。 根据图像配准中所利用的图像信息的不同，也可以将图像配准方法分为三个 主要类别：基于灰度信息的方法、基于变换域的方法和基于特征的方法，其中基 于特征的方法又可以根据所选用的特征属性的不同而细分为若干类别以下将根 据这一分类原则简单讨论目前各种图像配准方法。 a 基于灰度信息的图像配准方法 本类方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有的 灰度统计信息来度量图像的相似程度。其主要特点是实现简单，但应用范围较窄， 不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的 运算量。 1 9 8 2 年r o s e n f e l d t 4 1 提出的交叉相关是最基本的基于灰度统计的图像配准方 法它通常被用来进行模板匹配和模式识别。它是一种匹配度量，给出了一幅图 像和一个模板的相似程度另一个类似的度量方式，有时候可能更为优越，就是 山东大学硕士学位论文 相关系数嘲。 另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法 ( s e q u e n t i a ls i m i l a r i t yd e t e c t i o na l g o r i t h m s ，s s d a s ) 。它是由b a m c a 等人【6 】提出来 的ssda 方法最主要的特点是处理速度快。另一种非常类似的准则称为整合 平方误差( integrated square difference ) 刀， 有时也成为残差( residue ) ，它的主要不同之处是用误差的平方求累加 和的。 以上的相似准则方法都是比较传统的基于直接灰度信息的相关运算类或误差 运算类方法。这些方法尽管各自具有一定的优点，但总的来说有着共同的不足之 处，那就是对于噪声的影响和不同灰度属性或对比度差异的影响缺乏鲁棒性。1 9 9 5 年，出现了一个新的解决图像配准问题的方向，那就是基于信息理论的交互信息 相似性准则。交互信息的概念最早可以追溯到1 9 4 8 年的shan non 【8 1 的工作。 从此之后，交互信息在很多领域得到应用，例如统计、通信理论、复变分析等等。 1 9 9 5 年，viola 等人9 1 n 0 1 和col lignon 等人分别独立地把 交互信息引入到图像配准领域，初衷是为了解决多模态医学配准问题。 互信息图像配准方法一经提出，在图像配准领域尤其是医学图像配准领域， 引起了人们一定的研究兴趣。有不少基于此类的研究出现，比如，p l u i m 等人【1 3 1 提出将交互信息和图像的梯度信息结合起来以改善其极值性能；t h e v c n a z l l 4 垮人 采用一种多分辨率图像金字塔方法以提高最大化交互信息的优化速度；s k o u s o n 1 5 1 等人则推导出两幅图像交互信息的上界，从而为交互信息的属性给出了更深的认 识，并提出在一些情况下交互信息不一定能够得到最优化的结果。 交互信息是在该概率密度估计的基础上建立的，有时需要建立参数化的概率 密度模型，它要求的计算量很大，而且要求图像之间有较大的重叠区域。此外， 函数可能出现病态，且面临大量局部极值。 b 基于变换域的图像配准方法 最主要的变换域方法就是傅氏变换方法( 1 61 7 l 。该方法利用了傅立叶变换的良 好性质，即函数平移，旋转和缩放在频率域都有其对称性。对于图像的平移，计 算两幅图像功率谱的傅立叶变换可得一个脉冲函数，该函数仅在平移量处不为零。 对于旋转，可使用极坐标方式表示，使图像的旋转转化为图像的平移，再用相同 的方法计算图像间的旋转角度。假如图像之间不仅有平移变换还有旋转变换，则 1 2 山东大学硕士学位论文 我们分两步进行计算：先计算旋转变换后后计算平移变换该方法对于小平移量 和旋转及缩放的图像配准非常适合。同时，它具有硬件支持和快速算法，因此计 算速度快，同时能克服相关性噪声和依赖频率噪声，可适合多传感器和光源变换 采集的图像。 傅氏变换对于图像配准是非常有用的，但它也有相当的局限性那就是，傅 氏变换方法只能用来配准灰度属性有线性正相关的图像，图像之间也必须是严格 满足定义好的变换关系。 c 基于特征的图像配准方法 基于特征的图像配准方法是图像配准方法中的一个大类。这类方法的主要共 同之处是首先要对待配准图像进行预处理，也就是特征提取的过程，再利用提取 到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像间的配准 映射变换由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方 法。常用到的图像特征有：特征点( 包括角点、高曲率点等) 、直线段、边缘、轮 廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等 点特征是图像配准中常用的图像特征之一，其中主要利用的是图像中的角点 图像中的角点在计算机视觉、模式识别以及图像配准领域都有非常广泛的应用， 基于角点的检测算法也有很多的报道1 8 1 卿。基于角点的图像配准方法主要思路是： 首先在两幅图像中分别提取角点，再以不同的方法建立两幅图像角点间的相互关 联，从而确立同名角点，最后以同名角点作为控制点确定图像之间的配准变换 由于角点的提取已经有了相当多的方法可循，因而基于角点的方法最困难的问题 就是怎样建立两幅图像之间同名点的关联问题。解决点匹配问题的方法包括松弛法 m 2 “、相对距离直方图聚集束检测法 2 2 2 3 】、h a u s d o r f f 距离及相关方法肼淄1 等等。这 些方法都对检测到的角点要求比较苛刻，比如要求同样多的数目，简单的变换关 系等等，因而不能适应普遍的配准应用。 直线段是图像中另一个易于提取的特征s t o c k m a n 等人和m e d i o n i 等人刚都 曾通过匹配图像中提取得直线段来配准图像。h o u g h 变换 2 - 篮1 是提取图像中直线 的有效方法。h o u g h 变换可以将原始图像中给定形状的曲线或直线上所有的点都 集中到变换域上的某一个点位置从而形成峰值。这样，原图像中的直线或曲线的 检测问题就变成寻找变换空间中的峰点问题。正确的建立两幅图像中分别提取的 直线段的对应关系依然是该方法的重点和难点。 1 3 山东大学硕士学位论文 1 2 3 图像配准系统的基本框架 在b r o w n 综斟冽中，图像配准系统被分解成四个部分的组合：特征空间、搜 索空间、搜索策略、相似性度量。 a ) 特征空间 特征空间指从图像中提取用于匹配的特征。图像配准中使用的图像特征有着 重要的意义，因为它们通常决定了这个方法适合于什么样的图像。基本的像素灰 度值可以是一种特征，还可以包括常见的特征如边缘、曲线、曲面；显著的视觉 特征如拐角、交叉线、高曲率的点等；统计特征，如不变矩以及高层语义的描述 算子等等。图像特征几乎是所有计算机视觉和图像处理任务都会涉及到的基本因 素，在图像配准上它会影响到： 1 成像设备和景物中哪种特征会对算法敏感( 通常选择的特征都会降低 图像噪音和畸变的干扰) 2 图像的何种特征被匹配( 比如需要的是匹配景物的结构而不是纹理 信息) 3 算法执行的效率和搜索代价 因此，好的特征选择将会消除畸变噪音的干扰，降低参与计算的数据量又不 失充分的表达图像内容的内部结构。 b ) 搜索空间 搜索空间是一系列可以配准图像的变换操作的集合，其中以几何变换为主要 因素。图像的几何形变可以分为三类：全局的、局部的和位移场形式的。全局的 变换指整幅图像的畸变都可以用统一的参数矩阵来描述。典型的全局几何变换包 括以下的一种或几种简单变换的组合：平移、旋转、各向同性或各向异性的缩放、 二次或三次多项式变换等等。局部变换允许变换参数有位置依赖性，在图像中不 同的位置具有不同的变换参数矩阵。一般变换参数只是定义在特定的关键点上， 而在其他区域进行插值。位移场方法，又称为光流场法，通过一个连续函数优化 机制，为图像中的每一点计算出一个独立的偏移量，并使用某种规整化机制进行 约束。一般来说，变换类型在某个特定应用场合可以作为一种先验知识，将搜索 空间限制在几种可能出现的特定变换。当没有先验知识参考时，就必须考虑所有 可能出现的变换形式。 1 4 山东大学硕士学位论文 c ) 迭代策略 迭代策略决定了下一步可选的变换的依据，用于最优变换的评估 由于很多配准算法伴随着庞大的计算量，常规的迭代搜索法实际上无法实现， 因此有效的迭代策略成为一个不容忽视的问题。给定一组对应特征和特征间参数 化的变形，由搜索空间和相似性度量方法决定了迭代策略。常用的迭代策略有： 动态规划、牛顿法、最速下降法、共轭梯度法等等 m 相似性度量 相似性度量决定了每一次变换优劣评估的结果。 相似性度量往往和提取的图像特征相关，它给出的评价值将直接决定了配准 变换的选择。在从每幅图像中提取图像的特征后，由相似性度量函数来计算决定 在当前所取的变换模型下图像是否被正确匹配了。通常，配准算法抗干扰的能力 是由特征提取和相似性度量所共同决定的。最常见的相似性度量方法为特征空间 的欧式距离，一般这样的相似性度量必须考虑归一化。 以上四个方面的组合，就构成了配准算法的基本框架。几乎目前所有的配准 算法都可以分解成这样的四个步骤。 尽管图像配准方法有着共同的框架，如前所述的四方面组合。但是不同算法 在四个方面的选择主要是根据特定的应用背景，具体的说是图像变换类型、图像 内容变化类型和参数计算方法所决定的。这里所说的图像变换类型指图像对应像 素的灰度值记忆坐标的畸变，参数计算方法指计算出最优变换参数所采用的算法 1 3 图像配准领域与研究现状 图像配准是立体视觉、运动分析、数据融合等实用技术的基础，在导航、地 图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域 有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究 工作，早在1 9 9 2 年英国剑桥大学的l i s ag o t t e s f e l db r o w n 在文献 3 0 l 中就总结了图 像配准的主要理论及图像配准在各个领域的应用 时隔十四年，图像配准技术已经有了飞跃的发展。下面本文作者将综述介绍 一下当前图像配准技术在三维场景重建、动态视频分析领域的应用 1 5 山东大学硕士学位论文 1 3 1 三维场景重建技术与静态图像配准 对客观环境在计算机中进行真实的三维重建，一直以来都是计算机视觉、机 器人学以及计算机图形学所研究的热门领域之一。一个同时具有几何准确性和照 片真实感( p h o t o r e a l i s m ) 的三维场景模型具有非常广泛的应用，在数字文物、数字博 物馆、数字考古、地形勘测、虚拟现实、数字城市、城市规划、数字娱乐( 游戏、 动画、电影) 等诸多领域3 1 l ，都会需要这样的模型。 以虚拟现实( v i r t u a lr e a l i t y ) 技术为例，我们着重讨论一下三维场景重建模型的 应用。虚拟现实技术是一系列多媒体新技术的汇集，其目标是用计算机来生成一 个逼真的三维世界以给观众如同真实世界的体验。虚拟现实的实现方法分为传统 的基于三维建模的方法和基于图像绘制的方法。基于三维建模的方法首先要对场 景中的所有物体建立三维几何模型和光照模型，然后利用透视投影原理将三维几 何模型映射到二维成像空间。基于三维建模的方法的缺点是：对硬件要求较高， 设备复杂；渲染速度受场景复杂度的限制；生成的模拟世界真实感不佳等。 基于图像的虚拟现实技术( i m a g e - b a s e dv i r t u a lr e a l i t y ，简称m v r ) 较好的解决 了传统技术的不足。首先利用图像处理技术得到场景的全景图【3 2 1 ，然后采用几何 变换和插值的方法就可以生成新的任意角度的视图。获取全景图的方法有两种， 一种方法是基于硬件实现的系统，比如使用鱼眼镜头、扫帚式摄像机等设备直接 获取全景图。这种方法造价昂贵，获取的全景图含有较大的变形失真，而且图像 分辨率也受到限制。另一种思路就是使用图像配准的方法，把多幅图像进行系列 排序、几何分析拼接：首先对周边场景进行拍摄以得到一系列的重叠图像，然后 利用重叠区域的信息计算出图像间的变换模型关系，并将其拼接起来以形成全景 图像 3 2 - 3 5 1 。 图像镶嵌要考虑三个最基本的问题，即首先要确定图像坐标变换的数学表示 模型，或者说摄像机运动模型；其次要根据某种方法来估算、求解该模型的参数； 最后将多幅图像统一投影、变形到一个新的坐标系，并使用某种图像融合算法进 行拼合。 1 3 2 动态视频分析 图像镶嵌分为静态镶嵌( s t a t i cm o s a i c ) 和动态镶嵌( d y n a m i cm o s a i c ) 两种。静态 1 6 山东大学硕士学位论文 镶嵌是对一系列相邻帧的共性信息即背景的描述，但无法对每帧独有的动态信息 进行更新。 动态镶嵌则常见于视频压缩与编码等技术中惭3 7 1 基于动态镶嵌的视频压缩 原理是：在一个视频图像序列中，若相邻帧的重叠较大，则体现出较强的延续性 和相关性。我们可以将实际场景表示为前景物体和从序列图像中提取并镶嵌而成 的背景，在存储和传输视频的时候我们只处理背景的m o s a i c 和每一帧的增量。而 在需要复现某一帧的时候，则该序列中的任意一帧可以由背景和增量的m o s a i c 完 全表示，从而降低了信息冗余度，实现了视频数据的压缩。 动态镶嵌技术推动了视频压缩、图像检索、视频编辑和交互