（电路与系统专业论文）彩色图像超复数整体拼接及其质量评估的研究.pdf

论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了 特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的研究 成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明并表示 了谢意。 作者躲苎辛啕翌臣啸坐v 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定，即：学校有权保留送 交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容， 可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此规定。 作者签名：毒阻导师签名薛 摘要 随着数字成像技术的迅速发展，数字成像设备( 数码相机、数码摄像机等) 得 到了越来越广泛的应用。然而，在一些特殊环境下，由于设备本身的限制使得数 字图像和视频的视场宽度不能满足应用要求。本文研究了利用图像拼接技术突破 成像设备本身的物理限制，得到大视场的数字全景图像的理论和方法。 图像拼接过程包括图像获取、图像配准、图像再投影、平滑处理等几个基本 步骤，其中图像配准是整个图像拼接的基础。本文研究了彩色图像的几何学配准 和光度学配准方法的基本原理，针对实际应用中已有的超复数互相关彩色图像配 准方法没有办法处理存在粗差的问题，在超复数互相关方法的基础上，结合鲁棒 核函数，提出了一种超复数鲁棒相关的方法。该方法在频域中能使用快速傅立叶 变换实现，在满足鲁棒性、实时性和准确性的同时，能通过遍历搜索去获得图像 配准的全局解。即使在配准图像问存在粗差或者色彩旋转的情况下，该方法也能 获得正确的配准结果。利用快速鲁棒相关技术所提供的被拼接图像相对位置值， 作为基于仿射模型粒子滤波器的初始预测值。使用该预测值，粒子滤波器可以简 单而有效地估计出图像拼接所需要的准确配准参数。该方法在满足鲁棒性、实时 性和准确性的同时，可以通过遍历搜索去获得图像配准的全局解。 对于拼接好的彩色图像，本文对其拼接质量的评价方法进行了讨论，将彩色 图像的三色分量作为超复数矢量的一个整体进行描述，提出了彩色图像的通用质 量指标。该指标考虑了五种彩色图像失真的组合：相关损失、亮度失真、对比度 失真、色彩失真和r ，g ，b 三色之间失真。并根据h s i ( 色调、饱和度、亮度) 彩色模型，讨论了提出的彩色图像通用的质量指标与灰度图像的质量指标之间的 关系。并用该质量指标从配准质量和融合质量两方面评估了彩色图像拼接质量， 该指标能够较好的符合人眼评估的结果，能判断出拼接图像在颜色、亮度、结构 上的连续性。 关键词：图像配准超复数粒子滤波通用图像指标结构相似性 中图分类号：t p 3 9 1 2 w i t ht h er a p i dd e v e l o p m e n to fd i g i t a li m a g i n gt e c h n o l o g y , d i g i t a li m a g i n g e q u i p m e n t sh a v eb e e nw i d e l yu s e d h o w e v e r , i ns o m es i t u a t i o n s ，t h ed i g i t a li m a g e a n dv i d e oc a n n o tm e e tt h ed e m a n d sb e c a u s eo ft h el i m i t e df i e l do fv i e w t h i sp a p e r s t u d i e st h ed i g i t a li m a g em o s a i c i n gt e c h n o l o g yf o rg e n e r a t i n gal a r g ef i e l d - o f - v i e w p a n o r a m ai m a g ef r o ma ni m a g eo rv i d e os e q u e n c e i ng e n e r a l , a ni m a g em o s a i c i n gp r o c e s sc o n s i s t so ft h ef o l l o w i n gs t e p s ：i m a g e a c q u i s i t i o n , i m a g er e g i s t r a t i o n , i m a g e 此- p 叫e c i i ，a n db l e n d i n gp r o c e s s i n g i m a g e r e g i s t r a t i o ni st h ef o u n d a t i o no fi m a g em o s a i c i n g i nt h i sp a p e r , t h ep r i n c i p l e so f g e o m e t r i ci m a g ea n dp h o t o m e t r i cr e g i s t r a t i o n sa r er e v i e w e d e x i s t i gh y p e r c o m p l e xc o r r e l a t i o nm e t h o df o ri m a g em o s a i c i n gi sn o tr o b u s t a g a i n s to u t l i e r s an f wa p p r o a c ht h a ti n c o r p o r a t e sh y p e r c o m p l e xc o r r e l a t i o nw i t h r o b u s t n e s si sp r e s e n t e di n t h i sp a p e rf o rc o l o ri m a g er e g i s t r a t i o n t h ep r o p o s e d m e t h o du t i l i z e sa d v a n t a g eo ft h e 吼t h e r e f o r ei ti sr o b u s t 。f a s ta n de x h a u s t i v e t h e m e t h o da l s op e r f o r m sw e l le v e nt h e r ea r eo u t l i e r so r a n dr o t a t i o ni na3 - ds p a c e i n o r d e rt om a i ci m a g e sa c c u r a t e l y t h ep a r a m e t r i ct r a n s l a t i o nt r a n s f o r m a t i o n sf o u n d b yf a s tr o b u s tc o r r e l a t i o na r eu s e da si n i t i a l i z a t i o np r e d i c t e dt r a n s l a t i o np a r a m e t e r so f ap a r t i c l ef i l t e r u s i n gt h ep r e d i c t e dp a r a m e t e r s ，t h ep a r t i c l ef i l t e rc a ne s t i m a t ei m a g e r e g i s t r a t i o np a r a m e t e r sm o r ea c c u r a t e l y , e a s i l ya n de f f i c i e n t l y c o n s e q u e n t l yt h e p r o p o s e dm e t h o dc a nb er o b u s t , f a s t , e x h a u s t i v e ，a n dn e e dn o tr e l yo no p t i m i z a t i o n a n dm a n u a lo p e r a t i o nt om o s a i ci m a g e s m o r e o v e r , ac o l o ri m a g ei st a k e nav e c t o ra n dd e s c r i b e db yh y p e r c o m p l e x n u m b e r si nt h i sp a p e r au n i v e r s a lc o l o ri m a g eq u a l i t yi n d e xi st h e np r e s e n t e d , t h e p r o p o s e di n d e x i sd e s i g n e db ym o d e l i n ga n yi m a g ed i s t o r t i o na sac o m b i n a t i o no ff i v e f a c t o r s ：l o s so fc o r r e l a t i o n , l u m i n a n c ed i s t o r t i o n , c o n t r a s td i s t o r t i o n ，c o l o rd i s t o r t i o n , a n dr e l a t i o n s h i pd i s t o r t i o na m o n gt h er ，g ，a n dbi n f o r m a t i o n t h ea f f i l i a t i o n s b e t w e e nt h ep r o p o s e di n d e xa n dt h ei n d e x i e sr e p r e s e n t i n gt h es t a t eo fa r t so na g r a y s c a l ei m a g e a r ed i s c u s s e db a s e do nt h es a t u r a t i o n - h u e , - i n t e u s i t y ( h i s ) m o d e lo fa c o l o ri m a g e t h ee x p e r i m e n t a lr e s u l t so fv a r i o u sc o l o ri m a g ed i s t o r t i o nt y p e si n d i c a t e 3 t h a tt h ep r o p o s e di n d e xn o to n l yp e r f o r m ss i g n i f i c a n t l yb e t t e rt h a nt h ek n o w ni n d e x e s o nag r a y s c a l ei m a g e ，i tc a na l s om e a s u r e w h e t h e rt h ed i s t o r t i o nt y p e sa r ef r o mt h e 咖c t i i l a l0 fc o l o ri n f o r m a t i o no fac o l o ri m a g e t h i si n d e xi st h e na p p l i e dt oe v a l u a t e t h em o s a l c e di m a g e s t h et e s tr e s u l t ss h o wt h a tt h ep r o p o s e dm e a s u r ei sr e l i a b l e k e y w o r d s ：i m a g er e g i s t r a t i o n , h y p e r c o m p l e x ，p a r t i c l ef i l t e r , u n i v e r s a li m a g eq u a l i t y i n d e x ，s t r u c t u r a ls i m i l a r i t y c h i n e s el i b r a r yc l a s s i f i c a t i o n ：t p 3 9 1 4 第一章概述 麓引言 众所周知，人类是通过使用他们的触觉、味觉、听觉、嗅觉以及视觉等五种 感官来感知和体验自然世界，并在艺术和科学等领域进行着持续的努力，力图提 高这种感知能力。其中，增强视觉的感官体验已经逐渐成为最为吸引人并且最为 流行的挑战之一从眼镜镜片到望远镜，从绘画到n 江a x 剧院，从眼药水到激 光手术，为了突破人类单靠双眼来感知和体验自然界的局限，大量的创新相继出 现。 很长时间以来，人们都认为使用广角视觉来表现一个场景能够提高观测者的 可视化程度。广角可视化概念多以“全景图”或者更为专业的说法“全方位图像” 的形式被广泛应用【。全景图试图从单一的观测点用尽可能宽广的视野来描述一 个场景，它提供了一个在所有可能的观测角度上场景的独特描述方式。所以它让 观测者感觉就好像站在场景中的某一个真实的位置上观察一样。 从前，人们采用的机械的、面向硬件的方法来表示一幅场景，而现在，越来 越多的更加智能化的方法相继出现。随着高速、强大并且易用的计算机的出现， 现在我们可以使用面向软件的方法使景物可视化变得更加容易。寻找新的由数字 图像表示景物的方法在近2 0 年已经成为研究的焦点所在。比如在景物插值、图 像变形以及立体重建等研究主题中，我们的目标是利用输入图像来合成一个场景 的崭新视觉影像甚至得到该景物的三维信息。可以这样说，这些技术是利用较少 的图像来生成大量的图像。而另外还有一个研究领域正好与此相反，图像拼接的 目的则是利用大量的图像来合成一幅大尺寸、高分辨率的图像。 使用现代计算方法，我们已经可以由输入图像集合智能地建立景物或场景的 广角表现形式。以前，为了建立无缝广角图像我们只能使用面向硬件的方法。而 如今，使用普通相机拍摄的图像可以很容易合成一张全景图像，我们称之为数字 拼接图像。 数字图像拼接技术允许我们由多幅图像快速地建立一幅高分辨率的拼接图 像，该图像不仅具有较好的景物的全局影像，而且还保留了原始图像中的细节信 5 息。拼接图中由于原始输入图像中光照条件的变化或是相机自动曝光机制造成的 缝隙，可以通过一系列图像处理手段得到弥补。最后，面向软件的方法让我们可 以利用视频数据快速地建立全景拼接图，而完全使用面向硬件甚至是手工操作的 方法来完成这一任务则会相当复杂并且耗时。 瓣燃 鬟鬓图像拼接相关知识 图1 - 1 图像拼接流程演示 近2 0 年来，有关图像处理领域的研究有了长足的进步。通常情况下图像拼接 遵循一种基本结构，它包含以下步骤：图像获取，图像预处理，图像配准，图像 再投影以及图像融合。 图像获取，简单地说是以一定方式方法获取景物或场景图像的过程，采用的 6 方式方法应当尽可能地对最终拼接图的生成起到帮助作用。在这一步里，我们需 要考虑的问题通常有拍摄照片所使用的相机的类型、相机的可视角度和焦距以及 拍摄照片时相机所处的位置和运动方式等等。使用传统相机拍摄得到的普通照片 通常会有一些特性对图像拼接过程造成一定影响，比如图像模糊、噪声、镜头形 变、色彩不连续及无规律性等等。图像配准是图像拼接中的一个关键步骤，在这 一步就是要计算出一个场景的不同视图之间的点到点的映射关系。 最后，为了改善渲染图像的视觉效果，我们需要进行平滑处理，称之为图像 融合，即采用某种平滑函数消除在图像和成时重叠区域上出现的缝隙。 图1 - 1 演示了图像拼接的一般过程，首先如第一排所示获取图片，进行预处 理，如提取角点等，中间一排为图像配准，即将相应的特征一一对应，第三捧为 图像的再投影和融合。 鞣 鋈2 i 图像获取方法 图像获取方法的不周导致取得输入图像的不同，最终拼接结果也不同。图像 获取由照相机拍摄时的运动状态决定，一般有三种情况：( 1 ) 照相机放置于一个滑 轨上，平行移动照相机进行拍摄；( 2 ) 照相机固定在三角架上，旋转照相机拍摄； ( 3 ) 最普通的情况是，人手持照相机，站在原地拍摄四周，或者沿着照相机的光 轴垂直方向走动拍摄。 平移照相机拍摄 平移照相机指的是照相机在一个平行于成像平面的方向上平移。在固定焦距 的情况下，照相机放置在一个滑轨上移动拍摄。物体和照相机的距离远近，或者 拍摄物体的大小的变化，都会影响到最后的拼接结果1 2 1 。这种情况的缺点：拍摄的 相片在一个平面上，拍摄的三维感觉不如旋转拍摄的。 旋转照相机拍摄 在这种情况下，放置照相机的三脚架在拍摄过程中一直在同一位置。拍摄时， 照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片。理想的情况下，照相 机不绕照相机光轴旋转。拍摄得到一系列照片中相邻两张必须有部分重叠。重叠 区域大小是图像拼接重要的影响因素。建议相邻图像之间重叠比例达n 5 0 。重 叠比例越大，拼接就越容易，但是需要的照片越多。旋转照相机拍摄由于照相机 7 固定，不需要恢复过多参数，较容易实现。但是，拍摄图像不在一个平面上，需 要投影到同一个平面上，这将会导致图像质量下降。 手持照相机拍摄 这种方法比较容易做到，手持照相机原地旋转拍摄，或按一定的路线平行于 对象拍摄。但是，拼接手持照相机拍摄的照片是很困难的，因为在拍摄过程中， 照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控 制、旋转控制都很差。沿一定路线移动时，类似于平移拍摄，控制距离和保持相 同的成像平面很困难。为了减少这些影响，可以增加重叠比例，使照相机旋转角 度、平移减小，因而减小相邻图像之间的不连续程度。 1 2 2 图像的几何变换 ( 至】。 裹蒌车 ( 习或一_ 脓 m - ( o o - 焉s i n 口0 ；】 其中口为图像的旋转角度，t n ：和小，为平移量。容易看到，刚性变换矩阵具有3 r 是一个变换，如果孔x ) z ( o ) 是线性变换，那么我们称z ( x ) 是仿射变换( a 塌n e 8 剐性变换，维持了图像中原有的几何关系，比如一个三角形经过变换后，得到的 三角形和原三角形是相似的。一般而言，它有四个参数：，t ，0 ，$ 。其中f j ， t 。表示平移，口表示旋转，s 表示缩放，变换方程为： ( 加。( 芸；= 胁 肼。融；】 k 4 n ( 抄 其中o ，仉2 ，卦) 是投影系数， ，_ ) ，) 是物体在景物平面上的坐标，“，) ，。) 是 投影在图像平面上的坐标。 如果景物离相机很远，景深远大于焦距，那么就可以近似认为景物是在同一 平面上。这时我们认为投影就是从景物平面到相机成像平面的映射，这个过程也 称为矩形化限c c i i 矗c a t i o n ) 。 弹性变换 弹性变换也称为非线性变换，经过弹性变换后一幅图像中的直线可能被映射 成曲线。弹性模型建立的主要思想是，将物体的受力与形变关系联系起来，这对 于实际问题是很有意义的，通常医学图像的畸变都是由于人体组织的受外力或内 力影响而产生的。弹性模型没有统一的数学描述，要根据不同的图像形变成因构 9 建相应的模型 实际上，在上面的4 种几何变换中，刚性交换可看作是仿射交换的一种特例， 仿射变换可看作是是投影变换中的一种特例，而投影变换又可看作是非线性变换 中的一种特例。可以说，非线性变换几乎能够包含所有的坐标变换。目前，医学 图像配准方法大部分使用刚体变换，特别是对于同一入脑的配准，因为对同一个 人来说，其脑部各个组织几乎不变形或变形很小，两幅图像因为组织变形或位移 而引起的差别较小。在非刚体变换中，投影变换主要用于2 d - 3 d 图像配准中，仿 射变换、非线性变换和投影变换主要用于软组织的图像配准中，特别是腹部、肺 部等组织或器官容易发生变形或位移的部分。因为组织或器官的变形或位移难以 确定，目前使用的非刚体变换模型的模型误差较大，所进行的非刚体配准一般也 只是停留在试验阶段。 1 2 3 传统灰度图像配准方法 在得到几何变换后，迸一步的工作就是要找到一种合适、最优的描述量，用 以表征相似或者差异，即对图像进行配准。 图像配准是图像拼接中的一个关键步骤，在这一步就是要计算出一个场景的 不同视图之间的点到点的映射关系。这一映射关系通常被称为“对应变换”。这 些变换可以表现为平移、旋转、仿射以及投影等形式。 它直接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多年 来研究的重点，也是我们需要着重描述的部分。 图像配准，即寻找使两幅图像间相重叠的部分，对齐所需的变换。这些变换 可以表现为平移，旋转，仿射以及投影等形式。 对给定的两幅图像所口图像b 以及得到的几何变换l 图像配准的目的就相当 于是寻找某种变换，使得肘u ，b ( 骐的) ) 最大( 或最小) ，其中蚋根据图像，4 中所 有在图像b 中有对应点的点耐算而得到的相似性测度。常见的相似性测度，亦 称代价函数，包括：灰度均方差、互信息、相关系数、联合熵、相对熵以及其他 像素相似性测度等。 相似性测度反映了两幅图像配准的好坏程度。理想情况是代价函数在配准点 熵取到极值。如何选择一个合适的相似性测度，用它来描述图像几何位置符合的 程度，并且计算简单。常见的一种假设是两幅图像的灰度之间存在明确的函数关 系。例如根据最大似然理论。使用灰度差值平方和作为相似性测度。还有就是假 设两幅图像的灰度之间存在某种线性关系，就可以选择归一化互相关为相似性测 度。以上两种关系都是严格的函数关系，主要应用在单模图像配准中。 另一种较为宽松的假设是图像之间的普通函数相关，此时可以使用的相似性测度 有灰度比方差和相关比。但是这种假设对于大多数多模图像配准来说还是太苛刻 了为此基于信息论的相似性测度应运而生，这种相似性测度只假设灰度之间存 在某种统计关系。 不同图像的性质不同，决定了不同情形下，对最优相似性测度的选择不同， 此时就需要根据实际的配准任务，分析任务特点，选择合适的相似性测度，优化 相似性测度函数达到全局最大或最小。 目前的图像配准算法基本上可以分为三类：基于像素的配准方法，基于特征的 配准方法，基于模型的配准方法。 ( 1 ) 基于像素的配准方法。这类方法根据配准图像的相关函数，f o u r i c r 变换等关 系式来计算配准参数。最常见也是最简单的方法就是窗口( 模板) 匹配法。 ( 2 ) 基于特征的配准方法。这类方法是根据需要配准图像的重要的相同特征之间 的几何关系确定配准参数，因此这类方法首先需要提取特征，如边缘，角点，线， 曲率等。然后建立特征点集之间的对应关系，由此求出配准参数。 ( 3 ) 基于模型的配准方法。这种方法是根据图像失真的数学模型来对图像进行非 线性校准的配准，多用于医学图像。 前两种方法是全局图像配准技术( 对应于全局几何变换) ，这两类方法通常需 要假设图像中的对象仅是刚性的改变位置，姿态和刻度，改变的原因往往是由摄 影器材运动引起的。第三类方法( 对应于局部几何变换) 只适合图像中的对象之间 的局部的非线性的非刚性变形情况，这种失真如果是由于成像系统的非线性引 起，则需要根据成像系统的非线性失真模型来实现配准，此时可归为几何精确校 正处理。 一般来说，基于像素的配准算法把匹配点周围区域的点的灰度都考虑进来进 行计算，故匹配计算量大，速度较馒。而基于特征的算法提取了图像的显著特征， 大大压缩了图像信息量，故计算量小，速度较快，但需要预处理。 下面讨论一些常用的图像配准算法 基于灰度信息的图像配准方法 基于区域的方法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中 搜索与此模板最相似的匹配块，这种算法精度较高，不需要对图像进行复杂的预 先处理，但遍历搜索计算量过大 按照匹配算法的具体实现又可以分为直接法和搜索法两大类，直接法主要包 括变换优化法，它首先建立两幅待拼接图像间的变换模型，然后采用非线性迭代 最小化算法直接计算出模型的变换参数，从而确定图像的配准位置。该算法效果 较好，收敛速度较快，但是它要达到过程的收敛要求有较好的初始估计，如果初 始估计不好，则会造成图像拼接的失败。搜索法主要是以一幅图像中的某些特征 为依据，在另一幅图像中搜索最佳配准位置，常用的有比值匹配法，块匹配法和 网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分 像素，然后以它们的比值作模板，在另一幅图像中搜索最佳匹配。这种算法计算 量较小，但精度较低；块匹配法则是以一幅图像重合区域中的一块作为模板，在 另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大； 网格匹配法减小了块匹配法的计算量，它首先要进行租匹配，每次水平或垂直移 动一个步长，记录最佳匹配位置，然后在此位置附近进行精确匹配，每次步长减 半，然后循环此过程直至步长减为0 。这种算法较前两种运算量都有所减小，但 在实际应用中仍然偏大，而且粗匹配时如果步长取的太大，很可能会造成较大的 粗匹配误差，从而很难实现精确匹配。 1 9 8 2 年r o s e n f e l d l 3 1 提出的交叉相关是最基本的基于灰度统计的图像配准方 法。它通常被用来进行模板匹配和模式识别。它是一种匹配度量，给出了一幅图 像和一个模板的相似程度。 另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法 ( s e q u e n t i a ls i m i l a r i t y d e t e c t i o n a l g o r i t h m s ，s s d a ) 是由b a m e a 等人【4 】提出来的 s s d a 力 法的最主要特点是处理速度快。 以上的相似准则方法都是比较传统的基于直接灰度信息的相关运算类或误 差运算类方法。这些方法尽管各自具有一定的优点，但总的来说有着共同的不足 之处，那就是对于噪声和不同灰度属性或对比度差异缺乏鲁棒性。 1 2 1 9 9 5 年，出现了一个新的解决图像配准问题的方向，那就是基于信息理论的 交互信息相似性准则。交互信息的概念最早可以追溯到1 9 4 8 年s h 锄n 【5 】的工作。 从此之后，交互信息在很多领域得到应用，例如统计、通信理论、复变分析等等。 1 9 9 5 年，v i o l a 等a 1 6 , 7 和c o l l i g n o n 等人分别独立地把交互信息引入到图像配准 领域，初衷是为了解决多模态医学配准问题。 由于以上方法均是在全局作相似性度量，对高分辨率大尺度图像，相似性量 度的计算量也相应增大，应用这些方法的必要条件是有对应的搜索策略以减少计 算量。 基于全局统计信息的图像配准方法具有对噪声较敏感的缺点，而这一缺点在 基于变换域的方法中可以得到一定程度的缓解。 变换域的图像配准方法 最主要的变换域方法就是傅氏变换方法嘲。图像的旋转，平移，比例变换都 能在傅里叶变换频域中反映出来，而且使用频域方法的好处是对噪声干扰有一定 的抵抗能力，同时傅里叶变换可以采用f f t 的方法提高执行的速度，另外，傅氏 变换有成熟的快速算法和易于硬件实现，因此，傅氏变换是图像配准中常用的方 法之一 相位相关法最早是由勋g l i n 和胁髂【9 】在1 9 7 5 年提出的，并且证明在纯二维平 移的情形下，拼接精度可以达到1 个像素，多用于航空照片和卫星遥感图像的配 准等领域。该方法对拼接的图像进行快速傅立叶变换，将两幅待配准图像变换到 频域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现图 像的配准。由于其具有简单而精确的特点，后来成为最有前途的图像配准算法之 一但是相位相关方法一般需要比较大的重合比例( 通常要求配准图像之间有 5 0 的重合比例) ，如果重合比例较小，则容易造成平移矢量的错误估计，从而 较难实现图像的配准。 变换域配准方法在噪声的敏感性和计算的复杂度上有一定的优势，但从上面 的分析可以看出，这一方法受限于傅里叶变换的不变性质，只适用于在傅里叶变 换中有相应定义形式( 如旋转、平移等) 的图像转换中，一般应用于仿射转换的图 像配准中，对于图像转换形式较复杂的情况无能为力，此时需要基于图像特征的 方法来解决这类问题。 基于特征的配准算法 我们知道，两幅图像之间的差异是影响图像配准的主要因素。因此，在图像配 准中务必尽可能地消除两幅图像之间的差异对图像配准的影响。概括地说，解决 这个问题有三种方式，一种是在图像配准之前对图像进行预处理，尽可能地消除 图像之间的幅度偏差和形变，然后进行图像配准；第二种是，首先提取图像特征， 然后根据图像特征进行图像配准【1 0 1 1 1 。这种方法，我们称之为基于图像特征的 配准算法；第三种是，在图像配准过程中考虑消除两幅图像之间的差异的图像配 准算法，如最小二乘匹配算法等。不过，这三种方式并非绝然分割的，而是有联 系的，有的算法既可把它看成这种方式，也可把它看成另一种方式。基于图像特 征的方法是图像配准中最常见的方法，对于不同特性的图像，选择图像中容易提 取并能够在一定程度上代表待配准图像相似性的特征作为配准依据。基于特征的 方法在图像配准方法中具有最强的适应性，而根据特征选择和特征匹配方法的不 同所衍生出的具体配准方法也是最多样的。这类方法的主要共同之处是首先要对 待配准图像进行预处理，也就是特征提取的过程，再利用提取到的特征完成两幅 图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射变换。这类 方法一般包含3 个阶段【1 2 l ： ( 1 ) 计算并提取图像的特征集( 常常是特征点集) ； ( 2 】将这些特征作为控制结构，寻找两幅图像控制结构的映射关系； ( 3 ) 建立控制结构间的空间域的几何变换，通常利用最小二乘原则建立一个二维 多项式函数来对几何变换进行拟合。 图像配准算法按用到的图像特征的不同分类，可以分为基于点，基于矩 ( m o m e n t b a s e d ) ，基于边缘，基于相似性判据最优的方法等【埘。 基于控制点的配准方法：也称为点映射法( p o i n t - m a p p i n g ) ，即控制结构为图像 中的显著点，也称控制点，控制点可以用户提供，也可以有算法估计，然后对控 制点进行匹配，估计几何变换参数并进行配准。 基于矩( m o m c n t 船e d ) 的配准方法：控制结构是图像或局部图像的不变矩，根 据不变矩特性进行目标间的匹配。通常的有一阶矩，二阶矩。 基于边缘的配准方法：控制结构是图像的边缘，通过利用边缘的长度，方向 等信息来实施边缘间的匹配。 1 4 基于相似性判据最优化的方法：选择一个几何变换并以各种参数值加于一幅 图像上，对每一个值，结合另一幅图像评价有相似性判据提取的控制结构。这样 就表明了控制结构匹配的程度，由此可以由判据的最优值来实现配准。这种方法 后来也归结于基于弹性模型的方法。 就图像中的特征而言，可以分为内在特征和外在特征。内在特征是人为设置 于图像内专门用于图像配准的标志，它与图像数据无关且容易辨认。但为了配准 图像人工设置标志要耗费大量人力物力，在大数据量自动化配准应用中也是无法 实现的。外在特征即由图像数据中利用某种方法提取出来的特征，这种特征提取 只是一个数字图像处理过程，自动化程度和代价均优于前者，如果特征选择的合 适也能取得较好的配准效果，此后论述的特征专指外在特征。 点特征是配准中常用到的图像特征之一，其中主要应用的是图像中的角点。 图像中的角点在计算机视觉、模式识别以及图像配准领域都有非常广泛的应用。 因而针对角点检测的算法也有很多的报道【l 【堋，直线段是图像中另一个易于提取 的特征。s t o c k m a n 和m e x l i o n i 等人都曾用通过匹配图像中提取的直线段来配准图 像。h o u g h 变换是提取图像中直线的有效方法。 近十几年来，随着图像分割、边缘检测等技术的发展，基于边缘、轮廓和区 域的图像配准方法逐渐成为配准领域的研究热点。分割和边缘检测技术是这类方 法的基础，目前已报道的有很多图像分割方法可以用来做图像配准需要的边缘轮 廓和区域的检测，比如锄y 边缘提取算子，拉普拉斯高斯算子( i o g ) ，动态阈 值技术，区域增长等等【1 6 1 。尽管方法很多且各具特点，但并没有任何一种方法 能对所有种类的图像都能获得最佳效果，大多数的分割技术都是依赖于图像本身 的( i m a g e - d e p e n d e n o 。 这一类方法不直接利用图像的灰度信息，因而对光线变化不敏感，但对特征 点对应关系的精确程度依赖很大。目前大部分的图像配准算法都可以归为这一 类。 如上所述，传统的图像拼接方法，在满足鲁棒性、实时性和准确性的同时， 很难做到遍历搜索去获得图像配准的全局解【切。文献【1 8 】针对图像拼接的鲁棒性 和实时性问题，在傅立叶谱上对方法进行了改进。其对图像匹配采用的快速鲁棒 相关技术属于利用图像灰度信息进行匹配的方法，分析表明它能部分克服现有技 术存在的一些不足，如匹配速度慢、非鲁棒性、需要进一步优化等。不过，由于 文献【1 8 】的方法是在频域内计算相关，所以可以在进行全局遍历搜索时保证速 度。在与传统的相关匹配以及直接鲁棒匹配相比，其拼接效果具有明显的优势的 同时，对处理大尺寸图像的处理速度是普通鲁棒匹配的几千倍。 1 2 4 图像融合 最后，为了改善渲染图像的视觉效果，我们需要进行平滑处理，称之为图像 融合，即采用何种平滑函数消除在图像合成时重叠区域上出现的缝隙。简单的多 传感器图像融合方法是早期的图像融合方法，也是目前应用最多的图像融合方 法。它的基本原理是不对参加融合的各源图像，进行任何图像变换和分解，而是 直接对各源图像中的各对应像素分别进行选择、平均或者加权平均等简单处理 后，融合成一幅新的图像。简单的像素级图像融合方法主要有； 1 ) 像素灰度平均或加权平均； 2 ) 像素灰度值选大； 3 ) 像素灰度值选小。 麟燃 羹遴选题意义 目前针对彩色图像的处理，人们都是通过某种变换提取出彩色图像的灰度信 息，再用灰度图像的质量指标对其进行处理来实现的。在彩色图像处理的传统方 法中，可以得到较好效果的办法是将彩色图像的r g b 三个分量分别用灰度的方 法处理，再将得到的三个结果相加，但这种方法没有考虑彩色图像r g b 三色信 息之间的内在联系和它们的相互影响。在一些应用中，改变光照条件时对颜色的 影响大于对亮度的影响，这时传统方法忽略了颜色而只采用灰度信息来处理，给 出的结果也是片面的和不准确的。文献【1 8 】- 【1 9 】提出了彩色图像超复数相关的方 法，将彩色图像看作一个向量进行处理，并讨论了彩色图像的相位互相关以及颜 色校正，但在实际的图像配准中，由于粗差的存在经常会出现误匹配。因此，有 必要在存在粗差的情况下研究彩色图像拼接的方法。 对于配准之后的图像拼接效果，一直是以人眼作为主观评价标准，主观评价 方法受到包括环境条件，动机以及情绪等多种因素的影响，而且耗时耗力、代价 昂贵。因此在针对彩色图像的通用客观质量评估方法的基础上，有必要研究客观 图像拼接的质量指标，即研究一套量化的方法，来自动评估拼接图像质量的影响， 并为进一步改善图像拼接方法提供理论的指导。 蓊 蘩4 本文主要内容和安捧 本文研究的内容主要针对彩色图像的配准和评估问题。 本文主要创新点在于 1 提出基于超复数快速鲁棒相关和粒子滤波的图像配准方法 2 提出基于超复数的彩色图像质量评估方法 各个章节的内容安排如下： 第一章，对图像拼接进行了概述，讨论了存在的问题。 第二章，提出了基于超复数快速鲁棒相关的彩色图像配准方法。 第三章，基于粒子滤波器的图像局部配准方法。 第四章，提出了彩色图像的质量评估方法，并将其应用于拼接质量的评估。 第五章，总结全文 1 7 第二章彩色图像的超复数整体配准 鬟溪传统基于灰度的图像配准方法 为了匹配图像，和g ，图像灰度值在【o ：l 】范围内，通常评价函数表示为【1 8 1 ： r p ) 一_ i l ( ，“) 一g 仅一6 ) ，仅，“一6 ) ( 2 - 1 ) 其中z o ，y ) 表示每个象素点的坐标，口，、表示每个象素点的透明度， 用来配准非矩形的图像，即对待配准的图片中需要的部分，透明度取为1 ，其他 部分为0 。这里对整幅图像配准，所有象素点透明度取为1 6 一( 辨，n ) 表示两 幅图像间的相对移动， o 为核函数，r 是两幅图像间对应像素的差值，传统方 法使用的核函数h ( r ) 1 ，2 。，和g 间的移动向量可以从评价函数r 的最小值得到。 由于平方核函数对粗差敏感【堋，为了在保证速度的同时增加鲁棒性，文献【1 8 】 中提出了一个鲁棒核函数： h e ) - 弘。一c o s ( a r 石，) ) ( 2 - 2 ) 其中4 ，为定义的常量，p 为循环的次数，是两幅图像间对应象素的差 值。图2 1 为鲁棒核函数与传统的平方核函数的比较，可以看出该鲁棒核函数对 粗差不敏感。 图2 - 1 鲁棒核函数与传统核函数比较 为了提高运算速度可以使用它的简化形式，取一次循环，即取b p - - 0 5 ， a p - 5 3 5 ， - - 1 ，文献【1 8 】验证了这种简化形式的有效性。 文献【1 8 1 的分析表明：平方核函数的函数值随像素差值的增大变化明显，即 对粗差敏感，如果在正确匹配区域内存在小部分的遮挡或干扰就会发生伪匹配， 而这里用到的鲁棒核函数式( 2 2 ) 对粗差和细小变化都不敏感，具有鲁棒性。 将h ( r ) 代入评价函数式( 2 - i ) 可以得到 r 伽) 一；i 吩。坟o - - m ) 荟( 1 _ 啪州，- g o 叫煳l q 渤 用三角函数的方法可以将式( 2 - 2 ) 展开成一系列互相关的形式，可得： r pp 1 n r c 心) 荟6 p 一荟 ，州) 魄e 枷的 “ 式( 2 - 4 ) 表明用f f f 的方法进行相关计算，这样穷尽搜索时既可以保证速度又 可以做到鲁棒性。实现步骤如图2 - 2 所示。 氆l 钳旺l 姆鼠p ma p “ 鞘砂 图2 - 2 式( 2 - 4 ) 实现步骤示意图 对两幅视频中截取的图片进行配准，如图2 - 3 所示， 图2 - 3 视频中截取的两帧图像 两幅图像重叠部分存在干扰，如船位置的移动，图像右边的黑条，配准曲面 如图“所示 图2 4 快速鲁棒相关方法得到的配准曲面 可以看到在有大量粗差存在的情况下仍能得到准确的配准结果，拼接效果如 图2 - 5 所示， 图2 5 两幅图像配准后的拼接效果 这种算法虽然无法得到图像间的旋转参数，但由于选用的核函数具有对细小 变化和粗差不敏感的鲁棒性，所以允许两幅图片之间存在小的旋转，配准的准确 性会随着旋转角度的增加而下降。 蒸鬻 羹薏彩色图像超复数整体配准方法 在处理彩色图像配准问题的时候，很多方法是将彩色图像转化为灰度图像， 即使用图像的亮度信息( 1 w 格式中的l ，分量) 进行配准。由r g b 图像3 个分 量r ，g ，b 转化得到的灰度值应满足1 ：- - 0 2 9 8 9 r + 0 5 8 7 0 g + 0 1 1 4 0 b 。 可以看出，在灰度值中绿色分量所占的比重大，如果受到干扰很可能造成误 匹配，在下面的配准例子中，用互相关的方法对图2 - 6 中的2 幅图片进行配准。 如果转化为灰度图像配准，结果得到的( b ) 到( a ) 的相对位移为( 2 9 ，1 0 0 ) ， 这是一个错误的配准，正确的相对位移应为( 3 ，2 6 4 ) 。分析原因，分别对r 、 g 、口3 个分量配准，得到结果如下：历( 固= ( 3 ，2 6 4 ) ，m ( g ) = ( 2 9 ，1 0 0 ) ， r e ( s ) - - ( 3 ，2 6 5 ) ，其中所( ) 表示对选定的分量配准结果。可以看出由于在g 分 量上的误匹配导致了灰度图像配准的失败。所以在处理彩色图像的配准问题时， 不能简单地转化为灰度图像，尽管它会提高运算速度，但信息的丢失会增大误判 的可能。 图2 - 6 待配准的两幅图片 目前对于彩色图像可以得到较为理想结果的方法，是将灰度图像配准的方法 直接用来分别处理彩色图像的3 个分量，最后将相应结果求和，推出最终结果。 但是这种方法没有将彩色图像作为一个向量整体考虑，在一些应用中，改变光照 条件时对颜色的影响大于对亮度的影响，这时传统方法忽略了颜色而只采用灰度 信息来处理。 文献 1 8 - 1 9 提出了彩色图像超复数相关的方法，将彩色图像看作一个向量进 行处理，并讨论了彩色图像的相位互相关以及颜色校正。在实际的图像配准中， 由于粗差的存在经常会出现误匹配。本文针对存在粗差的情况对超复数相关进行 改进，结合鲁棒核函数，提出鲁棒超复数相关的方法，并通过实验证明了有效性。 羰 鬟2 1 超复数相关 1 8 4 3 年，哈密尔顿提出了一个有用的复数称之为四元数，也称为超复数。四 元数可以看成复数的推广，它包括1 个实部分量和3 个虚部分量。四元数空间的点 可以表示为 g o ) i q o o ) + 概o ) + 由：o ) + 幻3 伽) ；( 2 - 5 ) q o c 0 = 0 时候该四元数为纯四元数。令超复数3 个虚部分量分别代表红( r ) 、 绿( g ) 、蓝( 口) 3 基色，实部为0 ，即( 1 ) 式中q o o ) - 0 ，q l o ) 一r ，q 2 ) 一g ， 幻o ) - b ，彩色图像c ( 玛筇) 可表示为 c ( m ，矗) - r ( m ，以) + ( 册，甩) + 舾似，玎) 为了定义2 个四元数的乘法，哈密尔顿规定了如下的规则 j 2 - 2 - k 2 一l , i j - 一芦- k ，砖- j 吁i , k i - - i k - j 式中i ， 七是3 个虚数单位。 所以2 个纯四元数p ，q 相乘，实部是2 个纯四元数点乘的负数，虚部是2 个纯 四元数叉乘，形式如下。 尬- - p q + p x qp q q p 。 为了保证互相关计算