（信号与信息处理专业论文）基于多尺度几何分析的图像融合算法研究.pdf

基于多尺度几何分析的图像融合算法研究 学位论文完成日期：垫幽鼬翌垒 指导教师签字： 答辩委员会成员签字： 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 ( 洼! 麴递查墓丝噩要挂型直蛆的：奎拦丑窒) 或其他教育机构的学位或证书 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：鸯奄穸 签字日期：姊年f 月矽日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构( 如中国科学技术信息研究所等) 送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权学校可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：冬舞宇 导师签字：高跏蓥 签字日期：如矽年，月凹e t签字日期： 年，月凹日 学位论文作者毕业后去向： 工作单位： 通讯地址： 1 1 1 电话： 基于多尺度几何分析的图像融合算法研究 捅要 图像融合是- f 综合了传感器、图像处理、信号处理、显示、计算机和人工 智能等诸多技术的现代高新技术，该技术融合同一场景的多幅图像信息，得到关 于同一场景的一幅更清晰、包含更多有用信息的图像。图像融合技术在医学、测 量、地理信息系统、工业、智能机器人以及军事等领域都起着重要的作用，并日 益受到众多研究者的关注。 在变换域，基于小波的图像融合方法目前应用较多。小波变换在一维信号处 理方面具有显著优势，但小波变换在处理自然图像时不能充分利用数据本身特有 的几何特征，不能最优地表示含有线或面奇异的高维函数，同时小波变换捕获的 方向性信息也有限。多尺度几何分析是近年来发展起来的高维函数的最优表示方 法，主要有脊波变换、c u r v e l e t 变换、b a n d e l e t 变换、以及c o n t o u r l e t 变换和非 采样c o n t o u r l e t 变换等。本文将多尺度几何分析用于像素级图像融合，在对图像 融合规则和实现方法进行了深入研究和探讨的基础上，提出了一种基于非采样 c o n t o u r l e t 变换和p c n n 相结合的图像融合算法。该算法采用空间频率和方向对 比度分别去触发p c n n ，能够更好地提取源图像特征系数，有效保留图像的纹理 细节，大大改善了融合效果。 具体地，本文详细分析了非采样c o n t o u r l e t 变换、c o n t o u r l c t 变换和小波 c o n t o u r l e t 变换的原理及其在图像融合中的应用。着重研究了基于非采样 c o n t o u r l e t 变换的图像融合，并将p c n n 引入图像融合领域，结合非采样 c o n t o u r l c t 变换和p c n n 提出了一种新的图像融合算法。通过多聚焦图像和红外 遥感图像的融合仿真实验，对算法的有效性进行了验证。 对图像融合效果的评价也是图像融合领域一个重要的问题。本文综合分析了 已有图像融合的主客观评价准则，对仿真实验结果使用客观评价参数( 如清晰度、 空间频率、互信息量、熵等) 结合主观视觉进行了分析。通过对比分析，非采样 c o n t o u r l e t 变换和其他变换相比，融合效果更好。本文提出的基于n s c t - p c n n 的融合算法大大提高了图像在边缘、纹理等方面的综合性能，保留了更多源图像 信息，是一种通用性比较强的高效图像融合方法。 关键词：图像融合；融合效果评价；非采样c o n t o u r l c t 变换；脉冲耦合神经网络 i v ，t f b ；h 。，”j-。麓 o1：，二q。?j峨。： ，一p卜；，：i0、扎一0一 “ji。“吁 ，i， nnj“二-，一：。j ；。 ，? j ， 晕乜 g e o m e t rica n aiy sis a b s t ra c t i m a g ef u s i o ni st h et e c h n o l o g yt h a tc o m b i n e ss e n s o r s ，i m a g ep r o c e s s i n g , s i g n a l p r o c e s s i n g ，d i s p l a y i n g ，c o m p u t e rt e c h n o l o g ya n da r t i f i c i a li n t e l l i g e n c e ，a n dm a n y o t h e rm o d e m h i g h - t e c h n o l o g y t h et e c h n o l o g yc o m b i n e sm u l t i p l ei m a m s o nt h es a m e s c e n ei n f o r m a t i o n ，a n df i n a l l yo b t a i n so n ei m a g ea b o u tt h es a n l es c e n ei m a g e s i m a g e f u s i o np l a y sa ni m p o r t a n tr o l ei nm e d i c i n e ，s u r v e y i n g ，g e o g 期i p h i ci n f o r m a t i o n s y s t e m s ，i n d u s t r i a l ，i n t e l l i g e n tr o b o t s ，a n dm i l i t a r yf i e l d s ，a n db e c o m e sa ni n c r e a s i n g c o n c e r no fm a n yr e s e a r c h e r s i i lt h et r a n s f o r md o m a i n ，i m a g ef u s i o nb a s e do nw a v e l e ti su s e dm o r eo f t e nn o w w a v e l e tt r a n s f o r mh a si t ss i g n i f i c a n ta d v a n t a g e si no n e d i m e n s i o n a ls i g n a lp r o c e s s i n g ， b u ti tc a n 、tt a k ef u l la d v a n t a g eo ft h eu n i q u eg e o m e t r i c a lf e a t u r e so f t h ed a t ai t s e l fi n p r o c e s s i n gn a t u r a li m a g e ，a n dt h ed i r e c t i o n a li n f o r m a t i o nt h a tw a v e l e tc a p t u r e si s l i m i t e d ，s oi ti s tt h eb e s tw a yf o rt h eh i g h - d i m e n s i o n a lf u n c t i o nc o n t a i n i n gl i n eo r s u r f a c e s i n g u l a r i t y m u l t i s c a l eg e o m e t r i ca n a l y s i s ( m g a ) i s t h e o p t i m a l h i g h d i m e n s i o n a lf u n c t i o n sa n d i sd e v e l o p e di nr e c e n ty e a r s ，m a i n l yc o n t a i n sr i d g e l e t t r a n s f o r m ，c u r v e l e tt r a n s f o r m ，b a n d e l e tt r a n s f o r m ，c o n t o u r l e tt r a n s f o r ma n dn s c t i n t h i st h e s i s ，m g ai si n t r o d u c e dt ot h ep i x e ll e v e li m a g ef u s i o n ，w i t hs t u d y i n gt h ei m a g e f u s i o nm e t h o d so nt h eb a s eo ft r a n s f o r md o m a i na n df u s i o nm e t h o d s ，an e wi m p r o v e d f u s i o na l g o r i t h mb a s e do nn s c ta n dp c n ni sp r o p o s e d t h ea l g o r i t h mu s e st h e s p a t i a lf r e q u e n c ya n dd i r e c t i o n a lc o n t r a s tt ot r i g g e rp e n n b yc o m p a r i n gt h ef i r i n g t i m e so fd i f f e r e n tp c n n ，w ec a ng e tb e t t e rc o e f f i e i e n t s t h ea l g o r i t h mk e e p st h e t e x t u r ed e t a i l se f f i e i e n t l ya n di m p r o v e st h ef u s i o nr e s u l t sal o t 。瓤，麓侮0r髫屯k猎鹰涔弘戌弛 _订鬣b并 |i， r盘 舅渡_；， ， m u l t i f o c u si m a g ea n di n f r a r e dr e m o t es e n s i n gi m a g ef u s i o n ，t h ea l g o r i t h mi s v a l i d a t e d e v a l u a t i o no ft h ei m a g ef u s i o ne f f e c ti sa l s oa ni m p o r t a n tf i e l d f i n a l l y , t h e e v a l u a t i o no ft h es u b j e c t i v ea n do b j e c t i v em e t h o df o ri m a g ef u s i o ni sp r o p o s e d b y c o m p a r i n gt h es i m u l a t i o nr e s u l t so fw a v e l e tt r a n s f o r m ，c o n t o u r l e tt r a n s f o r m ，n s c t a n dw a v e l e t - c o n t o u r l e tt r a n s f o r m ，i n d i c a t e st h a tn s c th a sr e l a t i v e l ys u p e r i o r i t yo f o t h e rm e t h o d sa n dt h ef u s i o ni m a g ei sm o r ec l e a r l y t h e n ，t h ec o m p a r i o no ft h e r e s u l t ss h o w st h a tt h en e wi m p r o v e df u s i o nm e t h o dg r e a t l yi m p r o v e st h ee d g e ，t e x t u r e ， a n dr e t a i n sm o r es o u r c ei n f o r m a t i o n ，s oi ti sam o r ev e r s a t i l es t r o n ga n de f f e c t i v e f u s i o n k e yw o r d s ：i m a g ef u s i o n ；f u s i o nr e s u l te v a l u a t i o n ；n s c t ；p c n n v i i 写 鳓 d ， 宅 、+ 乞 琴 q j ： 瘴、 ： 鼍4 ， ，；i静、j，吁 1 * 。 ? n ，o 目录 l 绪论一1 1 1 研究目的和意义一l 1 2 图像融合及多尺度几何分析的研究现状及发展2 1 2 1 图像融合研究现状及发展2 1 2 2 多尺度几何分析技术的研究现状4 1 2 3 存在问题及研究方向6 1 3 研究内容和结构安排一7 2 从小波变换到多尺度几何分析一8 2 1 小波变换8 2 1 1 多分辨率分析8 2 1 2 图像的二维小波分解l o 2 1 3 小波变换在图像处理中的缺陷“1 l 2 2 多尺度几何分析1 1 2 3 脊波变换1 3 2 4b a n d e l e t 变换1 4 2 5c u r v e l e t 变换14 2 6c o n t o u r l e t 变换l5 2 6 1l p 分解的实现过程1 6 2 6 2 方向滤波器组18 2 7 非采样c o n t o u r l e t 变换1 9 2 7 1c o n t o u r l e t 变换的缺陷1 9 2 7 2 非采样c o n t o u r l e t 变换原理2 0 2 8 本章小结2 2 3 像素级图像融合的常用融合规则及评价准则2 3 3 1 常用融合规则2 3 3 1 1 加权平均的融合方法2 3 3 1 2 像素绝对值取大( 小) 的融合方法2 4 3 1 3 基于区域特征的融合方法2 4 3 2 融合效果评价2 6 3 2 1 主观评价标准2 6 3 2 2 客观评价标准2 7 3 3 本章小结2 9 4 基于多尺度几何分析的图像融合实现3 0 4 1 图像融合的小波方法3 0 4 2 基于c o n t o u r l e t 变换的图像融合3l 4 3 非采样c o n t o u r l e t 变换在图像融合中的实现3 2 4 4 基于小波c o n t o u r l e t 变换的图像融合3 3 4 5 不同几何分析方法用于图像融合的分析3 4 v i i i 4 5 1 数字实现算法的分析3 4 4 5 2 多聚焦图像的仿真“3 5 4 5 3 红外遥感图像的仿真3 7 4 5 4 仿真结果分析与结论”3 8 4 6 本章小结3 9 5 基于n s c t - p c n n 的图像融合算法设计与实现4 0 5 1 脉冲耦合神经网络4 0 5 1 1 脉冲耦合神经网络模型4 0 5 1 2p c n n 在n s c t 域的应用4 2 5 1 3p q 州在图像融合中的应用4 3 5 2 基于n s c t - p c n n 的图像融合算法设计及实现4 4 4 4 4 6 4 6 4 7 一4 8 4 9 一5 0 5l 一5l ”5 2 5 3 - 5 7 5 8 5 8 基于多尺度几何分析的图像融合算法研究 l 绪论 1 1 研究目的和意义 图像融合的概念起始于二十世纪七十年代后期，它是一门综合了传感器、图 像处理、信号处理、显示、计算机和人工智能等诸多技术的现代高新技术。图像 融合是将2 个或者2 个以上的传感器在同一时间( 或者不同时间) 获取的关于某 个具体场景的图像或者图像序列信息加以综合，以生成一个新的有关此场景的解 释，而这个解释是从单一传感器获取的信息中无法得到的【m 】。图像融合的目的 是使结果图像吸收参加融合图像的目标信息，使感兴趣目标的轮廓更清晰，减少 不确定性。图像融合充分利用多幅图像资源，通过对观测信息合理支配和使用， 把多幅图像在空间或时间上的互补信息依据某种准则融合，获得对场景的一致性 解释或描述，使融合后的图像具有比参加融合的任意一幅图像更优越的性质，更 精确地反映客观实际p j 。 由于图像融合系统具有突出的探测优越性( 时空覆盖宽、目标分辨力与测量 维数高、重构能力好、冗余性、互补性、时间优越性以及相对低成本等) ，在国 际上技术先进的国家受到高度重视并己取得相当的进展【4 】。图像融合既是众多学 科感兴趣的重要研究领域，也是一个活跃的研究领域。图像融合在医学、测量、 地理信息系统、工业、智能机器人以及军事等领域都起着重要的作用，并日益受 到众多研究者的关注。2 0 世纪9 0 年代以来，对图像融合技术的研究呈不断上升 趋势，研究对象涉及多聚焦图像、遥感图像、可见光图像、红外图像、医学图像 等。尤其是近几年来，图像融合技术已成为机器人、智能制造、智能交通、医疗 诊断、遥感、保安、军事应用等领域的研究热点问题【5 j 。 在图像融合技术中，多分辨分析理论得到了广泛的应用。其中，基于小波分 析的图像融合成为一个研究重点。这主要得益于小波变换具有良好的时频分析特 性，能够高效地处理和分析一维分段连续信号。因为在某种意义上，小波能为一 维分段光滑信号提供最优表示，并且小波变换拥有方便的树状分解快速算法，这 些都是小波变换在许多信号处理中能够成功应用的重要原因。但是自然图像并不 同于一维分段光滑信号，它的不连续性往往体现为光滑曲线上的奇异性，而并不 基于多尺度几何分析的图像融合算法研究 仅仅是点奇异，二维可分离小波变换能有效地捕获这些不连续的边缘点，但是却 不能有效地表示出这些点之间的排列关系。并且，在二维图像中，方向信息是非 常重要的特征，但是由一维小波张成的二维可分离小波变换只拥有有限的方向表 示，不能最优的表示含线或者面奇异的高维函数【6 】。这些缺点都表明小波变换并 不是最适合图像处理的稀疏表示方法，因此在很大程度上也限制了图像融合技术 的发展。 由于小波变换在处理自然图像时不能充分利用数据本身特有的几何特征，并 不是最优的和“最稀疏”的函数表示方法，同时捕获的方向性信息也有限，因此， 推动小波分析发展的先驱者们：i n g r i dd a u b e c h i e s 、s t e p h a n em a l l a t 、d a v i d d o n o h o 、m a r t i nv e t t e r l i 、mnd o 等为了发展一种新的高维函数的最优表示方法， 又引导了一场新的“革命l 多尺度几何分析。多尺度几何分析( m u l t i r e s o l u t i o n g e o m e t r ya n a l y s i s ，m g a ) 是一门新的信号分析技术，在数学分析、计算机视觉、 模式识别、统计分析等不同学科中，得到了发展和应用，尤其是近几年，已成为 热点研究问题。目前，多尺度几何分析技术己成功地发展了多种新的高维函数的 最优表示方法，主要有：e m m a n u e ljc a n d e s 和d a v i dd o n o h o 提出的脊波变换 ( r i d g e l e tt r a n s f o r m ) f 7 1 和c u r v e l e t 变换【8 】，el ep e n n e c 和s t e p h a n em a l l a t 提出 的b a n d e l e t 变换【9 】，以及mnd o 和m a r t i nv e t t e r l i 提出的c o n t o u r l e t 变换【1 0 1 ， c u n h aal 等人提出的非采样c o n t o u r l e t 变换( n o n s u b s a m p l e dc o n t o u r l e t t r a n s f o r m ，n s c t ) 1 l 】等。许多专家学者认为多尺度几何分析技术将像小波分析 一样带来信号处理领域的又一次革命。 上述的几种多尺度几何分析方法主要用来处理高维信号，它们比小波分析能 够更为稀疏的表示二维信号，具有良好的多分辨率、局部化、方向性和各向异性， 更适用于处理具有超平面奇异性的图像信号。因此，本文对多尺度几何分析方法 以及其在图像融合中的应用进行了研究，意在探索出适合于图像融合的新算法。 1 2 图像融合及多尺度几何分析的研究现状及发展 1 2 1 图像融合研究现状及发展 图像融合是一个正在兴起的，并有着广泛应用前景的研究领域。图像融合的 基于多尺度几何分析的图像融合算法研究 层次可分为：像素级融合、特征级融合和决策级融合【5 】。 像素级融合是处于最底层的信息融合，其过程一般可分为4 个步骤：预处理、 变换、综合和反变换( 重构图像) 。预处理阶段包括了对被融合的原始图像的滤 波和配准( r e g i s t r a t i o n ) 处理。配准就是将被融合的原理图像进行必要的变换( 主 要是几何变换) ，从而使被融合图像的每一个像素都对准。本文所研究的像素级 图像融合方法假设被融合的源图像已经配准。在变换阶段常用的方法有：p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 、i h s ( i n t e n s i t y h u e s a t u r a t i o n ) 变换、金字塔变 换、小波变换等。综合阶段将被融合图像的变换结果进行综合处理，从而获得最 终的融合图像，综合方法指的既是融合规则。常用的融合规则有：选择法、加权 法、优化法、区域特征法等。反变换阶段是根据综合阶段得到的变换系数进行反 变换操作，得到融合图像。 特征级图像融合属于中间层次，其处理方法是首先对来自不同传感器的原始 信息进行特征抽取，然后再对从多传感器获得的多个特征信息进行综合分析和处 理，以实现对多传感器数据的分类、汇集和综合。一般来说，提取的特征信息应 是像素信息的充分表示量或充分统计量，包括目标的边缘、方向以及运动速度等。 目前，特征级图像融合的主要方法有：聚类分析方法、d e m p s t e r - s h a f e r 推理方法、 贝叶斯估计方法、信息熵方法、加权平均方法、表决方法以及神经网络方法等。 决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提 供依据。为此，决策及图像融合必须结合具体的应用及需求特点，有选择地利用 特征及图像融合所抽取或测量的有关目标的各类特征信息，才能实现决策级图像 融合的目的，其结果也将影响最后的决策水平。由于对预处理及特征抽取有较高 的要求，所以决策级图像融合的代价较高。目前，常用的决策级图像融合的方法 主要有贝叶斯估计法、神经网络法、模糊聚类法，以及专家系统等。 最初的图像融合方法是在非变换域( 空域) 内进行的，既不对参加融合的源 图像进行任何图像变换或分解，而是直接对源图像中各对应像素分别进行选择、 平均或加权平均等简单处理，融合成一幅新的图像，是一种简单的图像融合方法。 其优点在于结果图像尽可能多地保留了场景的原始信息，获取的信息量最多、检 测性能最好；在某些特定的场合，简单的图像融合方法能获得较好的融合效果， 但在多数应用场合，这些方法无法获得满意的融合结果【。2 】。在基于变换域的图 基于多尺度几何分析的图像融合算法研究 像融合方法中，其融合规则往往借鉴空域的图像融合方法。 在变换域，像素级图像融合目前比较成熟的方法的是基于小波变换的方法。 文献 1 3 】研究了基于小波变换的图像融合，对分解后的小波系数矩阵采用区域特 征进行融合处理，该方法很好地区分了图像低频分量和高频分量对融合的不同影 响，实验表明取得了较好的融合效果。小波变换可以将图像分解成一个最低层逼 近和不同尺度不同方向的细节，是目前图像融合领域常用的分解方法。但是在高 维情况下，小波分析并不能充分利用数据本身特有的几何特征，并不是最优的和 “最稀疏”的图像表示方法。所以，将可以稀疏表示高维信号的多尺度几何分析的 方法应用于图像融合领域，并研究其融合规则，成为诸多研究者关注的问题，也 是目前图像融合领域的研究热点和发展趋势。文献【1 4 】将r i d g e l e t 变换应用图像 融合的研究中，获得了理想的效果，尤其是在表达融合图像的空间细节信息上， 也验证了脊波变换在表达图像轮廓信息上优良能力。文献 1 5 1 提出了一种基于 c u r v e l e t 变换的多传感器图像融合算法。对高频细节c u r v e l e t 系数采用模值取大 的方法，对低频系数采用平均法，实验结果表明，相比于传统的基于小波变换的 图像融合算法，该算法能够有效避免“人为”效应或高频噪声的引入，得到具有 更好视觉效果和更优量化指标的融合图像。陈蜜博士在其研究中最先将 c o n t o u r l e t 变换用于像素级图像融合领域中【1 6 j ，对原图像进行基于c o n t o u r l e t 变 换的多分辨率分析，将得到的高频分量和低频分量分别采用不同的融合规则，克 服了传统融合方法导致细节信息损失的缺点。文献 1 7 1 将非采样c o n t o u r l e t 变换 用于图像融合，提出了一种基于n s c t 和边缘检测的图像融合算法，该算法得到 的融合图像在保留可见光图像丰富的背景信息的同时，都较好的继承了红外图像 的目标信息。 1 2 2 多尺度几何分析技术的研究现状 由于小波变换并不能“最优”的表示图像，因此，人们提出了一种新的高维函 数的最优表示方法多尺度几何分析技术。图像的多尺度几何分析是一个十分 前沿的研究领域，理论和算法都还在不断地发展中，现阶段其应用主要集中在图 像融合、图像去噪、图像编码和图像检索等领域。目前，文献中现有的多尺度几 何分析方法主要分为自适应和非自适应两类。自适应的方法以el ep e n n e c 和 4 基于多尺度几何分析的图像融合算法研究 s t e p h a n em a l l a t 提出的b a n d e l e tr e p r e s e n t a t i o n 为代表；非自适应方法主要包括 r i d g e l e t 变换、c u r v e l e t 变换、c o n t o u r l e t 变换、非采样c o n t o u r l e t 变换等。下面对 其中几种主要的多尺度几何分析方法进行了简单介绍。 脊波( r i d g e l e t ) 理论由e m m a n u e ljc a n d e s 在1 9 9 8 年提出，是一种非自适应 的高维函数表示方法。同年，d o n o h o 给出了一种正交脊波的构造方法。2 0 0 3 年， 侯彪、刘芳和焦李成给出了脊波变换的实现方法f 1 8 】。脊波变换对于具有直线奇 异的多变量函数有良好的逼近性能，但是，对于含曲线奇异的多变量函数，其逼 近性能值相当于小波变换，不具有最优的非线性逼近误差衰减阶 6 1 。1 9 9 9 年， c a n d e s 又提出了单尺度脊波变换，并给出了其构建方法。提出单尺度脊波的目的， 就是为了解决含曲线奇异的多变量函数的系数逼近问题。 b a n d e l e t 变换是由el ep e n n e c 和s t e p h a n em a l l a t 在2 0 0 0 年提出的，是一种自 适应的多尺度分析方法，它是一种基于边缘的图像表示方法，能自适应的跟踪图 像的几何正则方向。研究结果表明，与普通的小波变换相比，b a n d e l e t 在去噪和 压缩方面体现出了一定的优势和潜力。 c u r v e l e t 变换是由c a n d e s 和d o n o h o 在1 9 9 9 年提出的，其由脊波理论衍生而 来，是由一种特殊的滤波过程和多尺度脊波变换组合而成。c u r v e l e t 变换继承了 小波分析优良的空域和频域局部特性，其相对于小波的优势在于增加了一个方向 参量，因此具有更好的方向辨识能力，更加适合描述图像的几何特征，也更适合 于图像处理。但是c u r v e l e t 变换的冗余度高达1 6 j + l ( j 是分解尺度数目) ，而且 它是在频域定义，其空域的采样特性并不显而易见。c u r v e l e t 变换的这些特点在 图像处理中会带来一些负面影响，表现为在重构图像中出现轻微的“划痕 ，并 不是一种理想的图像表示方法。 2 0 0 2 年，m i n h n d o 和m a r t i nv e t t e r 提出了c o n t o u r l e t 变换，它是一种“真正 的”二维图像表示方法，也称塔型方向滤波器组( p y r a m i dd i r e c t i o n a lf i l t e rb a n k ， p d f b ) 1 0 j 。c o n t o u r l e t 变换是一种多分辨率、局域的、方向的图像表示方法， 它的基的支撑区间具有随尺度而长宽比变化的“长条型结构”，该变换将多尺度分 析和方向分析分开进行，因此对于细小的有方向的轮廓和线段的表达有着独有的 优势。c o n t o u r l e t 变换的提出很好地解决了小波变换的缺陷，其不仅具有小波变 换的主要特征( 如多尺度、时频局部性等) ，而且具有高度的方向性和各向异性等 基于多尺度几何分析的图像融合算法研究 特性。因此，较小波变换能够更紧凑和稀疏的表示图像。另外，它直接产生于离 散域，较c u r v e l e t 变换更容易实现和应用。但是，c o n t o u r l e t 变换不具有平移不 变性，从而导致伪吉布斯现象，容易使图像失真。同时，c o n t o u r l e t 变换的较高 和较低频率之间的方向性响应存在着频率混叠现象，因此并不是一种理想的图像 表示方法。 c u n h aal 等人于2 0 0 5 年提出了非采样c o n t o u r l e t 变换( n s c t ) 。n s c t 通 过无下采样的塔式分解( n s p ) 和无下采样方向性滤波器组( n s d f b ) 的方向分 解来实现，得到灵活的多尺度、多方向并且具有平移不变性的图像分解模式，有 效地解决了c o n t o u r l e t 变换中出现的伪吉布斯现象和频率混叠现象，能够稀疏有 效的表示图像。 除此之外，2 0 0 4 年，e s l a m ir 和r a d h ah 在文献 1 9 】中，提出了一个新的非 线性图像的逼近表示方法一一小波一c o n t o u r l e t 变换( w b c t ，w a v e l e tb a s e d c o n t o u r l e tt r a n s f o r m ) 。该方法结合了小波与c o n t o u r l e t 变换的优点，是一种非冗 余的多尺度几何分析方法，能够有效地逼近含轮廓和线、面奇异的自然图像。文 献【2 0 】将该方法应用于图像融合领域，取得了良好的视觉效果。 1 2 3 存在问题及研究方向 总的来说，学术界在图像融合领域己取得了较大的成就，图像融合方法也各 种各样，适应于各种图像类型及应用场合。但是图像融合技术的理论研究还需深 入，还有许多实际问题急需解决。 首先，图像融合技术缺乏具体的理论指导，虽然关于图像融合技术的研究很 多，但是对图像融合技术还没有一个统一的理论框架，建立图像融合的统一理论 框架是目前的一个发展方向。其次，每篇文章都是针对一个具体的应用问题，不 具有普适性及推广性。再次，由于图像的特殊性，在设计图像融合算法时一定要 考虑到计算速度和所需的存储量，如何得到实时、可靠、稳定、实用的融合算法 是目前研究的一个热点。最后，建立更多客观的图像融合技术评价标准也是急需 解决的问题。 另外，多尺度几何分析技术虽然成功地发展了多种新的高维函数的稀疏表示 方法，在图像处理领域也进行了成功的应用【1 2 , 1 4 - 1 6 , 1 7 - 2 4 】，但是该技术目前尚处于 6 基于多尺度几何分析的图像融合算法研究 起步阶段，其理论框架还不够成熟，应用也不够广泛，但许多专家学者认为它将 会像小波变换一样带来信号处理领域的又一次革命。 1 3 研究内容和结构安排 本文的主要工作是对基于多尺度几何分析的图像融合算法进行研究。具体分 析了几种图像多尺度几何分析方法的原理；对多尺度几何分析方法用于图像融合 的融合规则和融合效果评价体系进行了研究和探讨；重点研究了的基于非采样 c o n t o u r l e t 变换的图像融合算法。通过多聚焦图像和红外遥感图像的融合仿真实 验，对算法的有效性进行了验证，对融合效果进行了客观评价。本文一共分为六 章，二至六章的主要工作如下： 第二章介绍了小波变换和多尺度几何方法的理论，对小波分解的理论实现、 重建过程以及在图像处理中的应用缺陷进行了较为深入的探讨。分析了多尺度几 何分析技术相对于小波变换的优势，介绍了几种用于图像融合的多尺度几何分析 方法的原理，主要包括c u r v e l e t 变换、c o n t o u r l e t 变换、n s c t 等。 第三章介绍了像素级图像融合的常用融合规则和评价标准。对在空域和变换 域图像融合法中常用的融合规则和融合评价标准进行了详细描述，提出了主客观 综合把握的评价方法，主观视觉感觉和客观结果数据结合来综合评价分析融合结 果。 第四章研究了多尺度几何分析方法在图像融合中的实现，主要包括 c o n t o u r l e t 变换、n s c t 、小波c o n t o u r l e t 变换。将这几种方法在多聚焦图像和红 外遥感图像中进行了融合仿真研究，并对融合结果进行了评价和分析。 第五章在对n s c t 和p c n n 研究的基础上，结合二者的优点，提出了一种 基于n s c t - p c n n 的新融合算法，并将这种算法在多聚焦图像和红外遥感图像中 进行了仿真实验，将实验结果与几种常用算法的仿真结果进行了比较分析。 第六章对本文的主要工作进行了小结，并对图像融合的前景进行展望。 7 基于多尺度几何分析的图像融合算法研究 2 从小波变换到多尺度几何分析 自从1 9 8 9 年m a l l m 提出了二维小波分解方法后，小波变换在图像处理中迅 速得到了广泛的应用【2 5 1 。在图像融合领域，小波变换方法也是一类重要的方法。 但是，由于小波变换在处理自然图像时不能充分利用数据本身特有的几何特征， 并不能最优的表示自然图像，同时捕获的方向性信息也有限，因此，多尺度几何 分析思想应运而生，它的产生符合人类视觉皮层对图像的有效表示的要求：局部 性、方向性和多尺度性，并且它是一种新的高维函数的最优表示方法。本章主要 介绍了图像的二维小波分解方法以及小波变换在图像处理领域的缺陷，然后分析 了小波变换到多尺度几何分析的发展过程以及几种多尺度几何分析方法的理论 体系。 2 1 小波变换 小波理论是2 0 世纪8 0 年代迅速发展起来的应用数学分支。1 9 8 0 年，法国 地球物理学家m o r l e t 仔细研究了g a b o r 变换，对傅立叶变换和短时傅立叶变换 做了深入研究，创造性的提出“小波”的概念，并建立了以其名字命名的m o r l e t 小波，该方法在地质数据处理中取得了巨大的成功【2 6 】。小波变换是空间( 时间) 和频率的局部变换，因而能有效地从信号中提取信息，通过伸缩、平移等运算功 能对信号进行多尺度细化分析，是一种新的多分辨率分析方法，被誉为“数学显 微镜”。它的快速算法为分析和解决实际问题带来了极大的方便，被广泛应用于 调和分析、语音处理、图像分割、石油勘探和雷达探测等方面，也被应用于信号 滤波、图像去噪、图像压缩、图像边缘检测和图像融合等领域。 2 1 1 多分辨率分析 多分辨率分析( m u l t i r e s o l u t i o na n a l y s i s ，m r a ) 是在l 2 ( r ) 函数空间内，将 函数f 描述为一系列近似函数的极限【2 6 】。每一个近似都是函数的平滑版本，而且 具有越来越精细的近似函数。这些近似都是在不同分辨率上得到的，多分辨率分 析由此得名。 8 基于多尺度几何分析的图像融合算法研究 定义2 设 o z 为r ( r ) 的一个多分辨分析，令矿= 。杉，如果闭子 空间序列矿 满足： j ，e ： ( 1 ) 单调性：眨c 蛾c 或c 矿。c 矿：c ( 2 ) 平移不变性：fa 或厂( 一，一) 或 ( 3 ) 二进伸缩相关性：厂矿厂( 2 7 ，2 ) 或 ( 4 ) 渐进完全性：n 蟛= ( o ，o ) ，y 矿= l z ( r 2 ) i e z 。l 也 ( 5 ) r i e s z 基存在性：存在函数缈( x ) v o ，使得勋o 一后) l 。：构成圪的r i e s z 基。 其中妒( x ) 称为尺度函数，一称为逼近空间。若劬 一七) k 。构成k 的一个标 准正交基，则缈( x ) 称为正交尺度函数。则称谚l ：为r ( 灭2 ) 的一个多分辨分析。 因此有： 巧一- 。一- o 巧一t = ( 巧。形) o ( 杉。形) ( 2 - 1 ) = ( 杉。巧) o ( 杉圆形) o ( p 形) o ( 形 杉) 】 记 矿= ? o 孵。孵(22w )形= ! o 形? o 矿( 2 一) 其中，= 巧o ，町- - - r r ，圆，町= 形圆形，_ ，z ，杉为矿一。中矿的正交 补空间，而且，w j 7 ，有 形上杉 ( 2 - 3 ) 由此可得，对于 j 屹= 巧是1 是吆 ( 2 - 4 ) j 一卜3 即把r ( 月2 ) 分解为相互正交的子空间。 9 基于多尺度几何分析的图像融合算法研究 2 1 2 图像的二维小波分解 设伊( x ) 为圪空间的生成元，坑中的生成元为缈( x ) 缈( y ) ，记为o ( x ，少) ，则 川地( x ，y ) ；，z 为巧中的规范正交基。同理，在三个小波子空间中分别定义 离三罴 ， 于是幺愚( x ，力；啊，z ，2 = 1 ，2 ，3 构成了形空间的规范正交基。 v j a f ( x ，j ，) = 厂q 7 ( x ，y ) = j l r z f ( u ，1 ，) 吒? ( x 一扰，y v ) d u d v ( 2 6 ) c j n = h c j h ? 摩茹( j = 0 , 1 , - -