（应用数学专业论文）基于区域能量的图像融合.pdf

河南大学硕士研究生学位论文第1 页 摘要 基于区域能量的图像融合，现在是一个研究的热点。基于区域能量的图像融 合考虑了图像中像素之间的相关性，图像的局部特征能得到更进一步的体现，克 服了基于像素融合规则中没有考虑像素之间的相关性的这一个特点，融合质量得 到了提高。 本文以小波变换为数学基础，主要讲述了三个方面的内容： 第一，对传统的基于区域能量的图像融合方法的改进。由于图像的不完全配 准往往使得应用传统的基于区域能量的融合规则所求得的区域能量“匹配度”出 现负值的情况，导致区域之间的能量远近程度很难判定。提出了通过引入绝对值， 对传统的基于区域能量的“匹配度”改进的方法，并给出了新的融合规则。 第二，针对基于像素的融合规则和基于区域能量的融合规则，选取不同的小 波基，使用熵、均值、标准差、可见度，平均交叉熵5 个参量对实验结果进行评 价分析，综合研究基于区域能量和基于像素的图像融合方法中小波基函数的选取。 第三，在用小波技术对图像进行分解和重构的融合方法中，低频的融合规则， 往往选取加权平均的融合方法，但是选取合理的加权系数是一个闯题，提出了一 种自适应的基于区域能量的融合方法，自适应的选择加权系数，合理解决了这一 问题。 关键词：图像融合；，区域能量；小波变抉；匹配度；小波基 第页河南大学硕士研究生学位论文 a b s t ra c t i m a g ef u s i o nb a s e do nr e # o ne n e r g yi sah o t s p o tr e s e a r c h e dr e c e n t l yo ni m a g e f u s i o na r e a t h er e l a t i v i t yb e t w e e n p i x e l si nai m a g ei sc a l c u l a t e di ni m a g e f u s i o nb a s e d o nr a g i n ne n e r g y , l o c a lc h a r a c t e ro fai m a g eg o te v e nm o r em a t e r i a l i z e d i m a g ef u s i o n b a s e do nr e g i o ne n e r g yo v e r c o m e st h es h o r t c o m i n gt h a tt h er e l a t i v i t yb e t w e e np i x e l si n ai m a g ed o n tg e tc a l c u l a t e d , w h i c hi si nt h ei m a g ef u s i o nb a s e do np i x e lr u l e t h e f u s i o nq u a l i t yg o te n h a n c e d w a v e l e tt r a n s f o r mi st h eb a s eo fm a t h e m a t i c si n t h i s p a p e r t h r e ep a r t sa r e b a s i c a l l yd i s c o u r s e d f i r s t l y , t h et r a d i t i o n a li m a g ef u s i o nb a s e do nr e g i o ne n e r g yg o ti m p r o v e do n m a t c h i n gd e g r e ec a l c u l a t e db yu s eo ft h et r a d i t i o n a li m a g ef u s i o nr u l eb a s e d0 1 1 r e g i o n - e n e r g ym a y b ei sn e g a t i v eb e c a u s eo f t h ei n c o m p l e t er e g i s t r a t i o na m o n gd i f f e r e n t i m a g e s ，w h i c hr e s u l t si nt h ed i f f i c u l t yo f e s t i m a t i n gt h ed i f f e r e n c eb e t w e e nt w od i f f e r e n t r e g i o n sf r o mt h ev i e w p o i n to fe n e r g y t h et r a d i t i o n a lm a t c h i n gd e g r e ei sm o d i f i e db y t h ei n t r o d u c t i o no fa b s o l u t ev a l u e a n dan e wf u s i o nr u l eb a s e do ns u c ham o d i f i c a 矗o ni s p r o p o s a li nt h i sp a p e r s e c o n d l y , t h i sp a p e ra i m sa tt h ei m a g er u l eo fp i x e la n dt h ei m a g er u l eo fr e g i o n e n e r g y , d i f f e r e n tw a v e l e tb a s e sa r ec h o s e n , e n t r o p y , a v e r a g ev a l u e ，s t a n d a r dg l t o r , v i s i b i l i t ya n dm e a n - c r o s se n t r o p ya r eu s e dt oe v a l u a t et h er e s u l to f t h ee x p e r i m e n t s 1 h i r d m y , d u r i n gt h em e t h o do fi m a g ef u s i o ni nu s eo fw a v e l e td e c o m p o s i t i o na n d c o u s t m e t i o n ，w e i g h t e da v e r a g ew a sa l m o s ts e l e c t e di nt h er o l eo fl o wf r e q u e n c y , b u ti t w i l lb eaq u e s t i o nh o wt os e l e c tr e a s o n a b l ec o e f f i c i e n t s s oi nt h i sp a r taa u t o - a d a p t e d m e t h o do fi m a g ef u s i o nb a s e do nr e g i o ne n e r g yw a 3p r o p o s e d , w h i c hw o u l ds e l e c t c o e f f i c i e n t sa u t o a d a p t e 正w h i c hs o l v e dt h eq u e s t i o ns i m u l t a n e o u s l y 河南大学硕士研究生学位论文第页 k e yw o r d s ：i m a g ef u s i o n ；r e g i o ne n e r g y ；w a v e l e tw a n s f o r m ；m a t c h i n gd e g r e e ； w a v e l e tb a s e 关于学位论文独立完成和内容创新的声明 本人向河南大学提出硕士学位中请。本人郑重声明：所呈交酌学位论文是 本人在导师的指导下独立完成酌，对所研究酌课题有新的见解。据我所知，除 文中特别加以说明、标注和致谢的地方外，论文中不包括其他人已经友表或撰 写过酌研究成果，也不包括其他人为获得任何教育、科研机构的学位或证书而 使用过酌材料。与我一同工作媳臁瓣勰嬲敝的任何贡献均已在论文中作 段保存、汇编学位论文( 纸质文本和电子文本) 。 ( 涉翟保密内容酌学位论文在解密后适用本授权书) 学位获得者( 学位论文作者) 签名 2 0 学位论文指导教师簦名 一逮哓堡 一 2 06 7 年f 月厂崩 全 家 艾 校 手 河南大学硕士研究生学位论文第1 页 第1 章绪论 1 1 基于区域能量图像融合的产生背景、研究意义 1 1 1 图像融合的概述 图像融合是指按照一定的规则，把同一目标或者同一场景的多传感器的成像 或单一传感器的多次成像进行一定的处理，生成一幅与原图像相比，信息更全面、 精确和稳定且具有冗余和互补信息的新图像【l 】o 图像融合在军事领域和非军事领域 如遥感图像、医学图像、机器视觉上得到了广泛的应用口】。 图像融合一般分为三类：像素级、特征级衣决策级融合。像素级融合作为最 基本的融合，它是特征级融合和决策级融合的基础。像素级图像融合的过程一般 可分为4 个步骤：预处理、变换、综合和反变换( 重构图像) 。预处理包括了对被 融合的原始图像的滤波和配准处理。配准就是将被融合的原始图像进行必要的变 换，从而使被融合图像的每一个像素都对准。交换阶段采用的主要方法有：p c a ( - 有 时也称p c 寸】) ，i h s 变换【3 】，多分辨率方法( 如金字塔算法和多分辨小波变换) 。 综合阶段将被融合图像的变换结果进行综合处理，从而获得最终的融合图像。综 合方法可分为：选择法，即根据某种规则，分别选择不同的被融合图像的变换系 数，组成一组新的交换系数；加权法，即用某种加权平均算法将不同被融合图像 的变换系数综合为一组新的交换系数；优化法，即根据应用不同，构造某个评价 融合效果的性能指标，综合结果是该性能指标达到最优。反变换阶段是根据综合 阶段的得到的一组变换系数进行反变换操作，得到融合图像。目前多分辨率小波 变换是图像融合普遍采用的方法。 小波变换兴起于2 0 世纪8 0 年代中期，并引起了信号处理和图像处理领域的 广泛兴趣。小波分析是时频分析强有力的工具。m a l l a t 4 1 首先实现了用小波变换分 析图像处理问题，并提出7 - - _ 维图像的离散小波变换分解的快速算法，将小波分 析技术引入到图像处理领域。目前，随着小波变换理论的完善o 】，小波变换已成 第2 页河南大学硕士研究生学位论文 为图像融合领域的一种重要的工具【i l 2 1 。 由于小波变换具有良好的时域和频域局部性以及多分辨性，因此在多分辨率 图像融合应用中，多分辨率小波技术已取代了传统的高斯- 拉普拉斯金字塔技术 【1 3 q 5 】，而成为一种主流技术，拉普拉斯金字塔、梯度金字塔和比率低通金字塔等 方法的缺点是层间具有相关性。小波变换将原始图像分解成一系列具有不同空间 分辨率和频域特性的子图像，充分反映原始图像的局部特征变化，利用分解后的 塔形结构，将被融合图像各自携带的特征与细节在多个分解层、多个频带上进行 融合。c a m p b e l l 和r o b s o n l 拘实验表明人的视网膜是在不同的频道中进行处理 的，因而基于小波变换的图像融合方法可获得与人的视觉特性接近的融合结果。 目前基于小波变换的图像融合方法中所采用的多分辨率技术基本沿用m a l l a t 方法，不过根据具体的应用不同，而选用不同的小波基函数和不同的综合算法。 1 1 2 基于区域能量的图像融合的产生 基于区域能量的图像融合是在基于小波变换的图像融合算法的基础上提出来 的一种融合方法。基于小波变换的图像融合算法主要是利用人眼对局部对比度的 变化比较敏感这一事实，根据一定的融合规则，在多幅原图像中选择出最显著的 特征，例如边缘、线段等，并将这些特征保留在最终的合成图像中。在一幅图像 的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以大 部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也 就是三个方向上的高频系数，从而达到保留图像边缘的目的。基于小波变换的图像 融合算法是先将图像分解得到不同频率段的小波系数，然后采用合适的融合规则 对各频率段的小波系数进行融合，最后将融合后的小波系数进行逆小波变换得到 融合后的图像。小波系数的融合规则可以分为基于像素的和基于区域的两大类【l 田。 对于基于像素的融合规则，可通过直接比较各图像经变换后的小波系数值的大小 来选取融合图像的小波系数值。 基于区域的融合规则中，有基于区域能量、区域方差、区域梯度等。其中， 河南大学硕士研究生学位论文第3 页 基于区域能量的融合规则考虑了区域内各象素之间的相关性，图像的局部特征能 够得到更进一步的体现，因而这一规则在图像融合中被广泛采纳。由于区域能量 较大的中心象赛代表了图像的明显特征【切，图像的边缘、线段等特征对应绝对值 较大的小波系划1 扣嘲，所以将衡量区域能量的大小作为融合规则。 1 1 3 研究意义 图像融合是二十世纪七十年代后期提出的新概念，它是一门综合了传感器、 图像处理、信号处理、计算机和人工智能等技术的现代高新技术。由于图像融合 系统具有突出的探测优越性( 时空覆盖宽、目标与测量维数高、重构能力好、冗 余性、互补性、时间优越性以及相对低成本性等) ，在国际上技术先进国家受到高 度重视并已取得相当的进展。 这诸多方面的优点使得图像融合在医学、遥感、计算机视觉、天气预报、军 事目标探测与识别的应用潜力也得到了充分的认识，尤其在计算机视觉方面，图 像融合被认为是克服某些难点的技术方向；在航天、航空多种运行平台上，各种 传感器所获得的大量不同光谱、不同波段和不同时相、不同角度的遥感图像的融 合，为信息的高效提取提供了良好的处理手段，取得明显效益。 基于区域能量的图像融合充分考虑了图像的局部特征往往不是由一个像素所 能表达的，它是由某一局部区域的多个像素来表征和体现的，同时通常图像的某 一局部区域内的各个像素之间往往有较强的相关性，所以克服了基于像素融合规 则片面性，使图像的局部特征得到了更进一步的体现。现在使用区域能量作为图 像融合的融合规则的文章层出不穷，已成为一个研究的热点。 1 2 基于区域能量的图像融合常用方法 1 2 1 简单的基于区域能量的图像融合方法 两幅图像( 或多幅图像) 经二维小波变换分解后，分别得到对应图像的低频 分量和高频分量。高频分量包括水平高频分量、垂直高频分量和对角高频分量。 第4 页河南大学硕士研究生学位论文 低频分量对应低频系数，高频分量对应高频系数( 小波系数) 。对于低频系数，选 择简单的加权平均融合算法作为融合规则；而对于高频系数( 小波系数) ，由于区 域能量较大的中心象素代表了图像的明显特征，图像的边缘、线段等特征对应绝 对值较大的小波系数，通过判断区域能量的大小，直接选择对应图像分解后的区 域能量较大的小波系数作为融合图像的小波系数。 这种方法相对基于像素的融合规则，由于考虑了局部区域内的各个像素之间 往往有较强的相关性这一特点，融合结果获得了视觉特性更佳、细节更丰富和突 出的效果，信息量获得了提高；但相对于原始的基于区域能量的图像融合和改进 的基于区域能量的图像融合来说，由于在两个局部区域能量比较相近的情况下， 直接选择区域能量较大的小波系数，容易造成信息的相对丢失。 1 2 2 原始的基于区域能量的图像融合方法 原始的基于区域能量的图像融合算法引入了“匹配度”的概念，匹配度代表 了两幅图像对应的局部区域能量的接近程度或者远离程度。人为定义一个阈值( 通 常取o 7 ) ，如果匹配度大于这个阈值，就说明两幅图像对应局部的区域能量比较 相近，采取一种加权的融合算法，综合两个区域能量对应的小波系数，最终得出 融合图像的小波系数；若匹配度小于这个阈值，就说明两幅图像对应局部的区域 能量距离较远，就直接采取选择区域能量较大的小波系数的融合算法【删。 原始的基于区域能量的图像融合算法，相对于简单的基于区域能量的融合算 法，有了一些提高，因为在区域能量相近的情况下，综合考虑了两幅图像对应的 局部区域能量的小波系数，意味着综合了两幅图像中的信息到融合图像当中。但 是由于图像的往往不完全配准情况的存在，往往使得应用传统的基于区域能量的 融合规则所求得的区域能量“匹配度”出现负值的情况，导致区域之间的能量远 近程度很难判定，也会导致一些信息的丢失，影响融合图像的清晰度。 1 2 - 3 改进的基于区域能量的图像融合方法 改进的基于区域能量的图像融合方法，详细分析了产生这一现象的原因，为 河南大学硕士研究生学位论文第5 页 引入的“匹配度”加上了绝对值，提出了相对应的融合算法叫。如果加上了绝对 值的匹配度小于定义的阈值，采取直接选取对应局部区域能量较大的小波系数； 如果加上了绝对值匹配度大于定义的阈值，就会有两种情况存在，一种是对应的 小波系数符号相同，一种就是符号相反。符号相反，也会有两种情况存在，分别 一幅图像的局部区域能量对应的小波系数为正或为负。本文在第三章，基于区域 能量的图像融合方法会详细讨论此融合方法。 1 3 论文研究的主要问题 本文在小波变换的基础上，详细分析基于区域能量的图像融合方法，针对原 始的基于区域能量的图像融合方法中所存在的问题提出改进的方法，即改进的基 于区域能量的图像融合方法；在基于像素和基于区域的两大类融合方法，讨论了 小波基函数的选取研究【捌。 1 4 论文的研究背景 本文以河南省科委自然科学基金项目( n o 0 5 2 3 0 砻0 6 0 0 ) 、河南省高校创新人才 工程项目为背景，结合“改进的基于区域能量的图像融合方法”和“多聚焦图像 融合中小波基函数的选取研究”两篇文章，对图像融合，重点是基于区域能量的 图像融合进行了深入地了解和学习，并对原始的和改进的基于区域能量的图像融 合算法进行了仿真研究，验证了原始方法所存在的问题，和改进的融合方法的有 效性。 1 5 论文的组织结构 第一章是绪论，从总体上论述了图像融合的定义和基于区域能量的图像融合 的产生、方法、研究背景等等，同时对论文的安排进行了说明。 第二章是小波变换法，小波变换已成为图像融合领域的一种重要的工具，是 基于区域能量的图像融合方法的基础，详细介绍了图像的二维小波分解，图像融 第6 页河南大学硕士研究生学位论文 合的小波方法等等。 第三章详细讨论了基于区域能量的图像融合方法。 第四章讨论了基于像素的图像融合方法和基于区域的图像融合方法中小波基 函数选取的研究。 最后一章是结束语，归纳总结全文的主要工作和贡献，以及在该研究方向的 未来的发展趋势。 河南大学硕士研究生学位论文第7 页 第2 章小波变换法 自从1 9 8 9 年m a l l a t 提出了二维小波分解方法后，小波变换在图像处理中迅速 得到了广泛的应用【2 3 】。在图像融合领域，小波变换方法也是一类重要的方法本 章首先介绍了图像的二维小波分解方法，然后介绍了一般的基于小波变换的图像 融合方法，最后介绍了所用的融合结果的评价指标 2 1 图像的二维小波分解( m ai i a t 方法) 小波分析是一种信号与信息处理的工具，在时间尺度平面上描述非平稳信号， 克服了傅里叶分析以单个变量( 时间或频率) 的函数表示信号的缺点。作为一种 新的多分辨率分析方法，已广泛应用予工程研究领域。 定义2 1 设ej e , z 为f ( 两的一个多分辨率分析( m r a ) ，令巧= v j o v ， 如果闭子空问序列以j 。满足咖 1 单调性：或c 或c 或c 露c 吃c 2 平移不变性：厂e 或营，( 一啊，一心) 或 3 二进伸缩相关性：，露营，( 2 7 0 , 2 7 ) e 或 4 渐进完全性：n 髟= ( o ，o ) x u 露= r 2 ) j f z 。 。 则称el 为口( r 2 ) 的一个多分辨率分析( m r a ) 。 因此有 第8 页河南大学硕士研究生学位论文 2 固巧d 2 ( 巧。) 。( 巧。) ( 2 - i 、 = ( 巧。巧) o ( 巧o ) o ( o 巧) o ( 圆巧) 】 记彰；科。嘭。叨 ( 2 - 2 ) 其中，叼= 巧o ，盱= 乃。巧，叼= 圆形，j e z ，形为露。中乃 的正交补空间，而且，w - ，有 前ll前f(2-3) 由此可得，对于_ ， 他a b s 协m 其中吨和吨分别表示两幅图像在各尺度各分量上的小波系数 3 对两幅图像经小波变换之后的逼近系数a 和口进行处理，由于图像模糊 表示其细节信息( 或高频信息) 丢失较多，相比之下，其整体信息( 或低频信息) 保持较好，因此两幅图像经小波分解后其逼近系数之间的差异要远小于小波系数 之间的差异，故融合之后的逼近系数可由 巳= ( 口+ 口) 2 2 - 1 1 ) 确定。 根据两幅图像的实际情况，式( 2 - 1 1 ) 可进一步推广为 ：c j = ( 码+ b c ；) 2 ( 2 - 1 2 ) 其中口+ = 1 ，需要说明的是，由于c ；和口差别不大，因此口和的选取对白 第1 2 页河南大学硕士研究生学位论文 的影响很小，故一般取搿= = 0 5 。 4 利用以上得到的全部小波系数啊。以及句中的逼近系数进行二维小波反变 换，由重构式( 2 9 ) 得到融合图像。 2 3 融合结果评价指标 目前的融合效果评价主要有主观评价法和客观评价法洲。其中客观评价法常 分为三大类：1 ) 根据单幅图像( 源图像和融合图像) 统计特征；2 ) 根据融合图像与标准 参考图像关系；3 ) 根据融合图像与源图像关系。令mx n 的图像区域，佴) ：j 的总 灰度级数为l ，p i 表示灰度值为f 的像素数与总像素数之比。 1 根据单幅图像的统计特征 熵、均值、标准差和可见度等等是较常用的评价标准，可表示如下： ( 2 1 2 ) 材一l _ 1 删= f ( x ，y ) ( m x ( 2 - 1 3 ) = o ( 2 1 4 ) m - i n - i 玎= i - o l f 似y ) 一酬此巴埘“j = o ( 2 - 1 5 ) 五为视觉常数，一般取0 6o o 7 熵的大小反映了图像携带信息的多少；图像均值是像素的灰度平均值，对人 眼反映为平均亮度；标准差反映了图像灰度相对于灰度平均值的离散情况，在某 种程度上也可用来评价图像对比度大小；而可见度则是评价图像清晰程度的关键 指标。熵、均值、标准差和可见度4 个参量的值越大，就表明图像融合效果越好。 p2唱只 “m 一 = e 河南大学硕士研究生学位论文第1 3 页 z 根据融合图像与标准参考图像关系 设融合图像为f ，其图像函数为f “力；标准参考图像为r ，其图像函数 为用x 力。由于图像融合中源图像都是事先经过严格配准的，所以所有图像的大 小都是一样的。设图像的行数和列数分别为掰和，则图像的大d x m x n ， 工为图像的总的灰度级。 均方根误差、信噪比和峰值信噪比是常用的融合结果评价标准。 均方根误差是用来评价融合图像和标准参考图像之间的差异程度【2 蝴，如果 差异小，则表明融合的效果好。均方根误差定义为： 冗脚= ( 2 1 6 ) 图像融合后去噪效果的评价原则为信息量是否提高、噪声是否得到抑制、均 匀区域噪声的抑制是否得到加强、边缘信息是否得到保留、图像均值是否提高等。 融合图像信噪比( 删r ) 定义如下： m ，f ( 一，y j ) 2 s n r = 1 0 l o g l o 百百上竺l 一( 2 1 7 ) 【尺( 一，y j ) 一f ( x 。，y 棚2 斌j f f i l 融合图像的峰值信噪比p s n r 定义为： p s n r ：1 0 l o g 。, u t f f 号a x ( f ( x , y ) - m i n ( f ( x , y ) ) ( 2 1 8 ) r ，y j ) - f ( x ，乃) 】2 i - i 纠 此类方法主要是通过比较融合图像与标准参考图像之间的关系，来评价融合 图像的质量以及融合效果的好坏。由于在使用中需要标准参考图像，而在遥感图 第1 4 页河南大学硕士研究生学位论文 像融合的实际应用中，标准参考图像不一定都能得到，所以此类方法受到一定的 限制。 3 根据融合图像与源图像关系的评定方法 交叉熵可以用来测定两幅图像灰度分布的信息差异鲫。设源图像和融合图像 的灰度分布分别为：p = 妇。，p ，p ：a ，p - l 和g = ，q l ，9 2 q l ，g 纠 ，则交 叉熵定义为： c ：e 纠p , l 0 9 2 旦( 2 - 1 9 ) c _ 。詈，o呵j 交叉熵是评价两幅图像差别的重要指标，它直接反应了两幅图像对应像素的 差异。对融合前的源图像和融合结果图像求交叉熵，即可得到融合图像与源图像 的差异。差异越小，则该融合方法从源图像提取的信息量越多。因此，使用交叉 熵可以准确地确定各种融合效果的优劣。 在实际应用中，可以选择平均值虿来描述融合结果与源图像的综合差异。c 代表源图像a 和融合图像f 的交叉熵，代表源图像口和融合图像f 的交叉熵， 则融合图像与源图像的综合交叉熵表示为： ：姓 (29 2 0 ) 2 4 实例 下面给出用上述小波方法进行图像融合的实例。图2 - 2 是两幅原始图像，其中 图( a ) 左部模糊，右部清晰，图( b ) 左部清晰，右部模糊。选用d b 2 小波，分 解层数为3 级。图2 - 3 是第一层小波分解后所得到的低频系数和高频系数的相应图 像。图2 - 4 是融合结果。 从融合结果看，融合图像主要反映了两幅图像的主要信息，得到了都清晰的 图像。 河南大学硕士研究生学位论文第1 5 页 ( a ) 原始图像1 图2 - 2 两幅原始图像 左匿分解第一层低频和高频系数 ( 协原始图像2 图2 - 3 原始图像1 进行第一层小波分解得到的低颏 系数和高频系数相应的图像 图2 4 基于m a u a t 方法进行图像融合的实验结果 第1 6 页河南大学硕士研究生学位论文 2 5 小结 本章首先详细的介绍了图像的二维小波分解方法，然后介绍了一般的基于小 波变换的图像融合方法，最后介绍了所用的融合结果的评价指标。小波变换在时 间域和频率域上同时具有良好的局部化性质，对高频成分采用逐步精细的时间域 ( 空间域) 取样步长，可以“聚焦”到对象的任意细节，从而被誉为“数学显微 镜”，所以在图像融合领域得到了广泛的应用。 小波变换首先选择一种小波基函数对图像进行第一层小波分解，得到一个低 频图像和三个高频图像，然后再针对低频图像进行第二层小波分解，以此类推， 不断的分解，小波分解的层数越多，融合的频率范围越丰富，融合结果的细节也 就越丰富，但并不是说小波分解的层数越多，图像的融合质量就越高，反而融合 效果会下降，当然分解层数不能超过图像大小的范围。由参考文献【2 6 】，最佳分解 层数为5 层。由于考虑分解层数越多，计算量越大，由参考文献【2 8 】，所以常选择 三层的小波分解。 本章第三部分详细讨论了图像融合效果评价方法，主观评价法和客观评价法。 当然根据不同的融合环境，可选择不同的融合评价标准，然而根据具体的图像融 合环境，如何选择恰当的融合标准是值得继续研究的问题。 本章最后给出了一个实例，采用c l b 2 小波，三层的小波分解，得到了一幅左 右两部分都清晰的图像。 河南大学硕士研究生学位论文第1 7 页 第3 章基于区域能量的图像融合方法 3 i 图像区域能量及基于区域能量的图像融合方法 3 1 1 图像区域能量 设待融合图像为无 力和厶力，大小均为m x n 。对无似力和厶似力分 别进行小波分解，第，层上以咖，帕为中心位置的局部区域能量晚及略可表 示为： 西锄，功= 以( m 。，一) d 互彻+ 吲，n + n ) 】2 伽，功= 以( m ，一) d 二彻+ 册。，以+ ) 】2 _ m e ( 3 1 ) ( 3 - 2 ) 式中，和置表示局部区域的最大行、列坐标，掌= 啦，3 分别表示水平、垂直和对角 三个方向，蜕和分别表示图像为无g 力和兀似力第，层小波分解对应的小 波系数矩阵，嵋彻，一) 和( 肼，疗) 分别为与d 刍和对应的权系数 3 1 2 基于区域能量的图像融合 图像对应局部区域能量匹配度嘲定义为： 2 ( 册，硝) d 厶( 坍+ 刖，再+ ) d 厶( 历+ 用，拧+ 一) 历丽雨丽万一3 - 3 对于式( 3 1 3 ) 定义的能量匹配度，选取适当的匹配阈值t ( 通常取0 5 1 ) 。 若材厶仉哟 r ，则： 第1 8 页河南大学硕士研究生学位论文 ，( 聊，国2 蔓一( m ，功娶。( r a m ) 璺伽，m ( 3 - 4 ) i 硝，沏，坊= 上) 岛( 研，功j 易，叻 。( 删，功 若。 所) t 2 瑶( 辨，磅= ，( 谚域。彻，功 + 缸( 册，, 0 d y j ( m ，功巧。( 历，功略( 坊 哦，帕= 噍( 历，功或。( 所，功 + w 爱。( 册，功d _ 厶( 册，功既沏，坊 j ( 册，帕 鲶三艺掣 ( 3 5 ) ( 3 6 ) 式中d 知( m ，帕表示融合图像在2 一分辨率下、( 肌，一) 处、f 方向上的小波系数 3 2 存在问题 对于式( 3 - 3 ) 定义的基于能量的匹配度，可能会出现这样的情况：当两副图 像的小波分解系数9 厶沏+ 埘，一+ 一) 和9 各( 肌+ ，甩+ 一) 符号不同时，可能会得 出一个负值的“匹配度”。对于这样负值的“匹配度”，一方面会失去对区域能重 远近程度的判断力，另一方面，也会和区域能量的定义相矛盾。这一现象可以用 一个特例( 以3 3 的区域为例) 来说明。 图3 - i 两副图像对应区域的小波分解系效 河南大学硕士研究生学位论文第1 9 页 由图3 - 1 提供的小波分解系数，利用式( 3 1 ) 和( 3 - 2 ) 可计算出这两个区域 对应的能量相同。从区域能量的角度来讲，这两个区域对应的能量已达到相近的 程度，但如果按式( 3 3 ) 计算会得出负值的匹配度，说明这两个区域从能量的观 点来看相距甚远。这就是矛盾的关键所在。 3 3 改进的基于区域能量的图像融合 3 ，3 1 改进的匹配度 为解决负值“匹配度”引起的矛盾，通过引入绝对值，对式( 3 3 ) 定义的基 于能量的匹配度进行改进，如下式所示： 2 1 w ( 坍。，一) d i 。( 鼍+ 珊，行+ ) d _ 知( 辨+ 聊。，刀+ ) l 屹( 训= 丛生百而而丽万一。棚 3 3 2 改进的融合规则 对于式( 3 7 ) 定义的改进的基于能量匹配度，选取适当的匹配阈值t ( 通常 取o 5 二1 ) 。 若嘭。( 神 r ，则： 袭 ：未薏譬2 笼器：笼譬： 。固 【z ) 知( 聊，功= 聪j ( 鸭磅或( 历，功 o 第2 0 页河南大学硕士研究生学位论文 硝，( 臃，叻= 吐( 历，功硝。( 脚，力 + 吒m ( 聊，帕硝。( 所，田晚( 所，刀) 。，功 d 厶( m ，力= 吒曲( 码叻哦。沏，坊 + 嵋，( m ，聆) 9 知( 聊，田置厶( 小，坊 e s ( - ，功 2 如果西。( 册，功屹( m ，哟 o 如果点么( 删，功巧。( 功 ( 3 - 9 ) d 知( 朋，一) = 一( 1 w i 。( 埘，拧) d 厶( 研，押) i 二吩2 乡“黧曼。譬) o ( 3 1 0 ) d ，( 埘，行) = 1 w 一( 肌，刀) d f 。( 肌，行) l ” + 卜血( 珊，疗) d i 。( 坍，以) id i 。( 坍，玎) 0 如果。( 坍，而 硪( 拼，功 3 4 仿真结果 d 知( 聊，功= i 以。( 脚，功d 知( m ，圳 浆蹴魏愁，刘 或，( 用，哟= 叫吒。( m ，由d 知咖，刀1 。7 + 1 w ( 州，功嘭。( 牌，哟1 ) 9 厶( 哟o ( 3 - 1 2 ) 为验证改进算法的有效性，分别用传统算法和改进的算法进行了图像融合比 较研究，观察融合结果是否有提高，同时比较利用传统算法和改进的算法所得融 合图像信息量熵的大小融合图像的熵值越大，则说明该融合方法的性能越好删。 券略嘻 河南大学硕士研究生学位论文第2 l 页 图3 - 2 和图3 - 3 是大小为4 8 0 x 6 4 0 的待融合图像。其中，图3 - 2 右边模糊，图3 - 3 左边模糊。图3 - 4 为原始的基于区域能量融合规则的融合图像，图3 - 5 为改进后的 基于区域能量融合规则的融合图像；表3 1 是用传统方法进行计算所产生的能量 匹配度小于零的个数，表3 - 2 是融合前后、改进前后图像的信息熵。 图3 - 2 右边模糊的待融合图像图3 - 3 左边模糊的待融合图像 图3 _ 4 原始的基于区域能量 融合规则的融合图像 表3 1 传统融合方法匹配度小于零的个数 垂直分解方向水平分解方向对角分解方向 第一层 3 3 2 3 43 3 3 4 03 7 1 1 4 第二层 7 9 4 48 8 6 61 0 0 1 5 第三层 8 5 5 1 1 7 42 2 6 5 第2 2 页河南大学硕士研究生学位论文 图3 - 5 改进的基于区域能量 融合规则的融合图像 从表3 - 1 可以看出有相当一部分图像区域对应的能量匹配度小于零，且从图 3 _ 4 、3 5 可以看出，改进的基于区域能量融合方法得到的融合图像比原始的基于区 域能量融合规则的融合图像清晰度较高，且图像的边缘特征更为显著。另外，从 表3 - 2 可以看出由改进的融合方法获得的融合图像熵比由传统的融合方法获得的 融合图像熵有所提高，信息量得到了加大。 表3 - 2 融合前后、改进前后图像的信息熵 选择方法熵( 融合图像) 原图a 6 8 7 5 6 原图b 6 9 3 0 2 原始的基于能量的融合方法 7 0 3 7 8 改进的基于能量的融合方法 7 0 6 8 7 河南大学硕士研究生学位论文第2 3 页 3 5 小结 基于区域的融合规则是当前图像融合研究领域的热点之一。本章针对基于区 域能量的融合方法中“匹配度”出现负值的情况，通过引入绝对值，消除“匹 配度”出现负值的现象，并基于这种思想提出了相应的融合规则。仿真结果验证 了该思想的正确性以及算法的有效性，也为提高图像融合的清晰度提供了一种有 效途径。 第2 4 页河南大学硕士研究生学位论文 第4 章小波基函数的选取研究 目前，采用小波分解进行图像融合存在两个问题，即最佳小波基函数的选取 和最佳小波分解层数的选取嘲。本章分别采用两种融合规则对最佳小波基函数的 选取迸行了研究：基于像素的融合规则和基于区域的融合规则。针对这两种情况 选择不同的小波基函数，通过大量的实验得出一些有意义结论， 4 1 小波基函数的性质 1 对称性及线性相位 令小波函数y ( f ) 为平方可积函甄若它的傅里叶变换满足1 壬，( 忉= 蔓 甲( 们f “ ( a 为实常数) ，则称矿( 力有线性相位。具有线性相位的小波函数可以避免对图像 进行分解和重构时的相位失真。当缈( f ) 为实值函数时，若满足( 口+ f ) = y 0 一f ) 称 其具有对称性，满足y 0 + f ) = w ( a f ) ，具有反对称性。 选择具有对称性或反对称性的小波函数具有以下两个优点：其一，人类的视 觉系统对边缘附近对称的量化误差较非对称误差更不敏感；其二，如果小波有线 性相位特性，在对图像边缘进行对称扩展时，重构图像边缘部分失真较小。 2 正交性和双正交性 小波基从正交性的角度划分有两类：正交与双正交。正交小波基。棚对应的低 通滤波器| i l 和高通滤波器g 正交。若c o 为原信号的最高分辨率的抽样点，则小波分 解可如下描述： 大部分正交小波基是无限支集的，相应的滤波器而和g 是无限冲激响应的，无 法在计算机上实现，所以一般采用d a u b e c h i e s 系的紧支集正交小波作为小波基进 行图像处理，最常用的是d 2 和d 4 小波。紧支集小波一般不具有对称性，唯一的 正交且对称的小波是 i a a r 基，但是它的局部化性能较差。双正交小波基【3 日由两 河南大学硕士研究生学位论文第2 5 页 个小波函数构成，甲和它的对偶小波事，双正交是指低通分析滤波器h 和高通重 建滤波器季正交，低通重建滤波器石和高通分析滤波器g 正交，而和g 对应分解小 波￥，莠和季对应综合小波平。对于双正交小波分解过程与正交小波相同，但重 建过程变为： c m - 。( 哟= 石 一2 力西十喜一2 ，) 厶u ) ，玎e z ( 4 - i ) i t ij b 其中_ j l ( 功联珂+ 2 的= 矗。；而( 帕= 砍匆= 互； 喜( 力= ( _ d “ ( 叫+ 1 ) ；g ( 力= ( _ 1 ) “石( _ 玎+ 1 ) 目前，著名且广泛应用的双正交小波基是d a u b e c h i e s 双正交小波基。 3 正则性 函数的正则性的定义为：设0 口 1 ，若对于任意t ，口r 有 1 1 壬，( f + 历一1 王，叫 c | 纠4 ( c 为常数) ，则称壬，( f ) 的正则性阶数为口若l 王，的阶 导数满足上式，且，= n + a ，则称l 王，( f ) 的正则性阶数为，。正则性表现为小波基 的可微性，是小波函数光滑程度的一种描述。对于小波函数w ( t ) ，正则性阶数，越 大，正则性越好，收敛越快，其邻域的能量越集中。离散小波变换与一般的子带 公解的区别除外观上和解释说明不一样外，重要区别就在于小波滤波器必须是正 则的。对小波函数甲( f ) 的正则性越好，收敛越快。因为一个系数由于量化产生的误 差在重建图像后，可能扩展到全局误差，该误差与离散小波成正比，所以正则性对 避免重建图像的可见误差不失为一个较好的性质。但选择正交小波时，要求正则性 要好，这样才有可能得到好一点的图像质量。对于双正交小波来说，l 壬，( f ) 和其对 偶小波孓( f ) 的正则性不一定相同。当质量要求较高时，要选择币( f ) 的正则性比 马殛) 好的双正交小波；当图像本身比较光滑时，平o ) 的正则性越好，得到的图像 第2 6 页河南大学硕士研究生学位论文 质量就越高，因此，重建小波孓( f ) 正则性越好，得到的图像效果就越好。 4 消失矩 若小波函数壬r ( f ) 满足亡f v ( t ) d t ，k = 0 , 1 ，2 ，n ，即可( f ) 有七个连续零点，则 称甲( f ) 具有阶消失矩。另外，设眦。( f ) 工k z 构成f f ( r ) 的标准正交基，那 么若小波基i 王，满足掣= c + ，( 固，且野f i “1 i v ( t ) l d t + o o ，也称其具有阶消 失矩。消失矩的大小决定了用小波逼近光滑函数时的收敛率。当图像光滑时，越大 的消失矩将导致越小的小波系数：而对不光滑的图像，将会有更多的大的小波系 数。一般来说，消失距越大通常，小波正则性和消失矩相互作用 5 紧支性 前文提到具有无限支集的小波基无法在计算机上实现小波变换，要求小波基 具有紧支性。紧支性指的是若小波函数甲( f ) 在区间【口，6 】外恒为零，称该小波函数 紧支在这个区间上，具有紧支性，这样的小波基称为紧支集小波基，区间【口，6 】称为 小波基的紧支集，区间的宽度称为小波基的支撑宽度。支撑宽度越小，小波基的局 部化能力越强，小波变换的计算复杂度越低，便于快速实现。 以上分析了小波基的基本性质口1 q 3 1 。结合小波基的性质来分析各个小波基在 基于像素和基于区域能量的图像融合算法中，所得到的图像，融合效果的对比研 究。 4 2 基于像素的图像融合方法中小波基函数的选取研究 1 基于像素的融合规则，逐个考虑原图相应位置的尺度系数和小波系数。低 频选择加权平均，高频选择绝对值较大的小波系数的融合方法。 各个频域的融合算子：对于两幅图像x 和y ，经过小波分解，按照经验值选 择三层m ，可分别得到相应的小波系数和尺度系数。假设融合图像的，层的尺度系 数为q 力，q o ，力2 t o t ( _ ，x 1 ，m ) + w 2 u ，屯，y z ) ( 4 - 2 ) 河南大学硕士研究生学位论文第2 7 页 对于，层的高频系数钟似力，研o ，力，叫“力 钟力2 善凛碧i 菩长：蠕菇趁三舄i i c 乒s ， 其它的和其他层的高频分量也采取绝对值取大的原则。 考虑到评价参量的典型性和算法的复杂度，选取熵、均值、标准差、可见度4 个参量作为图像的融合评价指标。令m 的图像区域，r 力的总灰度级数为 三，只表示灰度值为i 的像素数与总像素数之比，4 个评价参量分别定义为： e = - p l l 0 9 2 p l ( 4 - 4 ) 删= f ( i , j ) ( m x n ) ( 4 - 5 ) 册= ( 4 6 ) 玎2 荟丢l f ( f ，d 一酬7 删“( 4 - 7 )m ，o 五为视觉常数，一般取0 6 0 7 熵的大小反映了图像携带信息的多少；图像均值是像素的灰度平均值，对人 眼反映为平均亮度；标准差反映了图像灰度相对于灰度平均值的离散情况，在某 种程度上也可用来评价图像对比度大小；而可见度则是评价图像清晰程度的关键 指标。熵、均值、标准差和可见度4 个参量的值越大就表明图像融合效果越好。 还引入了平均交叉熵，是评价两幅图像差异的关键指标，可直接反映原始图像和 融合图像之间对应像素的差异。差异越小，表明融合图像从原始图像中提