（系统分析与集成专业论文）基于不可分小波的多聚焦图像融合.pdf

摘要 随着技术的进步和不断完善，数字图像处理技术在各个领域中应用越来越广 泛。而相机照相中存在以下事实：对于同一场景中的所有目标都聚焦清晰很困难， 尤其对于距离相差甚远的不同目标更难获得同时清晰聚焦图像。如何将同一场景 中的所有目标进行融合，使融合后的图像目标都聚焦清晰便成为一个十分重要的 问题。 本文对多聚焦图像融合的一些算法进行一些研究：将讨论简单加权平均法、 基于分块的融合方法、拉普拉斯金字塔方法、基于二维张量积小波变换的融合方 法和基于二维不可分变换的融合方法。然后提出了一种新的多聚集图像融合算 法，该方法综合了不可分小波变换和分块融合的优点，通过实验及结果分析，对 各种融合方法加以比较，得出了该算法的可行性。 关键词：小波变换；不可分小波；多聚焦图像：图像融合；对比度 a b s t r a c t w i t ht h ed e v e l o p m e n to fa s s i m i l a t et e c h n o l o g y , m o r ea n dm o r ed i g i t a li m a g e p r o c e s s i n gt e c h n o l o g i e sa r ea p p l i e di nm u c hm o r ef i e l d s t h e r ei saf a c t t h a ti ti s d i f f i c u l tf o ru st oh a v ea l lt h eo b j e c t si nt h es c e n ew e l l f o c u s e d ，e s p e c i a l l yf o rt h o s e o b j e c t sw h i c ha r e 纽a w a yf r o me a c ho t h e r s oi ti sav e r yi m p o r t a n tt h i n gf o ru st o s o l v et h ep r o b l e m w eh a v et of i n daw a yt og e taw e l l - f o c u s e di m a g ef r o mt w oo r m o r en o ts ow e l l f o c u s e di m a g e sf o rt h es a l n es c e n e t h ep a p e ri sm a i n l ya b o u tm u l t i f o c u si m a g ef u s i o n w ew i l ld i s c u s sa l g o r i t h m s a sf o l l o w s ：t h em e t h o d so fs i m p l ea v e r a g ea n d w e i g h t e d - a v e r a g e ，b l o c k - b a s e df u s i o n ， p y r a m i d o f l a p l a c i a n ，s e p a r a b l e w a v e l e t s - b a s e df u s i o na n d n o n - s e p a r a b l e w a v e l e t s b a s e df u s i o n t h e nan e wm u l t i f o c u s e di m a g ef u s i o nm e t h o di sp r e s e n t e d t h en e wm e t h o dt a k e st h ea d v a n t a g eo fb o t hn o n - s e p a r a b l ew a v e l e t - b a s e df u s i o n m e t h o da n db l o c k - b a s e dm e t h o d a f t e rt h a tw ee a r l yo u ts o m ee x p e r i m e n tt oc o m p a r e t h em e t h o d so f t h e m f r o mt h er e s u l tw ep r o v et h a tt h en e wm e t h o di sf e a s i b l e k e yw o r d s ：w a v e l e tt r a n s f o r m ；n o n - s e p a r a b l ew a v e l e t ；m u l t i - f o c u si m a g e ； i m a g ef u s i o n ；c o n t r a s t 湖北大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或 集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本声明的法律后果由本人承担。 论文作者签名：皂弗鼙 时间：如。6 年6 月日 学位论文使用授权说明 本人完全了解湖北大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本； 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。 ( 保密论文在解密后遵守此规定) 论文作者签名：鲁冲导 签名日期：2 肿年6 月1 日 导师签名：；i l a 窃j 签名日期汐“年6 月7l q 1 绪论 1 1 图像融合的有关问题 1 1 1 图像融合的概念 在许多情况下，由于受到外在的照明、环境( 云、烟、雾、雨等) 、传感器 状态( 运动等) 、目标状态( 运动、密集目标、伪装目标等) 、目标位置( 与传感 器的距离、是否存在障碍物等) 以及传感器固有的特性( 穿透性、成像目标的选 择性、聚焦特性、光谱特性、分辨率特性等) 等因素的影响，通过单一传感器获 得某一时刻某个场景的图像信息相对来说显得比较单薄，不利于我们用来进行对 场景及场景中的目标进行很好的监测、分析以及识别等后续处理。正是基于这些 方面应用的需要，图像融合技术有了用武之地。 图像融合，就是将2 个或者2 个以上的传感器在同一时间( 或者不同时间) 获 取的关于某个具体场景的图像或者图像序列信息加以综合，生成一个新的有关此 场景的解释，而这个解释是从单一传感器获取的信息中无法得到的p 1 1 。相应地， 图像处理的形式分为3 种：多传感器不同时获取的图像的融合、多传感器同时获 取的图像的融合、单一传感器不同时间或者不同环境条件下获取的图像的融合。 1 1 2 图像融合的发展、应用和研究热点 图像融合技术是数据融合技术的一个分支，大致开始于2 0 世纪8 0 年代，最 初是被应用于遥感图像的分析与处理领域。1 9 7 9 年，d a l i y 等人首先把雷达图像 r c l 和l a n d s a t m s s 图像的复合图像应用于地质解释p 1 ，其处理过程可以看作是最简 单的图像融合。1 9 8 1 年，l a n e r 和t o d d 进行了l a n d s a t - r b v 和m s s 图像数据的 融合试验_ j 。到8 0 年代中后期，图像融合技术开始引起人们的关注，陆续有人 将图像融合技术应用于遥感多谱图像的分析和处理。9 0 年代以后，随着多颗遥 感雷达卫星j e r s 1 ，e r s 1 ，r a d a r s a t 等的发射升空，图像融合技术成为遥感图像 处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图 像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检 测俄测大地环境的变化等等。其采取的融合方法主要有h i s 变换”j 、平均、 加权平均、差分及比率、p c a ( 主成分分析：p r i n c i p a lc o m p o n e n ta n a l y s i s ) p 1 、高 通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融 合处理只是在一个层次上进行的，均属于简单的图像融合方法。后来又出现了基 于塔式分解的融合方法和基于多分辨分析的融合，此类融合是在各分解层上进行 的：首先将图像进行相应分解；然后在各分解层上根据某种融合规则进行融合： 最后将融合处理后得到的结构进行相应重构即得到融合后的图像。 到8 0 年代末，人们才开始将图像融合技术应用于一般图像处理( 可见光图像、 红外图像等) ”i j 。9 0 年代后，图像融合技术的研究呈不断上升趋势，应用的 领域也遍及遥感图像处理、可见光图像处理、红外图像处理、医学图像处理等。 尤其是近几年，多传感器( 多源) 图像融合技术已成为计算机视觉、自动目标识别、 机器人、军事应用等领域的热点研究问题。 1 2 本文研究的内容 本文将重点讨论图像融合方法在数码相机中的一个重要应用一一多聚焦图 像融合。由于相机成像特点及其它相关原因，许多情况下相机获取的图像中很可 能只有部分被摄物体清晰聚集( 比如：对于场景中的近景和远景较难同时被清晰 聚焦) ，多聚集图像的融合处理将融合源图像中的相对清晰部分从而得到一幅新 的图像，该图像中的各物体均相对较清晰。全文将从以下内容展开：包括图像融 合的概念、融合的层次、融合的评价准则、图像融合的方法( 重点讨论基于塔式 分解的融合方法、基于小波分解的图像融合方法和基于分块的图像融合方法) 。 在此基础之上本文考虑将二维不可分小波与基于分块的融合方法结合起来，提出 了一种新的多聚集融合方法，并通过计算机仿真来检验其可行性。围绕以上内容， 全文共分六章。各章具体内容安排如下： 第一章：绪论部分，介绍图像融合的概念、发展以及应用。 第二章：介绍图像融合的基础知识，包括融合的层次，融合的关键技术问题以 及融合的评价准则等。 第三章：介绍多聚焦图像融合的一般方法，包括：简单平均，加权平均，基于 块分割的图像融合以及传统的塔式分解方法。 第四章：介绍小波分析的基本理论，接着探讨基于二维张垂积小波分解的图 像融合方法，在此基础上提出了一种新的基于二维不可分小波分解的图像融合方 法，并将几种多聚焦图像融合方法进行了比较，通过几组对比实验，从主观和客 观评价两方面验证了新方法的可行性。 第五章为结束语。 2 图像融合的层次、技术问题及评价准则 图像融合是对多幅图像数据进行综合处理的过程。它着重于把那些在空间或 时间上冗余或互补的多源数据，按一定的规则( 或算法) 进行运算处理，获得比 任何单一数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征 的融合图像。它不仅仅是数据间的简单复合，而强调信息的优化，以突出有用的 专题信息，消除或抑制无关的信息，改善目标识别的图像环境，从而增加解译的 可靠性，减少模糊性( 即多义性、不完全性、不确定性和误差) ，改善分类，扩 大应用范围和效果。 2 1 图像融合的层次 图像融合可在3 个不同的层次上进行，一个是像素级( p i x e ll e v e l ) 融合，二是 特征级( f e a t u r el e v e l ) 融合，三是决策级( d e c i s i o nl e v e l ) 融合。 2 1 1 像素级图像融合 r 1 1 1 像素级图像融合是指对测量得到的物理参数的合并“，是对不同成像模式 所形成的图像像素数据直接进行处理而获得融合图像的过程。它强调不同图像信 息在像素基础上的融合，强调必须进行基本的地理编码，即对栅格数据进行相互 间的配准，在多像素一一对应的前提下进行图像像素级的合并处理，来增强每个 像素的信息内容，产生出具有可靠性的融合信息，改善图像处理的效果，为下一 步图像处理提供更多的特征信息，使图像分割、特征提取等工作在更精确的基础 上进行，利于人们探测和识别潜在目标。 像素级图像融合般包含以下4 个步骤：预处理、变换、综合和反变换( 图 像重构) ( 参见图2 1 ) ，但某些个别的融合方法中可能不采用变换和反变换的步 骤，而直接在原图像上进行融合。预处理阶段包括了对被融合的原始图像的滤波 和配准处理。配准就是将被融合的原始图像进行必要的变换( 主要是几何变换) ， 从而使被融合的每一个像素都对准。有一些研究论文专门研究配准处理，但大多 数研究像素级融台的论文都假设被融合的图像已经配准。图像融合的变换阶段采 用的主要方法有p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 、h i s ( i m e n s i t y - h u e s a t u r a t i o n ) 4 变换、金字塔算法和小波变换，目前小波变换是普遍采用的方法。综合阶段将被 融合图像的变化结果进行综合处理，获取原图像中的优势信息。综合的方法可分 为：选择法，即根据某种规则，分别选择不同的被融合图像的变化系数，组成一 组新的变换系数；加权法，即用某种加权平均算法得到融合后图像的变换系数； 优化法，即根据应用不同，构造相应的评价融合效果的性能指标( 如：能量、方 差等) ，使得融合后的结果图像中该性能指标达到最优。反变换阶段是根据融合 阶段得到的一组系数进行反变换操作，即得到融合图像。一般关于融合的研究中 重点讨论上述4 个步骤中的变换和综合处理过程，这也是本文主要关注的问题。 像素级融合的主要优点是保留了原始图像中尽可能多的信息，能够提供其他 层次的融合所不具有的细节信息，具有高精度。缺点是处理的传感器数据量较大， 处理代价高，占用较多的计算机资源和处理时间，而且融合前需要进行配准处理。 图2 1 像素级融合 2 1 2 特征级图像融合 特征级融合( 见图2 2 ) 属于中间层次“，首先运用相应算法，对各种数据 源进行目标的特征提取，也就是先从初始图像中提取特征信息，如形状、纹理等； 这些多种来源的相似目标或区域，他们空间上一一对应，但并非各个像素对应， 然后运用统计方法或神经网络、模糊积分等方法对这些特征信息进行综合分析与 融合处理，以进一步评价。 基于特征的图像融合，强调特征”( 结构信息) 之间的对应，并不突出像素 的对应，在处理上避免了像素重采样等方面的人为误差。由于它强调对“特征” 进行关联处理，把“特征”分类成有意义的组合，因而它对特征属性的判断具有更 高的可信度和准确性，围绕辅助决策的针对性更强，结果的应用更有效，且数据 处理量减少，有利于实时处理。但正因为它不是基于原始图像数据而是特征，这 在特征提取过程中不可避免地会出现信息的部分丢失，并难以提高细微信息。该 层次的融合是像素级融合与决策级融合的折衷。 如t m 和s a r 图像特征级融合中，运用小波理论、分形分维、马尔可夫 ( m a r k o v ) 随机场模型、b p 神经网络模型等非线性理论方法。提取或增强空间 特征后进行融合，建立面向特征的影像融合模型，使融合后的影像既保留原高分 辨率遥感影像的结构信息，又融合多光谱影像丰富的光谱信息，图像识别环境得 以改善，遥感分类精度得以提高。 i 竺堡! 广 l 2 f 图像r ；：习特征提取邯鋈i 目孥i 纩1 评价r + i 结果i i 臣一 图2 2 特征级图像融合 2 1 - 3 决策级图像融合 f 1 1 决策级融合( 见图2 3 ) 是指在图像理解和图像识别基础上的融合。也就 是，经“特征提取”和“特征识别”过程后的融合。它好似一种更高层次的融合，往 往直接面向应用，其结果将为各种控制或决策提供依据，为决策支持服务。此种 融合先经图像数据的特征提取以及一些辅助信息的参与，再对其有价值的复合数 据运用判别准则、决策规则加以判断、识别、分类，然后在一个更为抽象的层次 上，将这些有价值的信息进行融合，获得综合的决策结果，以提高识别和解译能 力，更好地理解研究目标。常用的方法有：用马尔可夫随机场( m a r k o vr a n d o m f i e l d ) 模型方法、贝叶斯法则的分类方法、模糊集，专家系统方法等。 由于输入为各神特征信息。而结果为决策描述，因此决策级图像融合的数据 量小，实时性好，处理速度快，通信及传输要求低，具有很好的容错性和开放性， 由于他的抽象性高，所以对传感器的依赖性和要求降低，传感器可以使同质的或 是异质的，因而应用范围较为广泛，能全方位有效反应目标及环境的信息，满足 不同应用的需要。缺点是在融合之前，首先要对各图像数据进行独立的预处理， 以获得各自独立的决策结果，因此预处理花费较大，同时也有信息损失。 6 图2 3 决策级图像融合 2 2 图像融合的几个技术问题 图像融合涉及到很宽的领域、多方面的内容，如数字信号处理、数字图像处 理、模式识别、最优化技术、人工智能及数学的多个分支等，是个很复杂的问题。 随着图像融合技术的发展，也相应的带来了一系列新问题，如：庞大的数据量及 数据处理的工作量等。人们不但要能够从各种传感器数据中提取感兴趣的信息， 还要将多组不同特征的信息进行匹配、比较和分析，以达到研究目的。这就要求 我们既要能从应用的角度熟悉各种应用环境下传感器的特性，又要具有相当的数 据处理能力，能够通过不同的算法从复杂的数据中提取出所需的信息。这种要求 是相当高的。 下面我们讨论图像融合中的几个问题：图像配准以及融合方法的选择。 2 2 1 图像配准 空间配准：各类不同来源的图像数据，由于观察角度、成像机理等的不同， 其几何特征相差很大。在图像数据融合前，必须首先进行空间配准【15 1 ，即解决 各类图像的几何畸变，实现以几何纠正为基础的空间配准，以达到同一区域不同 图像数据空间坐标的统一。它涉及到几何纠正模型、重采样方法、投影交换、变 形误差分析等问题。配准就是这样一个将图像每一个像素都对准的过程。大多数 研究像素级融合的论文都假设被融合的图像已经配准，不过也有一些研究论文专 门研究配准处理。本文限于篇幅，不讨论配准的问题，并假设文中待融合的图像 都已经过配准。 7 2 2 2 融合方法的选择 根据融合目的、数据源类型、特点，选择合适的融合方法。图像数据融合的 技术方法很多，大致可归结为彩色相关技术和数学方法。前者包括彩色合成、彩 色空间变换等；后者包括加减乘除的算术运算、基于统计的分析方法( 如相关分 析、最小方差估计、回归分析、主成份分析、滤波等) 以及小波分析、金字塔分 解等非线性方法。不同情形下用不同的融合方法，效果可能会有比较大的差异， 对于具体的情况应该作具体的分析。 2 3 图像融合的评价准则 在不同的应用场合，由于涉及到不同的数据源，其数据获取方式、图像融合 方法十分不同，因而关于图像融合算法性能的评价是也一个比较复杂的问题。 总的来说，评价图像融合算法性能的方法可分为两类，即；主观的评价方法 和客观的评价方法。 主观评价方法是由观察者根据评价的指标，按照自己的经验及专业知识进行 打分，然后进行综合判断。这种评价方法由于个人视觉上的差异及其它人为因素 的影响，往往没有确定性，影响评价结论的正确性。 目前对图像融合效果的评价，常常是主观评价与客观评价结合起来。在对试 验结果的客观判别上，常用的方法是利用图像的统计参数进行定量的评判，图像 的统计参数包括图像的均方根误差、峰值信噪比、信息熵【1 6 1 、平均梯度、融合 前后的图像相关系数和图像光谱扭曲程度等。本文将采用以下评价指标： 1 ) 基于信息量的评价 图像融合的目的之一，是要增加信息量，因而需要对融合后的图像进行信息 量大小的评定。熵是衡量信息丰富程度的一个重要指标，一般可选用对融合前后 图像求熵和联合熵的方法，来计算信息量的大小。熵越大，图像所含的信息越丰 富，图像质量越好。其计算公式为 l - 1 h ( x ) 2 一只l 0 9 2 只 i , * - 0 上式中，x 为输入的图像，l 为图像总的灰度级，p ，为图像像素灰度值为i 的概率。 2 ) 基于遥真度的评价 逼真度指被评价图像与标准图像的相似程度。这里指图像的改善程度。本文 采用以下指标： 均方根误差r m s e ( 胁m e a l ls q u a r ee 玎o r ) 厂了百可一 煳p 1 击蕃蕃“卜及耐 其中r ( i ，j ) ，f ( i ，j ) 分别为标准参考图像和融合后图像，m ，n 分别为融合图 像的行数和列数。均方根误差的值越小说明融合图像与标准参考图像越逼近，融 合效果越好；反之，均方根误差的值越大说明融合效果越差。 在本文中，将采用主观与客观相结合的原贝u 来对图像融合算法的性能做出评 价。 9 3 多聚焦图像融合的一般方法 对已配准的多聚焦图像进行融合时，对应于不问的层次有不同的融合方法。 基于像素级的融合方法有：一般方法( 非变换域方法) 、金字塔变换法、小波变换 法等。基于特征级的融合方法主要有：熵法、神经网络法、聚类分析法、表决法 等。基于决策级融合的方法主要有模糊集理论、可靠性理论、贝叶斯推理法、神 经网络等。 本文研究的多聚焦图像融合方法，都是基于像素级的融合方法。 3 1 最简单融合方法 图像融合的最简单方法就是把来自多幅图像进行平均。设有s 幅待融合的图 像f ，采用平均融合算子得到融合的图像f ：有 1s f ( x ，y ) = 吉z ( 训) l ，j l 由此得到的融合图像是被平均的图像，虽然比源图像中的模糊部分要清楚 些，但源图像中的清晰部分一般不会得到很好的体现，使得融合后的图像有些差 强人意。 于是在此基础上，考虑不采用简单平均的方法，而是根据每幅图像的自身特 性来决定其在融合图像中所占的分量，也就是将上式变为 s v ( x ，y ) = w j z ( 墨y ) 4 l 其中，w ；为加权系数，且w ，劲，= 1 。 f ，l 这样经过修改后的融合结果将比简单平均要好，但是困难在于如何选择权系 数，才能达到最佳的视觉效果。对于权系数的选择，最好能根据图像内容自身的 特镇，如灰度值的大小、局部平均亮度的大小、梯度信息等自适应地选择。 简单平均和加权平均的融合方法实时性好，在某些特定的图像融合应用场 合，这种融合也可能获得较好的融合效果。但在多数应用场合，这种融合方法是 无法获得满意的融合效果。像素加权平均融合方法应用于多帧图像的融合效果会 1 0 好些，对于两三幅源图像的融合，其效果一般；同时，融合图像的信噪比降低 当融合图像的灰度差异很大时，还会出现明显的拼接痕迹。 3 2 基于块分割的融合方法 由于多聚焦图像中每幅图像都包含相对清晰区域和相对模糊区域。因此我们 考虑可以直接将原图像中的某块清晰的区域整块地拿出来作为融合后图像的相 应区域，就相当于我们用手工直接将原来图像中的清晰部分拼贴成一幅完整而又 清晰的图像。这就是基于块分割的多聚集图像融合方法u 的思想。 为此，考虑将各原图像分为清晰区域、模糊区域和两者交界的边界区域。为 了便于辨别出图像的上述3 个区域，将原图像分解成若干个块区域，然后对每个 块区域进行判断，以确定其所属区域，再进行相应的处理。这里的问题是：如何 让计算机知道原图像中哪部分是清晰区域，哪部分是模糊区域? 由于图像越清晰其对比度越高，而且图像相邻像素间有较强的相关性，故图 像的清晰部分所在的块区域的局部对比度也比较大。因此，将多聚焦原图像分割 成若干个大小相等的块后，采用块区域局部对比度来反映图像聚焦清晰区域与聚 焦模糊区域之间的差异。在此，借鉴文献 1 8 】中对图像对比度的定义 d 2 ( i i b ) i 口 式中i 为图像的局部亮度，它相当于图像局部灰度；i 。为图像的局部背景亮 度，他相当于图像局部低频分量；i - i 。相当于图像局部高频分量。据此，图像的 块区域f 的局部对比度定义为 d=上lf(x，y)-meanimnm e a n 智篇。 上式中( m ，为分块大小，m e a n 为块区域的像素值均值。 图像的块区域局部对比度随着块区域清晰程度的不同而不同，块区域的清晰 程度越高，其局部对比度越大。 在进行图像区域划分的时候，首先利用块区域局部对比度将整个图像划分成 清晰区域和模糊区域，然后再将清晰区域与模糊区域相邻的所有块区域划为边界 区域，以此得到图像的3 个不同的区域划分。 接下来就是块区域的融合处理：对于清晰区域和模糊区域，由于输入原图像 在这两个区域是互补的，即图像a 的清晰区域对应图像b 的模糊区域，反之， 图像a 的模糊区域对应图像b 的清晰区域。在进行融合处理时，直接选取清晰 块区域作为融合后的相应块区域。对于边界区域，采用基于对比度的像素选取的 方法进行处理，选取对比度较大的像素值作为融合后图像对应位置的像素值，考 虑到相邻像素间灰度值的相关性，应对上述处理后的结果进行一致性检验，即对 于图像中的某像素点，若该点像素值选自原图b ，而其周围大部分点的像素值均 选自原图像a ，那么该像素点的值应修正为图a 中的值。 其融合过程见图3 1 图3 1 基于块分割的图像融合 3 3 塔式分解融合方法 塔式融合算法是较为常用的一种图像融合方法。与简单加权平均融合方法相 比，塔式分解融合方法可阻获得明显改善的融合效果。这类算法中，原图像不断 地被滤波，形成一个塔状结构。在塔的每一层都用某种融合算法对这一层的数据 进行融合，从而得到一个合成的塔式结构。然后对合成的塔式结构进行重构，得 到融合图像。多分辨塔式融合算法主要有l a p l a c i a n 金字塔u 、比率低通金字塔、 对比度金字塔、梯度金字塔等。要了解这些算法我们必须先了解图像的高斯金字 塔分解与重构。 3 3 1 图像的高斯( g a u s s ) 金字塔分解与重构 高斯金字塔的建立可通过对输入图像进行一系列低通滤波来实现，该低通滤 波过程是将图像与一个窗口函数进行卷积的过程。 1 2 设g 。表示源图像( 输入图像) ，将g 。作为高斯金字塔的零级( 即底层) ， 高斯金字塔的第l 级图像的每一个元素可用5 5 的窗口函数对第l - 1 级图像进行 加权平均得到。 级与级间的运算可用r e d u c e 函数表示： g f = r e d u c e ( g f _ 1 )( 3 1 ) 对l11s n ( n 是金字塔的总级数) ，点( x ，y ) 有 g 知，_ y ) = ：n = - 2 w ( m , n ) g t l ( 2 x + 坍，2 y + 聆) ( 3 2 ) 在式( 3 2 ) 中，权函数w ( m ，n ) 满足下列条件： 可分离性：w ( x ，y ) = w ( x ) w i ( y ) ； 归一化： ：- 。( 行) = 1 ： 对称性：w ( n ) = w ( - i d ； 奇偶项等贡献：w i ( _ 2 ) + w t ( 2 ) + w i ( 0 ) = w ( 1 ) + w 。( 1 ) 由以上条件可构造窗口函数如下： 1 w o 一 2 5 6 4 1 6 2 4 1 6 4 6 2 4 3 6 2 4 6 4 1 6 2 4 1 6 4 至此，由g 。，g ，g 。就构成了高斯金字塔，其中g 。为金字塔的底层， g 。为金字塔的顶层，高斯金字塔的总层数为n + 1 。可见，图像的高斯金字塔形 分解是通过依次对低层图像与具有低通特性的窗口函数w ( m ，n ) 进行卷积( 此过 程相当于对图像进行低通滤波) ，再把卷积结果作隔行隔列的降2 采样来实现的。 由于窗口权函数w ( m ，n ) 形状类似于高斯分布函数，因此，w ( m ，n ) 也被称为高斯 权矩阵，同时，由此得到的图像金字塔就被称为高斯金字塔。 3 3 2 拉普拉斯金宇塔方法 ( i ) 按上述方法建立待融合图像的高斯金字塔，分解层数视情况而定 ( 2 ) 由高斯金字塔建立拉普拉斯金字塔 先将g ，内插放大，得到放大图像g ，使g ，的尺寸与g h 的尺寸相同。 为此引入放大算子e x p a n d ，即： g ，e x p a n d ( g ，)( 3 。3 ) 定义e x p a n d 函数为r e d u c e 的逆运算，其作用是利用插值法在给定数值间补 插新的样本值，使得金字塔结构中某一级图形能扩展成前一级图像的大小。与( 3 1 ) 式相对应，e x p a n d 可定义为 g ，( i ，j ) = 4 2 2w ( 坍，押) q ( 半，掣) 0 l n ，晒 c ，哟 r ，( 3 4 ) 设c ，表示拉普拉斯金字塔的第l 层，高斯金字塔的最高层为拉普拉斯金字 塔的最高层，有 c n = gn c ，= g ，- e x p a n d ( g f + 1 ) ( 0 _ i s n - 1 )( 3 5 ) 拉普拉斯金字塔中每一级中的各元素是高斯金字塔本层图像与其高一层图 像经放大算子放大后图像的差，此过程相当于带通滤波。因此，拉普拉斯金字塔 亦可称为带通塔形分解。 概括地讲，建立图像的拉普拉斯塔形分解有四个基本步骤：低通滤波、降采 样( 缩小尺寸) 、内插( 放大尺寸) 和带通滤波( 图像相减) 。 ( 3 ) 融合产生新的塔形结构 将拉普拉斯金字塔对应级的图像融合。设a 。( x ，y ) 和b 代y ) 分别为图像a 和b 的第l 层拉普拉斯金字塔的数据值，f7 ( x y ) 为相应层的数据融合值，则f i ( x ， y ) 的数据选择准则为： 确定一空域窗口尺寸( 一般3 x 3 或5 5 ) 。 按下列算法确定第l 层( o s i _ n - i ) 的融合数据f 。( x ，y ) ： f f ( x 驴缁譬妻哄说裟w 回 其中，d 。( x ，y ) 为拉普拉斯金字塔第l 层中以伍y ) 为中心像素的3 x 3 ( 或5 5 ) 窗口的方差。 按下列算法确定最高层( 第n 层) 的融合数据f ”( x ，”： 1 4 f ”瓯 = s 芝羔职之2 ：蝥t 力 c ，刀 其中：e ”( x ，y ) 为第n 层中以( x ，y ) 中心像素的3 x 3 ( 或5 x 5 ) 窗口的能量。 ( 4 ) 重构产生融合后的结果图像 设融合后的图像为l ，则有 l = g ( 3 8 ) l ，2 c ，+ e x p a n d ( g f + 1 ) ( 0 9 5 n 1 )( 3 9 ) 式( 3 9 ) 表明，从高斯金字塔的顶层开始，按式( 3 9 ) 逐层递推，可重构得到融 合后的图像l 。 由于最高层数据和低层数据的融合是分别处理的，因此，融合后的图像数据 能较好地保留两幅图像各自的特性。 4 基于小波的融合方法 基于小波分解的融合方法保留了塔式分解融合方法的相关优点。同时，利用 小波分解的方向性，就有可能针对人眼对不同方向的高频分量具有不同分辨率这 一视觉特性，获得视觉效果更佳的融合图像。以下我们将开始着手研究小波分解 的有关问题及基于小波分解的图像融合算法。 图像的小波分解是一种图像的多尺度分解，在计算机视觉、遥感、医学图像 处理等领域都有广泛的应用。由于正交小波分解是非冗余的，使得图像经过小波 分解后的数据总量不会增大；并且，小波分解有方向性，利用这一特性就可能针 对人眼对不同方向的高频分量具有不同分辨率这一视觉特性，获得效果更佳的融 合图像。根据小波变换本身的特征可以看出：基于小波变换的图像融合方法具有 很大的优越性。基于小波变换的图像融合是当前图像融合研究的一个热点，在多 聚集图像融合中也有不错的效果。 4 1 小波分析基本理论 长期以来，傅立叶分析在各种信号数据的处理中起着重要的作用，特别在频 谱分析和各种滤波方法中被作为最基本的数学工具使用。然而，它也有着无法克 服的缺点，这主要是由于函数f ( x ) 的傅立叶变换甙) 只能刻画f 【x ) 在整个时间域 上的频谱特征，丽不能反映出信号在时间的局部区域上的频谱特征m 。这给傅 立叶分析在实际中的应用带来了许多困难和不便，因为在不少实际问题中，人们 关心的恰恰是信号的局部特性。 为了克服傅立叶变换的这些缺点，1 9 4 6 年d g a b o r 引进了窗口傅立叶变换 的概念，为分析信号的局部频率特性提供了一种手段。窗口傅立叶变换的基本思 想是：假定非平稳信号在分析窗函数g ( t ) 的一个短时间间隔内是平稳的，并移动 分析窗函数，使f ( t ) + g ( t - a ) 在不同的有限时问宽度内是平稳信号，从而计算出各 个不同时刻的功率谱。这在一定程度上克服了傅立叶变换不具有时频局部分析能 力的缺点，满足了研究信号不同位置局部性质的要求，这是它优于傅立叶变换的 地方。但是它也存在着不可逾越的缺陷，窗口傅立叶变换是一种单一分辨率的信 号分析方法，因为当一个固定的短时窗函数g ( t ) 确定后，矩形窗口的形状就确定 1 6 了，调节参数只改变窗1 2 在相平面上的位置，而不能改变窗口的形状，若要改变 分辨率，则必须重新选择窗e l 函数g ( t ) 。对非平稳信号，在信号波形变化剧烈的 时刻，主频是高频，要求时窗窄且频窗宽：而波形变化比较平稳的时刻，主频是 低频，则要求时窗宽且频窗窄，而窗口傅立叶变换不能兼顾两者。因此，寻找一 种新的既能保持傅立叶分析的优点又能克服它的缺点的新的分析手段有着重大 的意义，小波分析正是这样的一种新的工具。 4 1 1 小波与小渡变换 我们把模拟信号f 【1 ) 的积分变换 2 l 】 w ，( a b ) 2 l ，( f ) 沙m ( f ) 出 ( 4 1 ) 称为小波变换，其中 y ( f ) = iai “2 矿( 讲一6 ) ( 4 2 ) 是由y ( r ) 经过平移和放缩的结果，当y ( f ) 满足条件r y ( f ) 西= o 时为基小波。由 ( r ) 生成的函数族 ) 是连续小波。 矿( r ) l2 ( r ) ，若满足 | f 甓屹阳 ( 4 3 ) 则称矿( t ) 为允许小波，式( 4 3 ) 称为允许条件。 如果式( 4 2 ) 定义的族 妒。) 是l2 的一个规范正交基，则函数y 是一个正 交小波。 在计算机应用中，小波变换是以离散形式出现的。通常将矿。( r ) 中的连续变 量a 和b 取做整数离散形式【2 2 1 将妒m ( f ) 表示为 ( d - 2 川2y ( 2 t - k ) ( 4 4 ) 相应的小波变换表示为离散小波变换 w ，o ，k ) = ( 妁，( o ) 2l ，( f 渺。( o d t ( 4 5 ) 形式。离散小波y ( f ) 是由小波函数y ( t ) 经2 。整数倍放缩和经整数k 平移所生 成的函数族 y ，。( f ) ) 。 离散小波变换w ，0 妁= 【厂( f ) y 。( t ) d t 是关于频率指标j 和平移指标k 的函 、 j 数。小波缈。( f ) 是一带通函数，小波变换在频域方面的局部化作用由j 调节，在 时域方面的局部化作用由k 调节。 信号经过小波变换后表现为不同子频带分量之和，对原信号的局部时频分 析就表现为对那些描述子频带的时域分量的分析。反应低频的局部分析对应于反 应低频的子频带分量中，反应高频的局部分析对应于反应高频的子频带分量中。 4 ，1 2 多分辨率分析 在计算机视觉中，多频带分解是通过多分辨率来实现的，通常，我们试图分 析的图像结构有着不同的大小，在一般情况下，不可能事先定义一个分析图像的 最优分辨率，但可以用多分辨率分析方法。这种方法将原始信号分为不同分辨率 的几个信号( 通常对应于不同的频率通道) ，然后选择合适的分辨率并同时在各 级分辨率上处理这个信号。 多分辨率分析( m u l t i - r e s o l u t i o n a n a l y s i s ，m r a ) ，又称为多尺度分析，是建立 在函数空间概念上的理论，但其思想来源于工程，创建者s m a l l a t 是在研究图像 处理问题时建立这套理论的，最初的研究目的是将图像在不同尺度下分解，并将 结果进行比较，以取得有用的信息。正交小波基的提出，使得m a l l a t 考虑到用正 交小波基的多尺度特性将图像展开，以得到图像不同尺度间的“信息增量”。这种 想法导致了多分辨率分析理论的建立。m r a 不仅为正交小波基的构造提供了一 种简单的方法而且为正交小波的快速算法提供了理论依据。其思想又同多采样滤 波器组不谋而合，使得我们可以将小波变换同数字滤波器的理论结合起来。因此， 多分辨率分析在正交小波变换理论中具有非常重要的地位【2 3 1 。 多分辨分析是指一串嵌套式子空间逼近序列把j 。，满足以下要求2 4 1 ： 1 ) c v c v 匕l 2 ( r ) ，n 巧= o ，u 巧= l 2 ( r ) ： j e zj e z 2 ) v j = s p a n j ( r ) 1 纵( d = 2 m 烈2 7 t - k ) ，七z ： 3 ) = 吃( 2 卜h ) ，阮 f 2 ； 4 ) 庐o t ) 是r i e s z 基。 1 8 由( t ) 生成了m r a ，它被称为尺度函数或m r a 的生成元，上式3 ) 称为双尺 度方程。在m r a 中可得到予空间v j 间的递推关系，有利于实现快速算法。 4 2 图像的二维张量积小波变换 1 9 8 9 年，m a l l a t 首先在多分辨率分析的基础上，提出了用子带结构实现离散 小波变换的算法，统一了予带滤波器与小波变换的计算。m a l l a t 将小波变换用于 多分辨率图像的描述，给出了一种子带滤波器结构的离散小波变换与重构算法。 二维张量积小波的m a l l a t 算法如下： 设v ；( j z ) 是空间l2 ( r ) 的一个可分离多分辨分析，对每一个j z 来说，尺 度函数系( y 椭挑| ( m t ，m ：) z2 ) 构成v ；的规范正交基，小波函数系( 矿朋。，i j ，m i ，r l l 2e z2 ) 构成l2 ( r ) 的规范正交基。则对于二维图像t ( x ，y ) v ；来说， 可用它在v ；空间的投影表示：f ( x ，y ) = c 。 c ，= c 川吃 + d j + 。妒j ，呐，啦+ d ；妒i 卅弛+ d ；+ 。 6 ，； 州l 儿 ( 4 6 ) fc 扣。= q , m l , m 2 “吨1 舯 江：“燕。m ，p 1 2 ，3 ) ( 4 。7 ) l ”i 一2 e z j o = 1 f ，( 曲y ( 兰生) d x 口 口 其中：口- - l e t ( a ) 。在离散小波变换时，a 表示小波变换后的抽样方式，因此a 也称为抽样矩阵，如a - f ： 时，表示对行和列同时作下2 抽样，这是图像处 理常采用的方式。因此我们这里也将采用此抽样矩阵。由于a 的行列式值为4 ， 故有4 个通道，1 个低频滤波嚣和3 个高频滤波器，相应地有1 个尺度函数和3 个小波函数。如果这几个尺度函数和小波函数都能分解为2 个一维尺度函数( 或 1 个一维尺度函数和1 个一维小波函数或2 个一维小波函数) 的张量积，则称尺 度函数和小波函数是可分的，此时的小波被称为张量积小波，否则称为非张量积 小波或不可分小波。 很多学者研究了不可分小波滤波器的构造方法【3 4 - 3 6 1 。对于二维图像处理的 情况，我们给出它的具体形式。 取小波变换时的伸缩矩阵为a ；f ：1 ，则具有正交性、紧支撑和对称性的 取小波变换时的伸缩矩阵为a 2 【；：j ，则具有正交性、紧支撑和对称性的 滤波器组可表示如下： ( 瓯( x ，) ，) ，日t ( x ，力，日：瓴力，玩 = y ( a b s ( 且) )o ) 【置， i f v ( a b s ( a 。) ) v ( a b s ( 8 , ) ) 、7 式( 4 1 0 ) q b ，b 。表示图像a 的块，b 表示图像b 的块，v 表示方差算 子，a b s 表示绝对值算子。 4 ) 、作二维不可分小波逆变换，重构得到融合后的结果图像。 4 4 3 实验结果及融合性能分析 1 ) 、实验结果 为了验证本文提出的融合方法的可行性，进行了一系列的对比实验。 其中包括： 实验1 ： 对两幅多聚焦的关于两个钟的c l o c k 图像进行融合，这两幅图像中， 图4 4 ( a ) 为聚集左边钟的图像，图4 4 ( b ) 为聚集右边钟的图像，图4 4 ( c ) 为运用4 3 节中基于小波的方法进行融合后的图像。其中，这里用的是具 有正交性、线性相位和紧支撑的h a a r 小波，分解尺度为3 层。融合规则 采用4 3 3 节中的基于区域的融合援则。图4 4 ( d ) 为运用基于块分割的图 像融合结果，这里的分块采用8 8 大小，融合规则为按方差取大。图4 4 ( e ) 为采用本节提出的新方法进行融合得到的图像。分解层数为3 ，分块大小 为8 8 。由结果可以看出，本文采用的方法要优于直接分块进行融合和基 于小波分解的融合方法。 实验2 对两幅多聚焦的p e p s i 图像进行融合，图4 5 ( a ) 和( b ) 是p e p s i 组的原始 图像，其中，图4 5 ( a ) 为聚集前面的p e p s i 易拉罐的图像，此图像中，前面 的物体清晰，后面的物体模糊，图4 5 ( b ) 为聚集后面边的图像，前面的物 体模糊，而后面的物体清晰。图4 5 ( c ) 为运用基于小波分解的方法进行融 合后的图像。此处也是用的h a a r 小波，分解尺度为3 层。融合规则采用 基于区域的融合规则。图4 5 ( d ) 为运用基于分块的图像融合结果，分块大 小8 x 8 。图4 5 ( e ) 为采用本节提出的新方法进行融合得到的图像。分解层 数为3 ，分块大小为8 x 8 。在这组实验中，采用本文的融合方法也优于直 接分块融合以及不经分块而采用小波变换的融合。 实验3 以上