基于小波分析的图像融合新方法.doc

网络出版时间：2011-11-14 09:48网络出版地址：/kcms/detail/11.2127.TP.20111114.0948.057.html2011-9-29基于小波分析的图像融合新方法 刘海涛石跃祥康蕴湘潭大学信息工程学院 湖南 湘潭 411105摘要 ：针对多源像素级数字图像融合，本文给出了一种基于小波分析的融合新方法。根 据不同的频率域特点选择不同的融合规则，对低频系数给出了基于边缘信息的融合规则， 对高频系数给出了基于窗口与分形思想相结合的融合规则。实验结果表明，新方法得到的 融合图像无论在视觉效果还是在客观评价方面，均优于传统的融合方法，这为图像融合算 法的研究提供了一种新方法。关键词：小波分析；图像融合；融合规则8NMAetheowdonBFauIsmesidoangfeorWavelet TransformofCollegeLIU HaitaoSHI YuexiangKANG Yun411105 Chinafusion at【Abstracti】ma: gPeointingpixel-levelpape-rsource digital image, thisdifferimenatge givesmethofd for ruleschoicelow. The. The-frequencyisthecoefficientsofinsfohrmi ationimcoaegfeficeidegnets, thegh-frequencyedthegiveonfandcombinationwindowresults, Experimentalng thatfusdeedtmhaon stratemagebettermethod ismethodboth fusion.newion, atranswfo【orrmKd eyfu】sio: nwaveletrules; image; fusion1引言多源像素级数字图像融合是目前图像融合领域中研究最为深入与广泛的图像融合技术 之一，它在目标识别1、医学图像处理2、多聚焦图像处理3以及计算机视觉等多个领域有 着广泛的应用。近年来，以小波分析为代表的多分辨率分析方法在像素级数字图像融合领域 中取得了越来越广泛的应用4-5。而当前图像融合研究的焦点多数又集中在融合规则上，因 此融合规则的好坏将直接影响图像融合质量。基于小波分析的传统融合规则，虽然也可以取 得较满意的融合效果，但由于该融合规则没有考虑到图像边缘信息以及噪声对融合图像的影 响，因此在一定程度上导致了融合图像的边缘模糊、清晰度和对比度不高、部分信息的丢失 以及噪声的引入等问题。针对传统融合规则的不足，本文给出了一种基于小波分析的图像融 合新方法，在低频系数选择中采用一种基于边缘信息的图像融合规则，保留原图像中最有可 能是边缘的点，在高频部分的小波系数选择采用一种基于窗口与分形相结合的融合规则，尽项目基金：湖南省自然科学基金（07JJ6115）；湖南省教育厅创新平台开放基金项目（11K069）；智能制造湖南省高校重点实验 室（2009IM06）。作者简介：刘海涛（1984），男，研究生，主要研究方向为图像融合、模式识别等；石跃祥（1964），男，教授；康蕴（1985）， 女，研究生。E- mail：2787637792011-9-29可能的消除噪声对融合图像的影响。2图像的快速小波分解与重构在上个世纪八十年代末，Mallat 提出了小波分析的快速分解算法与重构算法6-7，即： 两个滤波器算子分别记为 H（低通）和 G（高通），设置每幅源数字图像的行和列分别为前 面两个滤波器算子的下标 r 和 c，通过 Mallat 推导出来的 Mallat 快速算法， 按照下面的公 式在尺度 j-1 上进行分解：C j H c H r C j 1D G H C1jc r j 1D H G C2jc r j 1D G G C3jc r j 1(1)以上公式对应尺度为Cj 1 的低频图像系数成分、对角线方向上的高频图像系数成分、 在垂直方向上的高频图像系数成分、水平线方向上的高频图像系数成分分别为Cj ， D3 ， D1 ，jj2Dj ， 根据只有能量守恒才有意义，也就是必须能进行反变换才有意义，图像 Mallat 重构算法如下式：1 2 3C j 1 H r H c C j ! H r Gc D j ! Gr H c D j ! Gr Gc D j(2)其中， H * 与 G* 分别为 H，G 的共扼转置矩阵。3基于小波分析的图像融合规则基于小波分析的图像融合方法主要是利用小波变换的多尺度分解特性，先对多 幅源图像进行小波迭代分解，然后对不同子频带的小波系数分别进行融合处理，得 到其融合系数，最后通过相应的小波逆变换得到融合图像。以2幅图像的融合为例， 基于小波分析的融合算法流程如下：(1)将待融合且已经配准原始图像进行一定层次 二维小波分解。(2)对每层分解得到的高频信息和低频信息依据所得到的信息特点， 采取合适的融合规则，分别进行融合。(3)最后通过对应的逆小波变换得到融合后的 图像，具体流程如图1所示。图 1基于小波变换的图像融合算法框图4一种改进的图像融合规则本文改进方法利用小波分析多尺度分解特性，分别针对高频和低频部分的不同特点，在 低频系数选择中采用一种基于图像边缘信息的图像融合规则，先利用索贝尔边缘梯度算子 对图像进行边缘检测，然后利用各边缘信息，确定融合图像的低频系数。在高频部分，通过 对各尺度分解层特点的分析知道图像噪声主要集中在最高分解层上，提出了一种基于窗口与 分形相结合的融合规则，在最高分解层采用基于窗口的融合规则，在最高分解层以外的高频 部分采用分形的方法，很好的克服了噪声对高频系数的影响。4.1基于图像边缘信息的低频系数融合规则图像的低频信息包含了图像的主要能量，目前小波域中传统的融合算法为加权平均选取 法，虽然这种方法可以有效的抑制图像噪声，但这种方法没有把图像边缘等这些非常重要的 图像特征信息考虑进来，因此会造成融合图像丢失部分信息、融合图像质量下降，从而造成 融合图像清晰度和对比度不高。本文在传统多分辨率融合方法的基础上，给出了一种基于图 像边缘信息的低频系数图像融合方法。本文通过梯度算子这个数学工具来对图像进行边缘检测。 对一个连续函数 f(x,y)，它在(x,y)那一点的梯度可以用矢量表示为：f ( x, y) G , G T f ! f T(3)xy x y其中 Gx ,Gy 分别表示 X 方向，Y 方向上的梯度。该矢量的梯度（幅度）和方向角 分别为：xyxyf G 2 , G 2 1/ 2 (G 2 ! G 2 )1/ 2(4) ( x, y) arctan(Gy / Gx )(5)式(4)采用的是模 2 幅度计算方法。为了减少计算开销，本文采用基于方向导数小区域掩模模板求卷积的方法来进121000-1-2-1行近似运算。X 方向和 Y 方向上的梯度 Gx ,Gy 分别对应一个掩模模板，这样梯度 算子就可以由这两个模板共同组成。因为索贝尔边缘梯度算子算法简单，而且检测图像边缘效果好，因此本文选择了索贝尔边缘梯度算子。-101-202-101图 2索贝尔边缘算子卷积核 也就是将两个卷积的最大值，赋给图像中对应模板中心位置的像素，作为融合图像在该点所对应的像素的灰度值。由于图像边缘附近的灰度变化较大,所以可以把那些在邻域内像N素灰度值TH(TH 为某个阈值，TH=L #Ci , j ，其中 N 为窗口大小，Ci , j 为当前窗口对应的i , j 低频系数值，L 为比例调节系数)的像素点当作边缘点。 低频系数的融合算法为：如果两幅原图像中对应的点都是边缘的点，则取绝对值大的尺度系数作为融合图像低 频系数加以保留。如果两幅原图像中对应的点只有一点是边缘的点，则取该边缘点的低频系数作为融合 图像尺度系数加以保留。如果两幅原图像中对应的点都不是边缘的点，则用下面公式（67）均值比加权融合 方法得到的低频系数作为融合图像的低频系数加以保留。该方法的步骤如下：首先，利用 MN(一般为奇数，常用窗口为 33 或 55)窗口计算 低频系数的均值，子图像均值为：M Nm ( x, y) 1f ( x ! m M !1 , y ! n N !1(6)M N22i# i)m 1 n 1设两幅原图像中对应的低频系数分别为 A(x,y）和 B(x,y)，融合图像的低频系数为 C(x,y)。C ( x, y) mA ( x, y)mA ( x, y) ! mB ( x, y)A( x, y) !mB ( x, y)mA ( x, y) ! mB ( x, y)B( x, y)(7)由式（7）求得 C(x,y)作为融合图像的低频系数加以保留。4.2基于窗口与分形结合的高频系数融合规则高频信息中绝对值较大的系数对应着一些突变信息，如图像的边缘、纹理、区域边界 等重要特征信息。高频系数绝对值取大法简单、实用、耗时少。因此，绝对值取大法成为 普遍使用的融合规则，然而绝对值取大法对噪声特别敏感，在选取高频系数时容易受孤立 噪声点的干扰，可能把噪声误以为是有用信息注入到融合图像中，降低融合图像的质量。 通过对高频系数再次进行小波分解分析可知，在其最高分解层上得到的边缘图像中噪声较 大，而在最高分解层以外的各层噪声含量明显减少。目前，有很多学者已经充分利用分形的自相似特性8，将分形思想应用到图像融合算 法研究中9-10，它能在显著提高空间分辨能力的同时有效地增强信息的丰富程度，更好地 保持了图像的光谱特性，保留图像的边缘等重要信息，然而在噪声含量较多的图像时，分 形方法还具有一定的局限性。与之不同的是窗口方法在噪声的处理上却具有其一定的优势 11。根据高频系数进行再次小波分解的特性与前面分形方法、窗口方法在图像融合中的各 自优势，本文在高频部分提出了一种基于窗口与分形相结合的融合规则。对含噪声大小不 同的层分别使用其更适合的融合方法（窗口方法能很好处理噪声含量较多的系数，而分形 方法能很好处理噪声含量较少的系数），这比单独使用一种融合规则在一定程度上能更好 的克服噪声系数对融合图像高频系数的影响。其融合规则如下：（1）在最高分解层上。设两幅图像 A 和 B 在点(x,y)的小波系数分别为 A (x，y)和 B (x， y)，两幅图像 A 和 B 在以点(x,y)为中心 33 大小的局域区域内系数绝对值最小者分别记为 A1(x，y)和 B1(x，y)，融合高频系数在点(x,y)记为 C(x,y)。由于在该层小波分解得到的边缘 图像中噪声含量较大，为了尽可能少的引入噪声，本文提出了基于窗口的融合规则（从实验结果来看，与传统融合规则相比基于窗口的融合规则所增加的算法复杂度是完全许可的，但 其却取得了更加令人满意的融合结果图像，因此该方法要比传统的方法要好），分别通过 A1(x(x，y)(x和 A，y)、B1(x，y)和 B，y)的共同作用提升融合效果。即融合高频系数 C(x,y)( , ) A( , )计算公式如下：+& A(x, y)! AIx yx yAI x y% B x y! BI x yC ( x, y) (B(x, y ) ! ! BI (x, y ) 其它(8)0其中 01,! ! 。（2）最高分解尺度以外。由于在最高分解尺度以外各小波分解层上的高频系数噪声含 量明显减少，因此融合规则采用分形方法。根据分形理论的特点，可以用分形的维数来描述 图像特征。本文用容量分维算法计算分形维数，计算过程如下：把一幅 MM 图像 G 用 11 的正方形将其覆盖,分别以 g=1/2,1/4,1/8,为度量单位,把图像均匀分成(1/g)(1/g)个小正方 形，然后算出每个小正方形图像的最大灰度值与最小灰度值的差值，并求和，最后用最小二 乘法求出分形维数。首先算出两幅图像高频部分 A、B 的对应的分形维数分别为 K1、K2,然后由分形维数加 权平均方法,得到图像高频融合系数值 F：F 5实验及融合效果分析K1K1 ! K 2A !K1B K1 ! K 2(9)为验证本文融合算法的有效性与可比性，采用两组均已配准的多 聚焦图像进行实验，其中第一组图像为低噪声左、右聚焦图像，第二 组为含噪声比较多的左、右聚焦图像，在实验中图像多尺度分解层数 都选为 3 层，采用“db4”小波滤波器对图像进行分解与重构。实验 1：图 3(a)为右边聚焦图像；图 3(b)为左边聚焦图像；图 3(c)为低频系数采用 平均值，高频系数绝对值取大融合图像；图 3(d)为低频系数采用平均值，高频系数采用分形 方法融合图像; 图 3(e)为低频系数采用平均值，高频系数采用窗口方法融合图像；图 3(f)为 本文算法融合图像。融合的目的是为了得到一幅清晰的融合图像。(a) 右边聚焦图像(b) 左边聚焦图像(c)低频系数取均值，高频系数(d)低频系数取均值，高频系数 绝对值取大融合图像采用分形方法融合图像(e)低频系数取均值，高频系数(f)本文算法融合图像采用窗口方法融合图像图 3多聚焦图像的融合结果实验 2：图 4(a)为含噪声左边聚焦图像；图 4(b)为含噪声右边聚焦图像；图 4(c)为低频 系数采用平均值，高频系数绝对值取大融合图像；图 4(d)为低频系数采用平均值，高频系数 采用分形方法融合图像; 图 4(e)为低频系数采用平均值，高频系数采用窗口方法融合图像； 图 4为本文算法融合图像。(a) 含噪声左聚焦图像(b) 含噪声右聚焦图像(c)低频系数取均值，高频系数(d)低频系数取均值，高频系数绝对值取大融合图像采用分形方法融合图像(e)低频系数取均值，高频系数(f)本文算法融合图像采用窗口方法融合图像图 4含噪声多聚焦图像的融合结果为客观评价不同融合方法用于多聚焦图像融合的性能，本文取信息熵、互信息和平均梯 度三个参数作为客观评价标准。融合性能评价的准则是：对于同一组融合实验，如果某种融 合方法得到的融合图像，其熵值、互信息和平均梯度都较大，则说明此方法较优。采用不同融合方法的性能比较如表 1、表 2 所示：表 1实验 1 融合效果客观评价评估指标 采用方法信息熵平均梯度互信息低频系数平均值，高 频系数绝对值取大7.03506.43338.6542低频系数平均值，高 频系数分形方法7.09826.46898.5865低频系数平均值，高 频系数窗口方法7.08326.46239.0126本文算法7.20126.48259.0235表 2实验 2 融合效果客观评价评估指标 采用方法低频系数平均值，高信息熵平均梯度互信息频系数绝对值取大6.85238.89232.9896低频系数平均值，高频系数分形方法6.90108.91223.0112低频系数平均值，高频系数窗口方法7.00129.22313.0102本文算法7.00869.53223.1032从表1与表2的数据可以看出，本文给出的融合算法，不管是在噪声含量比较高的图像还是在低噪声图像其融合图像的熵值、互信息和平均梯度都较大。表明本文给出的融合方法能 有效克服传统融合方法的不足，能够从源图像中获取更多的有用信息注入到融合图像中。6结论本文基于小波分析，给出了一种新的图像融合算法。对本文算法与已有的传统算法进行 实验与分析，结果表明本文算法不管是在视觉效果，还是在客观统计数据上都获得了令人满 意的融合效果。参考文献：1 王加,蒋晓瑜.一种用于目标识别的图像融合算法J.激光与红外,200