基于区域特征的二代curvelet变换卫星云图融合

基于区域特征的二代CURVELET变换卫星云图融合汪大1，毕硕本2，王必强3，颜坚1（1南京信息工程大学计算机与软件学院，南京210044；2南京信息工程大学遥感学院，南京210044；3武汉市气象局，武汉430040）（WANGDA183448163COM）摘要提出了一种基于区域特征的二代CURVELET变换卫星云图融合新方法。首先对红外云图和可见光云图进行二代CURVELET变换，低频子带采用基于相关系数和区域能量的自适应融合规则，高频子带系数采用基于区域方差归一化值的曲波系数选择融合规则，最后通过CURVELET逆变换得到融合云图。对FY2E传回的红外云图和可见光云图进行实验,利用信息熵、均值和相关系数进行评价,实验结果表明,该方法能够取得较好的效果。关键词红外云图可见光云图非下采样CONTOURLET变换区域特征中图分类号TP39141TP75文献标志码A文章编号SATELLITENEPHOGRAMFUSIONBASEDONLOCALFEATUREWITHNONSUBSAMPLEDCONTOURLETTRANSFORMSWANGDA1，BISHUOBEN2，WANGBIQIANG3，YANJIAN1（1COLLEGEOFCOMPUTERANDSOFTWARE,NANJINGUNIVERSITYOFINFORMATIONSCIENCEVISIBLENEPHOGRAMNONSUBSAMPLEDCONTOURLETTRANSFORMNSCTLOCALFEATURE0引言在灾害性的天气监测和预警中，地球静止气象卫星获得的云图资料已成为重要的信息来源。红外云图主要是通过云顶、陆地表明和水面所发射的红外辐射成像的，云图整体只反映云层的轮廓特征，分辨率较低，细节信息不丰富。而可见光云图是通过接收来自地面和云面反射的太阳辐射成像的，包含了地面及云层的边缘、纹理等丰富的细节信息，分辨率较高。将图像融合技术应用到红外云图和可见光云图中，可以充分利用彼此信息的互补性，提高卫星云图的综合利用能力。图像融合是指把来自多个不同模式的传感器或同一传感器在不同时刻获取的同一场景的多幅图像合成为一幅满足特定需求的新图像的过程1。图像融合的方法较多，BURI等人最早于1985年给出了融合图像的LAPLACIAN算法2，1989年ATOET等人提出了对比度金字塔ROLP融合算法3,4，以上几种算法都是基于GAUSSIAN多分辨率金字塔的算法，其融合算法虽然简单有效，但也存在一些缺点，如在多传感器的图像或图像区域灰度值差别比较大时，融合图像中会出现方块状的痕迹。近年来,各种多尺度分析方法在图像融合领域得到了广泛的应用其中小波变换由于具有良好的多尺度与时频局部特性,取得了良好的融合效果,是目前的研究热点5,6但由于小波分析仅能反映信号的零维奇异性,而且各向同性的二维小波基也难以有效地表达图像中的边缘等细节信息,在融合过程中通常会产生块状效应,降低了融合结果的质量针对小波变换的缺陷,CANDS和DONOHO提出了曲波CURVELET变换理论7,该理论更适用于分析信号中高维奇异性,能够有效地逼近图像中的边缘等细节信息,将CURVELET变换应用到图像融合领域,可以改善融合结果的质量。但是,第一代CURVELET的数字实现比较复杂,需要子带分解、平滑分块、正规化和RIDGELET分析等一系列步骤,而且CURVELET金字塔的分解也带来了巨大的数据冗余量。因此,DONOHO等人又于2002年提出了实现更简单、更便于理解的快速CURVELET变换算法,即第二代CURVELET8。根据卫星云图融合的应用要求，本文提出了一种基于区域特性的二代CURVELET卫星云图融合方法。对经CURVELET变换得到的不同尺度和方向下的粗尺度系数和细尺度系数采用不同的融合规则进行融合。实验结果表明，该方法得到的融合图像在纹理细节信息的表现能力和红外信息的保持方面都有更好的效果，融合效果较为理想,是一种有效可行的卫星云图融合算法。1第二代CURVELET变换2基于区域特征的二代CURVELET变换卫星云图融合已有文献的研究表明11,12,图像中的每个像素是属于某一个区域的,其特征信息不是由单一的像素所表征的,而是由这一区域特征的多个像素来表征和体现,且这一区域内各个像素具有较强的相关性，基于区域特征的融合方法考虑相邻像素之间的相关性,突出了区域特征,降低了噪声的敏感度,可得到良好的融合效果。在天气预警应用中主要利用红外云图的亮温差值监测强对流云团，要求融合图像在提高图像纹理及边缘等细节信息的同时，尽可能多地保留红外云图的红外信息。基于此融合要求，本文提出了一种基于区域特征的二代CURVELET变换卫星云图融合方法。融合流程图见图1所示。红外云图直方图匹配小波变换高频分量低频分量高频分量低频分量改进的自适应局部方差融合非均匀性加权融合重构融合云图红外云图可见光云图小波变换可见光云图图1基于加权和改进的自适应局部方差小波变换融合流程图21粗尺度系数融合图像经CURVELET变换得到的粗尺度系数包含了图像的主要能量，反映源图像的近似特征。在应用中主要利用红外云图的亮温差值监测强对流云团，红外云图的重要性和客观性比可见光云图要高，即红外云图的粗尺度系数部分比可见光云重要。因此粗尺度系数融合策略的选择对红外与可见云图融合至关重要。传统的加权平均法没有考虑到红外云图的重要性，得不到理想的融合结果。而采用能量加权方法依然有很大一部分可见光图像系数参与融合，融合云图的红外信息进一步淡化。红外与可见光云图的粗尺度系数之间存在着区域相关性，结合卫星云图融合的实际要求，本文提出了基于相关系数和区域能量的自适应融合规则待融合的红外云图IR和可见光云图VIS在以X,Y为中心点的区域窗口（窗口大小去33）的能量EIRX,Y及EVISX,Y定义为12,9,MNIRIRYXAYXE1VISVS式中，AIRX,Y和AVISX,Y分别表示IR和VIS在X,Y点的粗尺度系数。图像的相关系数是描述图像相关程度的统计量，反映了两幅图像所含信息量的重叠程度，即两幅图像的相关程度。图像的相关系数定义为11212,MNXYBVISAIRNMNYXYXR其中，IR和VIS分别表示IR和VIS在该局部区域图像的均值，RX,Y是IR和VIS在该局部区域图像的相关系数。当RX,Y065时，表明此时IR与VIS的相关度很高，考虑到IR的重要性高于VIS，采用非均匀性加权（IR的权值高于VIS权值）予以融合。当RX,Y065时，表示IR与VIS相关度不大，如果选取具有较大区域能量的曲波系数为融合系数，这样就造成另一幅云图有用信息的丢失。对此方法进行改进，取两者的加权系数为融合系数，由区域能量和相关系数共同决定融合权值，其中区域能量大的云图权值较大。融合函数如下所示（1）（2）（3）YX,E,650R,1RYX307IRIVISIRFUSAA22细尺度系数融合图像经CURVELET变换得到的细尺度系数反映了图像的亮度突变特征，含有丰富的边缘及细节信息。区域方差通常用来反映图像灰度分布的离散程度，方差越大，离散程度越高，包含的信息就越丰富13。因此可将区域方差的大小作为带通方向子带融合的依据。但当红外云图的局部方差与可见光云图的局部方差相差不大时，如果只考虑可见光云图信息，就会造成红外信息的丢失。针对上面情况，本文选取阈值T075，采用基于区域方差归一化值的曲波系数选择融合方法首先取以当前像素为中心的一个33局部区域，计算红外云图和可见光云图的局部方差，分别记为、。KJIRVAJIS然后进行归一化处理，并对其做差，如公式（2）、（3）、（4）所示KJVISJIRKJANOJJJVSKISIKJDF式中，和分别表示红外云图IR和可见光云图VIS在分解尺度J上K方向上局部方差归一KJIRNOJVIS化值，表示两者之差绝对值。当时，表明说明一幅图像含有丰富的细节信息,而另一幅图像JDFTIKJ含有较少的细节信息，此时选择局部方差较大的小波系数为作为融合后的曲波系数；当时，表示TDIFKJ两幅云图细节信息相差不大，此时取红外云图的曲波系数为融合后的曲波系数。这样在增强融合云图纹理及细节信息的同时，尽可能多地保留原红外云图的红外信息。具体规则如公式（5）所示TDIFWVARKJJJSKISJFUS,式中，、和分别表示IR、VIS和融合图像FUS在分解尺度J上K方向上融合图像的,YXWKJIR,KJVIS,YXKJS细尺度系数分量。3实验结果与分析为了验证算法的正确性与有效性，在实验测试时采用以下四种算法进行比较方法1低频、高频分量均采用加权平均（基于小波变换）；方法2低频采用加权平均法，高频采用局部方差取大（基于小波变换）；方法4本文算法。实验所采用的数据为我国中部地区2011年10月16日12时观测到的气象卫星红外云图和可见光云图，如图1、图2所示。云图大小为256256，已经过直方图匹配预处理。实验结果如图36所示。（5）（2）（3）（4）图1红外云图图2可见光云图图3加权平均法图4区域方差取大法图6本文方法从主观上看，加权平均法虽然简单，但效果一般；区域方差取大法虽然很好地提高了融合云图的纹理及细节信息，但同时也丢失了部分有用的红外信息。而CONTOURLET变换法虽然整体对比度较好，但由于不具备平移不变性，融合云图有明显的GIBBS效应，产生了一些虚影模糊，云层不够清晰。而本文方法采用了NSCT变换，较好地消除了CONTOURLET变换产生的GIBBS效应，且在进行子带系数融合时考虑了红外云图的重要性，因此在融合云图纹理细节信息得以提高地同时，较好地保留了原红外云图的红外信息，云层特征更为分明。本文使用信息熵、平均梯度、相关系数3个变量对融合结果进行客观评价14,15，如表1所示。从表1可以看出，本文算法得到的融合图像的信息熵是最大的，说明本文算法可以提供含有更多信息量的融合图像。虽然平均梯度有所降低，但此时相关系数最好，表明融合云图与原始云图更接近，信息损失更少。总体而言，在红外云图和可见光云图的融合实验中，本文算法要优于其他算法，取得了一个较好的融合效果。表1红外云图与可见光云图的融合性能评价融合方法信息熵平均梯度与IR相关系数与VIS相关系数加权平均64067421540837708245区域方差取大66734557030742808823CONTOURLET变换68250561060767208551本文方法695645368708572086544结束语本文针对图像在局部区域内的像素间往往具有相关性，结合红外云图及可见光云图的特点及融合的应用要求，提出了一种基于区域特征的二代CURVELET卫星云图融合算法。二代CURVELET变换后的粗尺度系数包含了图像的主要能量，存在着区域相关性，因此粗尺度系数采用基于图像相关系数和区域能量的自适应融合规则；细尺度系数含有丰富的边缘及细节信息，当红外云图的区域方差小于可见光云图的区域方差时，如果只考虑可见光云图信息，就会造成红外信息的丢失，因此在细尺度系数的融合采用基于区域方差归一化值的曲波系数选择融合准则。实验结果表明,该方法在保持红外信息和提高云图信息熵方面具有优势，而且融合云图的纹理及边缘区域也清晰可见，云层特征更为分明，是较好的融合方法。参考文献1BURTPJ,KOLEZYNSKIPJENHANEEDIMAGEECAPTURETHROUGHFUSIONAINPROEEEDINGSOFTHE4THINTERNATIONALCONFERENCEONCOMPUTERVISIONC,BERLIN,GERMANY,19931731822BURTPJ,ADELSONEHMERGINGIMAGESTHROUGHPATTERNDECOMPOSITIONJPROCSPIE,1985,5751731813TOELA,VANRUYVENL,VELATONJMERGINGTHERMALANDVISUALIMAGEBYACONTRASTPYRAMIDJOPTENGINEERING,1989,2877897924TOELAHIERARCHICALIMAGEFUSIONJMACHINEVISIONAPPS1990,3L1115DENGLEI,CHENYUNHAO,LIJINGCONTROLLABLEREMOTESENSINGIMAGEFUSIONMETHODBASEDONWAVELETTRANSFORMJJINFRAREDMILLIMWAVES,2005,24134386OTAZUX,GONZALEZAUDICANAM,FORSO,ETALINTRODUCTIONOFSENSORSPECTRALRESPONSEINTOIMAGEFUSIONMETHODSAPPLICATIONTOWAVELETBASEDMETHODSJIEEETRANSACTIONSONGEOSCIENCESANDREMOTESENSING,2005,4310237623857CANDSE,DONOHODCURVELETASURPRISINGLYEFFECTIVENONADAPTIVEREPRESENTATIONFOROBJECTSWITHEDGESC/RABUTC,COHENA,SCHUMAKERLLCURVESANDSURFACESNASHVILLE,TNVANDERBILTUNIVERSITYPRESS,20001051208CANDESE,DONOHODNEWTIGHTFRAMESOFCURVELETSANDOPTIMALREPRESENTATIONSOFOBJECTSWITHPIECEWISEC2SINGULARITIESJCOMMONPUREA