基于局部方差和加权相结合的小波气象卫星云图融合方法研究

基于局部方差和加权相结合的小波气象卫星云图融合方法研究汪大1，毕硕本2，颜坚1，郭忆2（南京信息工程大学计算机与软件学院1，南京210044）（南京信息工程大学遥感学院2，南京210044）摘要以往的很多图像融合方法很少考虑要融合的各种图像的应用背景和实际意义，在设计时缺乏应用的针对性。本文在综合分析小波变换图像融合方法的基础上，根据红外云图和可见光云图融合的实际应用要求，提出了一种基于局部方差和加权相结合的小波融合方法。对FY2E传回的红外云图和可见光云图进行了融合实验，并从主观和客观两个方面进行了融合效果评价。实验结果表明，该算法优于传统的融合算法，取得了更好的融合效果。关键词红外云图；可见光云图；局部方差；加权；图像融合ABSTRACTBECAUSEOFTHELACKOFFOCALIZATIONWHENTHEPREVIOUSIMAGEFUSIONALGORITHMSAREDESIGNED,THEYALMOSTNOTCONSIDERTHEAPPLICATIONBACKGROUNDANDACTUALMEANINGSIGNIFICANCEOFTHEIMAGESTOBEFUSEDTHEIMAGEFUSIONMETHODOFWAVELETDECOMPOSITIONTRANSFORMWASMAINLYDISCUSSEDINTHISPAPER,ACCORDINGTOTHEACTUALAPPLICATIONREQUIREMENTSOFTHEIMAGEFUSIONOFINFRAREDSATELLITEIMAGEANDVISIBLESATELLITEIMAGE,AWAVELETSBASEDFUSIONMETHODBASEDONTHECOMBININGLOCALVARIANCEWITHWEIGHTINGISPRESENTEDINFRAREDSATELLITEIMAGEANDVISIBLESATELLITEIMAGERECEIVEDFROMFY2EARETAKENASEXPERIMENTDATA,ANDFUSIONRESULTAREEVALUATEDBYTHESUBJECTIVEANDOBJECTIVEASPECTSTHEFUSIONEXPERIMENTSINDICATETHEPROPOSEDFUSIONSCHEMEISSUPERIORTOTHETRADITIONALFUSIONMETHODSANDHASABETTERRESULTFINALLY,THEAPPLICATIONOFTHEFUSEDSATELLITENEPHOGRAMISDISCUSSEDINDETAILKEYWORDSINFRAREDSATELLITEIMAGEVISIBLESATELLITEIMAGELOCALVARIANCEWEIGHTINGIMAGEFUSION1引言在对灾害性的强对流天气监测和预警中，气象卫星获得的云图资料已成为重要的信息来源。红外云图反映的是风暴的亮温差，而可见光云图反映的是风暴的反照率，所以对两组数据进行图像融合，利用融合后的图像对强对流云团进行自动监测和预警具有重要的现实意义。图像融合是采用一定的算法，将2幅或多幅多源图像融合成一幅图像，已获得对同一场景或目标更准确、全面、可靠的图像描述，从而有效地提高图像信息的利用率和系统对目标探测识别的可靠性。图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中12。小波变换具有对信号进行多分辨率分析特性，基于小波变换的图像融合方法可以获得与人的视觉特性接近的融合效果。因此，近年来，基于小波变换的融合算法成为研究重点。目前有两种比较典型的基于小波的图像融合方法，即基于小波系数加权平均的图像融合方法和基于小波系数区域相关性的图像融合方法3。但这些算法很少考虑要融合的各种图像的应用背景和实际意义，在设计时缺乏应用的针对性。在气象预警应用中，我们主要利用红外云图的亮温差值监测强对流云团，但红外云图分辨率较低，而可见光云图的分辨率高，能提供较为清晰的云图纹理特征和边缘特征4。因此要求融合图像在增加可见光云图的纹理和边缘信息的基础上，尽可能地保留红外云图的红外信息。基于此应用要求，本文提出了一种尽量保留红外信息的小波融合新方法，对于低频成分，全部采用红外云图的低频信息；对于高频成分，采用局部方差与加权相结合的方法确定融合系数，最后利用小波逆变换重构融合图像。本文对FY2E传回的红外云图和可见光云图进行了融合实验，并从主观和客观两个方面进行了融合效果评价。实验结果表明，该算法优于传统的融合算法，取得了更好的融合效果。2基于小波变换的红外云图和可见光云图融合21图像的二维离散小波变换小波变换是介于函数的时间域（空间域）表示和频率域表示之间的一种表示方法，它在时间域和频率域上同时具有良好的局部化特性，对高频成分采用逐步精细的时间域取样步长，可以聚焦到对象的任意细节，从而被誉为“数学显微镜”。本文利用小波变换作为多分辨率分析工具，经小波变换将信号分解为低频近似分量和高频细节分量。实验中利用MALLAT提出的小波变换的快速分解与重构算法5,6，即利用两个一维滤波器实现对二维图像的快速小波分解，再利用两个一维重构滤波器实现二维图像的重构。22基于小波变换的图像融合原理对二维图像进行N层的小波分解之后，可得到3N1个不同子频带，其中包括3N个高频子带和一个低频子带。除了低频子带的数据为正值外，其他高频子带的数据均在零值左右分布。在高频子带中绝对值较大的系数对应于灰度突变之处，即对应于原始图像中的显著特征（如边缘、线、区域边界等）。基于小波变换的图像融合的基本步骤如下（1）先对配准后的源图像进行二维离散小波分解；（2）在小波变换域内对各图像的细节信息，即高频分量在不同尺度上按一定的融合规则确定高频融合系数；（3）在小波变换域内对各图像的轮廓信息，即低频分量按一定的融合规则确定低频系数；（4）对融合后的小波系数进行小波逆变换，得到融合后的图像。图1为基于小波变换的图像融合流程图。从图1可以看出，在图像融合算法中，融合规则7的选取是至关重要的，它直接影响到融合后图像的质量。在基于小波变换的融合算法中，融合规则一般选择某个反映图像特征的量作为活性水平测度，以其大小作为融合图像小波系数的选择依据。图像A图像B融合准则小波逆变换小波分解融合图像小波分解图1基于小波变换的图像融合流程图23基于加权和局部方差相结合的融合准则在气象预警应用中，我们主要利用红外云图的亮温差值监测强对流云团，但红外云图分辨率较低，而可见光云图的分辨率高，能提供较为清晰的云图纹理特征和边缘特征。因此要求融合图像在增加可见光云图的纹理信息的基础上，尽可能的保留红外云图的红外信息，根据此应用要求，本文提出了基于局部方差和加权相结合的融合准则。（1）低频分量融合经小波分解得到的图像的低频子带表征了图像的近似信息和平均特性。因此在低频分量的融合上全部采用红外云图的低频信息。融合算法如公式21所示（21）,YXAJFUSION,321,JYXJIR其中，和分别表示融合图像FUSION、红外云图IR在小波分解第J层的低频分,YXJFUSIONJIR量。（2）高频分量融合经小波分解得到的图像的高频子带反映原图像的亮度突变特性，表征图像的细节信息，即包含着图像的重要信息，如边缘、线条以及区域边界等等，各个高频子带系数之间呈现出明显的区域相关性，因此高频子带系数融合主要是以一个局域窗口为考察对象，计算局域内的统计特征8。在一个局域窗口内，统计特征越明显，说明图像灰度级变化越大，细节越丰富。局部方差通常用来反映图像灰度分布的离散程度，方差越大，离散程度越高，包含的信息就越丰富。因此可将局部方差的大小作为高频自带融合的依据。但当红外云图的局部方差小于可见光云图的局部方差时，如果只考虑可见光云图信息，就会造成红外信息的丢失。针对上面情况，在高频分量的融合将采用局部方差与加权相结合的融合规则。选取以当前像素为中心的一个33局部区域，方差VAR定义如下（22）MINJIJXVAR12式中，M、N分别为局部区域的行数和列数，为当前局部区域内一个像素的灰度值，为当前区IJX域的均值。当红外云图的局部方差大于等于可见光云图的局部方差时，取红外云图的小波系数为融合后图像对应的小波系数；当红外云图的局部方差小于可见光云图的局部方差时，取红外云图与可见光云图小波系数的加权值为融合后的小波系数，其中可见光云图所占比例大。融合准则如下（23）KJVISKJIRKJVISKJIRRKJFUSIONAYXDYXYXD1,式中，K1，2，3分别表示水平、垂直和对角3个方向；、和分,YXKJIR,YXDJI,YXJFUSION别表示红外云图IR、可见光云图VIS和融合图像FUSION在第J层K方向上融合图像的高频分量；和KJIR分别表示红外云图IR和可见光云图VIS在分解尺度J上K方向对应的局部方差。为加权权值。通KJVISAR过实验反复论证，当取016时，融合图像可取得最好效果。3融合实验结果及分析31评价指标气象卫星图像融合具有特殊性，它不仅仅要求融合图像融入清晰的云图纹理特征和边缘特征，还要尽可能保持原图像的红外信息。因此，对于遥感图像融合效果的评价，应综合考虑空间细节信息的增强和红外信息的保持，以期在两者之间达到一个较好的平衡。本文主要从信息熵、平均梯度和相关系数9三个方面评价融合图像。（1）信息熵信息熵是衡量图像包含信息量多少的一个指标，熵越大表示图像的信息量越大，图像的信息表现力就越强。图像的熵定义为（31）10LOG12IMIIPPEN其中为灰度等于I的像素数与图像总的像素数之比。融合后图像的熵值大小反映了图像包含信息IP量的多少，熵值越大说明融合的效果相对越好。（2）平均梯度平均梯度是用来衡量图像清晰度的重要指标，反映图像质量的好坏程度和图像中的微小细节反差及纹理的变化特征，平均梯度越大，则图像的清晰度越高。越有利于反映图像的空间变化。平均梯度表示公式如下（32）122/,MXNYYXFFG式中，为图像的平均梯度，M和N分别表示影像的行数和列数，为水平方向上距离内GYF,X像元灰度值的变化，为垂直方向上距离内像元灰度值的变化。YXF,Y（3）相关系数相关系数可以用来度量两幅图像之间的相关程度，表示公式如下（33）JIJIGFJIJIFC,2,2,其中，和分别为两个图像中点的灰度值，与为两幅图像的平均灰度值。通过比JIF,JIG,FG较融合前后图像的相关系数可以看出原始图像的红外信息和空间信息的改变程度，差异越小，则融合方法从原始图像中提取的信息越多。32实验结果及分析对可见光云图和红外云图进行融合试验。融合实验采用的红外与可见光云图如图2、3所示，其中图2为红外云图，图3为可见光云图，数据来源是中国的FY2E卫星在2011年10月16日12时观测到华中及华南地区的卫星云图数据。本文的融合实验是在VISUALC60编译环境下进行。为了比较不同融合方法的融合效果，本文还对小波系数加权平均融合方法和基于局部方差的小波融合方法进行了融合实验。图210月16日12时红外云图图310月16日12时可见光云图图4小波系数加权平均融合方法图5局部方差融合方法图6本文融合方法图4、图5分别为采用小波系数加权平均融合方法和基于局部方差的小波融合方法得到的融合图像，图6为采用本文提出的方法融合得到的图像。321主观评价通过比较可以发现，本文提出的基于局部方差和加权相结合的小波融合方法取得了较好的效果。和加权小波融合方法相比，融合图像的云图的纹理和边缘信息更加丰富，和基于局部方差的小波融合方法相比，融合图像在融合了可见光云图的纹理信息的同时，更好的保持了原红外图像的红外信息。322客观评价本文主要从信息熵、平均梯度已经相关系数三个方面对融合后的图像进行客观评价，如表1所示。从表1可以看出，本文改进的融合方案对于红外云图和水汽图的融合是可行有效的。本文改进的算法融合生成的图像平均梯度很大，接近于可见光的平均梯度，从一定程度上表明图像的清晰度提高了。且和其它两种算法相比，信息熵的增加更为明显。融合图像的相关系数的提高，说明融合后的图像与源图像更接近，融合图像中的信息忠于源图像，表明融合过程中的信息损失更少。表1融合图像的效果评价指标信息熵平均梯度融合云图与红外云图相关系数融合云图与可见光云图相关系数红外云图66588119240可见光云图63565130445小波系数加权平均融合653841272580518305367基于局部方差的小波融合669891298230765806571本文方法融合676551297780855606158无论从视觉效果还是定量分析上，都表明本文提出的算法比其它两种算法的融合效果要好。33红外云图和可见光云图的应用分析（1）相对于红外云图来说，融合图像的纹理信息更加丰富，而相对于可见光云图来说，融合图像包含了可见光云图没有观测到的云层信息，所以融合图像能够更多地包含红外信息和可见光信息，这使得融合云图的云层特性更为分明，这正是融合云图在风暴等强对流天气监测和预警业务使用中的价值所在。分析红外云图和可见光云图的关键目的就在于从大片云区范围内识别出强云团，强云团位置上或其移过的地区是最容易遭受强对流天气袭击的，因此从灰度差别不大的大片云区中分辨出强云团的位置是十分关键的。融合云图层次感及边缘分明，使其作用明显超过原始云图。（2）融合图像方便了红外云图与可见光云图的匹配和分析，给气象卫星云图的使用和分析中带来了极大的方便。目前红外云图和可见光云图是分别显示的，这给气象卫星云图的使用者带来了不便，即使在屏幕上同时显示，凭视觉是难以准确匹配其信息的，这将引起分析误差。融合图像的出现在很大程度上解决这一不足。综上所述，融合云图完全可以在气象日常应用中加以充分利用，将在强对流天气监测和预警业务等评价指标融合方法天气分析和预报中发挥比原始云图更突出的作用。4结束语本文根据红外云图和可见光云图融合的实际应用背景，提出了基于局部方差和加权相结合的小波融合方法，该方法在融合了可见光云图的纹理信息，提高图像清晰度的同时，更好的保持了原红外云图的红外信息。实验结果及分析表明，本文方法优于其他方法，取得了更好的融合效果。参考文献1乔闹生,张黎,王先春遥感图像融合方法研究