红外图像与可见光图像融合笔记

1、红外图像与可见光图像融合图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。预处理理论主要包括图像去噪、图像配准和图像增强。I图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息嫡针对IHS变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。该算法

2、的具体实现步骤如下：先对彩色可见光图像进行IHS变换，对红外图像进行增强，然后将变换后得到的I分量与已增强的红外图像进行2层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和IHS逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统IHS变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。可见光成像传感器与红外成像传感器不同，它只与目标场

3、景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。不利于人眼判读。可以将两者图像融合在一起，这样

4、可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。两者的主要区别有：(1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。(2)可见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者；(3)可见光图像与红外图像对同一景物的灰度差异不同；(4)可见光图像与红外图像的纹理和边缘特征不同；(5)可见光图像与红外图像的像素之间的相关性不同。图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。像素级

5、图像融合是最低层次的融合，也是其他层次图像融合方式的基础，它是直接对两幅或多幅图像中的对应像素点进行信息综合处理。像素级图像融合主要强调的是对有用信息的强化和丰富，充分利用了融合图像中的有用信息，使之更符合人类的视觉特性，从而进行下一步的处理和分析。融合技术有：基于变换域、基于成像模型、基于线性加权、基于多尺度分解。特征级图像融合是指将待融合图像进行特征提取产生特征矢量，这里的特征是指边缘、形状，方向等，然后对特征矢量进行融合处理，从而完成特征级融合。主要方法有贝叶斯估计法，嫡法、模糊聚类法。决策级图像融合的一般步骤是先对图像相关信息进行属性说明，而后进行融合，最后将得到场景中相关重要信息的融

6、合属性说明的结果作为控制决策的依据。常用的图像融合方法包括基于空间域和基于变换域融合。基于变换域：PCAft统计特征的基础上进行的一种多维正交线性变换。将相关性变量变换为不相关变量，这样所得结果就是由原始变量线性相加而成。PCA图像融合方法的原理是首先计算待融合图像的相关系数矩阵，求出相应的特征值和特征向量，然后通过特征值对应的特征向量来确定图像的加权系数，这样使得到了融合后的图像。高通滤波法(HPF)的图像融合方法原理是首先采用具有较小空间的高通滤波器对待融合图像进行滤波，这样滤波后得到的图像保留了大部分与空间相关的高频分量信息，例如细节信息及纹理信息等，然后将得到的高频分量信息进行逐像素叠

7、加到另一幅待融合图像上，这样便实现了图像融合。IHS空间却与RG眇问不同，它是由亮度、色度与饱和度构成的，分别为I、HS表示，其它颜色也是由这三个分量构成。亮度I表示的是由其他物体反射的全部能量和图像的空间信息；色度H表示的是色彩组成的主波长，反映的是频谱信息；饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。在IHS色彩空间中，I、H、S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理。并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛的应用到图像融合技术。在IHS变换中，把图像由RG琛间变换到IHS空间的变换称为正变换，相反的，由IHS空间变换到RGBlf型的变换称为反

8、变换。基于这种变换的图像融合原理是对已严格配准两幅图像中的颜色信息丰富的图像进行IHS正变换得到三个分量，再用另一幅图像替换掉I分量，最后利用新的I分量和原来得到的两个分量进行IHS逆变换，这样便得出了融合图像。(3-1)(3-2)(3-3其中MG,“分别为RGB空间中的；个分由“小波变换的优点表现为图像分解后形成具有不同分辨率、频率和方向特征的分量信号，而且可以将图像的光谱特征和空间特征完全分离，这样就可以为融合处理奠定基础。这种变换的优点还表现为当利用变换进行重构时，信息会被准确无误的，不会有图像信息损失的重构。而且在分解时将图像分解到不同的尺度上，这样可以方便的分析图像近似信息和细节信息

9、，这种分解过程与人类视觉系统的特点相类似。下面主要阐述基于小波的图像融合原理，先对已严格配准的两幅待融合图像A,B进行小波变换，若进行i层变换，便得到3i个高频子带和1个低频子带，将获得的低频和高频子带作不同融合规则处理，再将处理过的子带实行小波逆变换，便形成了结果图像Fo下图表示其融合原理图。图工4基于小波变厥的图像融号原理1F电合在医像小波融合局限性：小波分解层数的确定和小波基函数的选取。首先不同的小波基在对图像进行分解和重构时具有不同的特性，并且没有一种小波基能够对所有图像的处理效果能优于其它的小波基。因此，在选取小波基函数时应根据图像的统计特性进行动态的选取；对于确定小波分解层数的问题

10、会出现因小波分解层数的不同产生时频分辨率和小波系数的变化范围变差的现象。一般来说，当分解层数不断增加时，分解中能够剔除大量不重要的数据，由此可以增加图像的压缩比和提高图像的压缩质量。然而，随着分解层数的进一步增加，这种良好的特性并不能一直的保持，而是当分解层数达到一定值时融合效果最好，超过此值时融合效果会下降。Contourlet变换：因为小波变换只能获得有限方向的信息，并不能获得所有方向的信息。小波变换的二维变换基的支撑区域为矩形，它能很好的表达点的奇异性，但无法高效的表达逼近图像固有的奇异曲线；人们经过研究发展了一个新的方法即多尺度几何分析法，这种分析法在表现高维函数上发挥了巨大的优势；其

11、中Contourlet变换是Do和Vetterli在2002年提出的方法。这种变换是目前应用较为广泛的变换，它是“真正”的图像二维表示方法。它是用非分离滤波器组构造的，具构造方法与小波类似。它是一种多分辨率多方向的变换，其最终是通过相当于轮廓段来对图像进行逼近的，它的基的支撑区间具有随尺度而长宽比变化的“长条形结构。它在处理信号时具有良好的方向性、多分辨率性、局部化性和各向异性等优点，因此被广泛的应用于图像融合领域中。Contourlet变换主要可分为两个步骤，一个是搜索奇异点，另一个是合并方向接近的奇异点。它采用双重滤波器组结构，一个是拉普拉斯金字塔滤波器，另一个是方向滤波器组，通过滤波器组

12、来获取多分辨率信息和方向信息。Contourlet变换的过程是先进行多分辨率分解，这里采用的是LP分解，经过分解后会产生低频分量和高频分量，然后对分解得到的高频分量使用方向滤波器组进行方向性分析，最后对低频分量再进行LP分解，便可以得到一系列不同尺度的低频分量和高频分量图像。每一次LP分解都生成低频子带和高频子带，其中低频子带的分辨率是原图像的一半，而高频子带的分辨率和原图像相同，这里的高频子带为原图像和低频子带上采样滤波后的差值信号。方向滤波器组的作用是捕获图像的方向性高频信息，并将分布在同方向上的奇异点合成为一个系数。它的原理是采用树形结构分解，在每层上将信号先通过扇形滤波器组（QFB）进

13、行扇形方向上的频率切分，然后与旋转重采样操作适当组合以实现图像高频信息方向性分析，从而捕获图像中的线、面等奇异性。LP分解方向性分析Q3.6Contourlet交换原理图高斯金字塔的构成是首先对原始输入图像进行高斯低通滤波和隔行隔列的下采样，这样便得到了高斯金字塔的第一层，然后再对第一层图像低通滤波和下采样，得到高斯金字塔的第二层，依次类推。其构建过程如下：22G4./)=ZS也.2/+M)这里的l的范围是1-N,表示高斯金字塔的层数。i,j表示高斯金字塔对应分解层的行数和列数。W(m,n)是一个二维可分离的5*5窗口函数，其表达公式如下：io=I25616241664124164362462

14、4164641由上可见高斯金字塔的这一层图像是由其上一层图像先进行高斯低通滤波，然后进行隔行和隔列的采样而得到的，这样当前层图像的大小依次为前一层图像大小的1/4.拉普拉斯金字塔分解及重构：在对Gl进行内插处理，这样便得到了放大的图像WlM=-2式中:'/+用八口门加八'一醉八日11. (J=(1J/.EZ-J22'2222(MS)0ehf令式中，N为拉普拉斯金字塔分解的最高层次，LPi是拉普拉斯金字塔分解的第l层图像，这样一层一层的分解便生成了最终的拉普拉斯金字塔，其中的每一层图像都是经过高斯金字塔的当前层图像与其前一层图像经内插放大后进行相减得到图像的差值；采样理论

15、：在采样理论中采样分为上采样和卜采样，卜向来介如一卜这网神采祥的力法.A,上采样如果将序列工甸进行M倍的上米样内得到的序列hx(M-%)，记为:xi«)=x(Xfft)其对应的痂谱关秦为hX(u)=X(MwB.下采样如果将序列W用进行M倍的下采样后得到的序列为工/“口,记为:x(jt)-x(tn>(3-20iK对应的初谱关系为:i3产nX">=毋F")接下来先介纬五株采样.它是指沿相邻前行和两列有偶交错地在行和列内作二抽取采样,因其形状是五株所以得此名【4口可以用坐标矩牌与加二知薛44与目的乘法来表示五侏采样£(3-22)结果被采样比成的图像

16、就变成原图像大小的一半并分别旋转r-45'和45Z篙要对乌与。做一些改进，就有如卜&、此、风，飞，我们把它们称为逼近波波耨组,R.)I0-I(3-23)IHS变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中。小波变换是一种图像的多分辨率分析方法，能够将图像分解为相应分辨率下的近似低频分量和三个高频细节分量，这三个高频细节分量分别为水平，垂直和对角线方向的高频细节信息。基于小波变换的分解特点，在进行图像融合时可以分别对近似低频分量和高频细节分量进行融合，并采用不同的融合规则，因此采用小波变换的融合算法往往能获得更好的融合效果，也能

17、较好地保留原始图像的光谱信息。但是使用小波变换法实际上是对图像进行高通滤波和低通滤波的过程，融合图像会在一定程度上丢失边缘信息，易出现模糊情况和分块效应，而且计算过程比IHS变换复杂。因此将IHS变换和小波变换结合起来使用，这样既可以提高融合图像的空间分辨率，也可以更好的保留可见光图像的光谱信息。根据红外图像的成像原理，红外图像具有分辨率低，边缘模糊，视觉效果较差，噪声较大等特点。尤其在复杂背景环境中，远距离的红外目标容易被复杂背景所淹没，这将对后续的图像融合造成很大的困难，会严重影响融合图像的质量。对红外图像采用灰度变换的图像增强处理方法。使用灰度变换可以提高红外图像的对比度，使得红外目标更

18、加清晰明显，更易于后续的融合处理，并且灰度变换算法计算简单快速。基于旧S和小波变换的图像融合在融合时一定要保留红外图像中的目标信息，不然融合就没有了意义。同时，要尽力保留红外图像和可见光图像的边缘信息，否则图像会变得模糊。基于IHS和小波变换的窗口融合算法，这是因为采用区域窗口的方法可以更好的保留两幅图像中的光谱和细节信息。与采用单个像素的融合算法相比，采用区域融合算法更满足人类的视觉系统；(1)对已配准的可见光图像和红外图像分别进行IHS变换和图形增强处理，前者得到I、H、S三个分量图像，后者使用灰度变换法进行图像增强，增加图像对比度，突出红外热目标。其中灰度变换法采用的是三段线性变换法：&

19、amp;/J的A</上式中的变量都表示图像的灰度值，三段线性变换法主要是指将图像的灰度值拉伸为三段，变换之前的灰度范围是fl到f2,变换后的范围是g1到g2；(2)对所得的亮度I分量和已增强的红外图像进行小波分解，这里采用的是2层变换，分解后形成相应分辨率的低频子带和不同方向的高频子带；(3)对小波分解后的低频子带采用基于窗口能量的图融合规则。(4)对小波分解后的高频子带采用基于窗口标准差取大法的融合规则。(5)对新合成的低频子带和高频子带进行逐层小波重构，得到新强度分量图像Inew，对Inew与之前的H、S分量进行IHS逆变换得到最终融合图像。目前采用广泛的是基于单像素的像素级融合规则

20、。|基于单像素的融合算法相对简单，运算速度快，运用一定的融合规则也能取得符合人眼视觉的融合效果。但是，单个像素难以体现出图像的局部特征，|而局部特征需要局部区域内像素共同表征，并且人眼视觉感知系统对单一像素不如对区域内像素敏感。因此采用基于单像素融合规则的图像融合结果往往难以体现像素之间的相关性，融合效果往往不够理想。低频和高频融合规则都采用基于区域窗口的融合规则，为缩短算法的计算时问，选用的是3*3的窗口。小波分解后的低频分量是原图像的近似图像，这个近似图像包含了原图像的主要能量信息，并且其在一定程度上也反应了图像的基本信息；考虑到红外图像的特点，在红外图像中感兴趣的目标区域为图像中亮度较高

21、的区域，这些区域的特点是灰度值较大，区域能量较大；低频区域：该算法的基本思想是使用低频分量的窗口能量表征低频系数的重要程度，重要程度高的部分低频系数获得更高的权值；E：UJ)=£卅(+切+川噩(5"削，加上式中各个分量的含义如下：A,B分别表示需要融合的图像，L为低频分量所处的层次，C%,j)在点(i,j)处的低频分量的灰度值，Wl(i,j)表示权重系数。融合后低频分量灰度值可由下式来表示：CJLJ)二，*甘(4-3)小：网)+d55用2e：1'这里的n与。表示权值系数，心人且两者之和为】：一股来说,需要根据经验对。与a的值进行选取，高频区域：通过小波分解得到的高频

22、分量，包含了除低频分量包含的信息以外的全部图像信息，例如细节、纹理信息等。为了获得好的视觉效果，需要最大、最多的保留这些图像信息；选取在高频部分的规则为基于窗口的标准差取大法，当标准差的值越大时说明灰度值越分散，纹理等信息包含越丰富。融合规则的原理是首先对两幅待融合图像分别选取一个窗口，而后计算两个窗口标准差的值，比较两个值的大小，选取大的值的分量作为最后分量的值。窗口标准差的定义可表示为如下：Lw/v2STD=V-!-这里选取的窗口为1表示为不同方向的高频分景.L表示第L层高频分豉，表示图壕花点a力.的高频分最灰度值，无；为时xn窗口内的所有像素死度的均旗.该融合采用的规则可表示为如下太？J

23、Df亿八=内。.八s丁/亿/)之STD/。,/)1D；o/)=Z>fn.STD(f；7)<STDfa./)“illii1r-ua1,Lc*1r可见光图像亮度适中，可视效果好，能够清晰的看到树，房屋和地面等背景信息，但是图像存在较多的烟雾，遮挡了目标信息，因此观察者不能读取全部的目标信息。在红外图像中，可以很容易观察到两个目标人物以及发热源，但是图像其他背景信息例如树木，房屋，地面等都很不明显，纹理也不清晰，轮廓也不是较突出。在图4.2中，图(a)使用传统的IHS变换进行的图像融合，该算法是先对可见光图像进行IHS变换，形成三个分量，然后用红外图像替换掉其中的I分量，同时保持其他分量

24、不变，最后进行IHS逆变换形成最终的融合图像。图(b)使用小波变换进行图像融合，它是将红外图像与可见光图像直接进行小波分解后，低频和高频分量都采用加权平均的融合规则。图(c)采用基于IHS和小波变换的融合算法，其融合规则为：低频分量选取红外图像的低频部分作为最终低频，而高频采用基于区域的梯度取最大值的方法，将梯度值最大时的系数作为最终的高频。()HJ见光阳像h红蚌像(t)ius和小激变换法本阜特洛主观评价：从图4.2图(a)-图(c)可以看出，图(a)更接近红外图像，保留红外图像信息最多，能够观察到红外目标，并且从可见光图像中获得了一定颜色信息，但是细节纹理信息不明显，颜色失真较大。图(b)整

25、体图像颜色偏暗，彩色信息保留较好，与可见光图像更为接近，并且能够看到烟雾后面的房子，但可视效果并不是很好，同时目标信息丢失明显，并且目标信息不突出，不利于人眼辨别，这就失去了融合意义，因为融合图像一定要显示出所有的目标信息。图与图(a)非常接近，但是图(c)中细节信息保留较好，例如房屋边缘比较明显。图像(d)是利用本文算法融合的，图像在整体亮度方面明显高于其他三幅图像，融合图像不仅保留了可见光图像中的背景信息，例如树木，房子，烟雾，地面等，而且红外图像中的重要信息也均得到了保留，两个目标人物和发热源以及烟雾后面的房屋均清晰可见。同时图像中色彩比较鲜明并且图像边缘较为清晰。通过以上主观分析可知本算法要优于作为对比的其他三种融合算法。客观评价：指标选用灰度均值、信息嫡、标准偏差和平均梯度表4融合文蛤】X观评价表图像队bcdA度均值111S36I114sM1120124159.4921依和惹27278535.0851僖息谕6.5421瓦对936r)1276W4a2平均悚度LS1672.732045.4792基于Contourlet变换的图像融合IHS变换由于其