红外图像与可见光图像融合笔记

1、红外图像与可见光图像融合笔记图像融合是将来自不同传感器在同一时间 ( 或者不同时间 ) 对同一目标获取 的两幅或者多幅图像合成为一幅满足某种需求图像的过程。为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法 进行了研究。预处理理论主要包括图像去噪、 图像配准和图像增强。图像去噪目 的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果， 并方便图像的 进一步融合。图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息熵等。针对hS变换和小波变换的优缺点，本文提出了一种基于这两种变换结

2、合的图像融合方法。该算法的具体实现步骤如下：先对彩色可见光图像进行IHS 变 换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而 后对分量进行小波重构和IHS逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统IHS变换和传统小波变换，获得了较好的融合结果，既保持了 可见光图像中的大量 彩色信息又保留了红外图像的重要目标信息。红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影 响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺 点，因此 其可视性并不是很理想。可

3、见光成像传感器与红外成像传感器不同， 它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况， 但当有 遮挡时就无法观察出遮挡的目标。利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。 在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来， 方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视 觉

4、效果差等问题。不利于人眼判读。可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增 强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面， 实现对场景全面清晰准确的表达。两者的主要区别有：(1) 可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同 进行成像，后者依据物体的温度或辐射率不同进行成像， 因此红外图像的光谱信 息明显不如可见光图像。(2) 可 见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者；(3) 可见光图像与红外图像对同一景物的灰度差异不同；(4) 可见光图像与红外图像的纹理和边缘特征不同；(5) 可见光图像与红外图像的像素之

5、间的相关性不同。图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。像素级图像融合是最低层次的融合， 也是其他层次图像融合方式的基础，它 是直接对两幅或多幅图像中的对应像素点进行信息综合处理。像素级图像融合主 要强调的是对有用信息的强化和丰富，充分利用了融合图像中的有用信息，使之更符合人类的视觉特性，从而进行下一步的处理和分析。融合技术有：基于变换域、基于成像模型、基于线性加权、基于多尺度分解。特征级图像融合是指将待融合图像进行特征提取产生特征矢量， 这里的特征是指边缘、形状，方向等，然后对特征矢量进行融合处理，从而完成特征级融合。 主要方法有贝叶斯估计法，熵法、模糊聚类法。决策级图像

6、融合的一般步骤是先对图像相关信息进行属性说明， 而后进行融合，最后将得到场景中相关重要信息的融合属性说明的结果作为控制决策的依据。常用的图像融合方法包括基于空间域和基于变换域融合。基于变换域：PCA&统计特征的基础上进行的一种多维正交线性变换。将相关性变量变换为不相关变量，这样所得结果就是由原始变量线性相加而成。 PCA图像融合方法的原理是首先计算待融合图像的相关系数矩阵， 求出相应的特征值和特征向量，然后通过特征值对应的特征向量来确定图像的加权系数， 这样便得 到了融合后的图像。高通滤波法(HPF) 的图像融合方法原理是首先采用具有较小空间的高通滤波 器对待融合图像进行滤波，这样滤波

7、后得到的图像保留了大部分与空间相关的高 频分量信息，例如细节信息及纹理信息等，然后将得到的高频分量信息进行逐像素叠加到另一幅待融合图像上，这样便实现了图像融合。hS空间却与RG醛间不同，它是由亮度、色度与饱和度构成的，分别为 I、 HS 表示，其它颜色也是由这三个分量构成。亮度I 表示的是由其他物体反射的全部能量和图像的空间信息；色度H 表示的是色彩组成的主波长，反映的是频 谱信息；饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。在 IHS色彩 空间中，I、H、S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理。并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛的应用 到

8、图像融合技术。在旧S变换中，把图像由RG而间变换到IHS空间的变换称为正变换，相反 的， 由IHS空间变换到RGB更型的变换称为反变换。基于这种变换的图像融合原理是对已严格配准两幅图像中的颜色信息丰富 的图像进行 IHS 正变换得到三个分量，再用另一幅图像替换掉I 分量，最后利 用新的 I 分量和原来得到的两个分量进行IHS逆变换，这样便得出了融合图像。(2)IHS逆变换公式.1/721 .乜1/3-1八2 f 6帆-1/V20 J )S 二 J 才十甘，H = tan-1(v2 / vj(3-1g(3-3)4 J苴中g论彷别为R(1R空间中的二牛什肘*小波变换的优点表现为图像分解后形成具有不

9、同分辨率、频率和方向特征的分量信号，而且可以将图像的光谱特征和空间特征完全分离，这样就可以为融合 处理奠定基础。这种变换的优点还表现为当利用变换进行重构时，信息会被准确 无误的，不会有图像信息损失的重构。而且在分解时将图像分解到不同的尺度上，这样可以方便的分析图像近似信息和细节信息，这种分解过程与人类视觉系统的 特点相类下面主要阐述基于小波的图像融合原理，先对已严格配准的两幅待融合图像A,B进行小波变换，若进行i层变换，便得到3i个高频子带和1个低频子带，将获得的 低频和高频子带作不同融合规则处理，再将处理过的子带实行小波 逆变换，便形成了结果图像Fo下图表示其融合原理图。国曙A小波时和逆变图

10、像B初叫多尺度:图像 小波攵换国，4基于小波变按口勺图像融静原小波融合局限性：小波分他数的确定和小波基函数的选取。并且没有一种先不同的小波基在对图像进行分解和重构时具有不同的特性,小波基能够对所有图像的处理效果能优于其它的小波基。因此，在选取小波基 函数时应根据图像的统计特性进行动态的选取；对于确定小波分解层数的问题会出现因小波分解层数的不同产生时频分辨率和小波系数的变化范围变差的现象。一般来说，当分解层数不断增加时，分解中能够剔除大量不重要的数据，由此可以增加图像的压缩比和提高图像的压缩质 量。然而，随着 分解层数的进一步增加，这种良好的特性并不能一直的保持，而 是当分解层数达到一 定值时融

11、合效果最好，超过此值时融合效果会下降。Con tourlet 变换：因为小波变换只能获得有限方向的信息，并不能获得所有方向的信息。小波 变换的二维变换基的支撑区域为矩形，它能很好的表达点的奇异性，但无法高效的表达逼近图像固有的奇异曲线；人们经过研究发展了一个新的方法即多尺度几何分析法，这种分析法在表现高维函数上发挥了巨大的优势；其中Con tourlet变换是Do和Vetterli 在2002年提出的方法。这种变换是目前应用较为广泛的变换，它是“真正”的图像二维表示方法。它是用非分离滤波器组构造的，其构造方法与小波类似。它是一种多分辨率多方向的变换，其最终是通过相当于轮廓段来对图像进行逼近的，

12、它的基的支撑区间具有随尺度而长宽比变化的“长条形结构。它在处理信号时具有良好的方向性、多分辨率性、局部化性和各向异性等优点，因此被广泛的应用于图像融合领域中。Con tourlet变换主要可分为两个步骤，一个是搜索奇异点，另一个是合并 方向接 近的奇异点。它采用双重滤波器组结构，一个是拉普拉斯金字塔滤波器，另一个是方向滤波器组，通过滤波器组来获取多分辨率信息和方向信息。Contourlet变换的过程是先进行多分辨率分解，这里采用的是LP分解，经过分解后会产生低频分量和高频分量，然后对分解得到的高频分量使用方向滤波器组进行方向性分析，最后对低频分量再进行LP分解，便可以得到一系列不同尺度的低频分

13、量和高频分量图像。每一次LP分解都生成低频子带和高频子带，其中低频子带的分辨率是原图像的一半，而高频子带的分辨率和原图像相同，这里的高频子带为原图像和低频子带上采样滤波后的差值信号。方向滤波器组的作用是捕获图像的方向性高频信息，并将分布在同方向上的奇异点合成为一个系数。它的原理是采用树形结构分解，在每层上将信号先通过扇形滤波器组(QFB进行扇形方向上的频率切分，然后与旋转重采样操作适当组合以实现图像高频信息方向性分析，从而捕获图像中的线、面等奇异性。输入方向杵分析S 3 6 Contourlet 换巾理曲欢迎下载17高斯金字塔的构成是首先对原始输入图像进行高斯低通滤波和隔行隔列的 下采 样，这

14、样便得到了高斯金字塔的第一层， 然后再对第一层图像低通滤波和下 采样, 得到高斯金字塔的第二层，依次类推。其构建过程如下：2 2fli fl=-2这里的I的范围是1-N,表示高斯金字塔的层数。i , j表示高斯金字塔对 解层的行数和列数。W( m, n)是一个二维可分离的5*5窗口函数，其表达应分 公式如'144 161 h 24G> 二 256 44 16146 4 r24 16 436 24 624 16 464 1由上可见高斯金字塔的这一层图像是由其上一层图像先进行高斯低通滤波， 然 后进行隔行和隔列的采样而得到的，这样当前层图像的大小依次为前一层图像 大小 的 1/4.拉

15、普拉斯金字塔分解及重构：在对G进行内插处理，这样便得到了放大的图像 W2 1G; (fJ) = 4工工创(购川)?="-2 u = -2式中,GL =22(3-15)式中，N为拉普拉斯金字塔分解的最高层次，LR是拉普拉斯金字塔分解的 第I层图像,这样一层一层的分解便生成了最终的拉普拉斯金字塔， 其中的每- 层图像都是经过高斯金字塔的当前层图像与其前一层图像经内插放大后进行相 减得 到图像的差值；采样理论：在素样理论中采悍分为上采 样和卜采样.Flffl来外绍一卜这两种采样的 方法.佻上采样如果将序列对砒进行 A/倍的卜黑样拆得到的序列为 工(财”时,记为：xw尸 a(5/'w

16、)(3-18其对应的频谱关系为'X(初二 X(,lf 叨(3-19)B下采样如杲将子列N州进行M倍的下采样后得到的 序列为工“仞？记为tx(/i) =Jf(AfrU(3-2(h瓦对应的榭诺关系为：1 J 2knX(h) = )A ()卜f J .，k -0接下来先介第丘株采样.它是指沿相邻两彳亍和两列奇偶交错地杵肓利列内作二抽取采样.WK/I?状是五糕斯以得止匕？ ： "？可以用皓标护阵与如下忻阵 a ma的乘沅来衣示斤株采样:r Y5'和4亍？需要对0|33)第果被漾样牛戍的国 像就变戍原图像大小的半并分别旋转G与Q做一些改进.就仔如卜坨、际 局、比，我们把它们竦为

17、逼近滤波器组:I I1 -II (R 产 卜 R 二 . R,二 0 110 1111IHS变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中。小波变换是一种图像的多分辨率分析方法，能够将图像分解为相应分辨率下的近似低频分量和三个高频细节分量， 这三个高频细节分量分别为水平， 垂直和 对角线方向 的高频细节信息。基于小波变换的分解特点，在进行图像融合时可以 分别对近似低频分量和高频细节分量进行融合，并采用不同的融合规则，因此采用小波变换的融合算法往往能获得更好的融合效果，也能较好地保留原始图像的 光谱信息。但是使用小波变换法实际上是对图像进行高通

18、滤波和低通滤波的过程，融合图像会在一定程度上丢失边缘信息，易出现模糊情况和分块效应，而且计算过程比IHS变换复杂。因此将IHS变换和小波变换结合起来使用，这样既 可以提高 融合图像的空间分辨率，也可以更好的保留可见光图像的光谱信息。根据红外图像的成像原理，红外图像具有分辨率低，边缘模糊，视觉效果较 差，噂 声较大等特点。尤其在复杂背景环境中，远距离的红外目标容易被复杂背 景所淹没，这 将对后续的图像融合造成很大的困难，会严重影响融合图像的质量。对红外图像采用灰度变换的图像增强处理方法。使用灰度变换可以提高红外图像的对比度，使得红外目标更加清晰明显，更易于后续的融合处理，并且灰度变换算法计算简单

19、快速。基于IHS和小波变换的图像融合在融合时一定要保留红外图像中的目标信息，不然融合就没有了意义。同时， 要尽力保留红外图像和可见光图像的边缘信息，否则图像会变得模糊。基于hS和小波变换的窗口融合算法，这是因为采用区域窗口的方法可以更好的保留两幅图像中的光谱和细节信息。与采用单个像素的融合算法相比，采 用区域融合算法更满足人类的视觉系统；(1)对已配准的可见光图像和红外图像分别进行 IHS变换和图形增强处理， 前者得 到I、H S三个分量图像，后者使用灰度变换法进行图像增强，增加图 像对比度，突出 红外热目标。其中灰度变换法采用的是三段线性变换法：* f<fvg; ) + &h

20、-zf2V /上式中的变量都表示图像的灰度值，三段线性变换法主要是指将图像的灰度值拉伸为三段，变换之前的灰度范围是fl到f2 ,变换后的范围是g1到g2 ;对所得的亮度I分量和已增强的红外图像进行小波分解，这里采用的是2层变换，分解后形成相应分辨率的低频子带和不同方向的高频子带；(3)对小波分解后的低频子带采用基于窗口能量的图融合规则。(4)对小波分解后的高频子带采用基于窗口标准差取大法的融合规则。(5)对新合成的低频子带和高频子带进行逐层小波重构，得到新强度分量图像Inew,对I new与之前的H、S分量进行IHS逆变换得到最终融合图像目前采用广泛的是基于单像素的像素级融合规则。基于单像素的

21、融合算法相对简单，运算速度快，运用一定的融合规则也能取得符合人眼视觉的融合效果。但是，单个像素难以体现出图像的局部特征，而局部特征需要局部区域内像素共 同表征，并且人眼视觉感知系统对单一像素不如对区域内像素敏感。因此采用基于单像素融合规则的图像融合结果往往难以体现像素之间的相关性，融合效果往往不够理想。低频和高频融合规则都采用基于区域窗口的融合规则，为缩短算法的计算时问，选用的是3*3的窗口。小波分解后的低频分量是原图像的近似图像，这个近似图像包含了原图像的主要能量信息，并且其在一定程度上也反应了图像的基本信息；考虑到红外图像的特点，在红外图像中感兴趣的目标区域为图像中亮度较高的区域，这些区域

22、的特点是灰度值较大，区域能量较大；低频区域：该算法的基本思想是使用低频分量的窗口能量表征低频系数的重要程度，重要程度高的部分低频系数获得更高的权值；E;心卜丹古+八J +门C: (7 +门+门5二时W+rj+j')的I上式中各个分量的含义如下：A B分别表示需要融合的图像，量所 L为低频分 处的层次，C(i, j)在点(i, j)处的低频分量的灰度值，WL (i, j)表示权重系 数。融合后低频分量灰度值可由下式来表示：)_" £窃刀+旅7(心)、喉税(4*3)这艮的M与卜表示权值系数？ ”兀，且两？fZ和为I 敷来说，需塑筮据经验对 m高频区域：通过小波分解得到的

23、高频分量，包含了除低频分量包含的信息以外的全部图像信息，例如细节、纹理信息等。为了获得好的视觉效果，需要最大、最多的保留这些图像信息；选取在高频部分的规则为基于窗口的标准差取大法，当标准差的值越大时说明灰度值越分散，纹理等信息包含越富。融合规则的原理是首先对两幅待融合图像分别选取一个窗口，而后计算两个窗口标准差的值，比较两个值的大小，选取大的值的分量作为最后分量的值。窗口标准差的定义可表示为 如下：M N2xxwjmSTD 二AT x N这里选脱的窗口为、门M K表示为不同方向的离频分星.，帝示第£层高频分虽，门门 八我示图像il点M j)卜的岛频分最灰i交的，兀为能口内的所有像秦尿

24、麽 的肉值？讼融合采用的规则可表示为如下式:J ；必(g j STDaG />S>Df (h /)I D；(f B=Df(ATDg />< STDfi. /)可见光图像亮度适中，可视效果好，能够清晰的看到树，房屋和地面等背景信息，但是图像存在较多的烟雾，遮挡了目标信息，因此观察者不能读取全部的目标信息。在红外图像中，可以很容易观察到两个目标人物以及发热源，但是图 像其他背景信息例如树木，房屋，地面等都很不明显，纹理也不清晰，轮廓也不是较突出。在图4.2中，图(a)使用传统的IHS变换进行的图像融合，该算法是先对 可见光图 像进行hS变换，形成三个分量，然后用红外图像替换

25、掉其中的I分 量，同时保持其他分量不变，最后进行 hS逆变换形成最终的融合图像。图(b)使用小波变换进行图像融 合，它是将红外图像与可见光图像直接进行小波分解后，低频和高频分量都采用加权平均的融合规则。图(c)采用基于IHS和小波变换的融合算法，其融合规则为：低频分量选取红外图像的低频部分作为最终低频，而高频采用基于区域的梯度取最大值的方法，将梯度值最大时的系数作为最终的 局频。（11） U见光国像（h）红外国像00小波鳖换法（L ） 1HSI小波氏才畋AOCTEC本中算法主观评价：(a)更接近红外图像，保留红外图像信从图4.2图（a） 图（c）可以看出，图息最多，能够观察到红外目标，并且从可

26、见光图像中获得了一定颜色信息，但是细节纹理信息不明显，颜色失真较大。图 （b）整体图像颜色偏暗，彩色信息保留 较 好，与可见光图像更为接近，并且能够看到烟雾后面的房子，但可视效果并不 是很好，同时目标信息丢失明显，并且目标信息不突出，不利于人眼辨别，这就失去了融合意义，因为融合图像一定要显示出所有的目标信息。图（c）与图（a）非常接近，但是图（c）中细节信息保留较好，例如房屋边缘比较明显。图像 （d） 是利用本文算法融合的，图像在整体亮度方面明显高于其他三幅图像，融合图像不仅保留了可见光图像中的背景信息，例如树木，房子，烟雾，地面等，而且红 外图像 中的重要信息也均得到了保留，两个目标人物和发热源以及烟雾后面的房屋均清晰可见。同时图像中色彩比较鲜明并且图像边缘较为清晰。通过以上主观分析可知本算法要优于作为对比的其他三种融合算法。客观评价：指标选用灰度均值、信息嫡、标准偏差和平均梯度我4.1翘合实验1客观评怖农abcd11 1 1140306112 0124I5W.4K2I10.64603551巧中亦16.54216 fil27中均悌度4 78065.47