数字图像融合算法研究

题目：数字图像融合算法研究Title:ResearchonDigitalImageFusionAlgorithm摘要本文首先简单的介绍了图像融合的目的、国内外融合技术的发展以及本文的主要工作与研究方向。接着论述了图像融合的三个层次：像素级图像融合，特征级图像融合，决策级图像融合。因为像素级级图像融合是其他图像融合的基础，有着十分重要的意义，所以下文又介绍了像素级图像融合的几种算法包括加权平均算法，ISH,PCA。重点介绍了有关于小波变换的相关知识。包括基于小波变换的图像融合算法的原理以及在小波变换过程对于高频系数与低频系数的处理方式，通过该处理方式可以使融合后的图像更加的饱满丰富，其局部的细节信息也的得到了较多的保留。最后通过与其他几种像素级图像融合算法结果的比较，来感受小波变换的优点。其中本文还对于小波变换中的小波分解的层次做了简单的研究，通过不断地比较从而确定最佳的分解层次，达到较好的图像融合效果。【关键词】图像融合，小波变换，低频，高频AbstractFirstly,thepurposeofimagefusion,thedevelopmentoffusiontechnologyathomeandabroad,andthemainworkandresearchdirectionofthispaperarebrieflyintroduced.Thenthreelevelsofimagefusionarediscussed:pixellevelimagefusion,featurelevelimagefusionanddecisionlevelimagefusion.Becausepixel-levelimagefusionisthebasisofotherimagefusion,itisofgreatsignificance,soseveralalgorithmsofpixel-levelimagefusionareintroducedbelow,includingweightedaveragealgorithm,ISH,PCA.Theknowledgeofwavelettransformisintroducedindetail.Includingtheprincipleofimagefusionalgorithmbasedonwavelettransformandtheprocessingmethodofhigh-frequencycoefficientandlow-frequencycoefficientintheprocessofwavelettransform.Throughthisprocessingmethod,thefusedimagecanbemorefullandrich,anditslocaldetailsarealsoretained.Finally,bycomparingtheresultswithotherpixel-levelimagefusionalgorithms,wecanfeeltheadvantagesofwavelettransform.Finally,thispaperalsomakesasimplestudyonthelevelofwaveletdecompositioninwavelettransform,throughcontinuouscomparisontodeterminethebestlevelofdecomposition,toachievebetterimagefusioneffect.[Keyword]ImageFusion,WaveletTransform,LowFrequency,HighFrequency目录TOC\o"1-3"\h\u摘要 绪论1.1图像融合的目的图像融合简单的来说就是将多幅图像融合为一副图像的过程，而且最终的所得到的图像还包含之前图像较多的有效信息。【1】通过使用图像融合的技术，可以让人们获取更为全面和准确的场景描述，从而提高图像的清晰度，可理解性与可靠性。如今图像融合的类别主要有：数据级图像融合、特征级图像融合和决策级图像融合这三种。1.2国内融合技术的发展图像融合技术是信息融合技术发展的一个重要方向，最早运用于遥感图像的分析与处理上。通过对遥感图像的分析和处理，可以增强了对目标的识别，促进了对敌人的跟踪，因此当时军事方面也十分重视该技术。后来，随着时代的发展和科学技术的进步，人们发现图像融合技术还有很多其他用途。人们开始将其应用于地质，矿物等遥感光谱图像的合成。近代,随着多可遥感卫星的变多,计算机功能逐渐的完善与强大，图像融合技术也开始广泛应用于医学影像，天气预报以及与国民经济和民生有关的许多重要领域。【2】国内外都十分重视有关图像融合算法的研究,并且都取得了比较可观的成就,如今数字图像融合的算法有多种多样,包括平均和加权平均法，逻辑滤波法，颜色空间法，多分辨率塔算法等，本文的主要研究对象是小波算法。1.3本文的主要工作方向本问围绕着数字图像融合进行了展开，首先阐明了图像融合中数据级融合，特征级融合和决策级融合三个层次。然后介绍了像素级图像融合中的几种算法包括加权平均算法，ISH,PCA。重点介绍小波变换法，通过与其他图像融合算法结果的比较，来感受小波变换的优点。本文还重点介绍了一种基于小波变换的图像融合算法中过程，对于高频系数与低频系数的处理方式，通过这种低频与高频的处理方式，将会使图像局部的细节保留的更加完整。此外本文还对与图像融合过程中图像分解的层次做了简单的研究，寻找出最佳的分解层次。具体工作如下：简单介绍图像融合的三个层次：像素级图像融合，特征及图像融合以及决策及图像融合。以及像素图像融合中的三种算法：ISH法，加权平均法和PCA法。重点阐述了有关于小波变换的图像融合，本文提出了一种有关于在小波变换过程中低频系数与高频系数的处理方式，通过与其他三种算法的融合结果的对比来感受小波变换的优点。本文还对与小波变换过程中图像的分解层次做了简单的研究。2图像融合理论图像融合层次将来源于多幅图像进行图像融合的过程相比较单一的图像处理变得更加的复杂，而且在不同的信息的层次上有着不同的融合方式，主要包括：像素级图像融合，特征级图像融合和决策级图像融合。2.1.1像素级融合像素级图像融合，也称为数据图像融合，是指直接处理传感器的每个像素以获得融合图像的过程。【3】像素级融合因为是对每一个像素点都进行采集，所以其优点在于能够尽可能的保持较多得原始数据，具有较高的精度，但是也有较多的局限性，对硬件的要就较高，数据的处理较为的费时，像素信息易受到噪声的干扰，因此会导致融合效果不佳。其流程图如下所示：图像1图像1图像2图像n预处理图像配准像素级别融合特征提取分类决策结果 图1像素级图像融合流程图其中对原始图像进行预处理与图像配准的步骤，其目的是为了提高融合之后图像的精确度与可靠行。因为像素级图像融合是一种最基础而且最为重要的融合层次，所以本为后面介绍了像素级图像融合的相关算法，包括ISH法，加权平均法，PCA法，以及小波变换法，其中小波变换法为重点。2.1.2特征级图像融合每一个图像都有其各自的特征，如图像的边缘，纹理，边角等等，而特征级图像融合指的是提取这些图像的特征部分，然后加已处理的过程。【4】特征级融合又可以分为目标状态信息融合和目标特征性融合这两种。特征级融合主要包扩：源图像的获取，图像预处理，图像分割，特征提取，特征数据融合和目标识别。其具体的流程图如下图所示：图像1图像2图像1图像2图像n…预处理特征提取图像配准特征融合结果图2特征级图像流程图图像特征级融合相比较像素级图像融合，通过牺牲部分细节信息从而达到减少了数据量的目的，但是保留了大部分特征信息。原始特征的组合形成特征，通过增加特征维数，从而提高目标的准确率。2.1.3决策级图像融合将从原图像中提取到的各种有效特征信息加以识别与分类之后，经过数学的模拟，将多个传感器的识别结果进行融合从而做出最佳决策的过程，人们称其为决策级图像融合。【5】通过同质异质传感器观测同一场景的目标，经过预处理、特征提取、识别的基本处理后形成认识框架。决策的输入是对目标的认识框架对该框架通过最优化决策得到融合结果。决策级是趋向智能逻辑的，综合多传感器的识别结果比单一识别更精准，更有效。但多传感器的数据同时也增加了误差和风险，每一传感器的可能的错误都会传递到决策层，决策函数的容错能力直接影响融合分类性能。决策级融合的优点：具有很好的实时性、自适应性；数据要求低，抗干扰能力强，其流程图如下所示：图像1图像1图像2图像n…预处理特征提取特征分类图像配准决策融合结果图3决策级图像融合图2.2几种像素级图像融合近些年年来随着人们对图像融合技术更加深入的研究，图像融合方法变得多种多样。常用的今天加权平均方法，小波变换方法，多分辨率塔，主成分分析（PCA）方法，卡尔曼滤波法，IHS变换方法。【6】本文主要介绍像素级图像融合的四种方法，诸如加权平均法，主成分分析（PCA）方法，IHS变换方法和小波变换。通过matlab仿真结果，来对比融合效果的好坏。2.2.1IHS变换法图像可以分为有色图像与灰度图像这两种，而在对有色图像进行处理中的时候主要采用：RGB模型和IHS模型。RGB指的是红色，绿色，蓝色这三原色，而ISH则值指的是亮度、色调和饱和度这三个指标。【7】对于人眼的视觉来说，ISH模型相比较RGB模型更加的直观，所以人们对于彩色图像的处理通常使用ISH模型。当然这两种模式之间也可以相互转换，她们之间的变换公式如下：=1\*GB2⑴RGB转化为IHS（正变换）：(1-1)(1-2)(1-3)相应的逆变换：(1-4)ISH变换的流程图如下：全色图像全色图像多光谱图像去噪处理IHS空间转换提取I直方图匹配用直方图匹配后的全色图像替换多光谱图像的I分量后转换到RGB空间融合图像图4ISH法图像融合流程图 从上面的ISH流程图可以看出多光谱的RGB的三条带首先被转换成IHS空间;然后将去过噪声全色图像也转换成ISH。亮度分量是根据一定的融合规则融合，得到一个新的亮度分量（融合成分）;先前获得的融合组件由亮度分量替换，并且与所述成分图像转换成RGB空间在一起，并且最终得到的融合图像。ISH算法的优点在于能够提高图像的纹理特性，增强其空间的细节，但是其也有很大的缺点，就是使用该方法会降低融合图像可识别的精度。2.2.2加权平均算法加权平均算法指的是通过传感器而获得来的不同图像的像素点按照一定的权值比例然后加以融合的方法。对于两幅图像它们可以各占50%，也可以一个占30%别一个占70%，总之之和要为1。其具体的数学公式如下：(2-1)式中：图像中像素的行号，=1，2，…，M；图像中像素的列号，=1，2，…，N；加权系数1；加权系数2；通常：。由上面的公式可以知道，加权系数可以为，只不过这是一种特列。在大多数情况下，人们对于参与图像提供的冗余信息不会将其剔除掉，而是将其用来提高检测的可靠性。同时，当用于多帧图像的融合处理时，可以提高融合图像的信噪比。例如，假设有M个含噪声的图像：(2-2)式中i=1，2，…，M；为原图像（不含噪声）；假设其为在像素处不相关的零均值随机噪声。对以上M个图像进行平均融合后的图像为：(2-3)显然有：(2-4)(2-5)式中：为的均值；为在处得方差；为在处得方差。计算融合后图像在处的标准偏差的公式为：(2-6)等式（2-6）示出通过对像素求平均而获得的融合图像的标准偏差减小到原始。但是这种方法削弱了图像中的细节信息,图像的对比度降低，并且图像中的边缘在某种程度上模糊，并且在大多数应用中难以获得令人满意的融合效果。对于彩色图像处理，在将彩色图像分解为三原色后，可以使用ISH和加权平均算法的组合，使用加权平均算法再对其处理,从而达到融合的结果,其具体数学公式如下:(2-7)加权平均融合法相比较其他算法来说，具有算法简单直观、交强的实时性等优点；但是缺点也十分的明显，它依赖于人工干预并且有时就算有很强的人工干预，其图像融合结果也不是很理想2.2.3PCA主成分分析法主成分分析法(PCA)是一种加权平均的优化方式，通过利用主成分分析确定的权值，获得具有最大亮度方差的融合图像。当PCA方法应用于高分辨率全色图像和低分辨率多光谱图像的融合时，高空间全色图像用于替换从低分辨率多光谱图像提取的第一主成分。分辨率和高光谱分数。主成分转换的转换公式可用下式表示：(3-1)其中：：表示为变换后图像的数据矩阵；：表示为待变换图像的数据矩阵；：表示为变换矩阵。PCA的具体流程图如下：多光谱图像全色图像多光谱图像全色图像空间配准空间配准多光谱图像主成分变换多光谱图像主成分变换对全色图像做直方图匹配对全色图像做直方图匹配匹配后的全色图像替换匹配后的全色图像替换第一主分量并作逆主分量变换融合图像融合图像图5PCA图像融合流程图由PCA的流程图可以看出PCA的算法可以相当于是ISH算法的改进，其中对于全色图像与多光谱图像进行空间配准的目的也是为了提供融合结果的精确度与可靠性。对与其中全色图像做直方图比配也可以使用其他的方进行处理，如加权平均法等等。2.2.4小波变换法小波变换，有时候人们也称其为小波分析，指的是用有限长或者能够快速衰减的震荡波来表示信号。小波变换主要可以分为两类，一种是连续小波变换，另一种则是离散小波变换。【8】x(t)的连续小波变换的公式如下:（4-1）其中为母小波，中a的为控制尺度，b的部分为控制位置，a和b均为任意实数。其逆变换为：（4-2）其中为小波所容许性常数。而对于离散的小波变化的的公式如下：（4-3）连续小波变换与离散小波变换之间的区别在于连续小波变换可以在所有可能的缩放和平移上操作，而离散的小波变换只能在特定的子集上操作。【9】从小波的维度上来说，小波变化也可以分为一维小波变换和二维小波变换。本文之所以重点谈论小波变换法对与图像处理，是因为小波变换在高频时的时间分辨率与低频时的频率的分辨率相对于傅里叶变换来说都是十分的好，刚好符合人们对与信号在高频与低频处理的需求，即可以达到在高频时可以对时间细分，在低频时可以达到对频率的细分，可以使人们聚焦于任意信号的任意一点。对于图像这种二维信号来说，小波变换法可以说是一种十分有效的方法。当使用小波变换处理图像时，小波基的类型和小波分解的水平对图像融合的影响有很大影响。本文提出了一种处理低频系数和高频系数的方法。以这种方式，图像的整体清晰度更高，并且图像的局部细节也更多。具体处理方式见下文。=1\*GB2⑴图像的小波变换的原理图像是二维信号，二维多分辨率分析类似于一维情况，空间变成，一维中引入的尺度函数变为。设是的一个多分辨率分析，则可以证明，张量空间为(4-4)二维多分辨率分析的组成的多分辨率分析和二维缩放功能是(4-5) 式中，是的尺度函数（一维）。由式(2-16)我们可以知道任意一个二维尺度函数都是具有可分离性。而对于每一个，函数系构成的规范正交基，我们则可以让其变成的可分离多分辨率分析。其因为在于、它们都是低通尺度函数，所以它们是平滑的低通空间。假设是一个一维多分辨率分析的正交小波基，而二维多分辨率分析的三个小波函数是(4-6)对于每一个，它们的整数平移系为(4-7)请注意，这里的上标只是一个索引，而不是索引。它们形成了规范的正交基础。由于上述三个正交基都包含至少一个带通，所以它们都是带通功能。这三部分反映的都是细节信息，即函数系(4-8)是的正交归一集，其中均为整数，分别对应水平、垂直和对角三个方向。对于任一一个二维图像信号，在分辨率下有(4-9)由上面的公式可以看出图像被分解成了四个部分，其结果如下图6所示图6两次小波分解图其中LL表示的为图像的低频分量，LH表示的为图像的水平分量,HL表示图像的垂直分量以及HH则为图像的对角分量。我们都知道对于采用小波变化法对图像进行处理时，首要的一步就是对图像进行分解，可见图像分解的层次对于图像融合到的结果也起到至关重要的一部分。【10】下图表示了在使用一维小波变换法对于琳娜图像进行不同层次上分解所得到的结果图：图7琳娜分解图由分解图的结果于上文所提及的分解两层的示意图可以得出，LL图像的低频分量保留了图像的基本轮廓，便于对图像中所表达的信息做到宏观调控，而对于其他的LH,HL,HH则展现的是图像的细节信息，但是人的肉眼很难去识别。对于各个层次的分解的结果来看，本文还是较为的倾向于分解了两层的的结果，因此后文所展现的有关于小波分解上面有关于低频于高频的处理方式都是建立在对于原始的图像分解了两层的基础之上的。随着科技水平的提高，对于图像的处理方式，人们更加在意对于图像的细节信息的获取，所以人们也在不断地研究关于图像的水平分量，垂直分量以及对角分量上面的算法。本文主要是提出一种关于基于小波变换的图像融合的方法首先，将两个图像进行小波分解，得到了不同的高和低频率系数，然后通过不同的融合规则处理，以获得新的高和低频率系数。最后，小波逆变换被执行以实现图像融合。其具体流程图:图像B图像A图像B图像A小波变换小波变换小波变换小波变换低频系数高频系数高频系数低频系数低频系数高频系数高频系数低频系数融合规则2融合规则1融合规则2融合规则1融合后的高频系数融合后的低频系数融合后的高频系数融合后的低频系数小波逆变换小波逆变换图像融合图像融合图8小波变换图像融合流程图高频与低频系数处理方式对于低频子带来说，它与高频部分不同，低频率部分并不反映图像的边缘等特征，但是它可以反映图像的背景和轮廓等信息，所以对于低频图像，文中采用如下的融合规则。假设C（x）表示图像X，P=（M，N）的子波的低频分量的系数矩阵表示小波系数的空间位置，则C（X，P）代表小波低频分量系数矩阵下标（M，N）的元素的值。首先，在社区城市Q中的加权方差集中在p被用来表示城市的方差，和u（X，P）表示图像x的低频系数矩阵的与p点的平均值为中心Q区域。G（X，P）表示与P点为Q-区的中心的图像x的低频系数的方差的方差。其中w(q)表示权值，离p点越近，权值越大。G(X,p)=(4-10)图像A和B的低频系数矩阵的区域方差显着性表示为G（A，P）和G（B，p）。另外，M2（P）用于定义点p处的图像A和B的低频系数矩阵的方差的方差：(4-11)M2（p）的值在0和1之间变化，并且值越小，两个图像的低频系数矩阵的相关性越低。设T2为匹配度阈值，对于与图像融合来说匹配度阈值也起到至关重要的，对与不同的阈值得到的图像融合的结果也可能发生巨大的变换，因为图像的信息在被采集的时候会伴随着大量的高斯白噪声，即采集的信号会被污染。一般来说匹配度的阈值取于0.5-1之间。本文经过实验最终将阈值取于0.7。当M2(p)<T2时，采用选项融合策略:C(F,P)={(4-12)当M2(p)>=T2时，采用平均融合与区域方差像结合的策略：C(F,p)=(4-13)其中，(4-14)该策略相比较传统的只是用加权平均法来说，减少了单一数据而影响图像融合的结果，也更加注重图像与图像之间，像素点与像素点之间的关联性之间的相关性，即基于区域的方差，这样可以有效地保留细节和边缘。因此，通过该策略获得的合成图像将更清晰和更详细。高频则是系数模值的最大值。小波图像融合的优点：1.可以同时观察频率和时间轴，在频率高时有较好的时间分辨率，在频率低时有较好的频率分辨率。2.有快速小波变换可以加速运算。3.可以分离出信号的精细或粗糙成分。3图像融合结果及其分析3.1图像融合结果利用前面有关于小波融合的理论和有关高低频的处理方式，通过使用matlab编程与仿真，（其中图a为焦距左边的图像，图b是焦距右侧的图像，图c是加权平均算法融合的结果，图d是PCA算法融合的结果，图e是融合的结果IHS算法，以及图f是小波变换的结果）得到以下结果：图9聚焦左边与聚焦右边图像融合结果图10多光谱与全色图像的融合结果由上文图8与图9这两种不同类型的各个不同算法的融合结果来看，尤其是对于聚焦左边与聚焦右边的图像的融合，可以清楚明了的得出以下结果，小波变换的算法明显优于其他算法，其融合的结果相对于其他的算法的结果更加的清晰，而且是原来的两幅图像都十分的清晰，局部的细节可以说保留的十分完整，图像的边框与轮廓也较好，达到了本文关于小波融合的预期效果。而PCA法与ISH法来看虽然聚焦左边的图像得到较好的保留，清晰度也十分的高，但是对于聚焦右边图像的效果十分的不理想，十分的模糊。而对于采用了加权平均算法的融合结果，其结果相对于PCA与ISH法来说已经好了很多，因为其对于聚焦左边与聚焦右边的图像都进行了较好的处理，整体的效果还是蛮好的，但是其在清晰度上与细节方面没有小波变换法好。但是人们还是很喜欢加权平均算法，应为其算法简单，而且对与硬件的要求低些，具有较高的应用性。3.2融合图像效果分析对于评价图像融合效果的好坏，可以分为主观评价与客观评价这两种。主观评价主要是通过人的眼睛来直观的看融合之后的图像，是一种最为简单与方便的方式但是由于缺乏对比性，所以一般不采用。对于客观评价则是用一些相关数据来评价融合的效果主要有：均方根误差，信噪比，信息熵等等。（1）均方根误差融合图像F和标准参考图R之间的均方根误差定义为式中，分别表示图像的行数和列数。越小，则表明图像融合的质量就越理想。峰值信噪比定义为PSNR越高，则表明图像融合效果越好。（3）信息熵可以用来表示图片信息量的大小，其定义为其中代表每个灰度等级出现的概率，由公式可知当每个灰度等级出现等概时，信息熵为最大值，此时图片融合的效果最好。（4）平均梯度平均梯度可以用来地反映了图像微小细节反差，因此人们也将其作为清晰度检测的标准之一，其公式如下：其中，是融合图像，越大，表示图像越清晰。从上文公式可以总结出：1.RMSE越小，融合效果越好；2.PSNR越大，融合效果越好；3.信息熵越大，融合效果越好；4.grad越大，融合效果越好。下表格为之前图像融合的相关数据：表一：聚焦左边与聚焦右边不同算法融合的相关数据融合后的图像信息熵均方根误差信噪比平均梯度图9(c)4.152181.28959.93061.4948(d)4.159380.484410.01651.3915(e)4.159580.478710.01741.3856(f)4.178680.204610.04652.0522表二：多光谱与全色不同算法融合的相关数据融合后的图像信息熵均方根误差信噪比平均梯度图10(c)4.062574.696510.66421.9125(d)4.112375.785210.53932.4414(e)4.123375.847310.53152.4312(f)4.173474.548510.68252.8546由上面图表的数据可知，无论是聚焦左边与聚焦右边的图像融合还是多光谱与全色的图像融合，小波变换融合结果的信噪比，信息熵以及平均梯度的值的都大于其他算法，均方根误差值小于其他算法，由上文的理论也能得知，小波变换优于其他算法，与之前采用的主观判断的结果也相吻合。而加权平均算法的相关数据也优于PCA法与ISH法。4结束语图像融合简单的来说就是将多幅图像融合为一副图像的过程，而且最终的所得到