图像融合技术概论(像素级)

图像像素级融合算法（讲稿1）

2.图像融合算法研究

主要集中介绍像素级融合算法。

依实现原理划分、像素级图像融合算法大体分为：

代数算法，

假彩色技术，

图像调制技术，

多分辨技术，

基于视觉神经动力学的图像融合技术，等。

2.1代数法

代数法包括加权融合、单变量图像差值法、图像比值法等。最常用的

方法是加权平均法。

加权平均法主要是运用代数运算和线性运算来处理图像，是早期的图

像融合方法。它的基本原理是不对源图像进行任何的图像变换或分解，而是

直接对各源图像中的对应像素进行选择（选取最大值或最小值）、平均或加

权平均等简单处理后输出融合图像。

以表示融合图像的第个像素灰度值，表示参加

融合的第幅图像第个像素灰度值。表示参加融合的第幅图像第个像

素的权值。加权平均法的数学表示式为：

Lj=£人口

之一

/=1

根据实际应用的需要，代数法可采取局部和全局处理。

下面主要说明全局法的处理过程。

考虑到图像的整体性，所有融合运算采用了统一标准，因此称为全局

法。主要步骤如下：

（1）一求出图像灰度的最大值、最小值、均值与方差；

（2）由这些参数通过一定的运算，计算出一个变换式，可将高分辨力

图像的灰度变成0到1的实数；

（3）用变换后的实数与低分辨力图像讲行一定的运算，其所得到的结

果即为融合图像；

（4）这个图像往往色调比较暗，必须进行增强才能满足要求。

设高分辨力图像灰度、灰度最小值、最大值、均值与方差分别为，低分辨

力图像灰度值为，融合后的灰度值为，为变换系数。

2.假彩色技术

假彩色（FalseColor）图像融合处理的原理基于如下事实：人眼对颜色

的分辨力远超过对灰度等级的分辨力。因此，如果通过某种彩色化处理技术

将蕴藏在不同原始信道图像灰度等级中的细节信息以不同的色彩来表征,

可以使人眼对融合图像的细节有更丰富的认识。

以假彩色法来实现图像融合的工作由来己久，随着对人眼生理特性认

识的逐步深入，这种方法也在不断改进，以期达到既能将各原始信道的图

像信息尽量地表现出来，又能使融合图像的可视效果符合人眼生理习惯的

目的，这是当前假彩色研究的关键所在。

根据信息融合发生的色度空间不同，假彩色融合算法可分为三类：

2.1.1灰度融合后采用假彩色编码的融合算法

这种假彩色融合方法可以认为是图像处理的后期的假彩色化处理，其本质

与图像融合并无直接联系，基本是灰度图像的假彩色编码的问题。

有文献分别采用灰度调制、灰度级平移叠加以及小波融合的处理手段对灰

度图像进行融合后再进行假彩色处理，取得了一定的效果。此类算法的关键

是选择合适的彩色标尺，而此要求却较为苛刻，使得这一方法一般只作为

图像融合结果的可选附加处理。

2.1.2基于RGB色空间的假彩色融合技术

任何图像的彩色处理最终都将归结至RGB色空间的转换，因比，直接

在RGB色空间的假彩色融合处理具备的最大特点就是计算简单，速度快,

灰度图像

假

彩

假

数

色

彩

据

融

色

预

合

合

处

成

图

理

像

图2.】基于RGB色空间的假彩色融合处理示意图

有文献根据人眼的视觉习惯开发了一种融合红外和可见光图像的假彩色映射技术。

该算法将红外图像和可见光图像经过一定的交互处理后，分别送至R、G、B三通道，使

得融合图像具有一定的自然性，其具体处理步骤如下：

1）图像相关性提取

图像相关性提取指提取可见光图像和红外图像间的公有部分：

令Visible表示可见光图像，Thermal表示红外图像，Common表示两图像的

18

公有部分，（i,j）表示图像像素坐标，则有:

Common(i,j)=Visibly,j)AThermala,j)(2.4)

提取两图像公共部分的具体操作，可以采用求取最小值的方法来处理,

即：

Common*,j)=min(Visible(i,j),Thermal(i,j))(2.5)

2）图像去相关

图像去相关指提取可见光图像和红外图像各自的特征部分：

令Visible*表示可见光图像的特征部分，Thennal*表示红外图像的特征部分,

则有：

Visible^（/,j）=Visible（i,j）-Convnon（z,j）（2.6）

Thermal(i,j)=Themicil(z,/)-Convnon(i,j)(2.7)

3）图像交互处理

图像交互处理指采用何种融合算子来有效包容可见光图像和热红外图像各自

蕴含的信息。根据生理光学的研究成果，原则上，如果一路图像在某个区域的特征成分

具有显著值，任何减小另一路图像对应区域动态范围的操作均可以选择。有文献采用交

叉相减的处理来实现，并将处理结果直接送至R、G、B三通道进行显示，即:

R、'Thennal-Visible、Thennal-Visible

G—Visible-Thennaf=Visible-Thennaf(2.8)

B,Visible-ThennafVisible-Thennal

\z\

由式（2.8）看出，R通道显示的是降低了可见光图像对应部分的红外图像；

相反，G通道显示的是降低了红外图像的对应部分的可见光图像，即将红外

与可见光图像的突出部分分别增强，并利用不同的色彩来表现其细节。这样

的融合结果为：在以表现可见光图像与红外图像差异的蓝色背景下，以红

色作为红外图像的特征突出部分、绿色作为可见光图像的特征突出部分，比

较符合自然特征，图像看起来更自然些。但是，该算法仍不能避免假彩色算

法的固有缺陷，即如果事先不知道景物的大体属性，则不具经验的观察员

很难判断出静态目标的属性。因此，这种算法如果应用于对动态目标的监视

观察，可以取得较好效果。

对式（2.8）的图像交互算法进行某些改进可使融合结果的色彩层次更丰富,

对于多细节目标产生更好的效果。本课题组就提出过用两图像公共部分映

射到B通道的方案。

2.1.3基于LHS色空间的假彩色处理

与RGB色空间映射技术的缺乏可预见性不同，LHS色空间的L（明度）、H

（色调）、S（饱和度）模型由于直接反映人眼的感觉，故基于该色空间的

假彩色融合技术具有较好的可预见性。该方法是将图像数据经过预处理后

分别赋于L、H、S色通道.然后再换算至RGB色空间以实现彩色显示。其

融合流程见图2.2o

「X.二C(i,/)-min(C(iJ))(211)

2)融合调制

将式(2.11)得到的归一化对比度与热图相乘，即可得到融合图像:

Gf(/；,/)=C*(/,j)xGr(z,j)(2.12)

将得到融合图像重新量化，使之灰度范围与显示设备动态范围R相匹配,

即:

G；(z,j)=R7亿/)一(3；(7》V\(2.13)

max6(i,./))-nun(GF(i,./))

得到的G；即为最终呈现的融合图像。

2.2.2图像灰度调制

我们研究发现了一种简单有效的融合可见光图像和热红外图像的灰度调制法。灰

度调制是一种线性处理，采用线性归一化的手段将图像进行变换，一般仍然对两路图像

中细节较多的一路进行归一化，然后调制另一路。其过程为：

首先求出可见光图像的归一化图像：

5aAmx(q(5)—-耳而))

然后以归一化可见光图像对红外图像热进行调制：

GF(/,j)=G；(z,j)xGr(/,7)(2.15)

最后按式(2.13)对调制结果重新量化得到融合图像G；。

灰度调制方法虽然运算简单，但实际实验表明其融合效果却好于对比度调制法。

调制融合技术以一幅图像的灰度特征对另一幅图像施加“影响”，改变其灰度分布属性,

算法比较简单，是实现可见光和红外图像融合的一种实用技术。

2・4.3多分辨技术

图像的多分辨(Mulliresolulion)结构理论来源于计算机视觉研究中对人眼

感知过程的模拟，例如，如果在一幅图像中我们不先识别出“房子”，那么

就很难辩识图像中的小方框是不是“窗户”。一般而言，多分辨结构是对输

入图像信息提供相继压缩表示形式的数据结构。被压缩的信息可以是简单

的图像灰度，也可以是描述图像中的一些特征信息(如前面讨论的基于多分

辨特征点提取的图像配准)，前者的多分辨结构相继表示分辨力逐级降低的

输入图像，而后者则越来越粗地近似表示这些特征。图像多分辨结构的另一

重要优越性在于：在低分辨力层上粗略的信息只用很少的数据量来表示，

故在该层上可以获得很快的处理速度；到了高分辨力层，尽管描述细节的数

据量增大，但由于已有了对低分辨力层信息的识别，还是有可能通过面向

目标的处理方法来提高计算速度。

多分辨结构的形成是采用对图像进行自底向顶的计算，每一级图像均是其

前一级图像经过某种滤波形成。图2.3给出多分辨结构示意。

2.3.1Gaussian金字塔

Gaussian金字塔图像多分辨结构中的每一级图像均是前一级图像低通

滤波形成的。设矩阵GO表示输入源图像，则GO作为Gaussian金字塔的零

级，Gaussian金字塔的1级矩阵的每一元素值可由用一n(n的窗口因数对第

1(1级矩阵进行加权平均而得到。注意，以下讨论均设n=5,即滤波模板大

小为5(5o

Lo

图2.3金字塔多分辨结构示意图

高分辨力级到低分辨力级的滤波运算用函数REDUCE表示:

G,=REDUCE®)(2.16)

即对(N是金字塔的总级数)，点(i,j),,(C1,R1是金字塔第1级的大小)，有:

G,j)=ZZZ；：2M%⑵+〃z,2/+〃)(2.17)

其中为Gaussian模板，其定义如下:

n)=M〃?)W(〃)(2.18)

口以加I(2.19)

vv'(0)=a,M/(1)=M/(-1)=/?=0.25,w'(2)=卬'(-2)=b-a/2

采用Gaussian模板对图像进行多分辨分解后，得到的Gaussian金字塔结构

中相邻两级图像的频带以1/8倍率减小，图像大小则以1/4倍率减个。金字

塔中采样速度的减小正比于频带范围的减小，因此Gaussian金字塔可认为

是一个多分辨力低通滤波器。

2.3.2Laplacian金字塔

构造Laplacian金字塔之前，首先需对Gaussian金字塔进行扩展。

定义函数EXPAND为函数REDUCE的逆运算，其作用是利用插值法在

给定的数值间插补新的样本值，将Gaussian金字塔结构中某一级图像扩展

成其前一级图像的尺寸大小，即如果对G1进行EXPAND运算，获得的新图

像Gl,1将具有与G1同样的尺寸大小。

设表示对进行EXPAND运算k次后得到的图像，则

G/,o=G]

(2.20)

d,k=EXPAND(Gg)

22

EXPAND运算定义为

=（芋，等）（2.21）

式中仍为Gaussian模板，仅当为整数坐标时方计算入上述和式。注

意到与大小相同，与原始图像大小相同。

Laplacian金字塔（多分辨力带通滤波器）是一组带通滤波图像序列,定义

为Gaussian金字塔中相继各级低通滤波图像之差，即：

心…']（2.21）

L=G「EXPANl\Gl+x）=G,-G/+1J0<l<N

Laplacian金字塔对于原始图像而言，是一组带通滤波器，而对于Gaussian

金字塔序列中的图像，则是其高通滤波器。

2.3.3对比度金字塔

对比度金字塔的构造类似于Laplacian金字塔，但其定义为Gaussian金字

塔中相继各级图像之比，即：

CN=GN

(2.22)

G=GJEXPANE0)=G,/Gl+lA()</<7V

2.3.4基于金字塔多分辨结构的图像融合算法

根据前面的分析可知，图像的Laplacian金字塔序列是Gaussian金字塔

序列中相应各级的高通滤波图像，由于图像的细节对应图像的高频部

分，而图像融合的目的就是将不同图像的细节特征有机地结合。囚此,

可设法融合不同图像的Laplacian金字塔序列以达到融合的目的，称为

基于Laplacian金字塔的图像融合算法，其算法过程如下：

1）分别构造每幅图像的Gaussian金字塔序列；

2）在Gaussian金字塔序列基础上分别构造每幅图像的Laplacian金字

塔序列；

3）对每幅图像的Laplacian金字塔的对应级进行融合，得到融合金字塔

序列；

4）对融合金字塔序列进行重构运算，得到最终融合图像。

融合Laplacian金字塔结构时对应各级的融合准则一般采用“与”或者“或”。

与运算取多分辨图像对应值中的最小值；或运算取多分辨图像对应值中的

最大值，即

与运算：（2.23）

或运算：（2.24）

式中为融合金字塔序列中第1级，为M路待融合图像中第k路图

像Laplacian金字塔序列中第I级。

图像的细节变化可以认为是对比度的变化。人的视觉系统对图像对

比度变化较为敏感，因此融合不同图像的细节也可以设法通过融合对比度

来实现，即基于对比度金字塔结构的图像融合算法。该算法流程与上面描述

的Laplacian金字塔融合算法的唯一差别是以对比度金字塔结构代替

Laplacian金字塔，而融合准则为选取多分辨图像中对比度的最大值，即：

金亿毋J/）

if|GC，<％=max（|q（i,〃）-1|,…（i,〃）-1|,•••,&（/；//）-1|）（2.25）

式中为融合金字塔序列中第1级，为M路待融合图像中第k路图

像Laplacian金字塔序列中第1级。

在对比度金字塔融合算法基础上，我们引入调制融合的思想，提出了

多分辨对比度调制砸合法则：

M

。「亿力/）二"6（。，/）（2.26）

hl

这种多分辨对比度调制法要求待融合图像的对比度分布必须不同，而且融

合后一般需要再量化。在实际应用中发现其往往能够在融合的同时增强融

合图像的对比度，在融合可见光图像和热成像图像时可以获得较好的视觉

效果。此外，该算法则不需要知道待融合图像的灰度特性，消除了一般对比

度调制法的这一缺陷、具有一定自适应性。

图2.4金字塔多分辨结构图像融合算法示意图

图2.4给出了以双通道图像融合为例的金字塔多分辨结构图像融合算法示

意。图中AO、A1.A2分别表示A通道图像的第0级（原图像）、I级和2

级Gaussian金字塔序列，aO>al.a2则表示Gaussian金字塔的扩展序列，B

通道类似。F2.F1.F0示意融合金字塔序列，对其重构即可得到最终融合图

像。

2.3.5基于小波的图像多分辨结构

24

小波变换(WaveletTransform)作为一种新兴的工程数学

工具，由于其具备的独特数学性质与视觉模型相近，因此

在图像处理领域也得到了广泛的应用。

应用于图像融合领域的小波变换，可以说是金字塔方法的

直接拓展。自MaHat将计算机视觉领域内的多尺度分析的

思想引入到小波变换后，对图像进行多分辨融合处理的方

法在离散小波变换这一强有力的数学工具的帮助下日益完

备，并取得了一系列卓有成效的成就。

1连续小波变换与二进小波变换

1,连续小波变换

设是一个平方可积函数，即，若其傅立叶变换满足条件：

[忸⑹d①<8(2.27)

R①

则称“Q)为一个基本小波或小波母函数。上式称为小波函数的容许性条件。

将进行伸缩和平移，设尺度因子和平移因子分别为和，可得:

匕〃⑺=6/>(),/；€/?(2.28)

a

则函数族称为小波基函数，或简称小波基。

对于信号，其连续小波变换定义为信号和小波基的内积：

吗=(/⑺/*))=]/⑺吸〃⑺力(2.29)

其中表示的复共血。小波逆变换定义为:

18卅

J\t)=—\a2da[WfabW仆⑴如(2.30)

C”o-a

连续小波变换具有如下主要性质：

设、，、为任意常数，、的小波变换分别为、，有：

(1)叠加性：函数的小波变换为:

W:(4,b)=4W、(a,b)+%2卬、(。，b)(2.31)

(2)时移不变性：的小波变换为:

W、.(a/)=Wv(a,》Tc)(2.32)

(3)尺度转换：的小波变换为:

(2.33)

(4)内积定理：有:

(叱①,加,叫(a,助=g(必),(2.34)

(5)微分定理：的小波变换为:

%3*)=$叱(。力)(2.35)

db

(6)卷积定理：的小波变换为:

bb

W<a,〃)=x(7)*W、,(a,0)=(2.36)

其中：表示对变量6做卷积。

（7）能量交叉：当和为和的幅角，有：

帆3〃）+%.（凡〃）卜叱（4囹，恍（4,〃）卜2叱（4力）|叱（4囱85（4-。、.）（2.37）

2.二进小波变换

在实际应用中，无论是出于数值计算的实际可行性考虑，还是为了理论分析的简便，都

有必要对小波变换进行离散化处理。将式（3.28）中的参数、都取离散值，设固定尺

度步长为，平移步长,取,，则可将连续小波离散化：

心/⑺=4；"初（q"-哨）），n/7GZ（2.38）

二进小波变换介于连续小波和离散小波变换之间，它只对尺度参量进行二进制离散,

位移仍取连续变化，这使得二进小波变换仍具有连续小波变换的时移不变性，在奇异性

检测、图像处理方面十分有用。二进小波表示为：

/n.

匕”,和二2一加（芥）(2.39)

设，其二进小波变换为:

DWf（21）=亿心.）=〕/⑺•吸.*）力（24。）

2.多尺度分析理论”

如果我们把尺度理解为照相机镜头的话，当尺度由大到小变化时，就相当于将照相

机镜头由远及近地接近目标。在大尺度空间里，对应远镜头下观察目标，只能看到目标

大致的概貌。在小尺度空间里，对应近镜头下观察目标，可观测到目标的细微部分。因

此，随着尺度由大到小的变化，在各尺度上可以由粗及精的观察目标，这就是多尺度分

析的思想。其数学上的定义如下。

设是空间中的一个闭子空间列，如果满足如下条件，则被称为一个多尺度分

析：

（1）一致单调性：；

（2）渐近完全性：，；

（3）伸缩规则性：；

（4）平移不变性：；

（5）正交基存在性：存在函数，使构成的正交基，即

匕=span{帕-//)},［。。一一m)公=6…(3.41)

nR

由条件（3）和（5）可知，为子空间的正交基。可见，多尺度分析是同一函数

通过伸缩平移后产生的函数系列所张成的空间，函数称为尺度函数，各个闭子空间

称为尺度空间。

小波空间定义为尺度空间在中的补空间，即:

,（2.42）

由多尺度分析的单调性和小波空间的定义可知:

,且（2.43）

进一步结合逼近性可知:

㊉W,=Z?（H）（2.44）

止zJ

可见，构成了的一系列正交子空间。设，结合多尺度分析的伸缩特性以及式（3-18）

可以导出:

26

/（，）€因=/（2一〃）£叫（2.45）

设函数为基本小波，且构成的一组正交基，由式（2.45）可知，为空间

的正交基，进一步分析，可知构成的正交基。

由上分析可知，对于任意函数，可以将其分解为属于小波空间的细节部分

和属于尺度空间的大尺度近似部分；然后可将属于的近似部分再次分解。这样不断

继续，就得到了不同尺度上的细节部分和近似部分。此即多尺度分析的框架。

尺度函数和小波函数满足二尺度方程:

帕）=-%）

・「（2.47）

MD=6工虱k）（/）Ql-k）

假设输入图像为，令，这里给出Mallat的多分辨小波分解算法的最简表

达式:

G=HHG_\

=",GT

(2.48)

=G,H£\

=GfGcCj

其中算子相当于二维低通滤波器，因此是的低频分量；算子相当

于对列作平滑，检测行的差异，在有水平边缘的地方，的幅度较大，因此

显示的竖直方向的高频分量，即图像的水平边缘；算子对行作平滑，检

测列的差异，因此显示的水平方向的高频分量，即图像的竖直边缘；

是两个方向的高频滤波，检测的是对角方向边缘。由此可见，小波变换可以

分别提取二维图像的低频分量和水平、垂直和对角方向的高频分量，而图像

融合就可以在这些特征域内进行。

而二维Mallat重构算法为:

GT=H：H：J+H：G：D；+G；H：D；+G：G：D；（2.49）

式中上标*表示矩阵模板的共规转置。

与图像的Gaussian金字塔分解相比，可以认为离散小波变换在提取图像低

频部分的同时，较Gaussian金字塔多分解出三个方向的的分解处理，图像

融合在这些特征域内进行，理论上较Gaussian金字塔融合具有更好的效果。

2.3.6基于小波的混合融合方法

我们提出了所谓混合法处理可见光图像和长波热红外图像的融合，其基本

思想来源于对比度调制法，同样利用两种图像的灰度分布特性，分别提取

可见光图像的高频信息和红外图像的低频信息并且各自附加一定的权重分

别作为融合图像的高、低频部分，从而完成图像融合。

2.3.7基于小波的方向对比度融合方法

我们的最新研究进展采用离散小波变换，根据Gaussian对比度金字塔

的思想，定义方向对比度的概念，提出了基于小波的方向对比度融合方法。

这种算法利用小波变换是正交变换的性质，消除了高低频之间的相关和混

迭。

定义方向对比度为:

垂直对比度(VerticalContrast)A1=也

-

水平对比度(HorizontalContrast)雄=必