第7章-图像融合

第七章图像融合

朱瑾信息融合技术第7章图像融合7.1图像融合概论7.2图像融合分类7.3图像匹配7.4图像融合算法参考资料：覃征.数字图像融合.西安交通大学出版社.2004郭雷.图像融合.电子工业出版社.2008敬忠良.图像融合.高等教育出版社.2007焦李成等.图像多尺度几何分析理论与应用

——后小波分析理论与应用.西安电子科技大学出版社2008佘二永.多源图像融合方法研究[D].国防科技大学，2005刘贵喜.多传感器图像融合方法研究[D].西安电子科技大学，20017.1图像融合概论图像融合： 将不同传感器获得的同一景物的图像或同一传感器在不同时刻获得的同一景物的图像，经过去噪、时间配准、空间配准和重采样后，再运用某种融合技术得到一幅合成图像的过程。通过对多幅传感器图像的融合，可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，提高图像的质量，有利于对物理现象和事件进行定位、识别和解释．7.1图像融合概论图像传感器的组合效果传感器1传感器2效果TV摄像机毫米波(MMW)雷达红外多光谱图像SARSAR红外CCD摄像机红外红外紫外全色图像红外SAR红外红外+SAR适用于白天或夜晚穿透力强，分辨力强适合识别背景适合识别特征和纹理空间分辨力和谱分辨力都较高穿透力强，分辨力较高，全天候背景信息增加，提高了探测距离和识别能力分辨力强，全天候7.1图像融合概论图像融合的形式可分为3种：多传感器非同时获取的图像的融合；多传感器同时获取的图像的融合；单一传感器不同时间，或者不同环境条件下获取的图像的融合图像融合的作用图像增强去噪特征提取目标识别与跟踪三维重构7.1图像融合概论图像融合的发展最早用于遥感图像分析：1979年Daliy首先将雷达与卫星图像复合，用于地质解释；1980年代逐渐应用于一般的图像处理；1990年代成为研究热点，应用领域包括遥感、光学图像处理，医学图像处理等；近年来成为计算机视觉、自动目标识别、成像导航与制导等方面的研究热点。7.1图像融合概论图像融合的研究现状多传感器信息融合领域中，图像融合是应用最为广泛，发表文献最多的一个方向：信息融合文章中，信号层的信息融合文章占53％；在Ei

CompendexWeb数据库中用“imagefusion”作为关键词，检索从1980年到2001年摘要中出现这一词组的文章数目：1980年至1984年的文章只有4篇；1995年至1999年增加到603篇；2000年和2001年两年就有299篇；有关组织与刊物：

SPIE、IEEE7.1图像融合概论图像融合研究中的问题图像融合技术缺乏理论指导：虽然公开报道很多，但每篇文章都是针对一个具体的应用问题，对图像融合技术还没有一个统一的理论框架，建立图像融合的理论框架是目前的一个发展方向；出于图像的特殊性，在设计图像融合算法时一定要考虑到计算速度和所需的存储量，如何得到实时、可靠、稳定、实用的融合算法和硬件电路是目前研究的一个热点；建立客观的图像融合技术评价标谁也是急需解决的问题。7.1图像融合概论图像融合应用举例医学图像融合7.1图像融合概论图像融合应用举例遥感图像融合7.1图像融合概论图像融合应用举例战场图像融合7.1图像融合概论图像融合应用举例监视系统图像融合7.2图像融合分类图像融合分类根据信息表征层次的不同，多传感器信息融合可分为信号级融合、像素级融合、特征级融合和决策级融合；有的学者分为3类，不考虑信号级融合信号级融合：合成一组传感器信号，提供与原始信号形式相同但品质更高的信号。7.2图像融合分类7.2图像融合分类像素级融合：直接对图像中像素点进行信息综合处理。目的是生成一幅包含更多信息、更清晰的图像；属于较低层次的融合；一般要求原始图像在空间上精确配准，如果图像具有不同分辨率，在融合前需作映射处理；目前大部分研究集中在该层次上。7.2图像融合分类7.2图像融合分类像素级融合的过程一般可分4个步骤：预处理、变换、综合和反变换(重构图像)。预处理阶段包括了对被融合的原始图像的滤波和配准处理；配准就是将被融合的原始图像进行必要的变换(主要是几何变换)，从而使被融合图像的每一个像素都对准；变换阶段采用的主要方法有：PCA，多分辨分析(金字塔算法、小波算法)7.2图像融合分类综合阶段将被融合图像的变换结果进行综合处理，从而获得最终的融合图像。综合方法可分为：选择法，即根据某种规则，分别选择不同被融合图像的变换系数，组成一组新的变换系数；加权法，即用某种加权平均算法将不同被融合图像的变换系数综合为一组新的变换系数；优化法，即根据应用不同，构造某个评价融合效果的性能指标，综合结果使该性能指标最优；反变换阶段是根据综合阶段得到的一组变换系数进行反变换操作，得到融合图像。7.2图像融合分类

特征级图像融合：属于中间层次，先对来自不同传感器的原始信息进行特征抽取，然后再对从多传感器获得的多个特征信息进行综合分析和处理，以实现对多传感器数据的分类、汇集和综合。一般来说，提取的特征信息应是像素信息的充分表示量或充分统计量，包括目标的边缘、方向以及运动速度等；特征级图像融合可分为两大类，即目标状态数据融合和目标特性融合；7.2图像融合分类目标状态数据融合：主要用于多传感器目标跟踪领域，首先通过融合系统对传感器数据进行预处理以完成数据校准，再实现主要参数相关的状态估计。特征级目标特性融合：即特征层联合识别，采用模式识别技术，在融合前对特征进行相关处理，从而把特征矢量分类成有意义的组合。特征级图像融合的优点在于实现了可观的信息压缩，便于实时处理。由于所提出的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。7.2图像融合分类决策级图像融合：对每个图像的特征信息进行分类、识别等处理，形成相应的结果，进行进一步的融合过程，最终的决策结果是全局最优决策；决策级融合是一种更高层次的信息融合，其结果为各种控制或决策提供依据；决策级融合必须结合具体应用及需求，有选择地利用特征级融合所抽取的目标的各类特征信息，其结果直接影响最后的决策水平；输入为特征信息，结果为决策描述，因此决策级融合数据量最小，抗干扰能力强；7.2图像融合分类7.2图像融合分类决策级融合优点：数据量少，通信及传输要求低；容错性高，对一个或若干个传感器的数据干扰，可以通过适当的融合方法予以消除；数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低；分析能力强，能全方位有效反映目标及环境的信息，满足不同应用的需要；7.2图像融合分类7.3图像匹配概述图像匹配在近几十年来一直是人们研究的热点和难点，它是在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致；由于拍摄时间、角度、自然环境的变化、多种传感器的使用和传感器本身的缺陷，使图像受噪声的影响，存在严重的灰度失真和几何畸变。如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现是匹配算法的目标。7.3图像匹配图像匹配算法：(1)基于灰度相关的匹配 对待匹配图像的像元以一定大小窗口的灰度阵列按某种或几种相似性度量顺次进行搜索匹配的方法。 这类算法的性能主要取决于相似性度量及搜索策略的选择上。 匹配窗口大小的选择也是该类方法必须考虑的问题，大窗口对于景物中存在遮挡或图像不光滑的情况会出现误匹配的问题，小窗口不能覆盖足够的强度变化，因此可自适应调整匹配区域的大小来达到较好的匹配结果。7.3图像匹配(2)基于特征的匹配 首先从待配准的图像中提取特征，用相似性度量和一些约束条件确定几何变换，最后将该变换作用于待匹配图像。匹配中常用的特征有边缘、轮廓、直线、兴趣点、颜色、纹理等。7.3图像匹配(3)基于模型的匹配模板匹配方法在计算机视觉和模式识别等领域中的应用也非常广泛，它可以分为刚体形状匹配和变形模板匹配两大类。

7.3图像匹配

在刚体形状匹配中，原型模板通过平移、旋转和尺度化等简单变换达到和目标图像的匹配，但是它不能处理目标形状存在较大变形时的问题，为此提出使用变形模板匹配方法。7.3图像匹配(4)基于变换域的匹配

频域匹配技术对噪声有较高的容忍程度，检测结果与照度无关，可处理图像之间的旋转和尺度变化。常用的频域相关技术有相位相关和功率倒谱相关，其中相位相关技术使用相对广泛。7.3图像匹配最主要的变换域图像配准方法是Fourier变换方法：图像的平移、旋转、仿射等变换在Fourier变换域中都有相应的体现；相位相关技术是配准两幅图像平移失配的基本Fourier变换方法：给定两幅图像，它们之间的唯一区别是存在一个位移；旋转在Fourier变换中是一个不变量：旋转一幅图像，在频域相当于对其Fourier变换作相同的角度的旋转，两个频谱的幅度是一样的，只是有一个旋转关系。也就是说，这个旋转关系通过对其中一个频谱幅度进行旋转，用最优化方法寻找最匹配的旋转角度就可以确定7.3图像匹配图像匹配关键要素与步骤特征提取；特征匹配；变换模型估计；图像重采样与变换；7.3图像匹配图像匹配步骤7.3图像匹配特征提取：

1）控制点的选择控制点尽可能自动选取；控制点数量足够多以保证匹配精度；控制点应分布得足够均匀；

2）基于轮廓的方法对图像进行边缘/轮廓提取，作为匹配的控制点，进行轮廓的配准后再应用于整个图像7.3图像匹配特征提取算法：基于区域的算法：绕过对控制点的选择，对两个区域图像逐个进行计算；典型算法：基于最大化互信息的方法，利用基准图像与输入图像的互熵作为判断依据，在医学图像匹配中成功应用；基于灰度相关的匹配7.3图像匹配基于特征的匹配算法：首先从待配准的图像中提取特征，用相似性度量和一些约束条件确定几何变换，最后将该变换作用于待匹配图像。常用的特征有边缘、轮廓、直线、兴趣点、颜色、纹理等。特征的选择可以在空间域进行，也可以在变换域进行空间域：常用特征如边缘、端点、交叉点等，典型算法有基于模型的匹配；变换域：图像被分解为一组系数再匹配，不依赖于像素，更适合自动配准。7.3图像匹配特征匹配：匹配图像的相似性度量即确定待匹配特征之间的相似性，通常定义为某种代价函数或距离函数的形式。经典的相似性度量包括相关函数和Minkowski距离，近年来还有Hausdorff距离、互信息作为匹配度量。Hausdorff距离对噪声非常敏感，分数Hausdorff距离能处理当目标存在遮挡的情况，但计算费时；互信息方法对照明的改变不敏感，在医学等图像的匹配中得到了广泛应用，但计算量大，且要求图像之间有较大的重叠区域。7.3图像匹配变换模型估计： 包括变换模型的选择与参数确定图像几何变换用来解决两幅图像之间的几何位置差别，包括刚体变换、仿射变换、投影变换、多项式变换等；变换参数的搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计，使得图像之间经过变换后的相似性最大。搜索策略有：盲目搜索、分层搜索、模拟退火算法、动态规划法、遗传算法和神经网络等；7.3图像匹配几何变换种类:•

刚体变换•

仿射变换•

投影变换•

弯曲变换7.3图像匹配图像的重采样与变换得到变换模型及其参数后，需要对输入图像做相应几何变换转换到同一坐标系。由于变换结果不一定对准整数坐标，因此需要重采样与插值；插值方法影响匹配结果。7.3图像匹配进一步研究的几个问题

(1)复合匹配算法：上面的四类匹配方法都有各自的优缺点，如果能综合利用它们的优点将会取得更好的匹配结果

(2)目前大多数算法是利用图像的全局特征，基于图像之间存在刚性变换的前提下提出的，但是物体的全局特征一般不容易获取，而且当物体之间存在遮挡时提取的全局特征是不可靠的，局部特征能较好地解决这一问题，因此很有必要研究基于图像的局部特征以及图像之间存在非线性变换时的匹配算法。7.3图像匹配 (3)彩色图像匹配算法 灰度图像的匹配算法已经进行了比较广泛和深入的研究，对彩色图像相对较少。 图像匹配在图像检索、三维重建、目标识别和跟踪以及人脸识别等领域都有非常广泛的应用，当前对于彩色图像的匹配研究最多的是基于颜色特征的图像检索，而对其在其它应用中的研究较少。7.3图像匹配 (4)在计算机视觉领域中，传统的边缘检测和图像匹配算法都采用自底向上的过程，不依赖于高层知识，所以低层误差将传播到高层而没有修正的机会；另外，在很多基于特征的图像匹配中都假设图像分割问题已经解决，但这些假设是不合理的。 基于模型的方法为边缘检测、图像分割以及图像匹配等问题的研究提供一个新的思路，但研究还不够深入，比如变形模型对于噪声比较敏感，初始轮廓及模板的选取困难，最优化过程易陷入局部最小以及计算量大等。7.4图像融合算法简单的图像融合方法基于PCA的图像融合基于HIS变换的图像融合金字塔图像融合算法基于小波变换的图像融合7.4图像融合算法(1)简单的图像融合方法简单的图像融合方法不对参加融合的源图像进行任何变换和分解，而直接对源图像的各对应像素分别进行选择、平均或加权平均、多元回归或其它数学运算等处理后，最终合成一幅融合图像。逻辑滤波方法 将2个像素数据合成为1个像素的直观方法就是对它们进行逻辑运算，例如：当2个像素的值都大于某一阈值时，“与”滤波器输出为“1”(为“真”)．图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。7.4图像融合算法加权平均法加权平均法是最简单的多幅图像融合方法，就是对多幅原图像的对应像素点进行加权处理。设A(i，j)为图像A中的一个像素点，B(i，j)为图像B中与之对应的像素点，则融合图像中的像素点可通过下式得到：C(i，j)=wA(i，j)A(i，j)+wB(i，j)B(i，j)wA(i，j)+wB(i，j)=1

7.4图像融合算法权值如何选择是加权平均法中的关键问题。基于局部区域对比度的权值选择法利用人眼对对比度非常敏感这一事实，从两幅原图像中选择对比度最大的像素点作为合成图像的像素点，对比度大的像素点权值为1，否则为0。加权平均法的优点是简单直观，适合实时处理。但简单的叠加会使合成图像的信噪比降低；当融合图像的灰度差异很大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。7.4图像融合算法(2)基于PCA的图像融合又称K-L变换法，几何意义是把原始特征空间的特征轴旋转得到新的特征轴，实际操作是将原来的各个因素指标重新组合，组合后的新指标是互不相关的。在由这些新指标组成的新特征轴中，只用前几个分量图像就能完全表征原始图像的有效信息。图像中彼此相关的数据被压缩，而特征得到了突出。7.4图像融合算法基于PCA的图像融合方法是相对较传统的方法，但是通过与其他方法，例如小波变换结合，有时也会得到满意的结果。7.4图像融合算法(3)基于HIS变换的图像融合：RGB颜色空间是一个对物体颜色属性描述系统，HIS色度空间则是提取出物体的亮度I、色度H、饱和度S，分别对应每个波段的平均辐射强度、数据向量和的方向及其等量数据的大小。RGB颜色空间和HIS色度空间有精确的转换关系。一般的HIS图像融合方法是，先将被融合图像作RGB-HIS变换，然后用一个较高空间分辨的灰度图像的强度成分替换低分辨强度成分，然后再进行HIS-RGB变换，得到融合图像，计算效率低。7.4图像融合算法(4)金字塔图像融合算法：用金字塔在空间上表示图像是一种简单方便的方法。金字塔图像融合法就是将参加融合的每幅源图像作金字塔表示，将所有图像的金字塔表示在各相应层上以一定的融合规则融合，可得到合成的金字塔。将合成的金字塔，用金字塔生成的逆过程重构图像，则可得到融合图像。金字塔可分为：Gauss金字塔、Laplace金字塔、梯度金字塔…7.4图像融合算法金字塔图像融合法：7.4图像融合算法一幅图像和Gauss核函数卷积后，再进行下采样，就得到图像在较粗分辨率上的逼近，这时图像的分辨率只有原图的一半。对原图像反复执行这个操作，就得到Gauss金字塔。在高斯金字塔中，求两层图像之间的差异可得到带通滤波图像，这就是Laplace金字塔。Laplace金字塔实质上是基于局部亮度差异的分解结构。图像的这种多分辨塔式表征将图像分解到一系列的频率通道中，减少了融合图像时的拼接痕迹。7.4图像融合算法7.4图像融合算法(5)基于小波变换的图像融合：小波分析取代传统的Gauss-Laplace金字塔方法成为主流技术，基于小波分解的图像融合步骤如下：对每一源图像分别进行小波分解，建立图像的小波金字塔分解：对各分解层分别进行融合处理，各分解层的不同频率分量采用不同的融合算子进行融合处理，最终得到融合后的小波金字塔；对融合后小波金字塔进行小波逆变换，得到重构图像。7.4图像融合算法目前采用的多分辨技术基本沿用的是Mallat方法。7.4图像融合算法可见光/红外图像融合实例:(a)可见光源图像；(b)红外源图像；(c)-(e)分别为图像(a)离散小波框架第一层分解得到的水平、垂直、对角三个方向的细节子带；(f)图像(a)离散小波框架分解第三层的近似子带；(g)-(i)分别为图像(b)离散小波框架第一层分解得到的水平、垂直、对角三个方向的细节子带；7.4图像融合算法(j)图像(b)离散小波框架分解第三层的近似子带；(k)-(m)分别为融合后的第一层水平、垂直、对角三个方向的细节子带；(n)融合后的近似子带；(o)融合图像。7.4图像融合算法(6)图像融合技术评价方法 评价图像融合算法的性能是一个非常复杂的问题，衡量融合图像的效果时，应遵循以下原则：合成图像应包含各原图像中所有的有用信息；合成图像中不应引入人为的虚假信息，否则会妨碍人眼识别或后续的目标识别过程；在时空校准等前期处理效果不理想时，算法还应保持其可靠性和稳定性。可靠和稳定还包含：无论在什么气候条件下算法的性能都不会有太大的变化；算法应将原始图像中的噪声降到最低程度；在某些应用场合中应考虑到算法的实时性，可进行在线处理。7.4图像融合算法(7)图像融合方法选择图像融合在军用方面主要是军事目标的定位、识别、跟踪、侦察，隐蔽武器的探测，战场监控，夜间飞行指导等。所使用的图像类型主要有各种卫星图像如SPOT图像、TM图像、雷达图像、热红外图像、航片等。使用图像融合技术进行目标检测十分普遍。由于军事目标往往具有隐蔽性，变化也较快，因此使用的图像应该能很好地显示出这些特征。进行目标检测经常采用的图像包括：可以在恶劣天气状况下成象的雷达图像、具有反伪装能力的红外图像和可见光图像等。7.4图像融合算法恶劣天气下的目标检测SAR图像：具有全天候、穿透性强，适用于恶劣天气下的目标检测，但目标的微波反射特性受频率、反射角和极化方式的影响，导致相同物体可能出现不同的表现形式。可见光图像：以光谱信息为主，具有明暗变化，检测识别相对简单直接，但光学传感器大气衰减大且受天气和观测时刻的影响较大。如SAR图像的轮廓信息和光学图像