图像融合技术概述

1、图像融合技术和方法,西安交通大学自动控制研究所,2004年9月,目录,定义 应用 分类 像素级融合方法 融合评价方法 信息融合图像识别方法 研究方法 研究展望,定义,图像融合是一门新兴的学术研究方向，作为信息融合的一个重要分支，是多传感器信息融合中可视信息部分的融合，它将多元信道所采集的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特征以供观察或进一步处理。它是一门综合传感器、图像处理、信号处理、计算机视觉和人工智能等技术的现代高新技术。,应用,医疗应用,军事应用,海湾战争中发挥很好作战性能的“LANTIRN”吊舱就是一种图像融合系统。是一种用于飞行战斗

2、机的低空红外夜视目标侦测系统。,远程遥感,美国陆地资源卫星LANDSAT是最早投入实际使用的图像融合系统。 广泛采集地球远程遥感图像。1972年 Landsat1 1999年 Landsat7 已采集百万张图像，广泛用于农业，地理学，森林学，教育，地图绘制和全球变革研究。,LANDSAT项目工作组,LANDSAT采集的图像,LANDSAT发射火箭,分类,预处理,特征提取,图像分类,应用,图像,像素级图 像融 合,特征级图 像融 合,决策级图 像融 合,图像融合的三个层次,像素级融合是在严格配准的条件下，直接利用来自各个传感器的信息进行像素与像素关联的融合方法，可用来提高信号的灵敏度与信噪比，以

3、利于目视观测与特征提取。其主要优点是能保持尽可能多的现场数据，提供其他融合层次所不能提供的细微信息。由于该方法的融合基础是严格的像素对准，所以对不同传感器采集视场的配准要求很高。,特征级融合是在像素级融合的基础上，使用参数模板、统计分析、模式相关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假特征，以利于系统判决。特征级融合可从两方面进行研究，目标状态数据融合和目标特性融合。该层融合的优点在于实现了可观的信息压缩，便于实时处理，其融合结果能够最大限度地给出决策分析所需要的特征信息。研究方法主要从聚类分析法、Dempster-Shafer推理法、贝叶斯估计法、神经网络法等展开。,决

4、策级融合关联各传感器提供的判决，以增加识别的置信度。决策级融合方法主要是基于认知模型的方法，需要采用大型数据库和专家判决系统来模拟人的分析、推理、识别、判决过程，以增加决策的智能化和可靠性。决策级融合的主要优点在于：通信及传输要求低，容错性高，数据要求低，分析能力强。研究方法主要集中于贝叶斯估计法、神经网络法、模糊聚类法及专家系统等。,1.1高斯窗口函数,多分辨融合,1 金字塔技术,可分离性 、归一化 、对称性 、奇偶项等贡献性,1.2高斯金字塔,1.2各种金字塔技术,1.2.1 Laplacian金字塔技术,1.2.2 对比度金字塔技术,1.3金字塔融合算法,1.3.1 获取每一路图像的Ga

5、ussian金字塔序列,1.3.2 获取每一路图像的Laplacian或对比度金字塔等序列,1.3.3 该塔序列对应级融合，融合算子很多，最常见的取“与”或“或”。,1.3.4 融合塔序列逆构最底层图像（以对比度塔为例）,2 小波变换,小波变换（Wavelet Transform）是一种新型的工程数学工具，由于其具备的独特数学性质与视觉模型相近，因此，小波变换在图像处理领域也得到了广泛的运用。用在图像融合领域的小波变换，可以说是金字塔方法的直接拓展。,Mallat经典算法,设输入图像为,令,Mallat图像分解算法如下,式中，Z为整数级，h，g为选定的滤波器组，1=j=N,N为离散小波变换分解

6、层数。,重构算法为,对任意,上的二维矩阵,满足：,定义如下算子为,其简洁形式为,低频分量,图像的水平边缘,图像的竖直边缘,角点和45方向边缘,如果将图像的离散小波变换与图像的Gaussian金字塔分解进行简单对比，可以认为离散小波变换在提取图像低频部分的同时，较Gaussian金字塔分解多出两个方向的分解处理。图像融合在这些特征域内进行，理论上较Gaussian金字塔融合具有更好的效果。,基于小波变换的融合算法,1 获取每一路图像的小波金字塔序列：对两幅图像分别作多尺度小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、垂直方向、 45角方向的高频信息图序列。,2 小波多分辨融合：对两幅图

7、像的不同层次、不同特征层的信息图分别附加一定的权重进行融合，从而得到融合图像的小波多分辨结构。,3 重构图像：根据融合图像小波序列，进行小波逆变换，得到最后的融合图像。,图像融合评价方法,首先要关注的是图像融合性能的客观评价。定量地评价图像融合性能是一项重要而复杂的工作。建立了多种评价方法和准则，利用这些评价准则，主要对多种图像融合方法的性能进行了比较研究。其次研究了分解层数、不同融合规则以及子块区域大小对融合性能的影响。其中无参考源图像多聚焦图像融合性能评价方法为主要创新点之一。,1 熵：熵值的大小表示图像所包含的平均信息量的多少， 反映了图像中具有不同灰度值像素的概率分布。,2 交叉熵：可用来度量两幅图像间的差异，交叉熵越小，就表示图像间的差异越小。若标准参考图像为R，融合后图像为F，则参考图像与融合图像的交叉熵为：,3 互信息：两幅图像A和B的互信息定义如下，其中的概率p为图像间的归一化联合灰度直方图。,3 相关系数：衡量融合图像和理想图像的相似性,4 标准色差：判断融合图像与原始图像的彩色失真度,米制明度 米制色品,5 均方根误差：融合图像F和标准参考图像R间的均方根误差,6 空间频率：判别融合图像F的清晰度，空间频率反映了一幅图像空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，空间频率越大图像越活跃、越清晰。,行频,列频,