图像融合技术概述.ppt

图像融合技术和方法,西安交通大学自动控制研究所,2004年9月,目录,定义应用分类像素级融合方法融合评价方法信息融合图像识别方法研究方法研究展望,定义,图像融合是一门新兴的学术研究方向，作为信息融合的一个重要分支，是多传感器信息融合中可视信息部分的融合，它将多元信道所采集的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特征以供观察或进一步处理。它是一门综合传感器、图像处理、信号处理、计算机视觉和人工智能等技术的现代高新技术。,应用,医疗应用,军事应用,海湾战争中发挥很好作战性能的“LANTIRN”吊舱就是一种图像融合系统。是一种用于飞行战斗机的低空红外夜视目标侦测系统。,远程遥感,美国陆地资源卫星LANDSAT是最早投入实际使用的图像融合系统。广泛采集地球远程遥感图像。1972年Landsat11999年Landsat7已采集百万张图像，广泛用于农业，地理学，森林学，教育，地图绘制和全球变革研究。,LANDSAT项目工作组,LANDSAT采集的图像,LANDSAT发射火箭,分类,预处理,特征提取,图像分类,应用,图像,像素级图像融合,特征级图像融合,决策级图像融合,图像融合的三个层次,像素级融合是在严格配准的条件下，直接利用来自各个传感器的信息进行像素与像素关联的融合方法，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。其主要优点是能保持尽可能多的现场数据，提供其他融合层次所不能提供的细微信息。由于该方法的融合基础是严格的像素对准，所以对不同传感器采集视场的配准要求很高。,特征级融合是在像素级融合的基础上，使用参数模板、统计分析、模式相关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假特征，以利于系统判决。特征级融合可从两方面进行研究，目标状态数据融合和目标特性融合。该层融合的优点在于实现了可观的信息压缩，便于实时处理，其融合结果能够最大限度地给出决策分析所需要的特征信息。研究方法主要从聚类分析法、Dempster-Shafer推理法、贝叶斯估计法、神经网络法等展开。,决策级融合关联各传感器提供的判决，以增加识别的置信度。决策级融合方法主要是基于认知模型的方法，需要采用大型数据库和专家判决系统来模拟人的分析、推理、识别、判决过程，以增加决策的智能化和可靠性。决策级融合的主要优点在于：通信及传输要求低，容错性高，数据要求低，分析能力强。研究方法主要集中于贝叶斯估计法、神经网络法、模糊聚类法及专家系统等。,1.1高斯窗口函数,多分辨融合,1金字塔技术,可分离性、归一化、对称性、奇偶项等贡献性,1.2高斯金字塔,1.2各种金字塔技术,1.2.1Laplacian金字塔技术,1.2.2对比度金字塔技术,1.3金字塔融合算法,1.3.1获取每一路图像的Gaussian金字塔序列,1.3.2获取每一路图像的Laplacian或对比度金字塔等序列,1.3.3该塔序列对应级融合，融合算子很多，最常见的取“与”或“或”。,1.3.4融合塔序列逆构最底层图像（以对比度塔为例）,2小波变换,小波变换（WaveletTransform）是一种新型的工程数学工具，由于其具备的独特数学性质与视觉模型相近，因此，小波变换在图像处理领域也得到了广泛的运用。用在图像融合领域的小波变换，可以说是金字塔方法的直接拓展。,Mallat经典算法,设输入图像为,令,Mallat图像分解算法如下,式中，Z为整数级，h，g为选定的滤波器组，1=j=N,N为离散小波变换分解层数。,重构算法为,对任意,上的二维矩阵,满足：,定义如下算子为,其简洁形式为,低频分量,图像的水平边缘,图像的竖直边缘,角点和45方向边缘,如果将图像的离散小波变换与图像的Gaussian金字塔分解进行简单对比，可以认为离散小波变换在提取图像低频部分的同时，较Gaussian金字塔分解多出两个方向的分解处理。图像融合在这些特征域内进行，理论上较Gaussian金字塔融合具有更好的效果。,基于小波变换的融合算法,1获取每一路图像的小波金字塔序列：对两幅图像分别作多尺度小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、垂直方向、45角方向的高频信息图序列。,2小波多分辨融合：对两幅图像的不同层次、不同特征层的信息图分别附加一定的权重进行融合，从而得到融合图像的小波多分辨结构。,3重构图像：根据融合图像小波序列，进行小波逆变换，得到最后的融合图像。,图像融合评价方法,首先要关注的是图像融合性能的客观评价。定量地评价图像融合性能是一项重要而复杂的工作。建立了多种评价方法和准则，利用这些评价准则，主要对多种图像融合方法的性能进行了比较研究。其次研究了分解层数、不同融合规则以及子块区域大小对融合性能的影响。其中无参考源图像多聚焦图像融合性能评价方法为主要创新点之一。,1熵：熵值的大小表示图像所包含的平均信息量的多少，反映了图像中具有不同灰度值像素的概率分布。,2交叉熵：可用来度量两幅图像间的差异，交叉熵越小，就表示图像间的差异越小。若标准参考图像为R，融合后图像为F，则参考图像与融合图像的交叉熵为：,3互信息：两幅图像A和B的互信息定义如下，其中的概率p为图像间的归一化联合灰度直方图。,3相关系数：衡量融合图像和理想图像的相似性,4标准色差：判断融合图像与原始图像的彩色失真度,米制明度米制色品,5均方根误差：融合图像F和标准参考图像R间的均方根误差,6空间频率：判别融合图像F的清晰度，空间频率反映了一幅图像空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，空间频率越大图像越活跃、越清晰。,行频