数字图像处理技术及实践（基于MWORKS） 课件 第九章图像融合

第9章图像融合9.1概述

数字图像处理与众多学科紧密相关，近年来随着对图像处理要求的不断提高，图像处理涉及的知识面以及领域越来越广泛，已经从可见光谱扩展到红外、紫外等非可见光谱，从静止图像发展到视频图像，从物体的外部延伸到物体的内部，以及人工智能图像处理方法等，未来与数字图像处理相关的理论和算法还会随着技术的进步得到不断地发展。图像融合是信息融合的分支，通过组合不同源的图像数据，提高信息密度和处理效果，广泛应用于各领域，旨在增强图像质量和可解释性。图像融合在遥感观测、智能控制、无损检测、医学成像、安全监控、军事侦察、计算机视觉等领域具有广泛的应用，是热门的信息处理技术。图像融合的优点主要有改善图像质量、提高几何配准精度或信噪比、生成三维立体效果、实现实时或准实时动态观测、克服目标提取与识别中图像数据的不完整性、扩大探测的时空范围等。9.1.1图像融合的概念图像融合是信息融合的分支，通过组合不同源的图像数据，提高信息密度和处理效果，广泛应用于各领域，旨在增强图像质量和可解释性。图像融合分为像素级、特征级和决策级融合，分别在不同层次处理和融合图像信息，层次越高，抽象度越高，容错性越强。9.1.1图像融合的概念图像融合的层级9.1.2Julia语言的特点像素级融合又称为数据级融合，是直接在采集到的原始数据层上进行的融合，是最低层次的融合，其直接将原始数据或经过必要预处理的数据进行融合处理。像素级融合决策级融合是对来自多幅源图像的信息进行逻辑推理或统计推理的过程，是一种高层次的信息融合。决策级融合特征级融合属于中间层次的融合，先对来自传感器的原始信息进行特征提取，然后对特征信息进行综合分析和处理。特征级融合图像间的差异特征是其图像间互补信息的具体体现，因此，差异特征驱动融合的目的就是以融合图像间具有差异的特征，使融合后的图像信息更丰富全面。差异特征驱动融合01目标处理驱动融合02场景理解驱动融合是一种基于特定场景需求和理解来推动数据、信息或技术融合的策略。03场景理解驱动融合根据图像目标处理的任务不同选择图像融合的方法，我们称之为目标处理驱动融合。9.1.3图像融合的驱动方式9.1.4图像融合效果的评价主观评价受不同的观察者、图像的类型、应用场合和环境条件的影响较大。主观评价的尺度往往根据应用场合等因素来选择制定，国际上规定了5级质量尺度和妨碍尺度。1主观评价（1）基于信息量的评价①

熵。图像的熵是衡量图像信息丰富程度的一个重要指标。②

交叉熵。交叉熵直接反映了两幅图像对应像素的差异，是对两幅图像所含信息的相对衡量。③

相关熵。相关熵（互信息）是信息论中的一个重要的概念，它可作为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的量度。（2）基于统计特性的评价①

均值。均值为像素的灰度平均值，对人而言反映为人眼的平均亮度。②

标准偏差。标准偏差反映了灰度相对于灰度均值的离散情况。2客观评价9.2图像空间域融合9.2.1基于像素的方法空间域融合一般是利用源图像的局部空间特征，如梯度、空间频率和局部标准差等进行融合；近年来，研究人员提出了不同的空间域方法，包括基于像素的方法和基于区域的方法。研究发现这些方法易于实现，并且计算效率高。

9.2图像空间域融合9.2.1基于像素的方法

9.2.1基于像素的方法

9.2.1基于像素的方法5．HIS变换HIS变换的实质是：用另一影像替代HIS三个分量中的某一分量，其中强度分量被替代最为常见。即，当高分辨率全色影像与多光谱影像融合时，首先将多光谱影像根据输入图像的RGB值利用正变换式从RGB系统变换至HIS彩色空间，得到强度I、色度H及饱和度S的三个分量。然后，将高分辨率全色影像与强度分量进行直方图匹配，并用预处理准备好的高分辨率全色影像代替强度分量I，与H、S分量一起利用相应的逆变换式变换至RGB系统，得到融合后的影像。HIS变换的优点：运算简单、实现容易，较好地保留了高分辨率影像的纹理细节和多光谱影像的彩色关系。HIS变换的缺点：限于三个波段参加，融合后同色系层次较少，影响地物类型的判读。9.2.2基于区域的方法考虑到局部区域内像素的相关性，基于区域分割的图像融合也应运而生，使得细节信息的提取效果有了很大的提高，即将图像分割结果按一定的规则表示为目标区域和背景区域两类，分别采取相应的融合规则，实现图像的融合。9.3图像变换域融合9.3.1变换域融合的基本过程变换域融合是将源图像投影到用以表征图像清晰度或边缘信息的局部基上，因此变换系数（对应于变换基）在表征显著特征方面有着巨大的优势。目前基于变换域的图像融合，随着变换基的不断发展，大多数是基于多尺度分解的融合算法。图9.3.1

基于变换域的图像融合流程图9.3.2双色中波红外图像的小波包变换融合1．图像的二维小波包分解与重构小波包变换是一种强大的信号和图像处理工具，通过多分辨分析将Hilbert空间L2(R)按不同尺度因子分解为正交子空间，并进一步对这些子空间进行二进制频率细分，以提高分辨率。定义的双尺度方程和闭包函数生成的小波包序列，由基函数和低通滤波器确定，实现了灵活的空间分解。2．基于二维小波包变换的融合算法在二维应用中，通过四个卷积算子及其共轭算子完成图像的分解与重构；融合时选择最佳小波包基并控制分解层数以平衡细节保留和计算复杂度，采用平均值融合低频分量，基于局部能量特征选择高频系数，并进行一致性检测确保融合后的高频细节一致。小波包变换因此提供了一种高效手段，在多分辨分析、特征提取及图像融合方面具有显著优势。

中波细分波段图像小波包变换进行融合的示意图9.4红外与可见光图像的融合由于可见光图像和红外图像具有互补性，二者的融合成为图像融合领域的重要研究内容。可见光传感器对场景亮度敏感，但受气候条件和夜间成像限制较大；而红外传感器则对红外辐射敏感，在云雾和夜间条件下表现优异，能显示温度差异，但景物边缘模糊、细节不清。因此，通过融合这两种图像，可以结合可见光图像的高细节和颜色特征与红外图像的强穿透能力和高温目标显示优势，提供更全面、清晰的场景描述。图9.4.1可见光图像与红外车辆图像的融合结果9.5红外偏振与光强图像的拟态融合9.5.1拟态融合的概念与特性1．拟态融合的概念拟态融合是指建立具有多类图像融合算法的变结构模型的一种仿生融合方法，以解决固定融合模型在动态场景、序列图像融合适应性过低的问题。2．拟态融合的特性拟态融合应具备以下四种特性：（1）拟态多样性；（2）主动感知性；（3）结构重构性；（4）动态优化性。图9.5.1拟态章鱼的多拟态过程9.5红外偏振与光强图像的拟态融合9.5.2图像拟态融合的原理拟态融合作为一种新型智能仿生融合技术，将拟态章鱼的多拟态特性引入到图像融合中，使融合模型的参数、规则、算法以及结构根据图像间差异的变化而动态变化。拟态融合一方面能够主动感知图像/视频间的差异特征及其变化，从而快速确定图像或区域中主要差异特征的类型，并能对主要差异特征的幅值、频次、时相和空间分布属性进行判断，形成对融合的有效驱动需求。另一方面也能够根据被拟态对象的特点将可逆变元进行结构重构。根据拟态变换的基本过程及其类型，形成满足相应驱动需求的拟态体，有效提升不同模式图像融合的自适应性，从而充分发挥智能协同探测系统中各模式的互补优势。表9-5-1

图像拟态融合的功能9.5.3红外偏振与光强图像的比较红外光强图像主要由物体的红外辐射强度形成，其主要与物体的温度、辐射率等有关；红外偏振图像主要通过获得物体多个不同方向的偏振量得到。光强与偏振图像的影响因素不同红外图像不能区分目标，使得红外偏振图像够有效探测到目标，而不受环境条件的干扰。对目标的探测效果不同受大气衰减和复杂环境的影响，红外图像视觉效果较差；而红外偏振成像有更多的信息和较好的视觉效果。物体辐射特性