基于滚动引导剪切波变换的红外与可见光图像融合：方法、应用与性能优化

基于滚动引导剪切波变换的红外与可见光图像融合：方法、应用与性能优化一、引言1.1研究背景与意义1.1.1红外与可见光图像特性及互补性在当今数字化时代，图像作为信息的重要载体，在各个领域发挥着关键作用。不同类型的图像，如红外图像和可见光图像，因其独特的成像原理而具有各自鲜明的特性。可见光图像是基于物体对可见光的反射成像，在良好光照条件下，这类图像能清晰呈现物体的纹理、形状和颜色等丰富细节，具有较高的空间分辨率，非常符合人类视觉系统对世界的认知习惯，能够为我们提供直观的视觉感受。然而，可见光图像的成像质量极大地依赖于光照条件，在夜晚、浓雾、暴雨等恶劣环境下，其成像效果会严重下降，甚至无法获取有效信息。红外图像则是通过感知物体自身发出的热辐射来成像，物体的温度差异决定了红外图像的灰度分布。这使得红外图像不受光照条件的限制，无论是在漆黑的夜晚还是恶劣的天气环境中，都能够稳定地检测到目标物体的存在。并且，红外图像能够突出显示目标物体与背景之间的热差异，对于识别隐藏在背景中的目标具有独特优势。不过，红外图像的空间分辨率相对较低，图像中的纹理和细节信息不够丰富，难以满足对目标物体精细观察和分析的需求。正是由于红外图像和可见光图像具有如此显著的互补特性，将二者融合就成为了获取更全面、更准确图像信息的有效途径。通过融合，可以使红外图像中的目标信息与可见光图像中的丰富细节相互补充，从而生成一幅既包含目标物体的热特征，又具备清晰纹理和细节的融合图像。这样的融合图像能够为后续的分析和处理提供更丰富、更可靠的信息基础，具有重要的研究价值和应用意义。1.1.2图像融合在多领域的重要应用图像融合技术作为图像处理领域的关键技术之一，在众多领域都展现出了不可或缺的重要作用。在军事领域，战场环境复杂多变，作战人员需要全面、准确地掌握战场态势信息。红外与可见光图像融合技术为军事侦察、目标识别和跟踪等任务提供了强大支持。利用该技术，侦察设备可以在昼夜及各种恶劣天气条件下获取目标的清晰图像，既能通过红外图像发现隐藏的目标和热源，又能借助可见光图像识别目标的具体形状和特征，从而大大提高了目标识别的准确性和可靠性，为作战决策提供有力依据。例如，在夜间或低能见度条件下，融合图像可以帮助士兵快速发现敌人的位置和行动轨迹，提前做好应对准备；在导弹制导系统中，融合图像能够更精确地锁定目标，提高导弹的命中率。安防监控领域同样高度依赖图像融合技术。随着社会安全需求的不断提升，安防监控系统需要在各种复杂环境下持续稳定地工作。红外与可见光图像融合技术使得监控摄像头能够在白天和黑夜都能清晰地捕捉到监控区域内的异常情况。在夜间，红外图像可以检测到人体发出的热信号，即使在黑暗中也能发现可疑人员的活动；而在白天，可见光图像则能提供更详细的人物外貌和场景信息。将两者融合后，安防人员可以更全面地了解监控画面中的情况，及时发现并处理安全隐患。例如，在智能安防系统中，融合图像可以通过人脸识别技术准确识别人员身份，同时利用红外图像检测人员的行为是否异常，实现对安防事件的智能预警和快速响应。在医学领域，图像融合技术为疾病诊断和治疗提供了新的手段。不同模态的医学图像，如X光、CT、MRI和红外图像等，从不同角度反映了人体内部的生理结构和病理信息。将红外与可见光图像融合，可以帮助医生更全面地了解患者的病情。例如，在乳腺癌检测中，红外图像可以检测到肿瘤组织与正常组织之间的温度差异，而可见光图像则能提供乳房的外观和结构信息。融合后的图像可以为医生提供更准确的诊断依据，有助于早期发现和治疗疾病。此外，在手术导航中，图像融合技术可以将患者的术前医学图像与术中实时图像进行融合，帮助医生更精确地定位手术部位，提高手术的成功率。工业检测领域也广泛应用了图像融合技术。在工业生产过程中，需要对各种设备和产品进行质量检测和故障诊断。红外图像可以检测到设备表面的温度分布，发现潜在的热故障；可见光图像则能显示设备的外观和结构细节。通过将两者融合，检测人员可以更全面地了解设备的运行状态，及时发现并解决问题。例如，在电力设备检测中，融合图像可以帮助检测人员发现设备的过热部位和表面缺陷，提前进行维护，避免设备故障引发的生产事故。在电子产品制造中，图像融合技术可以用于检测产品的焊接质量和表面缺陷，提高产品的质量和可靠性。红外与可见光图像融合技术在军事、安防、医学、工业检测等多个领域都具有重要的应用价值，能够有效提升各领域的任务执行效果和工作效率，对推动社会发展和保障人民安全具有重要意义。1.2滚动引导剪切波变换简介滚动引导剪切波变换（RollingGuidanceShearletTransform）是一种新兴的多尺度几何分析工具，在图像处理领域展现出独特的优势和潜力，尤其是在红外与可见光图像融合研究中发挥着关键作用。它通过对基本函数进行缩放、剪切和平移等仿射变换来构造一系列具有不同几何特征的剪切波函数。这种构造方式使得滚动引导剪切波变换能够充分体现函数的几何和数学特性，包括方向性、尺度和振荡等，为图像的多尺度、多方向分析提供了有力支持。与传统的小波变换相比，滚动引导剪切波变换具有更强的方向选择性。在二维图像中，小波变换的基函数通常被限制在正方形区域内，对图像边缘的捕捉和还原能力相对有限。而滚动引导剪切波变换的基函数能够通过剪切矩阵灵活地映射到不同方向，能够更好地适应图像中各种复杂的几何结构，如直线、曲线和边缘等。例如，在处理包含建筑物轮廓、道路边界等具有明显几何特征的图像时，滚动引导剪切波变换可以更精确地捕捉到这些边缘信息，使得图像的细节得到更清晰的展现。滚动引导剪切波变换还具有良好的能量聚集性。在对图像进行变换时，它能够将图像的能量集中在少量的几个系数中，这一特性使得图像在压缩和特征提取方面具有显著优势。在图像压缩中，通过保留这些能量集中的系数，可以在大幅降低数据量的同时，最大程度地保留图像的关键信息，从而实现高效的图像压缩。在特征提取方面，这些能量集中的系数能够有效地代表图像的重要特征，为后续的图像识别、分类等任务提供了可靠的特征基础。在图像分解方面，滚动引导剪切波变换可以将图像分解为不同方向和尺度的成分。通过这种分解，图像可以被表示为近似层分量和多方向细节层分量。近似层分量主要表现了图像的主体与能量特征，它包含了图像的低频信息，反映了图像的大致轮廓和主要结构。而多方向细节层分量则凸显了图像的边缘细节与梯度特征，它包含了图像的高频信息，能够捕捉到图像中细微的变化和纹理信息。例如，在处理一幅自然风景图像时，近似层分量可以呈现出山脉、河流等大致的地形轮廓，而多方向细节层分量则可以捕捉到树木的纹理、岩石的表面细节等信息。这种图像分解方式有助于更深入地分析图像的特征，为图像融合等后续处理提供了丰富的信息。在红外与可见光图像融合中，滚动引导剪切波变换的多分辨率特性使得它能够对不同分辨率的图像进行有效的分析和处理。对于红外图像和可见光图像，它可以分别将其分解为不同尺度的子带分量，然后根据融合规则对这些子带分量进行融合。通过合理选择融合规则，可以将红外图像中的目标热信息与可见光图像中的丰富纹理细节信息有机地结合起来，从而生成高质量的融合图像。滚动引导剪切波变换的强方向选择性能够更好地保留图像中目标物体的边缘和轮廓信息，使得融合图像在视觉效果上更加清晰、自然，有利于后续的目标识别和分析。1.3国内外研究现状红外与可见光图像融合技术一直是图像处理领域的研究热点，国内外众多学者围绕这一课题展开了深入研究，取得了一系列具有重要价值的成果。在早期的研究中，多尺度变换方法被广泛应用于红外与可见光图像融合。这类方法将源图像分解为多个尺度的子带分量，然后依据特定规则对这些分量进行融合，最后通过逆变换重建融合图像。常见的多尺度变换工具包括离散小波变换（DWT）、曲波变换（CT）、非下采样轮廓波变换（NSCT）和非下采样剪切波变换（NSST）等。然而，这些传统方法在实际应用中逐渐暴露出一些问题，如DWT对图像边缘的捕捉能力较弱，融合后的图像容易出现块状效应；CT虽然在捕获图像边缘与直线奇异性方面比DWT更快，但无法消除伪吉布斯现象；NSCT和NSST虽在一定程度上解决了平移不变性和伪吉布斯现象，但NSST仍存在遗漏图像边缘细节信息的缺陷，主要是由于其采用的非下采样塔式滤波器对细节的捕捉能力较差，导致图像多尺度分解后高频分量丢失纹理梯度特征。随着研究的不断深入，为了克服传统方法的不足，滚动引导剪切波变换逐渐受到关注。在国内，有学者提出一种基于滚动引导剪切波变换的红外与可见光图像融合方法。该方法利用滚动引导剪切波变换作为多尺度分析工具，获取图像的近似层分量与多方向细节层分量。对于近似层分量，采用视觉显著性加权融合规则，通过显著性加权系数矩阵指导图像内的光谱显著性信息有效融合，显著提高了融合图像的视觉观察度。在细节层分量融合上，采用基于梯度奇异值最大原则，极大程度地将隐藏在两种源图像内的梯度特征还原到融合图像中，使融合图像具有更加清晰的边缘细节。实验结果表明，该算法融合图像的对比度更高，边缘细节更加丰富，相较于其它现有典型方法，在多个客观参数指标上有显著提升。还有学者针对红外与可见光图像在融合过程中目标物体的边缘模糊导致细节丢失的问题，提出一种基于滚动引导滤波器（RGF）和卷积稀疏表示（CSR）的红外与可见光图像融合方法。利用RGF和高斯滤波器对配准后的源图像进行多尺度分解，针对基础层，通过构建对比显著图和权重矩阵进行融合；针对细节层，利用交替方向乘子方法求解卷积稀疏系数，采用CSR融合规则完成特征响应系数融合，最后经过重构得到融合结果图。实验表明，该方法能够克服目标物体边缘模糊导致细节信息丢失的问题，较好地保留源图像的对比度和边缘纹理信息，同时提高了多个客观评价指标。在国外，相关研究也在积极开展。一些研究聚焦于改进滚动引导剪切波变换的算法细节，以提高其在图像融合中的性能。通过优化剪切波函数的构造和参数选择，使得变换能够更精确地捕捉图像的几何特征，进一步提升了融合图像的质量。还有研究将滚动引导剪切波变换与其他先进的图像处理技术相结合，探索新的融合策略。与深度学习中的注意力机制相结合，在融合过程中更加关注图像中的重要区域，从而生成更符合人类视觉感知的融合图像。尽管基于滚动引导剪切波变换的红外与可见光图像融合研究取得了一定进展，但仍存在一些不足之处。目前的融合规则大多是基于特定的图像特征或统计信息设计的，缺乏对图像内容的深入理解和自适应调整能力。在复杂场景下，不同类型的图像可能具有不同的特征分布和重要信息，现有的融合规则难以灵活地适应这些变化，导致融合效果不理想。滚动引导剪切波变换在处理高分辨率图像时，计算复杂度较高，需要消耗大量的计算资源和时间。这限制了其在一些对实时性要求较高的应用场景中的应用，如实时监控和快速目标检测等。如何在保证融合质量的前提下，降低计算复杂度，提高算法的运行效率，是亟待解决的问题。此外，对于融合图像的质量评价，目前还缺乏统一、全面且客观的评价标准。不同的评价指标往往从不同的角度衡量融合图像的质量，难以综合反映融合图像在各种应用场景下的性能表现。这使得在比较不同融合算法时，难以准确判断其优劣，也不利于算法的进一步改进和优化。综上所述，基于滚动引导剪切波变换的红外与可见光图像融合研究虽然取得了一定成果，但仍有许多问题需要深入研究和解决。未来的研究可以朝着设计更加智能、自适应的融合规则，降低算法的计算复杂度，以及建立更完善的融合图像质量评价体系等方向展开，以推动该领域的进一步发展。1.4研究目标与创新点1.4.1研究目标本研究旨在深入探究基于滚动引导剪切波变换的红外与可见光图像融合技术，以解决现有融合方法中存在的问题，提高融合图像的质量和性能，满足不同应用场景的需求。具体而言，首先要利用滚动引导剪切波变换对红外与可见光图像进行精确的多尺度分解，充分挖掘两种图像在不同尺度和方向上的特征信息。通过合理设计的融合规则，将红外图像中的目标热信息与可见光图像中的丰富纹理细节信息进行有机结合，实现信息的互补和增强。在融合过程中，要注重保留图像的边缘、轮廓等重要结构信息，减少融合过程中可能出现的信息丢失和失真，使融合图像具有更高的清晰度和视觉效果。其次，提出一种或多种创新的融合规则和算法，以适应不同类型的红外与可见光图像以及复杂多变的应用场景。这些融合规则和算法应能够根据图像的内容和特征进行自适应调整，充分考虑图像的局部和全局特性，提高融合的准确性和可靠性。例如，通过对图像的显著性分析、边缘检测和特征提取等操作，确定图像中不同区域的重要性，从而在融合时对不同区域采用不同的融合策略。再者，对提出的融合方法进行全面、系统的性能评估，包括主观视觉效果评价和客观指标分析。主观视觉效果评价通过人工观察和比较融合图像与源图像，直观地判断融合图像的质量和信息完整性。客观指标分析则采用多种常用的图像质量评价指标，如峰值信噪比（PSNR）、结构相似性指数（SSIM）、信息熵（Entropy）等，从不同角度对融合图像的质量进行量化评估。通过与其他现有典型融合方法进行对比实验，验证本研究提出方法的优势和可行性，为其实际应用提供有力的支持。本研究还期望将基于滚动引导剪切波变换的红外与可见光图像融合方法应用于实际场景中，如安防监控、军事侦察、工业检测等领域，验证其在实际应用中的有效性和实用性。通过实际应用反馈，进一步优化和改进融合方法，使其能够更好地满足实际需求，推动该技术的工程化和产业化发展。1.4.2创新点在融合方法方面，本研究创新性地提出了基于滚动引导剪切波变换的自适应融合规则。该规则不再依赖于传统的固定融合策略，而是通过对图像内容的实时分析，动态调整融合参数。利用深度学习中的注意力机制，对红外与可见光图像中的不同区域进行重要性评估。对于目标物体所在的区域，给予更高的权重，使其在融合过程中能够更好地保留目标的特征信息；对于背景区域，则根据其复杂程度和信息含量进行适当的融合处理。这样可以使融合图像在突出目标的同时，保持背景的完整性和清晰度，提高融合图像的整体质量。针对滚动引导剪切波变换计算复杂度较高的问题，本研究提出了一种改进的快速算法。通过优化变换过程中的计算步骤和数据结构，减少不必要的计算量。采用并行计算技术，将计算任务分配到多个处理器核心上同时进行，大大提高了算法的运行效率。在保证融合质量的前提下，使算法能够满足实时性要求较高的应用场景，如实时监控和快速目标检测等。本研究构建了一种综合的融合图像质量评价体系。该体系不仅考虑了传统的图像质量评价指标，还引入了基于人类视觉感知特性的评价指标。通过对人类视觉系统的研究，了解人眼对不同频率、对比度和颜色信息的敏感度，建立相应的评价模型。将这些模型与传统指标相结合，能够更全面、客观地评价融合图像的质量，为融合算法的改进和优化提供更准确的指导。二、相关理论基础2.1红外与可见光图像特性分析2.1.1红外图像的成像原理与特点红外图像的成像原理基于物体的热辐射特性。根据普朗克定律，任何温度高于绝对零度（-273.15℃）的物体都会向外辐射红外线，其辐射强度与物体的温度密切相关。红外成像设备通过探测物体发出的红外辐射，并将其转换为电信号或数字信号，最终生成红外图像。在红外图像中，物体的温度越高，其对应的像素灰度值就越大，表现为图像中的亮区域；反之，温度较低的物体则呈现为暗区域。这种成像原理赋予了红外图像许多独特的特点。红外图像具有很强的穿透能力，能够在恶劣的天气条件下，如浓雾、沙尘、雨雪等，有效地获取目标物体的信息。这是因为红外线的波长较长，相比可见光，受到大气中微粒的散射和吸收影响较小。在大雾天气中，可见光图像可能会因为雾气的阻挡而变得模糊不清，无法分辨目标物体，而红外图像则能够清晰地显示出物体的轮廓和位置。在夜间或低光照环境下，红外图像同样能够正常工作，不受光线条件的限制。由于物体的热辐射是持续存在的，无论白天还是黑夜，红外成像设备都能捕捉到物体的红外信号，从而生成图像。这使得红外图像在夜间监控、安防等领域具有重要的应用价值。红外图像能够突出显示目标物体与背景之间的热差异，对于检测和识别隐藏在背景中的目标具有独特优势。不同物体由于其材质、温度等因素的不同，会产生不同的热辐射，在红外图像中形成明显的对比度。在森林中，人体的温度与周围树木、植被的温度存在差异，红外图像可以清晰地显示出人体的位置，即使在茂密的植被遮挡下也能被检测到。这一特点使得红外图像在军事侦察、搜索救援等领域发挥着重要作用。红外图像也存在一些不足之处。其空间分辨率相对较低，图像中的纹理和细节信息不够丰富。这是由于红外成像设备的探测器像素尺寸较大，以及红外辐射的特性所导致的。相比可见光图像，红外图像在呈现物体的细微纹理和结构方面存在一定的局限性。在观察建筑物的细节时，可见光图像可以清晰地显示出窗户、墙壁的纹理等信息，而红外图像则可能只能呈现出建筑物的大致轮廓，难以分辨这些细节。2.1.2可见光图像的成像原理与特点可见光图像的成像原理是基于物体对可见光的反射。可见光的波长范围大致为380nm至780nm，人眼能够感知这一波段的光线，并将其转化为视觉信号。可见光成像设备，如相机、摄像机等，通过镜头收集物体反射的可见光，然后将其聚焦到图像传感器上。图像传感器中的光敏元件将光信号转换为电信号，经过模数转换和图像处理等过程，最终生成可见光图像。在可见光图像中，物体的颜色和亮度取决于其对不同波长可见光的反射率。例如，一个红色的物体在可见光图像中呈现为红色，是因为它主要反射红光，而吸收了其他波长的光。可见光图像具有丰富的色彩信息，能够真实地反映物体的颜色和外观特征。这使得可见光图像非常符合人类视觉系统对世界的认知习惯，我们可以通过颜色、形状、纹理等信息快速识别和理解图像中的物体。在一幅风景照片中，我们可以通过绿色的草地、蓝色的天空、彩色的花朵等颜色信息，直观地感受到大自然的美丽和丰富。可见光图像的空间分辨率通常较高，能够清晰地呈现物体的细节和纹理。这是因为可见光成像设备的镜头和图像传感器技术相对成熟，能够实现高精度的图像采集。在拍摄人物照片时，可见光图像可以清晰地显示出人物的面部表情、头发的细节等信息，为人物识别和分析提供了丰富的素材。可见光图像的成像质量极大地依赖于光照条件。在良好的光照条件下，可见光图像能够呈现出清晰、鲜艳的图像效果；然而，在夜晚、低光照环境或强光直射等情况下，可见光图像的质量会受到严重影响。在夜晚，由于光线不足，图像可能会变得昏暗、模糊，噪声增加，难以分辨物体的细节。在强光直射下，图像可能会出现过曝现象，导致部分区域的细节丢失。可见光图像对天气条件也较为敏感，在浓雾、暴雨、沙尘等恶劣天气下，光线会受到散射和吸收，使得图像的对比度降低，清晰度下降。2.1.3两者图像融合的必要性与挑战红外图像和可见光图像具有显著的互补特性，将两者融合具有重要的必要性。通过融合，可以综合利用红外图像的热信息和可见光图像的丰富细节信息，为后续的分析和处理提供更全面、准确的图像数据。在安防监控领域，融合图像可以在白天利用可见光图像的高分辨率和丰富色彩信息进行目标识别和监控，在夜晚或恶劣天气条件下则利用红外图像的热探测能力，确保监控的连续性和准确性。在军事侦察中，融合图像能够帮助作战人员更全面地了解战场态势，既可以通过红外图像发现隐藏的目标和热源，又能借助可见光图像识别目标的具体形状和特征，提高作战决策的准确性。然而，实现红外与可见光图像的有效融合面临着诸多挑战。由于两者成像原理的不同，图像的配准是一个关键问题。红外图像和可见光图像在空间位置、尺度和角度等方面可能存在差异，需要进行精确的配准才能确保融合的准确性。在实际应用中，由于传感器的安装位置、拍摄角度等因素的影响，红外图像和可见光图像之间可能存在一定的偏移和旋转。如何快速、准确地对这两种图像进行配准，是实现图像融合的前提和基础。由于两种图像的特征差异较大，如何有效地提取和融合它们的特征也是一个难点。红外图像主要反映物体的热特征，而可见光图像则包含丰富的纹理、形状和颜色等特征。在融合过程中，需要找到一种合适的方法，能够充分挖掘和利用两种图像的特征信息，避免特征丢失或混淆。传统的特征提取方法可能无法很好地适应两种图像的特点，需要研究新的特征提取算法，以提高融合图像的质量。融合规则的制定也是图像融合中的一个重要挑战。不同的融合规则会对融合图像的质量产生不同的影响，如何选择合适的融合规则，使得融合图像既能保留两种图像的重要信息，又能具有良好的视觉效果和应用性能，是需要深入研究的问题。在选择融合规则时，需要考虑图像的内容、应用场景以及人类视觉系统的特性等因素。目前，还没有一种通用的融合规则能够适用于所有的红外与可见光图像融合场景，需要根据具体情况进行定制和优化。2.2图像融合的基本方法与流程2.2.1图像融合的层次划分（像素级、特征级、决策级）图像融合作为一种重要的图像处理技术，旨在将多源图像的互补信息进行有机整合，以生成更具价值的图像。根据融合处理所处的阶段和抽象层次的不同，图像融合可划分为像素级、特征级和决策级三个层次，每个层次都有其独特的特点和应用场景。像素级融合是图像融合的最低层次，也是最为基础的融合方式。在这个层次上，直接对来自不同传感器的原始图像的像素进行操作，将对应位置的像素信息进行融合处理。对于一幅红外图像和一幅可见光图像，像素级融合会逐像素地考虑两者的灰度值或颜色值，通过某种融合规则，如加权平均、最大值选择、最小值选择等，生成融合图像中对应像素的灰度值或颜色值。这种融合方式保留了尽可能多的原始图像信息，能够充分利用两种图像的细节，使得融合后的图像具有较高的分辨率和丰富的细节信息。在目标检测任务中，像素级融合后的图像可以更清晰地显示目标物体的边缘和纹理，有助于提高目标检测的准确性。像素级融合也存在一些局限性。由于是对大量的像素数据进行处理，计算量较大，对硬件性能要求较高，处理速度相对较慢，难以满足实时性要求较高的应用场景。像素级融合对图像的配准精度要求极高，如果两幅图像在配准过程中存在误差，融合后的图像可能会出现重影、模糊等问题，严重影响图像质量。特征级融合是在像素级融合的基础上，先从原始图像中提取出具有代表性的特征信息，如边缘、角点、纹理、形状等，然后对这些特征进行融合处理。对于红外图像和可见光图像，分别提取它们的边缘特征，然后将这些边缘特征进行整合，得到融合图像的边缘特征。这种融合方式对图像信息进行了一定程度的压缩，减少了数据量，从而降低了计算复杂度，提高了处理速度。特征级融合对图像配准的要求相对较低，即使两幅图像在空间位置上存在一定的偏差，只要特征提取准确，仍然可以进行有效的融合。在目标识别任务中，通过融合红外图像和可见光图像的特征，可以提高目标识别的准确率，因为不同类型的图像可能包含不同的特征信息，融合后可以更全面地描述目标物体。特征级融合也会丢失一些细节信息，因为在特征提取过程中，一些细微的信息可能无法被准确地提取出来。特征提取的准确性对融合效果影响较大，如果特征提取算法不够鲁棒，可能会导致融合图像的质量下降。决策级融合是图像融合的最高层次，它是基于认知的方法，具有较高的抽象程度。在这个层次上，先对原始图像进行独立的分析和处理，得到各自的决策结果，然后根据一定的融合准则，将这些决策结果进行融合，最终得出综合的决策。在目标检测任务中，红外图像和可见光图像分别通过各自的目标检测算法得到检测结果，然后根据这些检测结果的可信度、位置信息等因素，采用投票法、加权平均法等融合策略，确定最终的目标位置和类别。决策级融合的计算量相对较小，因为它不需要对大量的图像数据进行处理，只需要处理已经得到的决策结果。决策级融合对通信带宽的要求较低，因为传输的是决策结果，而不是大量的图像数据。决策级融合对前一个层级（特征级或像素级）的依赖性较强，如果前一个层级的决策结果不准确，可能会导致最终的融合决策出现偏差。决策级融合得到的图像通常不像像素级融合那样具有直观的视觉效果，它更侧重于提供决策支持。2.2.2一般图像融合流程（图像预处理、融合算法选择、融合结果评价）一般的图像融合流程主要包括图像预处理、融合算法选择和融合结果评价三个关键环节，每个环节都对最终融合图像的质量和性能有着重要影响。图像预处理是图像融合的首要步骤，其目的是对原始的红外图像和可见光图像进行处理，以提高图像的质量和可用性，为后续的融合操作奠定良好的基础。图像配准是图像预处理中至关重要的一步。由于红外图像和可见光图像通常是由不同的传感器在不同的时间和角度获取的，它们之间可能存在空间位置、尺度和角度等方面的差异。如果不对这些差异进行校正，直接进行融合，会导致融合图像出现重影、错位等问题，严重影响融合效果。常用的图像配准方法包括基于特征点的配准方法、基于灰度的配准方法和基于变换模型的配准方法等。基于特征点的配准方法通过提取图像中的特征点，如角点、边缘点等，然后寻找两幅图像中特征点的对应关系，从而确定图像之间的变换参数。尺度不变特征变换（SIFT）算法就是一种经典的基于特征点的配准方法，它能够在不同尺度和旋转角度下准确地提取图像特征点，并通过匹配特征点来实现图像配准。基于灰度的配准方法则是直接利用图像的灰度信息，通过计算两幅图像之间的相似性度量，如互相关系数、归一化互相关等，来确定图像的变换参数。这种方法计算简单，但对图像的噪声和光照变化较为敏感。基于变换模型的配准方法则是假设图像之间存在某种特定的变换关系，如平移、旋转、缩放等，通过最小化变换后的图像与参考图像之间的差异来确定变换参数。仿射变换模型就是一种常用的变换模型，它可以描述图像的平移、旋转和缩放等变换。图像增强也是图像预处理的重要内容。由于红外图像和可见光图像各自存在一些局限性，如红外图像的空间分辨率较低、细节信息不丰富，可见光图像在低光照条件下噪声较大、对比度较低等，通过图像增强可以改善这些问题，提高图像的视觉效果和信息含量。对于红外图像，可以采用直方图均衡化、对比度拉伸等方法来增强图像的对比度，使其能够更清晰地显示目标物体的轮廓和热分布信息。直方图均衡化是通过对图像的直方图进行调整，使图像的灰度分布更加均匀，从而增强图像的对比度。对比度拉伸则是通过对图像的灰度值进行线性或非线性变换，扩大图像中灰度值的动态范围，达到增强对比度的目的。对于可见光图像，可以采用去噪、锐化等方法来提高图像的清晰度和细节表现力。去噪可以采用均值滤波、中值滤波、高斯滤波等方法，去除图像中的噪声干扰，使图像更加平滑。锐化可以采用拉普拉斯算子、Sobel算子等方法，增强图像的边缘和细节信息，使图像更加清晰。融合算法选择是图像融合流程的核心环节，直接决定了融合图像的质量和性能。目前，图像融合算法种类繁多，根据其原理和特点，可以分为基于多尺度变换的方法、基于深度学习的方法和基于其他传统方法等。基于多尺度变换的方法是目前应用较为广泛的一类融合算法，它将源图像分解为多个尺度的子带分量，然后依据特定规则对这些分量进行融合，最后通过逆变换重建融合图像。常见的多尺度变换工具包括离散小波变换（DWT）、曲波变换（CT）、非下采样轮廓波变换（NSCT）和非下采样剪切波变换（NSST）等。离散小波变换具有多分辨率分析的特性，能够将图像分解为不同频率的子带分量，但其对图像边缘的捕捉能力较弱，融合后的图像容易出现块状效应。曲波变换在捕获图像边缘与直线奇异性方面比DWT更快，但无法消除伪吉布斯现象。非下采样轮廓波变换和非下采样剪切波变换在一定程度上解决了平移不变性和伪吉布斯现象，但NSST仍存在遗漏图像边缘细节信息的缺陷，主要是由于其采用的非下采样塔式滤波器对细节的捕捉能力较差，导致图像多尺度分解后高频分量丢失纹理梯度特征。滚动引导剪切波变换作为一种新兴的多尺度几何分析工具，具有更强的方向选择性和良好的能量聚集性，能够更好地适应图像中各种复杂的几何结构，在红外与可见光图像融合中展现出独特的优势。基于深度学习的方法近年来在图像融合领域得到了广泛关注和应用。这类方法通过构建深度神经网络，让网络自动学习红外图像和可见光图像的特征表示，并根据学习到的特征进行融合。生成对抗网络（GAN）、卷积神经网络（CNN）等深度学习模型被广泛应用于图像融合任务。生成对抗网络通过生成器和判别器的对抗训练，能够生成具有较高质量和视觉效果的融合图像。生成器负责生成融合图像，判别器则负责判断生成的融合图像与真实的融合图像之间的差异，通过不断地调整生成器和判别器的参数，使生成的融合图像越来越接近真实的融合图像。卷积神经网络则通过多层卷积层和池化层对图像进行特征提取和处理，能够有效地学习图像的特征信息，实现图像融合。基于深度学习的方法具有较强的自学习能力和适应性，能够处理复杂的图像融合任务，但需要大量的训练数据和较高的计算资源，且模型的可解释性较差。除了基于多尺度变换和深度学习的方法外，还有一些基于其他传统方法的图像融合算法，如基于加权平均的方法、基于区域的方法等。基于加权平均的方法是一种简单直观的融合算法，它根据一定的权重分配规则，对红外图像和可见光图像的像素值或特征值进行加权平均，得到融合图像。这种方法计算简单，但融合效果相对较差，容易导致图像信息的丢失和模糊。基于区域的方法则是将图像划分为多个区域，然后根据每个区域的特征和重要性，采用不同的融合策略进行融合。这种方法能够更好地保留图像的局部特征和细节信息，但对区域划分的准确性要求较高，计算复杂度也相对较大。在选择融合算法时，需要根据具体的应用场景和需求，综合考虑算法的性能、计算复杂度、实时性等因素，选择最合适的融合算法。融合结果评价是图像融合流程的最后一个环节，其目的是对融合图像的质量和性能进行评估，以判断融合算法的有效性和优劣。融合结果评价可以从主观和客观两个方面进行。主观评价是通过人工观察和比较融合图像与源图像，直观地判断融合图像的质量和信息完整性。评价人员会根据自己的视觉感受，对融合图像的清晰度、对比度、色彩还原度、目标突出程度等方面进行评价。主观评价具有直观、灵活的特点，但受评价人员的主观因素影响较大，不同的评价人员可能会得出不同的评价结果。客观评价则是采用多种常用的图像质量评价指标，从不同角度对融合图像的质量进行量化评估。峰值信噪比（PSNR）是一种常用的客观评价指标，它通过计算融合图像与参考图像之间的均方误差，来衡量融合图像的失真程度。PSNR值越高，说明融合图像与参考图像之间的差异越小，融合图像的质量越好。结构相似性指数（SSIM）则是从图像的结构、亮度和对比度等方面来衡量融合图像与参考图像之间的相似程度。SSIM值越接近1，说明融合图像与参考图像越相似，融合图像的质量越高。信息熵（Entropy）用于衡量图像中包含的信息量，信息熵越大，说明图像中包含的信息量越丰富。此外，还有平均梯度、标准差等评价指标，它们从不同的角度反映了融合图像的质量和性能。通过综合使用多种客观评价指标，可以更全面、准确地评估融合图像的质量，为融合算法的改进和优化提供有力的支持。2.3滚动引导剪切波变换原理剖析2.3.1剪切波变换的基本定义与数学构造剪切波变换作为一种新兴的多尺度几何分析工具，在图像处理领域展现出独特的优势，其基本定义和数学构造基于对基本函数的一系列仿射变换。在二维空间中，剪切波通过对基本函数进行缩放、剪切和平移等操作来构造具有不同几何特征的函数族。设\psi(x)为基本函数，其中x=(x_1,x_2)\inR^2，通过引入仿射矩阵A_{a,s}和位移向量t，可以得到剪切波函数族\psi_{a,s,t}(x)，其数学表达式为：\psi_{a,s,t}(x)=a^{-3/4}\psi(A_{a,s}^{-1}(x-t))，其中，a>0表示尺度参数，它决定了剪切波函数的伸缩程度，控制着函数在不同尺度上对图像的分析能力。较小的a值对应于图像的高频细节部分，能够捕捉到图像中的细微变化和纹理信息；较大的a值则对应于图像的低频部分，主要表现图像的大致轮廓和主体结构。s\inR是剪切参数，用于控制函数的方向，它使得剪切波函数能够在不同方向上对图像进行分析。通过调整s的值，可以使剪切波函数适应图像中各种不同方向的几何结构，如直线、曲线和边缘等。t=(t_1,t_2)\inR^2是位移向量，用于实现函数在空间上的平移，从而对图像的不同位置进行分析。仿射矩阵A_{a,s}可表示为两个矩阵相乘，即A_{a,s}=A_aS_s，其中A_a=\begin{pmatrix}a^{1/2}&0\\0&a\end{pmatrix}为具有各向异性的抛物线型尺度矩阵，它决定了函数在不同方向上的缩放比例。在水平方向上，缩放比例为a^{1/2}；在垂直方向上，缩放比例为a。这种各向异性的缩放方式使得剪切波能够更好地适应图像中复杂的几何结构，对于具有不同方向和尺度的特征具有更强的表示能力。S_s=\begin{pmatrix}1&s\\0&1\end{pmatrix}为方向矩阵，它通过s参数来控制函数的方向。当s=0时，剪切波函数在水平方向上具有最大的方向性；随着s值的变化，函数的方向也会相应改变，从而能够捕捉到不同方向上的图像特征。从频域角度来看，剪切波函数的频域支撑区域呈现出关于原点对称的梯形对形状。随着尺度参数a的增大，梯形逐渐变窄，这意味着在高频部分，剪切波能够更精细地分析图像的细节信息。穿过梯形上下底中心点的直线斜率等于剪切参数s，这进一步说明了s对剪切波方向的控制作用。在图像分析中，这种频域特性使得剪切波能够有效地捕捉图像中的边缘和纹理信息，将图像分解为不同方向和尺度的成分，从而为后续的图像处理和分析提供了丰富的信息。2.3.2滚动引导滤波的原理与作用滚动引导滤波（RollingGuidanceFilter）是一种基于引导图像对输入图像进行滤波的算法，其原理基于局部线性模型，能够在平滑图像的同时有效保留图像的边缘和细节信息。在滚动引导滤波中，假设输入图像为I，引导图像为G，输出图像为O。对于输入图像中的每个像素p，其输出值O_p是通过在以p为中心的局部窗口\omega_p内，对引导图像和输入图像进行线性拟合得到的。具体来说，在局部窗口\omega_p内，假设输出图像O与引导图像G之间存在线性关系O_i=a_kG_i+b_k，其中i表示窗口内的像素索引，a_k和b_k是在窗口\omega_k内通过最小化代价函数E(a_k,b_k)=\sum_{i\in\omega_k}((a_kG_i+b_k-I_i)^2+\epsilona_k^2)得到的线性系数。这里，\epsilon是一个正则化参数，用于防止a_k过大，避免过度拟合。通过求解上述代价函数，可以得到a_k和b_k的表达式：a_k=\frac{\frac{1}{|\omega_k|}\sum_{i\in\omega_k}(G_i-\overline{G}_k)(I_i-\overline{I}_k)}{\frac{1}{|\omega_k|}\sum_{i\in\omega_k}(G_i-\overline{G}_k)^2+\epsilon}，b_k=\overline{I}_k-a_k\overline{G}_k，其中\overline{G}_k和\overline{I}_k分别表示窗口\omega_k内引导图像和输入图像的均值，|\omega_k|表示窗口\omega_k内的像素个数。得到每个窗口内的线性系数a_k和b_k后，对于输出图像中的每个像素p，其值O_p可以通过对以p为中心的所有重叠窗口的线性系数进行加权平均得到，即O_p=\frac{1}{|\omega_p|}\sum_{k:p\in\omega_k}(a_kG_p+b_k)。滚动引导滤波的主要作用在于能够有效地滤除图像中的小结构成分和噪声，同时保持图像的边缘和重要细节信息。在图像融合中，滚动引导滤波可以用于对红外图像和可见光图像进行预处理，去除图像中的噪声和干扰，提高图像的质量。通过对红外图像和可见光图像分别进行滚动引导滤波，可以使它们在特征提取和融合过程中更加稳定和准确。滚动引导滤波还可以用于对融合后的图像进行后处理，进一步平滑图像，减少噪声和伪影，提高融合图像的视觉效果。在一些对图像细节要求较高的应用场景中，如医学图像分析、安防监控等，滚动引导滤波的这些特性能够显著提升图像的质量和应用价值。2.3.3滚动引导剪切波变换在图像分解与特征提取中的应用滚动引导剪切波变换在图像分解与特征提取中具有重要应用，通过该变换可以将图像分解为不同的成分，从而更深入地分析图像的特征信息。具体而言，滚动引导剪切波变换首先利用滚动引导滤波对输入图像进行预处理，去除图像中的噪声和小结构成分，为后续的剪切波变换提供更清晰、稳定的图像。然后，通过剪切波变换将图像分解为近似层分量和多方向细节层分量。近似层分量主要表现了图像的主体与能量特征，它包含了图像的低频信息，反映了图像的大致轮廓和主要结构。在一幅自然风景图像中，近似层分量可以呈现出山脉、河流等大致的地形轮廓，以及建筑物、树木等主要物体的位置和形状。近似层分量在图像融合中起着重要的作用，它为融合图像提供了基本的结构框架，使得融合后的图像能够保持整体的一致性和连贯性。在红外与可见光图像融合中，将红外图像和可见光图像的近似层分量进行融合，可以综合两者的主体信息，突出目标物体的位置和大致形态。多方向细节层分量则凸显了图像的边缘细节与梯度特征，它包含了图像的高频信息，能够捕捉到图像中细微的变化和纹理信息。在自然风景图像中，多方向细节层分量可以捕捉到树木的纹理、岩石的表面细节、水面的涟漪等信息。由于剪切波变换具有强方向选择性，多方向细节层分量能够从不同方向对图像的边缘和纹理进行分析和表示。在水平方向、垂直方向以及不同角度的倾斜方向上，都能准确地捕捉到相应方向的边缘信息。这使得在图像融合中，能够更好地保留和融合源图像的边缘和细节特征。在红外与可见光图像融合中，将两者的多方向细节层分量进行融合，可以充分利用红外图像和可见光图像在细节信息上的互补性，使融合图像既具有红外图像中目标物体的热特征细节，又具有可见光图像中丰富的纹理和细节信息，从而提高融合图像的清晰度和细节表现力。在图像分解过程中，滚动引导剪切波变换通过合理的尺度和方向参数设置，能够自适应地调整对图像不同特征的分析能力。对于尺度参数，较小的尺度对应于高频细节信息，能够捕捉到图像中的细微结构；较大的尺度对应于低频信息，用于分析图像的整体结构。通过在不同尺度上进行变换，可以全面地分析图像的特征。对于方向参数，通过设置不同的剪切参数，能够使剪切波函数在多个方向上对图像进行分析，从而充分挖掘图像中的方向特征。这种多尺度、多方向的分析方式使得滚动引导剪切波变换在图像分解和特征提取方面具有更强的能力，为红外与可见光图像融合提供了更丰富、准确的特征信息。三、基于滚动引导剪切波变换的融合算法设计3.1图像预处理环节3.1.1图像配准方法选择与实现在红外与可见光图像融合过程中，图像配准是至关重要的预处理步骤，其目的是消除两幅图像在空间位置、尺度和角度等方面的差异，确保后续融合操作的准确性。目前，常用的图像配准方法主要包括对比互信息法、特征点匹配法等，每种方法都有其独特的原理和适用场景。对比互信息法是一种基于信息论的配准方法，其核心思想是通过最大化两幅图像之间的互信息来实现配准。互信息是衡量两个随机变量之间相关性的指标，对于图像来说，它反映了两幅图像中对应像素灰度值之间的统计依赖关系。在红外与可见光图像配准中，对比互信息法将红外图像和可见光图像看作两个随机变量，通过不断调整它们之间的空间变换参数，使得互信息达到最大值，此时的变换参数即为配准所需的参数。这种方法的优点是对图像的灰度变化和噪声具有较强的鲁棒性，不需要对图像进行复杂的特征提取，能够直接利用图像的原始灰度信息进行配准。在实际应用中，由于红外图像和可见光图像的灰度分布存在较大差异，直接使用对比互信息法可能会导致配准精度不高。对比互信息法的计算量较大，需要对大量的像素点进行统计计算，计算效率较低，难以满足实时性要求较高的应用场景。特征点匹配法是另一种常用的图像配准方法，它通过在两幅图像中提取具有独特特征的点，然后寻找这些特征点之间的对应关系，从而实现图像的配准。常用的特征点提取算法包括尺度不变特征变换（SIFT）、加速稳健特征（SURF）、定向FAST和旋转BRIEF（ORB）等。以SIFT算法为例，它首先在图像中检测出尺度不变的特征点，这些特征点具有良好的稳定性和独特性，对图像的旋转、缩放、光照变化等具有较强的鲁棒性。然后，通过计算特征点周围邻域的梯度方向和幅值，生成特征描述子，这些描述子能够准确地描述特征点的局部特征。在红外与可见光图像配准中，分别对红外图像和可见光图像提取SIFT特征点和描述子，然后利用匹配算法，如最近邻算法、KD树算法等，寻找两幅图像中特征点的对应关系。根据这些对应关系，计算出图像之间的变换矩阵，从而实现图像的配准。特征点匹配法的优点是配准精度较高，能够处理图像之间较大的几何变形，适用于红外与可见光图像这种特征差异较大的图像配准。该方法也存在一些缺点，例如特征点提取和匹配的计算复杂度较高，对图像的噪声和遮挡较为敏感，在特征点提取过程中可能会丢失一些重要的特征信息，导致配准失败或精度下降。综合考虑红外与可见光图像的特点以及实际应用需求，本研究选择特征点匹配法中的SIFT算法进行图像配准。这是因为红外与可见光图像的成像原理和特征差异较大，SIFT算法的尺度不变性和对光照变化的鲁棒性能够更好地适应这种差异，提高配准的准确性和可靠性。SIFT算法在处理复杂场景和大尺度变换时具有较好的性能，能够满足本研究中对不同场景下红外与可见光图像配准的要求。SIFT算法实现图像配准的具体步骤如下：特征点检测：对红外图像和可见光图像分别进行尺度空间构建，通过高斯差分（DOG）算子在不同尺度下检测出图像中的特征点。DOG算子是通过对不同尺度的高斯核与图像进行卷积得到的，它能够有效地突出图像中的稳定特征点。在不同尺度下，DOG算子对图像中的边缘、角点等特征具有不同的响应，通过设定阈值，可以筛选出具有较强响应的特征点。特征点定位：对检测到的特征点进行精确定位，去除不稳定的特征点和边缘响应点。通过拟合三维二次函数，确定特征点的精确位置和尺度，同时计算特征点的主方向。三维二次函数拟合可以提高特征点的定位精度，减少误匹配的可能性。主方向的计算使得特征点具有方向不变性，进一步增强了特征点的稳定性。特征描述子生成：以特征点为中心，在其邻域内计算梯度方向和幅值，生成128维的SIFT特征描述子。特征描述子是对特征点周围邻域特征的一种量化表示，它能够准确地描述特征点的局部特征，为后续的特征点匹配提供依据。在生成特征描述子时，通过对邻域内的梯度方向进行统计和量化，形成具有独特性的特征向量。特征点匹配：利用最近邻算法或KD树算法，在红外图像和可见光图像的特征描述子之间寻找匹配点。为了提高匹配的准确性，可以设置匹配阈值，去除误匹配点。最近邻算法通过计算特征描述子之间的欧氏距离，选择距离最近的特征点作为匹配点。KD树算法则是一种基于空间划分的数据结构，能够快速地搜索到最近邻的特征点，提高匹配效率。变换矩阵计算：根据匹配点对，采用随机抽样一致性（RANSAC）算法估计图像之间的变换矩阵。RANSAC算法是一种鲁棒的参数估计方法，它通过随机抽样的方式，从匹配点对中选择一组内点，然后利用这些内点计算变换矩阵，从而排除误匹配点的影响，提高变换矩阵的准确性。图像变换：根据计算得到的变换矩阵，对红外图像进行仿射变换，使其与可见光图像在空间位置上对齐。仿射变换包括平移、旋转和缩放等操作，能够有效地消除图像之间的几何差异。在图像配准过程中，精度控制是非常重要的。为了提高配准精度，可以采取以下措施：在特征点检测和定位阶段，合理调整尺度空间的参数和阈值，确保能够准确地检测到图像中的特征点，并对其进行精确定位。在特征描述子生成阶段，选择合适的邻域大小和梯度计算方法，提高特征描述子的准确性和鲁棒性。在特征点匹配阶段，通过设置合理的匹配阈值和采用多次匹配策略，减少误匹配点的数量。在变换矩阵计算阶段，利用RANSAC算法等鲁棒的估计方法，提高变换矩阵的准确性。可以通过对配准结果进行可视化检查和定量评估，如计算配准误差、均方根误差等指标，及时发现并纠正配准过程中出现的问题，进一步提高配准精度。3.1.2图像增强技术应用图像增强是红外与可见光图像预处理的另一个重要环节，其目的是改善图像的视觉效果，提高图像的对比度和清晰度，以便更好地进行后续的融合处理。常见的图像增强技术包括直方图均衡化、Retinex算法等，每种技术都有其独特的原理和适用范围。直方图均衡化是一种基于灰度统计的图像增强方法，其基本原理是通过对图像的直方图进行变换，使图像的灰度分布更加均匀，从而增强图像的对比度。具体来说，直方图均衡化首先统计图像中每个灰度级的像素数量，得到图像的直方图。然后，根据直方图计算出每个灰度级的累积分布函数（CDF），通过将原始灰度级映射到新的灰度级，使得新的灰度级分布更加均匀。在红外图像中，由于目标物体与背景之间的灰度差异较小，图像的对比度较低，通过直方图均衡化可以有效地扩大灰度动态范围，使目标物体更加突出。在一幅红外图像中，目标物体的灰度值集中在一个较小的范围内，与背景的灰度差异不明显，经过直方图均衡化后，图像的灰度分布得到扩展，目标物体与背景的对比度增强，更容易被识别。直方图均衡化也存在一些缺点，它是对整个图像进行全局处理，可能会导致图像的细节丢失，特别是在灰度级较少的区域，经过均衡化后可能会出现块状效应。对于一些本身灰度分布较为均匀的图像，直方图均衡化可能会过度增强图像的对比度，导致图像出现失真。Retinex算法是一种基于人眼视觉特性的图像增强算法，其核心思想是将图像的亮度信息和反射率信息分离，通过对反射率信息进行处理，增强图像的细节和对比度。Retinex算法假设图像的亮度是由光源和物体的反射率共同决定的，通过对图像进行对数变换和高斯滤波等操作，可以将亮度信息和反射率信息分离出来。然后，对反射率信息进行增强处理，如对比度拉伸、归一化等，最后再将处理后的反射率信息与亮度信息合并，得到增强后的图像。在可见光图像中，Retinex算法可以有效地去除光照不均匀的影响，增强图像的细节和纹理信息。在一幅受光照不均匀影响的可见光图像中，部分区域可能过亮或过暗，导致图像的细节丢失，经过Retinex算法处理后，图像的光照得到校正，细节和纹理更加清晰。Retinex算法的计算复杂度较高，需要对图像进行多次滤波和变换操作，计算效率较低。该算法的参数设置对增强效果影响较大，需要根据不同的图像特点进行调整，否则可能会出现过度增强或增强不足的情况。综合考虑红外与可见光图像的特点以及后续融合处理的需求，对于红外图像，选择直方图均衡化进行图像增强。这是因为红外图像主要关注目标物体的热分布信息，直方图均衡化能够有效地增强目标与背景之间的对比度，突出目标物体，且计算相对简单，能够满足实时性要求。对于可见光图像，采用Retinex算法进行图像增强。可见光图像的细节和纹理信息丰富，Retinex算法能够在去除光照不均匀的同时，更好地保留图像的细节和纹理，提高图像的清晰度和视觉效果，为后续的融合提供更优质的图像数据。直方图均衡化应用于红外图像增强的具体步骤如下：灰度统计：统计红外图像中每个灰度级的像素数量，得到图像的灰度直方图。通过遍历图像中的每个像素，记录其灰度值，并统计每个灰度值出现的次数，从而得到灰度直方图。累积分布函数计算：根据灰度直方图计算每个灰度级的累积分布函数（CDF），CDF表示小于等于某个灰度级的像素数量占总像素数量的比例。通过对灰度直方图进行累加，得到每个灰度级的累积分布值，然后将其归一化到0-1之间，得到CDF。灰度映射：根据CDF将原始灰度级映射到新的灰度级，新的灰度级计算公式为：new\_gray=round((L-1)*CDF(gray))，其中L为图像的灰度级总数，gray为原始灰度级，new\_gray为映射后的新灰度级。通过这个公式，将原始图像的灰度级按照CDF进行重新分配，使得灰度分布更加均匀。图像重建：根据映射后的新灰度级，重建增强后的红外图像。将每个像素的原始灰度级替换为映射后的新灰度级，从而得到对比度增强的红外图像。Retinex算法应用于可见光图像增强的具体步骤如下：图像分解：对可见光图像进行对数变换，将其分解为亮度分量和反射率分量。假设图像I(x,y)可以表示为亮度分量L(x,y)和反射率分量R(x,y)的乘积，即I(x,y)=L(x,y)\timesR(x,y)，通过对数变换\log(I(x,y))=\log(L(x,y))+\log(R(x,y))，可以将亮度分量和反射率分量分离出来。亮度分量处理：对亮度分量进行高斯滤波，去除光照不均匀的影响。高斯滤波可以平滑亮度分量，减少噪声和高频干扰，使光照更加均匀。通过选择合适的高斯核大小和标准差，对亮度分量进行卷积操作，得到平滑后的亮度分量。反射率分量增强：对反射率分量进行对比度拉伸和归一化处理，增强图像的细节和纹理。对比度拉伸可以扩大反射率分量的灰度动态范围，使图像的细节更加突出。归一化处理可以将反射率分量的灰度值映射到0-1之间，以便后续与亮度分量合并。通过线性变换或非线性变换，对反射率分量进行对比度拉伸和归一化处理。图像合并：将处理后的反射率分量与亮度分量进行指数运算，合并得到增强后的可见光图像。即enhanced\_I(x,y)=exp(\log(L(x,y))+\log(R(x,y)))，通过这个运算，将亮度分量和反射率分量重新组合，得到增强后的图像。图像增强对融合效果具有显著的提升作用。经过增强后的红外图像，目标与背景的对比度增强，能够更清晰地显示目标物体的热分布信息，为融合提供更准确的目标特征。在融合图像中，目标物体的轮廓和位置更加明确，有助于提高目标识别和分析的准确性。增强后的可见光图像，细节和纹理更加清晰，能够为融合图像提供更丰富的背景信息和视觉细节。在融合图像中，背景的清晰度和真实感增强，使得融合图像的视觉效果更加自然、舒适，有利于后续的图像分析和应用。通过图像增强，还可以提高图像的信噪比，减少噪声对融合效果的影响，进一步提升融合图像的质量。3.2基于滚动引导剪切波变换的融合规则制定3.2.1近似层分量融合规则在基于滚动引导剪切波变换的红外与可见光图像融合过程中，近似层分量融合规则的设计至关重要，它直接影响融合图像的整体视觉效果和信息完整性。近似层分量主要反映了图像的主体与能量特征，包含图像的低频信息，呈现出图像的大致轮廓和主要结构。为了充分融合红外图像和可见光图像的近似层分量，使其既能保留红外图像中目标物体的热分布信息，又能体现可见光图像中丰富的背景和结构信息，本研究提出基于视觉显著性加权的近似层融合规则。视觉显著性是指图像中能够吸引人类视觉注意力的区域特性，这些区域通常包含重要的信息，在图像分析和处理中具有重要作用。对于红外图像和可见光图像，通过计算其视觉显著性，能够确定图像中不同区域的重要程度，从而在融合过程中对不同区域进行合理的权重分配。具体而言，采用一种基于频谱残差的视觉显著性检测算法来计算红外图像和可见光图像的视觉显著性。该算法基于人类视觉系统的特性，通过对图像的频谱进行分析，提取出图像的显著特征。对于红外图像I_{IR}和可见光图像I_{VIS}，分别计算它们的频谱F_{IR}和F_{VIS}。根据傅里叶变换的性质，频谱F包含了图像的频率信息，通过对频谱进行处理，可以得到图像的频谱残差R。对于红外图像，频谱残差R_{IR}的计算方法为：R_{IR}=F_{IR}-\overline{F_{IR}}，其中\overline{F_{IR}}是F_{IR}的平滑版本，通过对F_{IR}进行高斯低通滤波得到。同理，对于可见光图像，频谱残差R_{VIS}=F_{VIS}-\overline{F_{VIS}}。然后，对频谱残差进行逆傅里叶变换，得到红外图像和可见光图像的视觉显著图S_{IR}和S_{VIS}。视觉显著图中的像素值反映了对应区域在图像中的显著性程度，像素值越大，表示该区域越显著。根据计算得到的视觉显著图，构建显著性加权系数矩阵。对于红外图像和可见光图像的近似层分量A_{IR}和A_{VIS}，显著性加权系数矩阵W_{IR}和W_{VIS}的元素计算如下：W_{IR}(i,j)=\frac{S_{IR}(i,j)}{S_{IR}(i,j)+S_{VIS}(i,j)}，W_{VIS}(i,j)=\frac{S_{VIS}(i,j)}{S_{IR}(i,j)+S_{VIS}(i,j)}，其中(i,j)表示图像中的像素位置。通过这样的计算，显著性加权系数矩阵能够根据图像的视觉显著性，对红外图像和可见光图像的近似层分量进行权重分配。在显著区域，对应图像的权重会相对较大，从而突出该区域在融合图像中的信息；在非显著区域，权重则会相对较小，以平衡图像的整体信息。利用构建的显著性加权系数矩阵，对红外图像和可见光图像的近似层分量进行融合，融合后的近似层分量A_f计算公式为：A_f(i,j)=W_{IR}(i,j)A_{IR}(i,j)+W_{VIS}(i,j)A_{VIS}(i,j)。这种基于视觉显著性加权的融合规则，能够有效地将红外图像和可见光图像的光谱显著性信息融合在一起，提高融合图像的视觉观察度。在一幅包含人体目标的红外与可见光图像融合场景中，通过视觉显著性检测，人体目标区域在红外图像和可见光图像中都具有较高的显著性。在融合近似层分量时，根据显著性加权系数矩阵，人体目标区域在红外图像和可见光图像中的信息都能够得到充分保留，使得融合图像中人体目标的轮廓和热分布信息更加清晰，同时背景信息也能够得到合理的融合，增强了图像的整体视觉效果。与其他传统的近似层融合规则相比，如简单的加权平均融合规则，基于视觉显著性加权的融合规则能够更好地突出图像中的重要信息，避免信息的丢失和混淆，使融合图像更符合人类视觉感知，为后续的图像分析和应用提供更优质的图像基础。3.2.2细节层分量融合规则细节层分量在红外与可见光图像融合中起着关键作用，它凸显了图像的边缘细节与梯度特征，包含图像的高频信息，能够捕捉到图像中细微的变化和纹理信息。为了有效地融合红外图像和可见光图像的细节层分量，充分利用两者在细节信息上的互补性，本研究采用基于梯度奇异值最大原则来指导细节层分量的融合。梯度是描述图像中像素变化率的重要特征，它能够反映图像的边缘和纹理信息。对于红外图像和可见光图像，计算其梯度可以获取图像中各个位置的变化情况。采用Sobel算子分别对红外图像I_{IR}和可见光图像I_{VIS}进行梯度计算。Sobel算子是一种常用的边缘检测算子，它通过对图像进行卷积操作，计算图像在水平和垂直方向上的梯度分量。对于红外图像，其水平方向梯度G_{x,IR}和垂直方向梯度G_{y,IR}的计算公式如下：G_{x,IR}(i,j)=(I_{IR}(i-1,j-1)+2I_{IR}(i-1,j)+I_{IR}(i-1,j+1))-(I_{IR}(i+1,j-1)+2I_{IR}(i+1,j)+I_{IR}(i+1,j+1))，G_{y,IR}(i,j)=(I_{IR}(i-1,j-1)+2I_{IR}(i,j-1)+I_{IR}(i+1,j-1))-(I_{IR}(i-1,j+1)+2I_{IR}(i,j+1)+I_{IR}(i+1,j+1))，其中(i,j)表示图像中的像素位置。同理，可以计算出可见光图像的水平方向梯度G_{x,VIS}和垂直方向梯度G_{y,VIS}。通过计算得到的梯度分量，可以构建梯度矩阵。对于每个像素位置(i,j)，构建一个2\times2的梯度矩阵M：M=\begin{pmatrix}G_{x}(i,j)&G_{y}(i,j)\\G_{x}(i,j+1)&G_{y}(i,j+1)\end{pmatrix}，其中G_{x}和G_{y}分别表示水平和垂直方向的梯度，对于红外图像和可见光图像，分别使用G_{x,IR}、G_{y,IR}和G_{x,VIS}、G_{y,VIS}。对梯度矩阵进行奇异值分解（SVD）。奇异值分解是一种重要的矩阵分解方法，它能够将一个矩阵分解为三个矩阵的乘积，即M=U\SigmaV^T，其中U和V是正交矩阵，\Sigma是对角矩阵，对角线上的元素为矩阵M的奇异值，且奇异值按从大到小的顺序排列。对于红外图像和可见光图像的梯度矩阵，分别进行奇异值分解，得到奇异值\sigma_{IR}和\sigma_{VIS}。在细节层分量融合时，采用基于梯度奇异值最大原则，即对于每个像素位置，选择红外图像和可见光图像中梯度奇异值较大的细节层分量作为融合后的细节层分量。具体来说，对于细节层分量D_{IR}和D_{VIS}，融合后的细节层分量D_f的计算公式为：D_f(i,j)=\begin{cases}D_{IR}(i,j),&\text{if}\sigma_{IR}(i,j)\geq\sigma_{VIS}(i,j)\\D_{VIS}(i,j),&\text{otherwise}\end{cases}。这种基于梯度奇异值最大原则的融合规则，能够极大程度地将隐藏在两种源图像内的梯度特征还原到融合图像中，使融合图像具有更加清晰的边缘细节。在一幅包含建筑物的红外与可见光图像融合场景中，建筑物的边缘在红外图像和可见光图像中都具有明显的梯度特征。通过计算梯度奇异值，能够准确地捕捉到这些边缘信息，并根据最大原则选择具有更强梯度特征的细节层分量进行融合。这样，融合图像中建筑物的边缘更加清晰、锐利，纹理细节也更加丰富，提高了图像的视觉质量和信息含量。与其他细节层融合规则相比，基于梯度奇异值最大原则的融合规则能够更好地保留图像的边缘和纹理特征，避免细节信息的丢失，增强了融合图像在细节表现方面的能力，为后续的目标识别、图像分析等任务提供了更准确的细节信息。3.3融合算法的具体实现步骤基于滚动引导剪切波变换的红外与可见光图像融合算法的具体实现步骤如下：图像预处理：图像配准：采用SIFT算法对红外图像和可见光图像进行配准。首先，对两幅图像分别构建尺度空间，通过高斯差分（DOG）算子检测特征点，然后对特征点进行精确定位和主方向计算，生成128维的SIFT特征描述子。利用最近邻算法或KD树算法进行特征点匹配，并采用随机抽样一致性（RANSAC）算法估计图像之间的变换矩阵，最后根据变换矩阵对红外图像进行仿射变换，使其与可见光图像在空间位置上对齐。图像增强：对于红外图像，采用直方图均衡化进行增强。统计红外图像中每个灰度级的像素数量，得到灰度直方图，计算累积分布函数（CDF），并根据CDF将原始灰度级映射到新的灰度级，重建增强后的红外图像。对于可见光图像，运用Retinex算法增强。先对图像进行对数变换，分解为亮度分量和反射率分量，对亮度分量进行高斯滤波，去除光照不均匀的影响，对反射率分量进行对比度拉伸和归一化处理，增强图像的细节和纹理，最后将处理后的反射率分量与亮度分量进行指数运算，合并得到增强后的可见光图像。基于滚动引导剪切波变换的图像分解：滚动引导滤波预处理：分别对增强后的红外图像和可见光图像进行滚动引导滤波。以输入图像为引导图像，通过在以每个像素为中心的局部窗口内对输入图像和引导图像进行线性拟合，计算线性系数，从而得到滤波后的图像，去除图像中的噪声和小结构成分。剪切波变换分解：对滚动引导滤波后的红外图像和可见光图像进行剪切波变换。通过对基本函数进行缩放、剪切和平移等仿射变换，将图像分解为近似层分量和多方向细节层分量。近似层分量主要表现图像的主体与能量特征，包含低频信息；多方向细节层分量凸显图像的边缘细节与梯度特征，包含高频信息。融合规则应用：近似层分量融合：采用基于视觉显著性加权的融合规则。利用基于频谱残差的视觉显著性检测算法，分别计算红外图像和可见光图像近似层分量的视觉显著图，根据视觉显著图构建显著性加权系数矩阵，对红外图像和可见光图像的近似层分量进行加权融合。细节层分量融合：运用基于梯度奇异值最大原则的融合规则。采用Sobel算子分别计算红外图像和可见光图像细节层分量的水平和垂直方向梯度，构建梯度矩阵，对梯度矩阵进行奇异值分解，得到奇异值。对于每个像素位置，选择红外图像和可见光图像中梯度奇异值较大的细节层分量作为融合后的细节层分量。融合图像重构：逆滚动引导剪切波变换：将融合后的近似层分量和细节层分量进行逆滚动引导剪切波变换。通过逆仿射变换和逆滤波操作，将变换域的分量重构为空间域的图像，得到融合图像。后处理（可选）：对融合图像进行后处理，如去噪、平滑等操作，进一步提高融合图像的质量和视觉效果。可以采用中值滤波等方法去除图像中的噪声，使图像更加平滑。四、实验与结果分析4.1实验数据集与实验环境设置4.1.1实验数据集的收集与选择为了全面、准确地评估基于滚动引导剪切波变换的红外与可见光图像融合算法的性能，本研究精心收集并选择了具有多样性和代表性的实验数据集。这些数据集涵盖了多种不同的场景和条件，旨在模拟实际应用中可能遇到的各种情况，从而确保实验结果的可靠性和有效性。本研究从多个渠道收集了红外与可见光图像。其中一部分图像来自公开的图像数据库，如TNO数据集、FLIR数据集和KAIST数据集等。TNO数据集由荷兰国家组织TNO提供，包含了军事、安防等场景下的红外图像和相应的可见光图像，可用于研究目标检测、人脸识别等任务。FLIR数据集由FLIRSystems提供，包含了多种场景下的红外图像和相应的可见光图像，为研究红外与可见光图像融合算法提供了丰富的素材。KAIST数据集由韩国高级科学技术研究院提供，包含了城市街景中的红外图像和相应的可见光图像，适用于研究目标检测、目标跟踪等任务。这些公开数据库中的图像经过了严格的采集和整理，具有较高的质量和准确性，为实验提供了重要的数据支持。除了公开数据库，本研究还通过自主采集的方式获取了一部分图像。利用红外相机和可见光相机，在不同的时间、地点和天气条件下进行拍摄，以获取更丰富多样的图像数据。在白天和夜晚分别对城市街道、建筑物、自然景观等场景进行拍摄，以研究算法在不同光照条件下的性能。在晴天、阴天、雨天、雾天等不同天气条件下拍摄图像，以评估算法对恶劣天气环境的适应性。通过自主采集，能够更好地控制图像的采集条件，满足特定研究需求，同时也增加了数据集的多样性。为了确保数据的准确性和可靠性，对收集到的图像进行了严格的标注工作。对于红外图像，标注了目标物体的位置、大小和类别等信息。在一幅包含人体目标的红外图像中，标注出人体的位置和轮廓，以及人体的类别（如行人、士兵等）。对于可见光图像，标注了相应的物体信息，同时还标注了图像中的颜色、纹理等特征。在一幅包含建筑物的可见光图像中，标注出建筑物的位置、形状和颜色等信息。标注工作采用了人工标注和半自动标注相结合的方式。对于简单的图像，人工直接标注；对于复杂的图像，先利用图像分割和目标检测等技术进行半自动标注，然后由人工进行校对和修正，以确保标注的准确性。经过仔细筛选和标注，最终构建了一个包含不同场景、不同条件下的红外与可见光图像的实验数据集。该数据集包含了大量的图像对，每对图像都经过了精确的配准和标注，以保证实验的准确性和可重复性。数据集涵盖了城市街景、自然景观、室内场景等多种场景，以及白天、夜晚、晴天、雨天等多种条件，能够全面地评估融合算法在不同情况下的性能。4.1.2实验环境（硬件与软件配置）为了保证实验的顺利进行和结果的准确性，本研究搭建了稳定、高效的实验环境，包括硬件设备和软件工具两个方面。在硬件方面，实验使用的计算机配置如下：处理器为IntelCorei7-12700