图像融合质量识别问题研究

1、图像融合质量识别问题研究本文是计算机论文，质量评价是图像融合领域的重点，因为图像融合算法的选择与优化需要评价结果做支撑；它也是本领域的难点，因为与普通的图像质量评价存在较大差异。首先，在图像融合中不存在金标准，导致很多图像质量评价指标很难直接应用于此；其次，融合图像本身的质量高并不意味着融合效果好，还需要考量源图像和融合图像之间的相似度。为了解决该问题，本文做了如下工作：提出一种基于指标集的综合指标构造方法。该指标的构造过程含两个步骤：首先，构造一个候选指标集，其中每个指标具有高准确性和低相关性；然后，在训练图像集上动态确定各个指标权重，最终构造一个综合指标。考虑到融合图像质量的金标准来自主观

2、感知，在计算每个指标的评估准确性时，引入评估难度以减少主观感知错误的影响。实验结果表明，该方法优于其它传统方法。.第1章绪论本文围绕着图像融合质量评估展开，主要工作包括：提出一种新的特征层次上的多聚焦图像融合评价方法，主要包括两个步骤：检测源图像和融合图像的角点。然后，计算融合图像和源图像中的角点的重叠率，以表示融合图像的融合质量：重叠率越高，融合图像的质量越好。该指标的优势特征是在特征级别（角点）中构建相似性，这避免了评估过程中的焦点检测（FocusDetection）。由于焦点检测仍是一个非常困难的问题，在理论上，该指标可以做出更可靠的评估。提出一个基于指标集的综合指标方法。指标的构造过程

3、含两个步骤：首先，构造一个候选指标集，其中每个指标具有高评估准确性和低相关性；然后，在训练图像集上动态确定各个指标权重，最终构造一个综合指标。考虑到融合图像质量的金标准来自主观感知，我们在计算每个指标的评估准确性时引入评估难度以减少主观感知错误的影响。通过进行各种图像实验以测试所提出的指标的有效性。实验结果表明，该方法优于其它传统方法。提出一种图像融合质量指标的验证方法。将图像融合指标抽象为分类器，那么指标的验证实际上是对分类器的评估。在机器学习领域，每个实例携带的目标信息量是不同的，因此本文认为在学习器性能评价过程中应该考虑这种会影响学习性能的实例信息。.第2章图像融合质量评价相关工作2.1

4、前言现有图像融合质量评价方法根据评价主体，可以分为两个类别：主观法和客观法。主观法指组织多名志愿者对融合图像进行打分。该方法一般采用5分制：5分表示最优，1分表示最差，具体如表2.1所示。通过对多名志愿者的打分求均值获得融合图像的最终质量得分。主观法存在较大缺陷：（1）易受环境（如光照，显示设备）因素影响；（2）主观性强；（3）无法集成到自动图像处理系统中。客观法指通过算法模拟人脑对融合质量评估的原理，实现自动化评分。该类方法能够有效弥补主观法的不足。但是由于人脑视觉系统的复杂性，目前还没有构造出和人类视觉系统完全吻合的客观评价指标。现有的客观评价指标多达数十种，根据其所依据的理论，本文将其划

5、分为五个类别：基于统计、信息论、结构相似度、视觉系统和深度学习类。本章将详细阐述各个类别的经典指标。2.2基于统计类评价指标本章详细描述了图像融合质量评价领域内的经典方法。现有的客观评价指标多达几十种，根据其原理，本文将其划分为五个类别：基于统计、信息论、结构相似度、视觉系统和深度学习类。本章详细阐述各个类别的经典指标。分析了各个评价指标的优势与不足。图像融合质量评价指标不仅需要考虑融合图像本身的视觉质量，还需要度量融合图像与源图像之间的相似关系。深度学习算法虽然在图像质量评价领域有了一定的应用，但在图像融合质量评价领域几乎没有出现。考虑到深度学习算法的潜在优势，未来该类算法必然在图像融合质量

6、评价领域发挥重要作用。.第3章基于角点重叠度的多焦距图像融合质量评价指标.213.1前言.213.2多焦距图像融合评价指标.22第4章基于指标集的综合评价指标.384.1前言.384.2综合评价指标构建.394.3实验结果与分析.46第5章基于3DROC模型的客观评价指标验证.595.1引言.595.2相关工作.605.33DROC柱状图与其体积.63.第6章基于非下采样轮廓波变换的医学图像融合算法6.1前言近年来，随着医学诊断技术领域的不断发展，医学图像被认为是最关键的辅助诊断工具之一。如今，已存在多种具有特定用途的医学成像方式，可以显示活体器官和组织的内部结构118。这些成像方式主要分为两

7、类：结构图像和功能图像。计算机断层扫描和磁共振成像图像提供具有高空间分辨率的器官结构信息。因此，它们属于结构图像。其中，正电子发射断层扫描，单光子发射计算机断层扫描和功能性磁共振成像图像提供了有关功能组织的信息，例如静脉中的血流等，因此被归类为功能图像。每个类型的图像都有其优点与缺点。我们很难从单一的医学图像中获得有关特定器官或组织的完整而准确的信息。例如，计算机断层扫描图像可以清晰地反映出骨骼结构的信息，而磁共振成像图像则可以提供有关病理性软组织的详细信息。类似地，正电子发射断层扫描图像可用于定量、动态检测人体中的代谢物质或药物，而单光子发射计算机断层扫描图像可揭示临床上代谢的显著变化。因此

8、，我们需要创建一种有效的方案，能够从多个源（医学模态）图像中提取所有重要特征，并将它们集成到具有高对比度和高分辨率的单个图像中。6.2图像融合算法CT图像能够清晰地反映颅骨信息，但是无法反映颅骨内的软组织信息；MRI图像可清晰地体现颅骨内的软组织信息，但是没有颅骨信息。所以，融合算法应该将两种模态图像的重要信息均完整地保留在融合图像中，并且去除源图像的模糊信息。通过观察可以发现，6种对比算法均存在一定的视觉缺陷。比如，在LP-SR的融合图像中出现了明显的块效应，这种现象将对后续的图像处理或者诊断产生较大的负面影响。在LP、FSD、DWT、SIDWT的融合图像中，MRI部分的信息变暗，即MRI图

9、像上所体现的软组织信息降低了。整体上，GFF与本章算法对应的融合图像效果较好，能有较好地保留源图像中的重要视觉信息，也没有产生伪影。所以，二者在该组测试图像中的视觉效果最好。.第7章总结与展望提出一种图像融合质量指标的验证方法。将图像融合指标抽象为分类器，那么指标的验证实际上是对分类器的评估。在机器学习领域，每个实例携带的目标信息量是不同的，因此本文认为在学习器性能评价过程中应该考虑这种会影响学习性能的实例信息。基于此，提出一种新的分类性能评价方法，即将接收者操作特征(ReceiverOperatingCharacteristic，ROC)曲线扩展到三维空间，记为3DROC柱状图。在柱状图中，x轴和y轴与ROC空间重的描述相同，分别标记为假正率和真正率，而z轴是表示每个实例携带的信息的重要程度的定量指标。3DROC柱状图的体积（V3RH）用作定量评价指标。该方法保留了类不平衡