CN114926382B 用于融合图像的生成对抗网络、图像融合方法及终端设备 （深圳大学）

本发明公开了用于融合图像的生成对抗网块，并对不同的特征属性自适应的进行融合处理，实现对不同层级不同频率的特征信息的融构建边缘感知模块实现对不同模态数据的边缘联合融合图像与两个原始输入图像以及融合边使最终的融合图像不仅包含原始图像的强度信2所述边缘感知模块，用于将第一模态图像和第二模态图像的边缘信息进行提取并联所述第一边缘检测单元，用于对所述融合图像的边缘信息进行提取所述生成器，还用于在所述概率P1、概率P2以及概率P3中的一个所述生成器包括特定模态信息融合模块和多模态分层小波融合模前5个卷积块由卷积层、池化层以及Relu层组成，最后一个卷积块由卷积层及Tanh函数组将第一模态图像和第二模态图像输入到边缘感知将所述融合图像输入到第一边缘检测单元进行边缘信息的提取与将所述融合图像和第一模态图像输入到第一判别器，获取所述融合图3将所述融合图像和第二模态图像输入到第二判别器，获取所述融合图将所述融合边缘图像和原始边缘图像输入到第三判别器，获取所述所述处理器执行所述计算机可读程序时实现如权利要求5所述图像融合方法中的步4如PET和MRI)的融合可以提高医学诊断的精度，在军事领域通过对红外与可见光图像的融[0005]鉴于上述现有技术的不足，本发明的目的在于提供用于融合图像的生成对抗网5块和多模态分层小波融合模块，所述特定模态信息融合模块包括第一编码器和第一解码[0021]将第一模态图像和第二模态图像输入到边缘感知模块进行边缘信息的提取与联[0031]所述处理器执行所述计算机可读程序时实现如本发明所述图像融合方法中的步6f为多模态分层小波特征的的是基于编解码器的算法则通过编码器获取深层特征并通过简单的加权和/或者级联操作7[0041]所述生成器10用于将第一模态图像和第二模态图像进行图像融合，生成融合图最后一个卷积块由卷积层及Tanh函数组成；所述第二编码器包括四个层间特征融合模块，8[0050]具体来讲，如图2所示，所述生成器的网络结构以编解码网络作为基本的构造路[0052]在多模态分层小波融合模块中，通过构造4个层间特征融合模块实现不同模态层编码器部分获取每个卷积层对应的图像特征其中r＝1，2，3，4，并对层内层内高频特征进行融合。同时本实施例设置一个特征选择单元(如图3和及1*1卷积操作得到最终的低频融合特征随后使用IDWT对低频成分和高频成分特征[0054]在对分层的特征进行多模态融合之后，本研究使用1*1的卷积核对前一层融合特征进行维度扩充并与当前层特征进行叠加实现层间特征的信息融合，避免中间层9f可以包含原始图像的边缘结构信息，本实施例通过构造一个边缘感知模块B来实现原始Is1；细节信息的角度来实现与生成器的对抗训练。所述第一判别器D1用于从第一模态数据(例如红外，PET，SPECT)中区分融合图像，第二判别器D2用于从第二模态数据(例如可见光，[0077]将第一模态图像和第二模态图像输入到边缘感知模块进行边缘信息的提取与联[0086]数据集1：选择TNOHumanFactorsdataset1以及RoadScene2这两类公开数据集[0088]在多判别器生成对抗网络中的参数通过AdamOptimizer进行更新，网络设置中在为k，k＝4，epoch的数量设置为500。所提算法的实现平台为Intel(R)Xeon(R)CPUF5-[0089]本实施例采用结构相似度(SSIM)、加权融合质量指数(QW)、非线性相关信息熵处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口硬盘、只读存储器(Read-OnlyMemory，ROM