CN114639002B 一种基于多模式特征的红外与可见光图像融合方法 （西安电子科技大学）_第1页
CN114639002B 一种基于多模式特征的红外与可见光图像融合方法 （西安电子科技大学）_第2页
CN114639002B 一种基于多模式特征的红外与可见光图像融合方法 （西安电子科技大学）_第3页
CN114639002B 一种基于多模式特征的红外与可见光图像融合方法 （西安电子科技大学）_第4页
CN114639002B 一种基于多模式特征的红外与可见光图像融合方法 （西安电子科技大学）_第5页
已阅读5页，还剩20页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

FeatureSelf-AdaptiveTransformerf一种基于多模式特征的红外与可见光图像本发明公开了一种基于多模式特征的红外性对多模式特征进行度量并设计自适应loss函重学习模型，4.将红外图像的显著性图作为可见光图像融合网络并训练。该方法利用Transformer捕获多尺度特征的全局关联性，兼顾局部与全局信息，提升融合图像整体视觉效2ir和wvi为自适应权重wvi=1-wir；,步骤3，构建嵌入Transformer融合策略的融合权重学模块由2个1×1卷积层和1个FocalTransformer模块组成；第1个卷积层调整特征通道，3步骤5，将所述嵌入Transformer融合策略的融合权重学习模型与编码器解码器级联，构建红外与可见光图像融合网络，并采用所述显著性label和多模式loss对所述红外与可步骤1中所述解码器的结构包含：1个1×1卷积层和6个解码卷积模块DCB30、DCB20、DCB30的输出连接到DCB21的输入，DCB20的输出连接到DCB11的输入，DCB21的输出连接到pp46.如权利要求1所述的方法，其特征在于，步骤4中所述加入显著性label包含以下步通过训练好的编码器E提取红外图像和可见光图像的多模式特征b,和D,，将红外特征和可见光特征在通道上进行拼接后输入特征融合网络F，特融合特征经训练好的解码器D解码生成融合图像If，整个融合过程被形式化为公式5光的图像融合是指将同一场景下的红外和可见光图像结合起来，利用这两种图像的互补6[0014]步骤1中所述解码器的结构如下：包含和1个1×1卷积层和6个解码卷积模块pp78外特征Φir和可见光特征Φvi在通道上进行拼接后输入特征融合网络F，特征融合网络F生成的融合特征Φf经训练好的解码器D解码生成融合图像If，整个融合过程可以被形式化为[0058](1)提出了一个新的红外与可见光图像融合网络，其利用FocalTransformer模块[0060](3)在融合中加入显著性信息，优化模型自适应地提升红外图像中热目标和可见图是第一个实施例的待融合可见光图像；(c)图是基于拉普拉斯金字塔(LP)的融合图像；图是第二个实施例的待融合可见光图像；(c)图是基于拉普拉斯金字塔(LP)的融合图像；9[0068]本实施例给出一种基于多模式特征的红外与可见光图像融合方法，包括以下步接到DCB20的输入，第二尺度的最终融合特征连接到DCB10的输入，将DCB30的输出连接到[0070]编码器-解码器网络的loss函数LED，其为输入图像与输出pp卷积层和1个FocalTransformer模块组成；第1个卷积层调整特征通道，Focal可见光图像融合网络进行训练。通过训练好的编码器E提取红外图像和可见光图像的多模光图像融合方法在可以突出显示红外图像的目标信息的同时，保留可见光图像更多的纹估融合性能，本实施例选用了6个在图像融合领域被广泛使用的评价指标，如标准差[0120]表1给出了选取的21对红外和可见光图像在不同融合方法下实验结果的客观评价

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论