CN119399045A 全局与局部多尺度融合的红外引导低光图像增强方法 （西安理工大学）

全局与局部多尺度融合的红外引导低光图本发明公开了全局与局部多尺度融合的红22.根据权利要求1所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特3.根据权利要求2所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特所述全局与局部纹理注意力融合模块，包括两个深度可分离卷积层、4.根据权利要求1所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特选取FMSVD数据集中白天daytime的场景下的正常光照和白天近红外图像Thirdparty数据集的场景下图像与FMSVD数据集中无参考图像的真实夜间场景图像用于测5.根据权利要求1所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特3j代表计算增强图像与正常6.根据权利要求1所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特近红外浅层特征依次通过对应编码器中的4个模块，通过3次下采样分别得到4个不同尺度S3.4：将对应的4种不同尺度下低光照深层结构特征和近红外深层结构特征分别输入47.根据权利要求6所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特。8.根据权利要求7所述的全局与局部多尺度融合的红外引导低光图像增强方法，其特5w()gS3.4.3：纹理融合特征Xa输入到全局特征注意力模块，特征Xa经过3×3的深度卷积g式中，Atention()表示自注意力运算；dconvss()表示3×3的3D可分离卷积层运算；α式中，β是可学习参数，应用于两种不同模态的全局与局部纹理融合注意力特征权重6码器还连接有中间层，中间层包括6个多级残差注意力特征提取模块；中间层连接有解码7[0007]多级残差注意力特征提取模块包括依次连接的2个模块，第一个模块包括依次连选取FMSVD数据集中白天daytime的场景下的正常光照和白天近红外图像的图像用Thirdparty数据集的场景下图像与FMSVD数据集中无参考图像的真实夜间场景图像用于8征和近红外浅层特征依次通过对应编码器中的4个模块，通过3次下采样分别得到4个不同S3.4：将对应的4种不同尺度下低光照深层结构特征和近红外深层结构特征分别输入对应的全局与局部纹理注意力融合模块进行融合，得到4种不同尺度下的双模态融合[0015]低光照浅层特征和近红外浅层特征依次通过对应编码器中的4个模块，依次连接9[0018]式中，表示逐像素点乘；RCAB()表示残差通道注意力模块运算，具体过程如。[0021]将对应的不同尺度下低光照深层结构特征和近红外深层结构特征分别输入全局o()表示经过S3.4.2：纹理融合特征Xa输入到局部特征注意力模块，特征Xa经过1个卷积块[0023]式中，comvBlck()表示经过卷积块ConvBlock运算；Relu()表示激活函数运算；x()表示BN层运算；ga输入到全局特征注意力模块，特征Xa经过3×3的深度卷g[0024]式中，dnconiont)表示自注意力运算；表示3×3的3D可分离卷积层运函数生成全局与局部纹理注意力权重W，对低光与近红外两种模态图像的纹理注意力特征β是可学习参数，应用于两种不同模态的全局与局部纹理融合注意力特征结构内部是由多级残差注意力特征提取模块RCAM和全局与局部纹理注意力融合模块GLAFM[0027]图1是本发明全局与局部多尺度融合的红外引导低光图像增强方法的总体流程示图6是本发明在FMSVD的夜间数据集中[0029]本发明全局与局部多尺度融合的红外引导低光图像增强方法，具体包括如下步力特征提取模块；两个编码器对应模块间分别连接有全局与局部纹理注意力融合模块卷积层包括依次连接的1个卷积核大小为3×3、分组为通道个数C的分组卷积和1个1×1卷个所述卷积块分别由1×1卷积层和BN层连接组成；所述全局特征注意力模块是由2个1×1选取FMSVD数据集中白天daytime的场景下的正常光照和白天近红外图像的图像用Thirdparty数据集的场景下图像与FMSVD数据集中无参考图像的真实夜间场景图像用于征和近红外浅层特征依次通过对应编码器中的4个模块，通过3次下采样分别得到4个不同器第三个模块，输出尺度32*32*128，经过第三次D下采样和编码器第四个模块，输出尺度16*16*256，获取的4个不同尺度特征作为融合部分的两个输入；低光照图像特征再经[0038]低光照浅层特征和近红外浅层特征依次通过对应编码器中的4个模块，依次连接[0041]式中，表示逐像素点乘；RCAB()表示残差通道注意力模块运算，具体过程如。S3.4：将对应的4种不同尺度下低光照深层结构特征和近红外深层结构特征分别输入对应的全局与局部纹理注意力融合模块进行融合，得到4种不同尺度下的双模态融合o()表示经过S3.4.2：纹理融合特征Xa输入到局部特征注意力模块，特征Xa经过1个卷积块[0046]式中，comvBlck()表示经过卷积块ConvBlock运算；Relu()表示激活函数运算；x()表示BN层运算；a输入到全局特征注意力模块，特征Xa经过3×3的深度卷gg[0047]式中，dnconiont)表示自注意力运算；表示3×3的3D可分离卷积层运函数生成全局与局部纹理注意力权重W，对低光与近红外两种模态图像的纹理注意力特征β是可学习参数，应用于两种不同模态的全局与局部纹理融合注意力特征经过Sigmoid激活函数获取的权重W作为可见光图像的纹理特征权重，1_W作为红外图像的第一次上采样恢复尺度到16*16*256，低光照深层结构特征经过中间层保留原始块第四次上采样恢复128*128*32，与经过第一个编码器模块输出的融合双模态特征相加，合两类图像特征并后向传递与可见光图像特征相加，增强原始可见光图像中的结构信息，[0056]多级残差注意力特征提取模块包括依次连接的2个模块，第一个模块包括依次连图像与FMSVD数据集中33张无参考图像的真实夜间场景图像用于测试，确认模型在真实夜征和近红外浅层特征依次通过对应编码器中的4个模块，通过3次下采样分别得到4个不同低光照浅层特征和近红外浅层特征依次通过对应编码器中的4个模块，依次连接sg(X,Y=XOY[0066]式中，表示逐像素点乘；RCAB()表示残差通道注意力模块运算，具体过程如。S3.4：将对应的4种不同尺度下低光照深层结构特征和近红外深层结构特征分别输入对应的全局与局部纹理注意力融合模块进行融合，得到4种不同尺度下的双模态融合o()表示经过S3.4.2：纹理融合特征Xa输入到局部特征注意力模块，特征Xa经过1个卷积块[0071]式中，comvBlck()表示经过卷积块ConvBlock运算；Relu()表示激活函数运算；x()表示BN层运算；ga输入到全局特征注意力模块，特征Xa经过3×3的深度卷g[0072]式中，dnconiont)表示自注意力运算；表示3×3的3D可分离卷积层运函数生成全局与局部纹理注意力权重W，对低光与近红外两种模态图像的纹理注意力特征β是可学习参数，应用于两种不同模态的全局与局部纹理融合注