CN114936977B 一种基于通道注意力和跨尺度特征融合的图像去模糊方法 （东南大学）

WO2020087607A1,2020.0一种基于通道注意力和跨尺度特征融合的本发明公开了一种基于通道注意力和跨尺所构建的模糊图像测试集上评估本发明所提网络模型的去模糊性能。本发明所提方法相比于DMPHN等算法取得了更好的去模糊性能。本发明2步骤S2、构建一个基于通道注意力和跨尺度特征的多个中间特征图谱和输出特征图谱作为输出；该解码器模块以编码器模块的输出为输跨尺度特征融合模块对不同分辨率的中间特征信息和的校正后的解码特征进行逐步的跨步骤S3、通过步骤S1中得到的训练集对步骤S2中构2.根据权利要求1所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，3.根据权利要求1所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，子为0.5的特征下采样层和12个特征通道数为96的通道注意力残差模块得到中间特征图谱通道数为128的通道注意力残差模块得到编码器模块的输出特征图谱encoded_fe4.根据权利要求3所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，输入依次经过12个特征通道数为128的通道注意力残差模块得到中间解码特征feats3；然该特征上采样层以1×1卷积的方式将特征通道数降低为64，得到中间特征图谱decoded_35.根据权利要求4所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，6.根据权利要求5所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，图像与相应分辨率下的原始模糊图像Iblur进行残差连接得到该分辨率下复原的清晰图像然后，通过利用该分辨率下的真实清晰图像Isharp对所述的复原的清晰图像Ideblur进行运算和sigmoid函数运算进一步生成了用于加权中间解码特征feats3的权重张量；该中间以这种加权校正解码特征的方式替代直接将复原图像输入更高层网络的方式能够提7.根据权利要求6所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，其中，该跨尺度特征融合模块中，为了充分利用和融合输入首先，最低分辨率的校正解码特征经过上采样层和卷积层运算后接着，校正解码特征r;eR""经过上采样层和卷积层运算后与中间特征FM2逐像素对ne"8.根据权利要求7所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，步骤S301、首先对用于训练的模糊图像和真实清晰图4步骤S302、输入模糊图像经过步骤S2所构建的网络步骤S304、在训练过程中使用Adam优化器对网络参数进行梯度更新步骤S305、训练完成后得到收敛的网络模型，该9.根据权利要求8所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，10.根据权利要求9所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法，步骤S401、将步骤S1所构建的测试集图像进行像素归一xyL)22＝步骤S404、以去模糊图像的PSNR值和SSIM值衡量算法的图像去5型主要基于最大化后验概率模型(MaxaPosterior,MAP)与最大似然估计模型(Maximum网络应用到图像去模糊问题上。研究者们考虑到现实场景多为复杂的空间非均匀模糊场不具有更高的实际应用价值和现有的基于深度神经网络的图像去模糊算法去模糊性能提6[0013]再将该数据集GOPRO划分为训练集、验证集和测试集，分别包括2000对训练图像[0014]同时获取公开的模糊图像数据集HIDE，使用划分好的2025对测试图像作为测试采样因子为0.5的特征下采样层和12个特征通道数为96的通道注意力残差模块得到中间特个特征通道数为128的通道注意力残差模块得到编码器模块的输出特征图谱encoded_先，该输入依次经过12个特征通道数为128的通道注意力残差模块得到中间解码特征decoded_feats2，该decoded_feats2与编码器模块中的encoded_feats1进行逐像素相加，7残差图像与相应分辨率下的原始模糊图像Iblur进行残差连接得到该分辨率下复原的清晰[0020]然后，通过利用该分辨率下的真实清晰图像Isharp对所述的复原的清晰图积层运算和sigmoid函数运算进一步生成了用于加权中间解码特征feats3的权重张量；该[0022]以这种加权校正解码特征的方式替代直接将复原图像输入更高层网络的方式能[0026]然后，校正解码特征经过上采样层和卷积层运算后与中间特征FneR""经过卷积层最终重建出清晰图像。[0030]步骤S301、首先对用于训练的模糊图像和真实清晰图像对进行相同的预处理操[0032]步骤S303、采用基于L1损失的多尺度内容重建损失函数对网络模型进行监督训8k表示图像总的像素数量。[0038]进一步的，通过如下的方法对步骤S3中得到的收敛的网μyL)22＝[0048]本发明在基础的残差模块中引入通道注意力机制能够自适应调整不同通道特征9[0049]图1为实施例1中提供的一种基于通道注意力和跨尺度特征融合的图像去模糊方[0050]图2为实施例1中提供的基于通道注意力和跨尺度特征融合的图像去模糊网络模[0058]参见图1-图7，本实施例提供一种基于通道注意力和跨尺度特征融合的图像去模[0060]具体的说，在该步骤S1中，获取的模糊图像数据集是公开的模糊图像数据集[0061]再将该数据集GOPRO划分为训练集、验证集和测试集，分别包括2000对训练图像子为0.5的特征下采样层和12个特征通道数为96的通道注意力残差模块得到中间特征图谱通道数为128的通道注意力残差模块得到编码器模块的输出特征图谱encoded_fe特征上采样层以1×1卷积的方式将特征通道数降低为96，得到中间特征图谱decoded_低为64，得到中间特征图谱decoded_feats2，该decoded_feats2与编码器模块中的encoded_feats1进行逐像素相加，再输入至12个特征通道数为64的通道注意力残差模块，[0068]上述的监督模块，以解码器模块中的中间解码特征feats3以及中间解码特征[0070]具体的说，在本实施例中，上述的通道注意力残差模块(ResidualChannel残差图像与相应分辨率下的原始模糊图像Iblur进行残差连接得到该分辨率下复原的清晰[0073]然后，通过利用该分辨率下的真实清晰图像Isharp对上述的复原的清晰图积层运算和sigmoid函数运算进一步生成了用于加权中间解码特征feats3的权重张量；该[0075]以这种加权校正解码特征的方式替代直接将复原图像输入更高层网络的方式能要由上采样层，卷积层和深度残差注意力模块(ResidualInResidualChannelAttentionBlock,RIRCAB[0077]上述的深度残差注意力模块RIRCAB由4个通道注意力残差模块ResCAB，卷积层和[0079]首先，最低分辨率的校正解码特征经过上采样层和卷积层运算后与浅层特征逐像素对应相加，再输入RIRCAB模块进行充分的特征融合[0091]步骤S301、首先对用于训练的模糊图像和真实清晰图像对进行相同的预处理操[0093]步骤S303、采用基于L1损失的多尺度内容重建损失函数对网络模型进行监督训[0097]多尺度内容重建损失函数就是各个尺度下的复原图像与真实清晰图像之间的L1k表示图像总的像素数量。[0100]步骤S4、通过步骤S1中得到的测试集对步骤S3中得到的收敛的网络模型进行测[0105]在该公式中，MAXs代表真实清晰图像S中最大的像素值(一般每个像素都由8位二[0106]步骤S403：根据去模糊图像B和真实清晰图像S计算结构相似性(Structuralμyx22＝0.03为默认值。集GORPO进行训练，且在训练过程中迭代若干次后达到收敛并且最终能够实现重建去模糊[0111]表1是本发明方法与当前主要的图像去模糊算法在GOPRO测试集上的去模糊性能法中性能最好的SAPHN算法的PNSR值仍高出0.19dB，表明本发明算法的去模糊性能取得了29.2311.74.33Zhangetal.29.1937.11.430.266.829.5560.90.3531.221.731.521.731.850.343