CN114897690B 一种基于串行高频注意力的轻量化图像超分辨率方法 （南京大学）

一种基于串行高频注意力的轻量化图像超一种基于串行高频注意力的轻量化图像超1的权重来加强卷积神经网络对图像高频边缘信息的恢复。本发明方法能够充分利用注意力机用可训练的拉普拉斯边缘检测算子大幅度增强般方法中重建的图像边缘信息模糊的问题取得像超分辨率方法，能够降低72％的最大显存占2记第k个HFAB的输入为Fk-1，输出为Fk，首先对特征图用3x3卷积降维，经过Convsqueeze接下来经过批归一化层达到Sigmoid函数的非饱和点，送入Sigmoi2.根据权利要求1所述的一种基于串行高频注意力的轻量化图像超分辨率方法，其特33.根据权利要求2所述的一种基于串行高频注意力的轻量化图像超分辨率方法，其特4[0003]自深度学习诞生以来，基于卷积神经网络(CNN)的方法在图像超分辨率领域取得关注重要的信号同时降低对不重要信号的关注度。自从SENet在图像分类任务中取得巨大RCAN(ResidualChannelAttentionNetworks)首先将通道注意力融入了残差块中。残差非局部注意力网络RNAN(ResidualNon-LocalAttentionNetworks)引入了局部和全局的注意力机制对中间的特征进行尺度缩放。二阶注意力网络SAN(Second-orderAttention更好的效果。残差特征聚合网络RFA(ResidualFeatureAggregationNetwork)提出了增强空间注意力机制来获得具有更大感受野的特征图。整体注意力网络HAN(HolisticAttentionNetwork)提出了层注意力机制和通道-空间注意力机制来对不同卷积层、不同5卷积将维度变换回输入空间，最后经过批归一化层BN达到Sigmoid函数的非饱和点，送入全串行的结构来降低显存占用和提高推理速度，而不是现有注意力模块所采用的并行结构；(3)本发明方法在注意力模块中应用了可学习的拉普拉斯边缘检测算子来增强高频区[0010]1.本发明的注意力模块效率更高，最大显存占用相比现有方法下降了72推理的重建质量，由峰值信噪比PSNR判断，本发明方法在Set5、Set14、B100、Urban100以及Manga109五个数据集上都取得了最高的重建质量同时保障模型的推理效率。本发明方法搭建基于高频注意力的图像超分辨率模层和Sigmoid层构成，通过为每个像素学习一个0到1的权重来加强卷积神经网络对图像高6[0018]图1展示了搭建基于高频注意力的图像超分辨率模型的主要流程，结合附图和具选择高效的算子对构建轻量化图像超分辨模型是十分必要的，能够在相同的模型容量下，的算子得到新模型，然后通过差值求得每个算子的近似推理时间。设定输入图像大小为[0022](3)避免使用绑定的算子。虽然有很多方法建议先下采样再上采样以获得更大的会被访问而暂存特征所占用显存Mie以及模型参数所占用的显存Mier:定义为：[0028]M=Mi[0029]轻量化图像超分辨率任务中，模型占用的显存相比特征占用的显存可以忽略不7的卷积，输入和输出特征不能共享显存，因为每个像素点需要被Cout×K×K次访问以及[0031]再考虑图3中(b)基于特征融合的并行结构。与1x1卷积融合层相关的特征图在初所占用显存Mparallel与简单串行结构所占用显存Mserial的比值显存占用。为了尽可能降低最大显存占用，本发明在设计网络block时应首先考虑串行结[0035]本发明以增强残差块ERB(enhancedresidualblock)为基础构建网络，如图5所[0036]高频注意力模块HFAB的任务是为特征图上的每个像素点都8FeatureDistillationNetwork)降低了72％的显存占用以及提升了