CN116012253B 一种基于融合Transformer的卷积神经网络的图像去雾方法 （陕西云悦未来电子科技有限公司）

四路与沣东大道交叉口西部生命科学一种基于融合Transformer的卷积神经网络本发明涉及一种基于融合Transformer的卷网络结构和残差模块，利用卷积模块和Transformer模块构建一个端到端的去雾网络模2S21：编码器包含3个去雾模块和2个patch_mergi若干卷积子模块和后半部分若干的Transformer子模块组成，每个去雾模块中卷积模块和将每4x4相邻的像素作为一个patch，然后在channel方向展平，则特S23：去雾模块由8个去雾子模块构成，每个去雾子模块为卷积神经网络模块或S3：将预处理后的数据集输入到构建好的去雾网2.根据权利要求1所述的基于融合Transformcropcropcropcropcropcropxhxw3.根据权利要求1所述的基于融合Transfor能够学习到不同channel特征的重要程度，而PixNet是为了使网络学习到不同空间点上特3进行Self_Attention；同时为了使得不同窗口之间能够进行信息的交互，在一个正常的WindowsMulti_headSelf_Attention后面跟着一个ShiftedWindowsMulti_HeadSelf_xlxd自注意力机制先将Query和Key进行点积操作，再使用SoftMax函数提取注意力比率后4.根据权利要求1所述的基于融合Transformer的卷积y＝r1xlayeri+r2xx+b5.根据权利要求1所述的基于融合Transfor6.根据权利要求1所述的基于融合Transformer感知损失即利用其他预训练的特征提取网络，提取输出图片和4jHjWj表示特征提取网络输出的通道数之积；采用ImageNet上训练的VGG16作为特征提取网络，使用其3，55[0001]本发明属于计算机视觉和图像处理技术领域，涉及一种基于融合Transformer的[0005]有鉴于此，本发明的目的在于提供一种基于融合Transformer的卷积神经网络的[0009]S2：构建去雾网络模型：基于U_Net的网络结构和残差模块，利用卷积模块和Transformer模块构建一个端到端6cropcropcropcropcropcropcropcropcropcropcropcrop成，每一个去雾模块由Transformer和卷积神经网络组成，卷积神经网络提取低频信息，分的若干卷积子模块和后半部分若干的Transformer子模块组成，每个去雾模块中卷积模[0018]S22：patch_merging模块的作用是首先将输入到patchpartition模块中进行分[0019]S23：去雾模块由8个去雾子模块构成，每个去雾子模块为卷积神经网络模块或网络能够学习到不同channel特征的重要程度，而PixNet是为了使网络学习到不同空间点上特征的重要程度，这样做的目的也是为了使得网络能够更好的捕捉到足够的细节信息，窗口之间能够进行信息的交互，在一个正常的WindowsMulti_headSelf_Attention(W_MSA)后面跟着一个ShiftedWindowsMulti_HeadSelf_Attention(SW_MS)；其计算公式7[0027]自注意力机制先将Query和Key进行点积操作，再使用SoftMax函数提取注意力比气散射模型的变型得来的软约束函数；这样做的目的是因为Transformer模型本身缺少卷jHjWj表示特征提取网络输出的通道数8[0045]2)以往的方法大多是通过改变卷积神经网络的尺度和深度来调整网络对特征的[0046]3)本发明在卷积去雾子模块中引入了SKNet和PixNet，同时在通道信息和空间信[0055]图7是本发明SENet模块结构图，其中，图7(a)为SENet模块处理图像的效果示意[0058]请参阅图1～图8，本发明提供一种基于融合Transformer的卷积神经网络的图像9cropcropcropcropcropcropcropcropcropcropcropcrop分的若干卷积子模块和后半部分若干的Transformer子模块组成，每个去雾模块中卷积模[0066]S22：patch_merging模块的作用是首先将输入到patchpartition模块中进行分[0067]S23：去雾模块由8个去雾子模块构成，每个子模块为卷积神经网络模块或能够学习到不同channel特征的重要程度，而PixNet是为了使网络学习到不同空间点上特MSA)后面跟着一个ShiftedWindowsMulti_HeadSelf_Attention(SW_MS)。其计算公式[0072]自注意力机制先将Query和Key进行点积操作，再使用SoftMax函数提取注意力比变型得来的软约束函数。这样做的目的是因为Transformer模型本身缺少卷积模型的一些jHjWj表示特征提取网络输出的通道数