CN114155165B 一种基于半监督的图像去雾方法 （温州大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114155165B(65)同一申请的已公布的文献号路38号温州市国家大学科技园孵化器(74)专利代理机构北京阳光天下知识产权代理专利代理师李满红GO6N3/0464(2023.01)(56)对比文件(54)发明名称一种基于半监督的图像去雾方法本发明提供了一种基于半监督的图像去雾并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；步骤Step2:构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，实现图像特征的提取分析，得到去雾后的图像信息；步骤Step3:利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；步骤Step4:获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像，本发21.一种基于半监督的图像去雾方法，其特征在于，包括以下步骤：步骤Step1:获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；步骤Step2:构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离和提步骤Step3:利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；步骤Step4:获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像；所述图像复原模型包括多尺度提取模块和注意力机制融合模块；所述多尺度提取模块用于提取精细尺度下的特征信息和粗尺度下的特征信息；所述注意力机制融合模块用于进行特征融合；所述多尺度提取模块包括子模块a和子模块b,所述子模块a和所述子模块b均有四个分支，并且包含有一个平均池化和一个串接层，所述串接层将对应的四个分支输出的特征图串接在一起，在每一分支的第一层多个1×1的卷积被用于改变输入图片的维度，按照从下至上和从左至右的网络结构，所述子模块a最左侧有两个3×3的卷积层，而所述子模块b中对于粗尺度特征的提取在最左侧的支路上设置了两个7×1和1×7的卷积对，在左二的支路上设置了一个1×7和7×1的卷积对，卷积对的使用减少了模型的参数量，所述平均池化的大小为3×3,所有的卷积层都紧跟着块正则化和激活函数ReLU;所述注意力机制融合模块包括三个特征融合模块，每个特征融合模块包括融合模块和注意力模块，所有的特征经过融合模块之前首先经过Conv+Sigmoid结构组成的注意力模块提取注意力特征图，每个融合模块将高层特征f1和低层特征f2通过乘法操作进行融合，使融合后的特征同时捕获高层和低层特征的共同性质，每次将融合后的特征转发到卷积模块进行处理。2.如权利要求1所述的基于半监督的图像去雾方法，其特征在于，所述对有雾图像中图像内容和图像细节进行特征分离包括：使用卷积层和图像复原模型的预训练模型将输入图像映射为高维的深度学习特征及内容-特征分离权重；对深度学习特征进行不同层次的卷积和分离操作；根据分离权重不断调整不同成分在深度特征中的占比。3.如权利要求1所述的基于半监督的图像去雾方法，其特征在于，所述半监督图像复原网络包括有监督网络和与所述有监督网络共享权值的无监督网络，所述有监督网络通过图像复原模型得到去雾图像，并通过有监督损失函数和训练集中合成的有雾图像对有监督网络进行参数训练，同时对权值共享的无监督网络进行参数优化，无监督网络在真实的有雾图像上进行训练。4.如权利要求3所述的基于半监督的图像去雾方法，其特征在于，所述有监督损失函数包括均方差误差损失函数、感知损失函数和对抗损失函数；无监督损失函数包括排序损失34技术领域[0001]本发明涉及图像处理技术领域，具体涉及到一种基于半监督的图像去雾方法。背景技术[0002]随着视觉识别技术的广泛普及与应用，就需要对大量的图像数据进行分析和处理，而这些图像数据因为采集环境干扰往往存在着一些受到天气因素干扰而表观退化的图像，在这些退化图像中，由于雾霾这一天气的高频率出现，雾霾图像构成了这些退化图像的主体部分。因此，如何对雾霾图像进行分析与处理，从而恢复出清晰真实的无雾图像，对图像信息应用过程十分重要。[0003]目前，关于图像去雾处理存在预测精准度不够、鲁棒[0004]综上所述，提供一种可实现图像自动复原，图像去雾效率更高、且复原图像质量更加可靠的基于半监督的图像去雾方法，是本领域技术人员急需解决的问题。发明内容[0005]本方案针对上文提到的问题和需求，提出一种基于半监督的图像去雾方法，其由于采取了如下技术方案而能够解决上述技术问题。[0006]为实现上述目的，本发明提供如下技术方案：一种基于半监督的图像去雾方法，包[0007]步骤Step1:获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；[0008]步骤Step2:构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离，及对两种特征进行融合，实现图像特征的提取分析，得到去雾后的图像信息；[0009]步骤Step3:利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；[0010]步骤Step4:获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像。[0011]进一步地，使用卷积层和图像复原模型的预训练模型将输入图像映射为高维的深度学习特征及内容-特征分离权重；对深度学习特征进行不同层次的卷积和分离操作；根据分离权重不断调整不同成分在深度特征中的占比。[0012]更进一步地，所述图像复原模型包括多尺度提取模块和注意力机制融合模块；所述多尺度提取模块用于提取精细尺度下的特征信息和粗尺度下的特征信息；所述注意力机制融合模块用于进行特征融合；所述多尺度提取模块包括子模块a和子模块b,所述子模块a和所述子模块b均有四个分支，并且包含有一个平均池化和一个串接层，所述串接层将对应的四个分支输出的特征图串接在一起，在每一分支的第一层多个1×1的卷积被用于改变输入图片的维度，按照从下至上和从左至右的网络结构，所述子模块a最左侧有两个3×3的卷5积层，而所述子模块b中对于粗尺度特征的提取在最左侧的支路上设置了两个7×1和1×7的卷积对，在左二的支路上设置了一个1×7和7×1的卷积对，卷像恢复为清晰图像J然后对去雾图像J进行随机裁剪得到局部图像J,利用分类器输出大小6附图说明[0024]为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。[0025]图1为本发明一种基于半监督的图像去雾方法的具体步骤示意图。[0026]图2为本实施例中多尺度提取模块的结构示意图。[0027]图3为本实施例中无监督网络分支的流程示意图。[0028]图4为本实施例中半监督图像复原网络的结构图。[0029]图5为本发明一种图像复原装置的组成结构示意图。具体实施方式[0031]为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。[0032]随着视觉传感器技术发展和应用，人们经常需要拍摄、处理与分析数量庞大、角度的图像数据中往往存在着一些受到天气因素干扰而表观退化的图像，在这些退化图像中，由于雾霾这一天气的高频率出现，雾霾图像构成了这些退化图像的主体部分。因此，如何对雾霾图像进行分析与处理，从而恢复出清晰真实的无雾图像，成为了一个长期存在的关键问题。深度学习算法能够从输入图像中提取高维抽象特征，并从中恢复出输入图像的清晰表观，因此受到了广泛的关注。然而，基于深度学习的去雾算法主要采用全监督的方式对模型进行训练，需要大量有雾图像及其对应的清晰图像作为训练数据。而真实有雾图像由于其无对应的清晰图像，从而无法在全监督方法中作为训练数据。且在雾图成像时，不同物体的表观会受到雾霾不同程度的影响，使得真实图像中的退化分布具有一定的局部多变性，这一局部多变性又使得真实有雾图像与退化分布全局一致的合成图像具有一定的域属性[0033]针对上述问题，本申请实施例提供一种基于半监督的图像去雾方法、图像复原装置，可以避免采用大量有雾图像及其对应的清晰图像作为训练数据，导致训练得到的模型对真实有雾场景的泛化能力较差的问题，及没有充分挖掘图像全局与局部特征、多尺度特征的差异性与互补性的问题。该方法可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。[0034]如附图1所示，附图1为本申请实施例提供了一种基于半监督的图像去雾方法，用于对有雾图像进行自动去雾处理。该方法包括以下步骤：[0035]步骤Step1:获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图。[0036]图像数据集是方法研究和测试的基础，完整的图像数据集能够合理有效地反映方7所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离，能会由于弱化效果而出现丢失。则可得清晰图片的恢复过程为,其中， 训练模型将输入图像映射为高维的深度学习特征及内容-特征分离权重；再对深度学习特行操作以得到精度不同的特征；ii)根据上述不同精度的特征和分离权重提取特征中关于a和子模块b,所述子模块a和所述子模块b均有四个分支，并且包含有一个平均池化和一个路上设置了两个7×1和1×7的卷积对，在左二的支路上设置了一个1×7和7×1的卷积对，卷积对的使用减少了模型的参数量，所述平均池化的大小为3×3,所有的卷积层都紧跟着8图片在不同尺度下的特征信息。[0042]所述注意力机制融合模块包括三个特征融合模块，每个特征融合模块包括融合模块和注意力模块，所有的特征经过融合模块之前首先经过Conv+Sigmoid结构组成的注意力模块提取注意力特征图，每个融合模块将高层特征f1和低层特征f2通过乘法操作进行融合，使融合后的特征同时捕获高层和低层特征的共同性质，每次将融合后的特征转发到卷(.)、F₆和F分别代表由卷积层、批处理归一化层和ReLU层，然后再由下一个融合模块进行处[0043]深度神经网络提取的低层次特征，即图2中(a)(b)阶段上两层提取的特征，通常代表图像局部线索，如图像的边缘和其他模式。随着感受野的增加，网络提取的高层特征能够捕获图像全局范围内的语义。如果只使用低层特征，尽管主要蕴含了细节信息，但在更全局采用的特征融合方法中，阶段1对应图2中(a)(b)阶段首层特征，阶段2对应图2中(a)(b)阶段第二层特征，阶段3对应图2中(a)(b)阶段第三层特征，阶段4对应图2中(a)(b)阶段最底层特征，从上到下共有三个特征融合模块。第一个模块融合高层特征(第4阶段)和低层特征(第3阶段),将得到的特征作为高层特征，通过第二特征融合模块与第2阶段的次高层特征进行融合。同样，将得到的特征作为高层特征处理，并通过第三个特征融合模块与阶段1的低层特征进行融合。对于每个特征融合模块，给定高层特征和低层特征，通过将这两类特征进行元素乘法操作从而实现特征融合。融合后的特征将被转发到卷积层、批处理归一化层(BatchNormalization)和ReLU层，然后再由下一个融合模块进行处理。[0044]步骤Step3:利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型。[0045]如附图4所示，附图4为半监督图像复原网络的结构图，所述半监督图像复原网络包括有监督网络和与所述有监督网络共享权值的无监督网络，所述有监督网络通过图像复原模型得到去雾图像，并通过有监督损失函数和训练集中合成的有雾图像对有监督网络进行参数训练，同时对权值共享的无监督网络进行参数优化，无监督网络在真实的有雾图像上进行训练。[0046]在本实施例中，所述有监督损失函数包括均方差误差损失函数、感知损失函数和对抗损失函数；无监督损失函数包括排序损失函数。且训练过程分为三个阶段：无监督预训练，半监督训练以及微调。首先利用无标签数据对网络进行无监督预训练，学习图像的一般视觉表示，在此阶段并不指定图像的具体任务；然后根据特定任务(图像去雾)预训练阶结果进行半监督学习，以确保预测图像的复原质量；最后，为了进一步改进网络对于图像去雾的性能，将未标记数据直接用于目标任务，采用无标签损失函数对网络进行微调。在半监督训练结束后添加微调阶段以特定于任务的方式使用无标记数据，可以增强模型在不同训练阶段之间对无标记数据的预测的一致性。[0047]如附图3