CN118537264B 一种基于视觉语言模型的真实场景恶劣天气图像复原方法 （上海人工智能创新中心）

一种基于视觉语言模型的真实场景恶劣天本发明涉及一种基于视觉语言模型的真实用视觉语言模型来增强真实世界恶劣天气条件觉语言模型提供的监督信号来训练图像恢复模性和效果。本发明还引入了一种有效的训练策示了本方法在真实世界恶劣天气图像恢复方面2获取带有标签的恶劣天气图像样本并输入学生网络中，基于获取无标签的恶劣天气图像样本并分别输入教师网络和所述学生基于所述学生网络复原后的图像，利用预训练好的CLI于所述图像嵌入与预设的晴朗天气提示向量的文本嵌入计基于所述学生网络复原后的图像，以及预设的无标签的恶劣天气计算用于将学生网络复原后的图像、伪标签以及无,雪四种天气情况下的天气提示向量的文本嵌入，EZ()表示学生网络复原后的图像的嵌2.根据权利要求1所述的一种基于视觉语言模型的真实场景恶劣天气图像复原方法，在训练前，利用视觉语言模型对无标签的恶劣天气图像样3.根据权利要求1所述的一种基于视觉语言模型的真实场景恶劣天气图像复原方法，,4.根据权利要求1所述的一种基于视觉语言模型的真实场景恶劣天气图像复原方法，构建晴朗、雨、雾和雪四种天气情况下用于捕捉与天3在所述CLIP模型的文本编码器的嵌入空间中初始化天气提示5.根据权利要求1所述的一种基于视觉语言模型的真实场景恶劣天气图像复原方法，针对无标签的恶劣天气图像样本，利用另一个视觉语言模型6.根据权利要求1所述的一种基于视觉语言模型的真实场景恶劣天气图像复原方法，,7.根据权利要求1所述的一种基于视觉语言模型的真实场景恶劣天气图像复原方法，,存有一个或多个程序，所述一个或多个程序包括用于执行如权利要求1_7任一所述基于视9.一种计算机可读存储介质，其特征在于，包括的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1_7任一所述基于视觉4多种恶劣天气条件下的图像恢复方面取得了进展，但它们通常忽视了图像的语义上下文，[0005]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉语言5[0010]基于所述学生网络复原后的图像，利用预训练好的CLIP模型计算对应的图像嵌[0019]其中，分别表示利用视觉语言模型对所述学生网络复原后的图像进行可的嵌入。6[0033]其中，LUP、LPS、LwpehLsemLfeat分别为监督损失、伪标签损失、天气提[0039](3)图像语义恢复能力强：本发明基于描述辅助的语义增强实现图像复原框架的7[0052]参见图1为图像复原框架训练过程的示意图，图像复原框架包括可训练的学生网[0054](1)图像评估与伪标签生成(ImageAssessmentandPseudo_Labeling)：通过引8评估为其分配并更新伪标签选择不含天气相关伪影的理想伪标签图像"。研究发现rvlm能够获取含有更少天气相关伪影的更好的伪标签。9[0063]初始化天气提示EZ(t)在CLIP文本编码器的嵌入空间中。同时收集不同天气情况习损失Lupe最大化模型预测恢复图像(即学生网络的预测输出，对应图1中的复原值(学生))的图像嵌入E:(9)与晴朗天气提示的文本嵌入之间的相似度。图像。在这一阶段，通过最大化模型预测的了解决这一问题并增强模型学习的规范化，采用了特征相似度损失Lfeat以将模型的预测与伪标签yps及输入xu对齐。这种方法采用了DepthAnything的视觉编码器进行特征提取，觉语言模型的图像文本理解能力来增强恶劣天气negpos[0071]随后，将与恶劣天气条件下质量受损的图像相关联的负面场景描述d转换为伪negpos清晰表示。通过提示大型语言模型(LLMs)生成与恢复图像相对应的正面描述d来实现这posnegposneg最终，总损失是监督外观损失Lsaup半监督伪标签损失LPS天气提示损失Lwpe描述辅助的语义损失Lsem和特征相似度损失Lhur的加权组合，其中w1,w2,w3,w4是用于平衡损失值[0076]L=L同天气条件下获得了最佳的VLM_Vis评分。这些结果证明了本方法在真实数据上相比现有[0086](1)提高泛化能力：采用的半监督学习框架利用有标签的合成图像和无标签的真[0088](3)增强图像语义恢复：利用视觉语言模型生成描述恶劣天气图像的自然语言描内储存有一个或多个程序，所述一个或多个程序包括用于执行如实施