CN117078656B 一种基于多模态提示学习的无监督图像质量评估方法 （厦门大学）

Aputervisionandpa一种基于多模态提示学习的无监督图像质一种基于多模态提示学习的无监督图像质图像质量评估旨在没有参考图像(原始图像)的发挥预训练的CLIP模型在挑战性图像感知评估度的文本提示学习代替前人的方法中使用的反22)在模型的文本分支，引入可学习的文本提示来解其中，O表示不作为下一个Transformer层的输入；这种设计允32.如权利要求1所述一种基于多模态提示学习的无监督图像质量评估方法，其特征在4[0002]图像质量评估(ImageQualityAssessment，简称IQA)是计算机视觉领域的重要研少一般分成3类：全参考(FullReference_IQA,FR_IQA)、半参考(ReducedReference_IQA,RR_IQA)和无参考(NoReference_IQA,NR_IQA),无参考也叫盲参考(BlindIQA,BI[0005]OpenAI提出CLIP模型(Radford,etal.Learningtransferablevisualmodelsfromnaturallanguagesupervision.InInternationalconferenceonmachineimages.arXivpreprintarXiv:2207.12396(2022))首次探索CLIP在挑战性图像感知评估assessmentviavision_languagecorrespondence:Amultitasklearningperspective.InProceedingsoftheIEEE/CVFConferenceonComputerVisionand型参数的共享和损失权重，利用来自其他任务的辅助知识。他们使用五个质量级别的5学习的图像提示。这使得模型能够在评估图像质量时充分利用文本和图像之间的信息交6和准确预测。图2右上角是在图像分支引入可学习的提示，在图像编码器的每一个码器的每一层引入可学习的标记，丰富模型捕获和表示重要图像特征和质量特性的能力，7[0040]本发明使用Pytorch框架实现。本发明的图像编码器和文本编码器都源自于CLIP线性层将图像特征向量的维度从768降低到[0046]表1为本发明的模型与之前的模型在常见的6个图像质量评估数据集上的性能对比。这些数据集包括四个真实数据集和两个合成数据集。使用的真实数据集包括LIVE，8[0050]Table1:PerformancecomparisonismeasurdbyaveragesofSRCCandPLCC.Bestresultsarehighlightedinboldetal.Data_EfficientImageQualityAssessmentwithAttention_PanelDecoder[J].arXivpreprintarXiv:2304.04952,2023.)和本发明的模型中输入图像的特征_注意9观察到DEIQT过度集中于图像主要内容内的失真。这导致即使图像的主要内容保持清晰，[0056]上述实施例仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范凡依本发明申请范