CN114358204B 基于自监督的无参考图像质量评估方法及系统 （中国科学院自动化研究所）

号基于自监督的无参考图像质量评估方法及一种基于自监督的无参考图像质量评估方法及图像质量评估子网络构成的自监督无参考图像量评估子网络的解码器之间设置的知识迁移通2步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自顺次连接的一个最大值池化层和一个3×3卷所述知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接所述知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺i,I分别代表第一训练集中的参考图像r和对应的复原图像I，Lm(,i)代表参考图像i和对应的复原图像I之间的第一损失函数，Lrec(I,I)代表参考图像i和对应的复3原图像I之间的L1损失函数，代表参考图像和对应的复原图像I之间的SSIM损考图像i和对应的复原图像I之间的L1损失函数Lrec(I,I),其表示为：考图像和对应的复原图像I之间的SSIM损失函数Lsmu(l,I),其表示为：其中，SSIM(1,7)代表求参考图像i和对应的复原图像I之间的结构相似度。考图像i和对应的复原图像I之间的感知损失函数Lpercepr(I,I)L=lg-pl模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模4预训练模块，配置为以图像复原任务作为图像质量评估任务的代知识迁移模块，配置为通过知识迁移通道将预训练的微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训5[0002]图像质量评估(IQA，ImageQualityAssessment)广泛应用于影音娱乐、医疗影许多应用场景中，参考图像难以获取，因此无参考IQA(NR-IQA，No-ReferenceImage在计算机视觉领域取得一系列进展，许多学者也纷纷借助CNN强大的特征提取能力来提升[0003]一些文献提出了通过深度双线性卷积神经网络进行无参考图像质量评估的方法学习。其中模型训练过程主要包括：(1)选择部分失真类型的失真图像及其对应的质量分效果不好，且分类任务属于有监督学习，这也一定程度会导致模型的泛化能力降低。MetaIQA方案采用了元学习的思想，利用失真图像和对应的分数输入到方案网络中进行预6训练，让网络提前感知不同失真信息的分数水平。但该预训练的过程依旧依赖于IQA数据[0007][1]ZhangW,MaK,YanJ,etal.BlindImageQualityAssessmentUsingADeepBilinearConvolutionalNeuralNetwork[J].IEEETransactionsonCircuits&SystemsforVideoTechnology[0008][2]ZhuH,LiL,WuJ,etal.MetaIQA:DeepMeta-learningforNo-ReferenceImageQualityAssessment[J].2020IEEE/CVFConferenceonComputerVisionand量评估模型性能不佳的问题，本发明提供了一种基于自监督的无参考图像质量评估方法，[0012]步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参行预训练的先验知识学习子网络和参数迁移后的图像质量评估[0014]步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好[0015]在一些优选的实施例中，所述先验知识学习子网络和所7[0019]所述知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次先验知识学习子网络的解码器输出的图像多尺度上下文[0020]所述知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包复原图像I之间的L1损失函数，代表参考图像和对应的复原图像I之间的SSIM[0025]在一些优选的实施例中，所述参考图像和对应的复原图像I之间的L1损失函数其表示为：代表L1范数。其表示为：其表示为：8[0035]L=lg-pl像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微[0044](1)本发明基于自监督的无参考图像质量评估方法，采用自监督学习的方式让自[0045](2)本发明基于自监督的无参考图像质量评估方法，在自监督无参考图像质量评[0046](3)本发明基于自监督的无参考图像质量评估方法，子网络的解码器为失真信息9[0049]图2是本发明基于自监督的无参考图像质量评估方法一种实施例的失真感知模块[0050]图3是本发明基于自监督的无参考图像质量评估方法一种实施例的知识迁移通道[0051]图4是本发明基于自监督的无参考图像质量评估方法一种实施例的无参考图像的[0054]本发明提供一种基于自监督的无参考图像质量评估方法，采用了新的NR-IQA(无估模型的先验知识学习子网络可以在图像复原任务中学习到关于失真图像的有效特征表习到关于语义和失真特征的先验知识，因此图像质量评估子网络只需要较少的IQA训练数[0059]步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参行预训练的先验知识学习子网络和参数迁移后的图像质量评估[0061]步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好先经过一个拼接层，将两个输入沿通道层拼接在一起，随后经过一个inception层。inception层内部包含了四个分支，每个分支由多个不同尺寸的卷积核或池化层组成。inception层在本模块中用于挖掘不同尺度的失真信息。四个分支输出的特征图经过一个[0066]如图2所示，为本发明基于自监督的无参考图像质量评估方法一种实施例的失真顺次连接的一个最大值池化层和一个3×3卷[0069]如图3所示，为本发明基于自监督的无参考图像质量评估方法一种实施例的知识[0070]知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接[0071]知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺活层和一个平均池化层。先验知识学习子网络解码器中前4个失真感知模块的输出通过知识迁移通道与图像质量评估的第2-5个基本单元的输出特征相连，图像质量评估子网络最后一个基本单元的输出经过4个卷积层后输表参考图像i和对应的复原图像I之间的第一损失函数，Lrec(I,i)代表参考图像i和对应的复原图像I之间的L1损失函数，代表参考图像和对应的复原图像I之间的ρ,μ为预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一[0079]参考图像i和对应的复原图像I之间的L1损失函数Lrec(l,I),其表示如式(2)所代表L1范数。[0082]参考图像和对应的复原图像I之间的SSIM损失函数其表示如式(3)SSIW(,)代表求参考图像和对应的复原图像I之间的结构相似度。[0085]参考图像和对应的复原图像I之间的感知损失函数Lpercep:(l,i),其表示如式(I)代表以参考图像对应的复原图像I为输入的训练集中的训练样本进行先验知识学习子网络的迭代训练，直至满足设定的循环结束条[0089]步骤S30，通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参行预训练的先验知识学习子网络和参数迁移后的图像质量评估[0091]本发明一个实施例中，选择一种IQA训练数据集。例如现有的IQA数据集有[0092]在图像质量评估任务上对图像质量评估子网络和先验知识学习子网络进行训学习子网络和图像质量评估子网络中，将先验知识学习子网络解码器的前4个失真感知模L=lg-pl(5)[0095]通过梯度反向传播算法调整图像质量评估子网络以及微调先验知识学习子网络[0097]步骤S50，以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好给图像质量评估子网络第2-5个基本单元。图像质量评估子网络输出对该失真图像预测的其可以同