CN114358204B 基于自监督的无参考图像质量评估方法及系统 （中国科学院自动化研究所）

(19)国家知识产权局(12)发明专利GO6VGO6NGO6N号务所(普通合伙)11576基于自监督的无参考图像质量评估方法及系统一种基于自监督的无参考图像质量评估方法及图像质量评估子网络构成的自监督无参考图像量评估子网络的解码器之间设置的知识迁移通无失真图像无失真图像编玛器编码器解码器图像质量分数标签编码器解码器失真图像失真图像21.一种基于自监督的无参考图像质量评估方法，其特征在于，该无参考图像质量评估方法包括：步骤S20,以图像复原任务作为图像质量评估任务的步骤S30,通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁步骤S50,以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自考图像的质量评估。所述知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接所述知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺其中，I,I分别代表第一训练集中的参考图像Î和对应的复原图像I,LTN(1,1)代表参考图像1和对应的复原图像I之间的第一损失函数，Lrec(1,1)代表参考图像1和对应的复3失函数，Lpercept(1,1)代表参考图像1和对应的复原图像I之间的感知损失函数考图像1和对应的复原图像I之间的L1损失函数Lrec(1,1),其表示为：考图像1和对应的复原图像I之间的SSIM损失函数Lstru(I,1),其表示为：考图像1和对应的复原图像I之间的感知损失函数Lpercept(1,1),其表示为：L=|g-pl模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模型包括共享编码4器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移模块；预训练模块，配置为以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；知识迁移模块，配置为通过知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训图像质量评估模块，配置为以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。5技术领域[0001]本发明属于图像质量评估领域，具体涉及了一种基于自监督的无参考图像质量评估方法及系统。背景技术[0002]图像质量评估(IQA,ImageQualityAssessment)广泛应用于影音娱乐、医疗影像、航空遥感等场景中。根据有无参考图像，IQA方法可分为全参考、半参考和无参考方法。许多应用场景中，参考图像难以获取，因此无参考IQA(NR-IQA,No-ReferenceImageQualityAssessment)方法，即没有参考图像的情况下对失真图像的质量进行评估，更具实用性，获得更广泛的关注。NR-IQA方法的关键是提取失真一个质量分数。传统的NR-IQA方法通常采用人工设计的特征，例如小波变换系数、离散变换在计算机视觉领域取得一系列进展，许多学者也纷纷借助CNN强大的特征提取能力来提升NR-IQA方法的性能。但训练一个优秀的CNN模型需要大量的人工标注数据，即图像的质量分数。该分数一般在实验室条件下，让受试者严格遵守评分规则给出对失真图像的质量评分，最后对每一幅图像的质量评分取均值所得。因此，IQA数据集的制作成本高且耗时长。难以获取大规模的标注样本已成为限制NR-IQA模型性能的主要因素之一。为了缓解训练数据不足的问题，许多NR-IQA方法采取预训练机制，首先在其他任务上进行预训练，但分类任务主要关注高层语义信息，较少关注底层的失真信息，因此不利于对失真图像的质量评估。[0003]一些文献提出了通过深度双线性卷积神经网络进行无参考图像质量评估的方法(DBCNN方案)[1],首先由VGG-16模块为在ImageNet数据集上进行物体分类任务预训练的模型，然后设置与VGG-16结构相同的S-CNN模块，并在失真类型和失真程度的分类任务上进行预训练。VGG-16负责提取输入图像的语义特征，S-CNN负责提取输入图采用双元线性池化的方法(BilinearPooling)将语义和失真特征相融合，输入到FC层中预测图像的质量分数。还有一些文献提出了通过元学习方法进行无参考图像质量评估的方法(MetaIQA方案)[2],利用元学习的思想，首先通过预训练掌握部分失真类型，然后再将所学知识迁移到未知的失真类型上，探索已知失真和未知失真之间的关联性，从而进行更好的学习。其中模型训练过程主要包括：(1)选择部分失真类型的失真图像及其对应的质量分数，对模型进行预训练；(2)使用目标IQA数据集中所有失真类型的失真图像及其对应的质[0004]然而，DBCNN方案采用了两个预训练的网络来提取语义和失真信息，但提取失真信息的S-CNN也是在分类任务上进行训练的。这导致了当失真类型和程度很多时，其预训练的效果不好，且分类任务属于有监督学习，这也一定程度会导致模型的泛化能力降低。MetaIQA方案采用了元学习的思想，利用失真图像和对应的分数输入到方案网络中进行预6训练，让网络提前感知不同失真信息的分数水平。但该预训练的过程依旧依赖于IQA数据集，且不同IQA数据集的制作过程和打分规则不同，这会导致在其他数据集上微调时模型不适应的问题。且由于预训练过程只对图像质量分数进行约束，这会使得方案模型无法准确地提取出图像的语义和失真信息，导致模型可解释性不强的问题。[0005]总的来说，在NR-IQA任务中，对一张图像预测质量评分往往需要同时考虑高层语义和底层失真信息，而上述两个方案都采用在分类任务上预训练的模型(如VGG,ResNet)来[0006]以下文献是与本发明相关的技术背景资料：DeepBilinearConvolutionalNeuralNetwork[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,201PatternRecognition(CVPR),发明内容[0009]为了解决现有技术中的上述问题，即现有技术中由于训练数据不足而导致图像质量评估模型性能不佳的问题，本发明提供了一种基于自监督的无参考图像质量评估方法，该无参考图像质量评估方法包括：[0010]步骤S10,构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道；[0011]步骤S20,以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；[0012]步骤S30,通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；[0013]步骤S40,获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；[0014]步骤S50,以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。[0015]在一些优选的实施例中，所述先验知识学习子网络和所述图像质量评估子网络，其解码器为失真信息感知模块；[0016]所述失真信息感知模块包括顺次连接的一个第一拼接层、一个Inception层、一个第二拼接层和三个3×3卷积层；[0017]所述Inception层包括第一分支、第二分支、第三分支和第四分支，所述第一分支为一个1×1卷积层，所述第二分支为顺次连接的一个1×1卷积层和一个5×5卷积层，所述第三分支为顺次连接的一个1×1卷积层、一个3×3卷积层和一个1×1卷积层，所述第四分支为顺次连接的一个最大值池化层和一个3×3卷积层。7先验知识学习子网络的解码器输出的图像多尺[0020]所述知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包[0023]其中，1,I分别代表第一训练集中的参考图像1和对应的复原图像I,LTn(1,1)代表参考图像1和对应的复原图像I之间的第一损失函数，Lrec(1,1代表参考图像和对应的复原图像I之间的L1损失函数，Lstru(1,1)代表参考图像Î和对应的复原图像I之间的SS[0025]在一些优选的实施例中，所述参考图像Î和对应的复原图像I之间的L1损失函数8[0033]其中，ψt(①代表以参考图像1为输入的先验知识学习子网络第t层的特征图，ψ+(I)代表以参考图像Î对应的复原图像I为输入的先验知识学习子网络第t层的特征图，T代表预训练的先验知识学习子网络的层数，⊙代表第t层的特征图上的总的特征点数目，III代表L1范数。[0034]在一些优选的实施例中，所述预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络，其基于图像质量评估任务的第二训练集的微调训练的第二损失函数为：[0036]其中，L代表第二损失函数，g,p分别代表第二训练集中图像的标签质量分数和对[0037]本发明的另一方面，提出了一种基于自监督的无参考图像质量评估系统，该无参考图像质量评估系统包括以下模块：[0038]模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移模块；[0039]预训练模块，配置为以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训[0040]知识迁移模块，配置为通过知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；[0041]微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；[0042]图像质量评估模块，配置为以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。[0044](1)本发明基于自监督的无参考图像质量评估方法，采用自监督学习的方式让自监督无参考图像质量评估模型的先验知识学习子网络在图像复原任务上进行预训练，然后再迁移到图像质量评估任务上进行图像质量评估子网络的微调，可以突破图像质量评估训练数据不足的限制，有效提升图像质量评估模型的性能，从而进一步提升图像质量识别的准确性和精度。[0045](2)本发明基于自监督的无参考图像质量评估方法，在自监督无参考图像质量评估模型的先验知识学习子网络和图像质量评估子网络之间建立知识迁移通道，可实现知识的聚合和分发，促进知识的有效迁移。[0046](3)本发明基于自监督的无参考图像质量评估方法，子网络的解码器为失真信息9感知模块，可以有效感知图像全局和局部的失真信息，提升图像复原和图像质量评估的准确性。附图说明[0047]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：[0048]图1是本发明基于自监督的无参考图像质量评估方法的流程示意图；[0049]图2是本发明基于自监督的无参考图像质量评估方法一种实施例的失真感知模块结构示意图；[0050]图3是本发明基于自监督的无参考图像质量评估方法一种实施例的知识迁移通道结构示意图；[0051]图4是本发明基于自监督的无参考图像质量评估方法一种实施例的无参考图像的质量评估示意图。具体实施方式[0052]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。[0053]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。[0054]本发明提供一种基于自监督的无参考图像质量评估方法，采用了新的NR-IQA(无参考图像质量评估)训练方法，利用自监督学习的思想，首先确定一项代理任务，该代理任务应与目标NR-IQA任务具有较强的相关性，训练数据容易获取、数量充足，且不需要人为标注的监督信号，而是可以直接从输入数据本身获取监督信号。图像复原任务满足所述条件，因此本发明选取图像复原任务作为代理任务。构建图像复原任务的数据集，并在该数据集上对自监督无参考图像质量评估模型进行预训练。通过预训练，自监督无参考图像质量评估模型的先验知识学习子网络可以在图像复原任务中学习到关于失真图像的有效特征表示，包括语义特征和失真特征，并将其作为一种先验知识。然后将预训练的先验知识学习子网络迁移到图像质量评估任务上进行图像质量评估子网络的微调。由于在预训练阶段已学习到关于语义和失真特征的先验知识，因此图像质量评估子网络只需要较少的IQA训练数据就可以快速收敛到比较好的性能。[0055]IQA数据集中包含若干幅不同失真类型、不同失真程度的失真图像，图像的失真可能由拍摄抖动、设备噪声、过曝光等自然原因造成，或者是人为的在高清图像上添加失真(如高斯模糊、高斯噪声、过曝光等)得到，每张失真图像都有一个人工标注的图像质量分[0056]本发明的一种基于自监督的无参考图像质量评估方法，该无参考图像质量评估方法包括：[0057]步骤S10,构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道；[0058]步骤S20,以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练；[0059]步骤S30,通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；[0060]步骤S40,获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；[0061]步骤S50,以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。[0062]为了更清晰地对本发明基于自监督的无参考图像质量评估方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。[0063]本发明第一实施例的基于自监督的无参考图像质量评估方法，包括步骤S10-步骤S50,各步骤详细描述如下：[0064]步骤S10,构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移通道。[0065]鉴于两个子网络都需要充分感知输入图像的失真信息，先验知识学习子网络才能复原出一幅干净的图像，图像质量评估子网络才能正确的预测图像的质量分数。但由于解码器以编码器输出的高层语义特征作为输入，在一定程度上损失了底层的失真信息。对此，本发明为两个子网络的解码器设计了一种特殊的网络模块，称为失真感知模块。通过将编码器中的失真特征迁移到解码器中，从而增强解码器对失真信息的感知能力，输出正确的预测结果。该模块以解码器前一层输出的特征图和编码器中间层输出的特征图为输入，首先经过一个拼接层，将两个输入沿通道层拼接在一起，随后经过一个inception层。inception层内部包含了四个分支，每个分支由多个不同尺寸的卷积核或池化层组成。inception层在本模块中用于挖掘不同尺度的失真信息。四个分支输出的特征图经过一个[0066]如图2所示，为本发明基于自监督的无参考图像质量评估方法一种实施例的失真感知模块结构示意图，失真信息感知模块包括顺次连接的一个第一拼接层、一个Inception层、一个第二拼接层和三个3×3卷积层：[0067]Inception层包括第一分支、第二分支、第三分支和第四分支，所述第一分支为一个1×1卷积层，所述第二分支为顺次连接的一个1×1卷积层和一个5×5卷积层，所述第三分支为顺次连接的一个1×1卷积层、一个3×3卷积层和一个1×1卷积层，所述第四分支为顺次连接的一个最大值池化层和一个3×3卷积层。[0068]本发明设计了一种知识迁移通道，用于联通两个子网络。该通道包含知识收集和知识分发两部分。知识收集部分用于聚合先验知识子网络的多尺度上下文特征，每个尺度图的特征分别经过1×1的卷积层调整为同样的通道数，然后分别经过池化层调整为同样的尺寸，最后拼接在一起，构成聚合特征。知识分发部分中，将聚合特征分发给图像质量评估子网络不同尺度的特征图，每个尺度的特征图从聚合特征中选择有用的特征保留，无用的11特征丢弃。在每次分发过程中，首先经过拼接层将聚合特征与图像质量评估子网络中某个尺度的特征拼接在一起，然后经过1×1的卷积层将两者进行融合，实现特征的筛选，融合特征继续沿图像质量评估子网络向后传递。[0069]如图3所示，为本发明基于自监督的无参考图像质量评估方法一种实施例的知识迁移通道结构示意图，知识迁移通道包括知识收集模块和知识分发模块：[0070]知识收集模块包括m个分支输入和一个第三拼接层，每个分支输入包括顺次连接知识学习子网络的解码器输出的图像多尺度上下文特征的尺度数；[0071]知识分发模块包括与所述第三拼接层连接的n个分支输出，每个分支输出包括顺次连接的一个第四拼接层和一个1×1卷积层，其中，n为图像质量评估子网络的解码器输出的图像多尺度上下文特征的尺度数。[0072]本发明一个实施例中，先验知识学习子网络、图像质量评估子网络的编码器采用ResNet-50的前5层，先验知识学习子网络的解码器包含5个失真感知模块，图像质量评估子网络的解码器包含6个基本单元和4个卷积层，每个基本单元包含一个卷积层、一个ReLU激活层和一个平均池化层。先验知识学习子网络解码器中前4个失真感知模块的输出通过知识迁移通道与图像质量评估的第2-5个基本单元的输出特征相连，图像质量评估子网络最后一个基本单元的输出经过4个卷积层后输出最终的质量分数。[0073]步骤S20,以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训练。[0074]本发明一个实施例中，收集大规模高清无失真图像，例如Waterloo数据集中包含了4744幅高清无失真图像，将所采集的图像作为参考图像，在每一幅参考图像上随机施加失真图像，每张失真图像及其对应的参考图像组成一个训练样本，获得先验知识学习子网络训练的第一训练集。[0075]从第一训练集中随机选取一个训练样本，将该训练样本中的失真图像输入到先验知识学习子网络中，输出一幅复原图像，并计算预训练中的第一损失，第一损失函数如式[0077]其中，1,I分别代表第一训练集中的参考图像1和对应的复原图像I,LTN(I,I)代表参考图像1和对应的复原图像I之间的第一损失函数，Lrec(1,I)代表参考图像1和对应的复原图像I之间的L1损失函数，Lstru(1,1)代表参考图像1和对应的复原图像I之间的SSIM损失函数，Lpercept(1,1)代表参考图像f和对应的复原图像I之间的感知p,μ为预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占比重的超参数，N为预训练的第一训练集的参考图像Î和对应的复原图像I的图像对的个数。[0078]预设的用于调节L1损失函数、SSIM损失函数和感知损失函数在第一损失函数所占[0079]参考图像Î和对应的复原图像I之间的L1损失函数Lrec(1,1),其表示如式(2)所[0082]参考图像1和对应的复原图像I之间的SSIM损失函数Lstru(1,1),其表示如式(3)(3)[0084]其中，SSIM(1,1)代表求参考图像1和对应的复原图像I之间的结构相似度。[0085]参考图像1和对应的复原图像I之间的感知损失函数Lpercept(1,1),其表示如式[0087]其中，ψt(1代表以参考图像1为输入的先验知识学习子网络第t层的特征图，μt(I)代表以参考图像对应的复原图像I为输入的先验知识学习子网络第t层的特征图，T代训练集中的训练样本进行先验知识学习子网络的迭代训练，直至满足设定的循环结束条件，获得预训练的先验知识学习子网络。本发明一个实施例中，循[0089]步骤S30,通过所述知识迁移通道将预训练的先验知识学习子网络的解码器的参行预训练的先验知识学习子网络和参数迁移后的图像质量[0091]本发明一个实施例中，选择一种IQA训练数据集。例如现有的IQA数据集有学习子网络和图像质量评估子网络中，将先验知识学习子网络解码器的前4个失真感知模块的输出通过拼接层拼接在一起，得到特征f1,将f1通过知识迁移通道传递给图像质量评估子网络的第2-5个基本单元。图像质量评估子网络输出一个预测的图像质量分数，预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络，其基于图像质量评估任务的第二训练集的微调训练的第二损失函数如式(5)所示：[0094]其中，L代表第二损失函数，g,p分别代表第二训练集中图像的标签质量分数和对[0095]通过梯度反向传播算法调整图像质量评估子网络以及微调先验知识学习子网络中的参数。[0096]不断迭代进行模型训练，直到循环次数满足设定的值，例如5000次，训练结束，两个子网络的参数全部固定。[0097]步骤S50,以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。[0098]本发明的自监督无参考图像质量评估模型经过上述步骤训练后，可直接用于对失真图像的质量评估。如图4所示，本发明基于自监督的无参考图像质量评估方法一种实施例的无参考图像的质量评估示意图，实际使用时，将失真图像输入到本装置中，该失真图像分别进入先验知识学习子网络和图像质量评估子网络中，将先验知识学习子网络解码器的前4个失真感知模块的输出通过拼接层拼接在一起，得到特征f1,将f1通过知识迁移通道传递给图像质量评估子网络第2-5个基本单元。图像质量评估子网络输出对该失真图像预测的质量分数。[0099]上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之[0100]本发明第二实施例的基于自监督的无参考图像质量评估系统，该无参考图像质量评估系统包括以下模块：[0101]模型构建模块，配置为构建自监督无参考图像质量评估模型，所述模型包括共享编码器的先验知识学习子网络和图像质量评估子网络，所述先验知识学习子网络和所述图像质量评估子网络的解码器之间设置有知识迁移模块；[0102]预训练模块，配置为以图像复原任务作为图像质量评估任务的代理任务，构建图像复原任务的第一训练集，并通过所述第一训练集进行所述先验知识学习子网络的预训[0103]知识迁移模块，配置为通过知识迁移通道将预训练的先验知识学习子网络的解码器的参数迁移至图像质量评估子网络的解码器；[0104]微调训练模块，配置为获取少量的图像质量评估任务的第二训练集，并通过所述第二训练集进行预训练的先验知识学习子网络和参数迁移后的图像质量评估子网络的微调训练；[0105]图像质量评估模块，配置为以微调训练的先验知识学习子网络和图像质量评估子网络作为训练好的自监督无参考图像质量评估模型，并通过训练好的自监督无参考图像质量评估模型进行无参考图像的质量评估。[0106]所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。[0107]需要说明的是，上述实施例提供的基于自监督的无参考图像质量