CN115375663B 基于深度互学习和双尺度特征融合的图像质量评价方法 （广东工业大学）

基于深度互学习和双尺度特征融合的图像本申请实施例提供的一种基于深度互学习该方法包括确定待进行无参考图像质量评估的始质量评价模型包括用于从图像中提取局部特出非局部特征的第一、二VisionTransformer网及第一VisionTransformer网络中，将目标镜像图像输入到第二Resnet50网络以及第二Vision21.一种基于深度互学习和双尺度特征融合的无参考图像质量评价方法，其特征在于，构建初始质量评价模型，所述初始质量评价模将所述目标失真图像输入到第一Resnet50网络以及第一VisionTransformer网络中，将所述目标镜像图像输入到第二Resnet50网络以及第二VisionTransformer网络中进行在结束模型训练时，得到目标质量评价模型，将待评估图像;;上式中，L1表示经由第一Resnet50网络以及第一VisionTransformer网络组成的整个网络所使用的第一损失函数，L2表示经由第二Resnet50网经由第一Resnet50网络输出的第一局部特征，表示经由第二Resnet50网络输出的第二局部特征；表示经由第一VisionTransformer网络输出的第一非局部特征，表示经由第二VisionTransformer网络输获取待进行无参考图像质量评估的初始处理对象，并按照3所述初始卷积层的卷积核大小为7x7x64，步幅为2，用于对输入图像进行卷积运算，所述最大池化层，用于基于所述目标特征向量，在保证4.根据权利要求3所述的方法，其特征在于，第一残差块层积核组成的第一卷积核组，所述第一卷积核组的大小为[1x1x64,3x3x64,1x1x第二残差块层中包含由4个依次排列的卷积核组成的第二卷积核组，所述第二卷积核第三残差块层中包含由6个依次排列的卷积核组成的第三卷积核组，所述第三卷积核第四残差块层中包含由3个依次排列的卷积核组成的第四卷积核组，所述第四卷积核所述PatchEmbedding网络的卷积核大小为8x8，卷积步幅为8，用于对输入图像进行所述TransformerEncoder网络包括依次连接的LayerNorm层、Multi_Head所述Multi_HeadAttention层的计;;46.根据权利要求5所述的方法，其特征在于，所述Transfor;0表示经由PatchEmbedding网络处理得到的特征向量再加上class编码xclass、以及位置编码后E得到的结果；表示输入图像经(*)表示MLP层；zt_1表示经由Transfo示经由TransformerEncoder网络中第t层输出的中间输出特征，zt表示经由Transformer示将class编码作为特征经过TransformerEncoder网络进行7.一种基于深度互学习和双尺度特征融合的无参考图像质量评价系统，其特征在于，所述镜像图像处理模块，用于对所述目标失真图像进行水平翻转，得所述模型构建模块，用于构建初始质量评价模型，所述初始质量评价所述模型训练模块，用于将所述目标失真图像输入到第一Resnet50网络以及第一VisionTransformer网络中，将所述目标镜像图像输入到第二Resnet50网络以及第二;5;;上式中，L1表示经由第一Resnet50网络以及第一VisionTransformer网络组成的整个网络所使用的第一损失函数，L2表示经由第二Resnet50网经由第一Resnet50网络输出的第一局部特征，表示经由第二Resnet50网络输出的第二局部特征；表示经由第一VisionTransformer网络输出的第一非局部特征，表示经由第二VisionTransformer网络输8.一种可读存储介质，其特征在于，所述可读存6[0005]本申请实施例的目的在基于提供一种基于深度互学习和双尺度特征融合的图像[0006]本申请实施例还提供了一种基于深度互学习和双尺度特征融合的无参考图像质的第一、二Resnet50网络、以及用于从图像中提取出非局部特征的第一、二Vision[0010]将所述目标失真图像输入到第一Resnet50网络以及第一VisionTransformer网7VisionTransformer网络中，将所述目标镜像图像输入到第二Resnet50网络以及第二述的一种基于深度互学习和双尺度特征融合的无参考图像质量评价方[0022]图1为本申请实施例提供的一种基于深度互学习和双尺度特征融合的无参考图像8[0026]图5为本申请实施例提供的一种基于深度互学习和双尺度特征融合的无参考图像此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因[0036]具体的，初始质量评价模型包括2个Resnet50网络和2个VisionTransformer网[0037]步骤S400，将目标失真图像输入到第一Resnet50网络以及第一VisionTransformer网络中，将目标镜像图像输入到第二Resnet50网络以及第二Vision[0038]具体的，第一Resnet50网络以及第二Resnet50网络分别将原图像(即目标失真图9[0043]其中，Score表示预测得到的图像质量评价分数，Fwa表示输入图像的局部特[0045]具体的，可以采用皮尔逊线性相关系数(PLCC)和斯皮尔曼秩次相关系数(SROCC)的准确度角度进行性能评估，斯皮尔曼秩次相关系数(SROCC)侧重度量图像客观质量预测逊线性相关系数(PLCC)和斯皮尔曼秩次相关系数(SROCC)的计算公式得提取出来的图像质量感知特征能够很好地反映原图像中对人眼感知发挥重要作用的全大池化层以及由4个残差块层构成的残差网络，其中：初始卷积层的卷积核[0062]在其中一个实施例中，请参考图3，VisionTransformer网络包括Patch小为8×8，卷积步幅为8，用于对输入图像进行卷积运算，以将其转化为2维的特征向量其中，N＝HW/P2表示最终的块数，其也用作Transforme[0063]具体的，PatchEmbedding网络的特征映射总数为768个。实际应用的过程中，总数映射到TransformerEncoder网络中所恒定使用的大小，即768维，以使得其满足[0064]请参考图4，TransformerEncoder网络包括依次连接的LayerNorm层、Multi_[0068]需要说明的是，多头注意力就是在多个不同的投影空间中建立不同的投影信[0070]具体的，LayerNorm层用来对特征向量进行层归一化操作。Multi_Head[0073]其中，z0表示经由PatchEmbedding网络处理得到的特征向量再加上class编码t_1表示经由TransformerEncoder网络中第t_1层输出的输出特征，t表示经由TransformerEncoder网络中第t层输出的中间输出特征，zt表示经由整个网络所使用的第一损失函数，L2表示经由第二Resnet50网络以及第二VisionFwa表示经由第一Resnet50网络输出的第一局部特征，FBrar表示经由第二Resnet50网络输出的第二局部特征；表示经由第一VisionTransformer网络输出的第一非局部特征，表示经由第二VisionTransformer网络输出的第二非局部特征；[0080]请参考图5，其为一种基于深度互学习和双尺度特征融合的无参考图像质量评价[0084]模型训练模块504，用于将目标失真图像输入到第一Resnet50网络以及第一VisionTransformer网络中，将目标镜像图像输入到第二Resnet50网络以及第二Vision出来的图像质量感知特征能够很好地反映原图像中对人眼感知发挥重要作用的全局质量或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(StaticRandomAccessMemory,简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead_OnlyMemory,简称EEPROM)，可擦除