CN115797304B 基于边缘特征引导的无参考屏幕内容图像质量评估方法 （福州大学）

基于边缘特征引导的无参考屏幕内容图像本发明涉及基于边缘特征引导的无参考屏先利用高斯拉普拉斯算子生成对应失真屏幕内网络有效提取屏幕内容图像低层的细节信息和2步骤S1、首先利用高斯拉普拉斯算子生成对应失真屏幕通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征进行步骤S4、设计渐进式特征融合模块，该模块通过自步骤S5、设计基于边缘特征引导的图像质量评估网络，步骤S6、将待测失真图像和对应的边缘结构图输入到训2.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其步骤S12、对步骤S11得到的中间结果图G,进行阈值像同属于训练集或同属于测试集。3.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其步骤S21、以Res2Net_50作为主干网络，对输入大小为HXWX3的失真屏幕内容图像I进行多尺度的特征提取；由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像I经过主其中特征图F1的大小为烂XC.特征图F2的大小为特征图F3的大小为特征图F4的大小为C＝256；残差模块中提取浅层特征信息，残差模块由一个卷积核大3edge表示经过残差模块后得Wab)c表示特征融合子模块的输出特征；卷积核大小为1×1的卷积层来减少通道数，从而获得局部通道注意力子模块的最终输出其中，GAP(*)表示全局平均池化操作，Conv1_2(*)表示卷步骤S26、使用步骤S25设计的边缘引导特征模块将来自边失真图像的多级主干特征进行自适应集成，从而增强失真屏幕内容图像的边缘信息表示，引导网络更好地关注边缘信息；具体地，将经过步骤S21得到的失真图像的多级主干特征4模块中，得到融合浅层边缘特征信息的多级主干特征F⃞,i=1,2,3,4,其中特征图的大小为特征图的大小为特征图的大小为4.根据权利要求3所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其步骤S31、设计位置注意力模块，该模块由三个卷积核大小为1X1的卷积层以及p成空间注意力图S，其大小为NXN；然后在中间特征图FV与空间注意力图S二者之间进行矩其维度大小由CXN变为HXWXC，最后将特征Si乘以比例参数α,并通过残差连接与输入的pp其中，Conv1_4(*)、Conv1_5(*)和Conv1_6(*)表示三个卷积核大小为1X1的卷积层，""p步骤S32、使用步骤S31设计的位置注意力模块对输入特征的丰富上下文关系进行建5.根据权利要求4所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其5示一个卷积核大小为1×1的卷积层，"p"表示矩阵加法运算，BN(*)表示批归一化操作，6其中，Conv4_1(*)和Conv4_3(*骤S43得到的特征向量以及经过步骤S44得到的特征向量进行特征融合，形成输入失变为1x1x2C,；对特征向量进行全局平均池化操作，其维度大小由变为1x1x8C'，然后将执行全局平均池化操作后的特征向量以及6.根据权利要求5所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其步骤S51、将经过步骤S45得到的输入失真图像的多尺度编码表7步骤S53、以批次为单位重复上述步骤S51至步骤S52，直7.根据权利要求1所述的基于边缘特征引导的无参考屏幕内容图像质量评估方法，其步骤S61、将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的基于8种处理应用场景中为其设计行之有效的质量评价方法具9然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征络提取的高级图像特征包含较多的语义位置信息，因此取失真图像I经过主干网络图F1的大小为XC:特征图F2的大小为特征图F3的大小为特征图F4的大小为[0021]其中，Conv(*)表示一个卷积核大小为3×3的卷积层，表示矩阵加法运算，edge表示经过残差模块Waaa骤S24所述的局部通道注意力子模块串行连接edge分别输入到四个边缘引导特征模块中，得到融合浅层边缘特征信息的多级主干特征Ff"(i=1,2,3,4),其中特征图Ff的大小为特征图的大小为特征图的大小为特征图的大小为C,＝64；[0033]步骤S31、设计位置注意力模块，该模块由三个卷积核大小为1×1的卷积层以及p其维度大小由C×N变为H×W×C，最后将特征Si乘以比例参数α,并通过残差连接与输入的p[0038]si=Reshape(FY&s)[0039]F'=u-siof,pp干特征ef"维度大小相同。[0050]其中，Conv2_1((*)表示一个卷积核大小为1×1的卷积层，""表示矩阵加法运算，BN(*)表示批归一化操征输入到上述的上下文聚合子模块中，得到融合后的特征陆,最后再将特征输入到[0055]其中，Conv3_1(征输入到上述的上下文聚合子模块中，得到[0060]其中，Conv4_1(过步骤S43得到的特征向量以及经过步骤S44得到的特征向量进行特征融合，形成输小由变为1×1×C,；对特征向量进行全局平均池化操作，其维度大小由变为1×1×2C,；对特征向量进行全局平均池化操作，其维度大小由变为1×1×4C,；对特征向量进行全局平均池化操作，其维度大小由变为1×1×8C,，然后将执行全局平均池化操作后的特征向量[0065]步骤S51、将经过步骤S45得到的输入失真图像的多尺度编码表示F输入到全连接[0072]步骤Sδ1、将测试集中的失真屏幕内容图像和对应的边缘结构图输入到训练好的经网络的屏幕内容图像质量评估模型在图像特征提取过程中由于网络层数加深造成的浅然后通过多个边缘引导特征模块将来自边缘结构图的浅层特征信息分别与多级主干特征[0094]步骤S21、以Res2Net_50作为主干网络，对输入大小为H×W×3的失真屏幕内容图像I进行多尺度的特征提取。由于浅层网络提取的低级图像特征包含丰富的边缘细节信息，而深层网络提取的高级图像特征包含较多的语义位置信息，因此取失真图像I经过主干网络Res2Net_50中四个阶段输出的特征图作为失真图像的多级主干特征。具体F3和F4，其中特征图F1的大小为特征图F2的大小为唱X2r、特征图F3的大小[0097]其中，Conv(*)表示一个卷积核大小为3×3的卷积层，表示矩阵加法运算，edge表示经过残差模块WaaHaa)骤S24所述的局部通道注意力子模块串行连接征模块中，得到融合浅层边缘特征信息的多级主干特征f'(i=1,2,3,4),其中特征图Ff的大小为特征图的大小为特征图的大小为特征图Ff的大小为[0109]步骤S31、设计位置注意力模块，该模块由三个卷积核大小为1×1的卷积层以及p其维度大小由C×N变为H×W×C，最后将特征Si乘以比例参数α,并通过残差连接与输入的p[0114]si=Reshape(FY因s)p[0116]其中，Conv1(*)、Conv2(*)和Conv3(*)表示三个卷积核大小为1×1的卷积层，pF,i与输入的多级主干特征Ff"维度大小相同。[0126]其中，Conv2_1((*)表示一个卷积核大小为1×1的卷积层，""表示矩阵加法运算，BN(*)表示批归一化操征输入到上述的上下文聚合子模块中，得到融合后的特征陆,最后再将特征陆输入到[0131]其中，Conv3_1([0136]其中，Conv4_1(过步骤S43得到的特征向量以及经过步骤S44得到的特征向量进行特征融合，形成输小由变为1×1×C,；对特征向量进行全局平均池化操作，其维度大小由变为1×1×2C,；对特征向量进行全局平均池化操作，其维度大小由变为1×1×4C,；对特征向量进行全局平均池化操作，其维度大小由