CN116403063B 基于多区域特征融合的无参考屏幕内容图像质量评估方法 （福州大学）

辅助和多尺度Transformer的无参考基于多区域特征融合的无参考屏幕内容图本发明涉及一种基于多区域特征融合的无幕内容图像块中文本区域和图像区域的不同尺幕内容图像输入到训练好的的无参考屏幕内容图像质量评估模型中，输出对应的质量评估分2步骤S1、对失真屏幕内容图像数据集中的数据进行数据步骤S2、设计自适应特征提取模块，该模块能够自适应步骤S3、设计局部图像信息交互模块，该模块通过引入步骤S4、设计基于多区域特征融合的无参考图像质量评估步骤S5、将待测的失真屏幕内容图像输入到训练好的基t和Ct分别表示输入特征图Ft的t依次输入到一个卷积核大小为3×3的卷积C't分别表示pp3C'p分别表示F,＝BN(Conv2(LeakyReLU(BN(卷积核大小为1×1的卷积层，"p"表示矩阵加法运算，LeakyReLU(·b分别输入到局部注×1的卷积层以及批归一化层串行连接而成；记中间特征图Fb经过局部注意力提取分支后习权重λ；最后将可学习权重λ与输入的特征F't和F'p进行加权融合后得到注意力特征融合和Conv4_a(*)表示四个卷积核大小为14输入特征Fc，然后先通过一个1x1大小的卷积层进行降维操作，再通过一个1x1大小的卷步骤S25、设计自适应特征提取模块，该模块由四个步骤S2征提取模块通过其中的文本特征提取分支与图像特征提取分支分别对输入失真屏幕内容记输入的失真屏幕内容图像块的大小为HxWx3，首先将其分别输入到文本特征提取容图像块经过文本特征提取分支后输出的多级文本特征为Ff,i=1,2,3,4,其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为C'＝64；记输入失真屏幕内容图像行文本特征与图像特征的融合，得到融合后的多级主干特征F,,其中特征图的大小为特征图的大小为特征图的大小为特征图的大具体计算公式如下：5到自适应特征提取模块的最终输出特征Ftp，再将特征Ftp展平成一维向量，其维度大小1X2.根据权利要求1所述的基于多区域特征融合的无参考屏幕内容图像质量评估方法，步骤S11、首先对失真屏幕内容图像数据集中的每一幅步骤S12、将失真屏幕内容图像数据集中的失真屏幕内容图像按预定比例划分为训练步骤S13、对训练集中每幅失真屏幕内容图像Itrain裁剪后的四个图像块进行统一的水平随机翻转以及归一化处理，完成数据增强操作，得到用于训练的失真屏幕内容图像块和对测试集中每幅失真屏幕内容图像Itest裁剪后的四个图像块进3.根据权利要求1所述的基于多区域特征融合的无参考屏幕内容图像质量评估方法，Q和FK的转置之间执行矩阵乘法运算，并运用Softma64.根据权利要求3所述的基于多区域特征融合的无参考屏幕内容图像质量评估方法，步骤S41、设计基于多区域特征融合的无参考图像质量评估网络，该网络由四个步骤接层组成；取经过步骤S13得到的训练集中每幅失真屏幕内容图像对应的四个图像块特征向量，其维度大小由NXD变为1XC，其中C＝NXD；然后将展平后的一维特征向量输入步骤S44、以批次为单位重复步骤S41至步骤S43，直至步5.根据权利要求2所述的基于多区域特征融合的无参考屏幕内容图像质量评估方法，和输入到训练好的基于多区域特征融合的无参考屏幕内容图像质量7增强技术的辅助参考信息，同时也为设计和优化高级图像/视频处理算法提供了一种可行[0003]传统的图像质量评价方法根据评估主体的不同可分为为主观评价和客观评价两无参考图像质量评价方法更加实用且具有更8[0005]本发明的目的在于提供一种基于多区域特征融合的无参考屏幕内容图像质量评[0014]步骤S12、将失真屏幕内容图像数据集中的失真屏幕内容图像按预定比例划分为[0015]步骤S13、对训练集中每幅失真屏幕内容图像Itrain裁剪后的四个块Ihan、IBanan和Ian:对测试集中每幅失真屏幕内容图像Itest裁剪后的四个图像块9C't分别两个卷积核大小为1×1的卷积层，""表示矩C'p分别[0027]步骤S23、设计注意力特征融合子模块，该模块由四个卷积核大小为1×1的卷积组成；注意力特征融合子模块能通过学习将不同尺度的文本特征以及图像特征进行融合，大小为1x1的卷积层以及批归一化层串行连接而成；记中间特征图Fb经过局部注意力提取xWaxCa；接着将特征Flocal与特征Fglobal进行逐像素相加，然后经过Sigmoid函数获得相应的可学习权重λ；最后将可学习权重λ与输入的特征F't和F'p进行加权融合后得到注意力特聚合输入特征Fc，然后先通过一个1x1大小的卷积层进行降维操作，再通过一个1x1大小适应特征提取模块通过其中的文本特征提取分支与图像特征提取分支分别对输入失真屏[0038]记输入的失真屏幕内容图像块的大小为H×W×3，首先将其分别输入到文本特征幕内容图像块经过文本特征提取分支后输出的多级文本特征为,的大小为特征图的大小为特征图的大小为特征行文本特征与图像特征的融合，得到融合后的多级主干特征F,,其中特征图的大小为特征图的大小为特征图的大小为特征图的大具体计算公式如下：融合后的多尺度图文特征F'tp输入到通道注意力子模块中，以捕获不同通道之间的关键信Q和FK的转置之间执行矩阵乘法运算，并[0047]S=A&FV连接层组成；取经过步骤S13得到的训练集中每幅失真屏幕内容图像对应的四个图像块表示第i个失真屏幕内容图像经过网络输出的预测质量分[0061]将经过步骤S13得到的测试集中每幅失真屏幕内容图像对应的四个图像块和输入到训练好的基于多区域特征融合的无参考屏幕内容图像质量经网络的图像质量评估模型对失真屏幕内容图像进行分块训练所造成的质量分数偏差问[0080]步骤S12、将失真屏幕内容图像数据集中的图像按一定比例划分为训练集与测试[0081]步骤S13、对训练集中每幅失真屏幕内容图像Itrain裁剪后的四个图像块In、和Ians对测试集中每幅失真屏幕内容图像Itest裁剪后的四个图ttt具体地，首先将特征图Ft依次输入到一个卷积核大小为3×3的卷积层、批归一化层、LeakyReLU激活函数、一个卷积核大小为1×1的卷积层以及批归一化层中进行初步的特征C'ttt和C't分别表示中间特征图F't1ppC'ppp和C'p分别表示中间特征图ppb分别输入到局部注意力提取分支和全局归一化层串行连接而成。记中间特征图Fb经过局部注意力提取分支后输出的特征为Flocal、经过全局注意力提取分支后输出的特征为Fglobal，其大小均为Ha×Wa×Ca；接着将特征图将权重λ与输入的特征图F't和F'p进行加权融合后得到注意力特征融合子模块的最终输出征Fc，然后先通过一个1x1大小的卷积层进行降维操作，再通过一个1x1大小的卷积层进提取分支依次由一个图像特征提取子模块与一个空间池化层的组合重复四次串行[0104]记输入的屏幕内容图像块的大小为HxWx3，首先将其分别输入到文本特征提取文本特征提取分支后输出的多级文本特征为⃞(i=1,2,3,4),其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为C'＝64；记输入图像块经过图像特征提取分支后输出⃞(i-1,2,3,4),其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为C'＝64；然后将文本特征与对的大小为特征图的大小为特征图的大小为融合后的多尺度图文特征F'tp输入到通道注意力子模块中，以捕获不同通道之间的关键信[0108]设计局部图像信息交互模块，如图7所示，该模块由四个全连接层以及一个Softmax函数组成。局部图像信息交互模块采用自注意力机制来增强不同图像块特征之间[0113]S=A8FV连接层组成。取经过步骤S13得到的训练集中每幅失真屏幕内容图像对应的四个图像块真图像块分别输入到四个自适应特征提取模块中，以提取各个图像块的多尺度图文特征，