CN115700750B 用于无参考视频质量预测的方法 （安华高科技股份有限公司）

US2013293725A1,2013.11.07US2018084280A1,2018.0本申请针对用于无参考视频质量预测的方根据对所述输入位流的高级语法处理提取的高2视频解码器，其经配置以接收并解码输入位流以重构来自所述输入位流神经网络，其经配置以基于所述第一向量来产所述视频解码器重构的所述图片的预测质量的一使用所述视频解码器产生第二训练向量，所述第二训练向量包2.根据权利要求1所述的系统，其中所述视频解码器经配置以通过剖析所述输入位流4.根据权利要求2所述的系统，其中从所述输入位流中提取的所述特征包括以下各项5.根据权利要求1所述的系统，其中由所述视频解码器在重构所述图片期间确定的所6.根据权利要求1所述的系统，其中表示重构的所述图片的所述预测质量的所述一或7.根据权利要求6所述的系统，其中所述神经网络的输出层经配置以产生均方根误差流中提取的并且由所述视频解码器在重构所述图使用神经网络产生第二向量，所述第二向量包括表示重构的所述图片的预测质3使用所述视频解码器产生第二训练向量，所述第二训练向量包12.根据权利要求10所述的方法，其中从所述输入位流中提取的所述特征包括以下各15.根据权利要求14所述的方法，其中所述神经网络的输出层经配置以产生均方根误42/H.262，高级视频译码(AVC)/H.264，高效视频译码(HEVC)/H.265及多功能视频译码视频格式压缩的视频内容。虽然这些标准提供不同水平的压缩效率且在细节上彼此不同，向量的元素包含根据对输入位流的高级语法处理提[0006]在另一方面中，本申请案针对一种训练神经网络用于无参考视频质量预测的方5[0008]图1是根据本技术的各种方面图解说明基于神经网络的无参考视频质量预测系统[0009]图2是根据本技术的各种方面图解说明多功能视频译码(VVC)解码器的实例的图[0011]图4是根据本技术的各种方面图解说明用于视频质量预测的神经网络的实例的示[0012]图5是根据本技术的各种方面图解说明用于训练数据产生及网络训练的过程的实[0015]下文陈述的详细说明打算为对本技术的各种配置的说明且不打算表示可实践本[0017]图1是根据本技术的各种方面图解说明基于神经网络的无参考视频质量预测系统100的实例的高级图。基于神经网络的无参考视频质量预测系统100(后文称为系统100)包6高级量化参数(qp)是通过剖析图片的切片标头中的量化参数获得的图片的平均qp。list0[0019]神经网络120提供经预测质量向量p(t)，所述经预测质量向量是使得能够预测图片的视频质量的基于神经网络的推断。可以任何适宜的视频度量来测量经预测视频质量，续图片的经预测视频质量也可经组合以产生视频片段的[0020]图2是根据本技术的各种方面图解说明多功能视频译码(VVC)解码器200的实例[0021]高级语法处理块202包含适合的逻辑与缓冲电路以接收输入位流202且剖析高级[0022]在块级处，熵解码引擎210解码传入位流202且递送包含量化变换系数212及控制滤波器参数216。帧内预测重构块240通过导出最可能模式(MPM)列表且使用经解码Δ帧内向量预测符(AMVP)列表或合并/跳跃列表且使用MVD来重构运动数据282(例如，运动向量、量预测符(TMVP)274且存储在经解码图片缓冲器(D[0023]量化变换系数212递送到逆量化块220且接着递送到逆变换块230以重构CU的残余7应偏移(SAO)滤波及自适应环路滤波(ALF)以在环路内滤波器262之后产生经重构CU。将经重构图片264存储在DPB中以充当未来图片的运动补偿的参考图片且片中经帧内译码块的百分比；2)由熵解码引擎210递送的当前图片中经帧间译码块的百分在运动数据重构块280中计算的当前图片的水平运动向量的标准偏差。举例来说，将mvx0cnt1_1设为针对当前图片重构的list0过使用当前预测单元(PU)预期参考块之间的时间距离以块级正规化所述向量。在此情况[0027]块级特征可包含的另一特征是在运动数据块280中计算的当前图片的平均运动向i=[0029]块级特征也可包含在逆量化块220中计算的当前图片的低频逆量化变换系数的平[0030]块级特征的另一可能特征是在逆量化块220中计算的当前图片的高频经逆量化变1设为Y、U或V分量的预测残余图片，通过以下方程式计算分量的预测残余的标准偏差8[0035]块级特征可进一步包含由环路内滤波器块针对Y、U及V分量单独计算的在环路内滤波器之后的经重构图片的标准偏差。举例来说，将rec(i，j)，fori＝0，1，...，[0037]可包含在块级特征中的另一特征是可由环路内滤波器针对Y、U及V分量计算的在yy9[0045]图4是根据本技术的各种方面图解说明用于视频质量预测的神经网络400的实例[0046]输入层410将根据对当前图片的解码提取的特征向量取为输入。由于在此实例中[0048]图5是根据本技术的各种方面图解说明用于训练数据产生及网络训练的过程500序列514之间经译码图片的基准真实视频质量向量q(t)。可采用任何适合的质量度量(例过处理(最小化)损失函数J(加上关于参数θ的某一规则化[0050]监督式训练步骤包含在推断步骤558处使用特征向量x(t)来计算经预测质量向量p(t)；在过程步骤552处计算经预测质量向量个测试向量。使用具有四个典型位速率点及恒定位速率(CBR)控制的商用AVC/H.264及HEVC/H.265编码器来产生第一向量集。第二向量集模拟转码/降码环境，其中首先用AVC/H.264编码之后的经重构序列计算在转码/降码情况下的基准真实预测误差(以dB为单位)及失败率针对训练集及测试集分别为(0.具有不同的网参数且可或不可具有相同的网络架构。为与更复杂神经网络共享相同的架在一或多个实施方案中，可通过分析位流特性及/或经解码图片将经解码图片分类为不同[0055]图6是根据本技术的各种方面图解说明无参考视频质量预测的方法600的流程方法600包含接收视频数据流(610)且通过解码视频数据流及提取特征来产生特征向量元素的对视频数据流的高级语法处理及提取块级特征元素的[0056]图7是图解说明其中可实施本技术的一或多个方面的电子系统的框图。电子系统算机可读媒体，以及用于各种其它类型的计算机可读媒体的接口。电子系统700包含总线[0058]ROM710存储一或多个处理器712及电子系统700的其它模块需要的静态数据及指形计算机可读存储媒体)来部分地或完全地实现本发明范围内的实施方案。有形计算机可及算法。此功能性是实施为硬件还是软件取决于特定应用及施加于总体系统上的设计约[0068]应理解，所揭示的过程中的块的任何特定次序或层次是对实例方法的图解说允许包含所述项目的任一者中的至少一者及/或所述项目的任何组合中的至少一者及/或视并控制操作或组件也可意指处理器经编程以监视并控制所述操作或处理器可操作以监形式等等的短语均出于方便目的且并不暗示与此短语有关的揭示内容对本技术是必不可少的或者此揭示内容适用于本技术的所有配置。与此短语有关的揭示内容可适用于所有配[0074]所属领域的技术人员已知的或后来知晓的在本揭示内容通篇描述的各种方面的元素的所有结构及功能等效物明确地以引用的方式并入本文中且打算由权利要求书涵盖。[0075]提供先前描述旨在使得任何所属领域的技术人员能够实践本文中所描述的各种