CN115633168B 一种视频处理方法及相关设备 （腾讯科技（深圳）有限公司）

本申请实施例提供了一种视频处理方法及对N个参考预测值进行加权预测处理，得到当前2基于所述目标权重组对所述N个参考预测值进行加权预测处理，得到所述当前块的预所述N个参考块与所述当前块之间的位置关系包括以下所述N个参考块分别位于N个参考帧中，且所述N个参考帧与所述当前帧属于所述视频所述N个参考块位于同一个参考帧中，且所述同一个参考帧与所述当前帧属于所述视所述N个参考块中存在一个或多个参考块位于所述当前帧中，所述N所述N个参考块与所述当前块均位于所述当所述当前块所属的帧序列的序列头中包含第一指示字段，且所述第一所述当前块所属的当前片的片头中包含第二指示字段，且所述第所述当前块所在的当前帧的帧头中包含第三指示字段，且所述第所述复合预测过程中，所述当前块使用至少一个参考帧进行帧间预测所述当前块在所述复合预测过程中所使用的参考帧满足特定条件，3其中，所述方位关系满足预设关系包括以下任一种：所使用的所述根据所述N个参考预测值的重要性，为所述当前块确定用于加权预测的目标权重所述根据所述N个参考预测值的重要性，从所述一个或多个权重列表中确定目标权重获取所述N个参考预测值的重要性度量值，并计算所述N个参考预确定所述N个参考预测值之间的重要性差异的绝对将所述N个参考预测值之间的重要性差异的绝对值所在的阈值区间对应的权重列表确7.如权利要求5所述的方法，其特征在于，所述根据所述N个参考预测值的重要性，从所述一个或多个权重列表中确定目标权重比较所述第一参考预测值的重要性度量值与所述第二参考预测值的重要性度量值之若所述第一参考预测值的重要性度量值小于或等于所述第二参考预测值的重要性度8.如权利要求5所述的方法，其特征在于，所述所述根据所述N个参考预测值的重要性，从所述一个或多个权重列表中确定目标权重4调用数学符号函数对所述第一参考预测值的重要性度量值和所述第二参考预测值的其中，所述第一权重列表、所述第二权重列表和所述第三9.如权利要求6_8任一项所述的方法，其特征在所述参考预测值i的重要性度量值采用以下任一种方法一：根据所述当前帧在所述视频码流中的帧显示顺序及所述参考帧i在所述视频方法三：根据方法一的计算结果和方法二的计算结果计算所述参考帧i的重要度量分所述参考帧i在所述排序中的索引确定为所述参考预测值i的重要从所述视频码流中解码出用于加权预测的目标权重组的其中，所述目标权重组的索引使用截断一元码进行二值化编码的编采用所述目标权重组中的权重值分别对所述N个参考预测值进行加权求和处理，得到按照整型计算的形式采用所述目标权重组中的权重值分别对所述N个参考预测值进行5基于所述目标权重组对所述N个参考预测值进行加权预测处理，得到所述当前块的预基于所述当前块的预测值对所述视频进行编码基于所述目标权重组中的权重值对所述N个参考预测值进行加权预测处理，使得所述采用所述目标权重组中的权重值对所述N个参考预测值进行加权预测处理时所消耗的码率小于预设码率阈值，并且基于所述目标权重组中的权重值对所述N个参考预测值进行预测处理时所消耗的码率是所述目标权重列表中所有权重组对应的消耗码率中的最小值；或者，基于目标权重组中的权重值对N个参考预测值进行加权预测处理时对应的当前块在者，采用目标权重组中的权重值对N个参考预测值进行加权预测处理时所消耗的码率是所值对N个参考预测值进行加权预测处理时对应的当前块在编码过程中的质量损失是所述目标权重列表中所有权重组对应的质量损失中的所述处理单元，还用于对所述当前块进行复合预测，得到所述当前块的N个参考预测6计算机可读存储介质，所述计算机可读存储介质中算机程序被处理器执行时实现如权利要求1_15中任一项7制定的第一代视频编码标准，AllianceforOpenMediaVideo1)标准和正在研发的AOM视频编码标准，AllianceforOpenMediaVideo2)中包含一种称为复合预测8[0020]N个参考块分别位于N个参考帧中，且N个参考帧与当前帧属于视频码流中不同的[0021]N个参考块位于同一个参考帧中，且同一个参考帧与当前帧属于视频码流中不同参考帧对应的参考预测值之间的重要性差异的绝对值大于或9[0040]根据N个参考预测值的重要性，从一个或多个权重列表中确定目标权重列表；以[0043]获取N个参考预测值的重要性度量值，并计算N个参考预任意两个参考预测值之间的重要性差异采用任意两个参考预测值的重要性度量值之间的[0045]将N个参考预测值之间的重要性差异的绝对值所在的阈值区间对应的权重列表确[0046]在一个实施例中，当前块的N个参考预测值中包括第一参考预测值和第二参考预[0047]比较第一参考预测值的重要性度量值与第二参考预测值的重要性度量值之间的[0049]若第一参考预测值的重要性度量值小于或等于第二参考[0051]在一个实施例中，当前块的N个参考预测值中包括第一参考预测值和第二参考预[0052]调用数学符号函数对第一参考预测值的重要性度量值和第二参考预测值的重要[0059]方法一：根据当前帧在视频码流中的帧显示顺序及参考帧i在视频码流中的帧显顺序及质量度量Q计算得到；[0061]方法三：根据方法一的计算结果和方法二的计算结果计算参考帧i的重要度量分帧i在排序中的索引确定为参考预测值i的[0069]采用目标权重组中的权重值分别对N个参考预测值进行加权求和处理，得到当前[0070]按照整型计算的形式采用目标权重组中的权重值分别对N个参考预测值进行加权[0080]在一个实施例，采用目标权重组中的权重值对N个参考预测值进行加权预测处理[0081]基于目标权重组中的权重值对N个参考预测值进行加权预测处理，使得当前块在[0082]采用目标权重组中的权重值对N个参考预测值进行加权预测处理时所消耗的码率者，基于目标权重组中的权重值对N个参考预测值进行加权预测处理时对应的当前块在编用目标权重组中的权重值对N个参考预测值进行加权预测处理时所消耗的的码率是目标权重列表中所有权重组对应的消耗码率中的最小值，并且基于目标权重组中的权重值对N个参考预测值进行加权预测处理时对应的当前块在编码过程中的质量损失是目标权重列表前块确定用于加权预测的目标权重组；基于目标权重组对N个参考预测值进行加权预测处标准HEVC/H.265)、VVC(versatilevideocoding，国际视频编码标准VVC/H.266)，AV1(AllianceforOpenMediaVideo1，由开放媒体联盟制定的第一代视频编码标准)，AV2(AllianceforOpenMediaVideo2，由开放媒体联盟制定的第二代视频编码标准)以及[0105]1)块划分结构(blo在被编码或解码的CU)包含的原始视频信号经过选定的参考CU中已重建视频信号的预测之前块预测时所使用的参考CU又可称为当前块的参考块，参考块所在的视频帧称为参考帧。像素指的就是同一视频帧内当前CU周围的已编码CU的重建(recon常见的统计编码方式有变长编码(VariableLengthCoding，VLC)或者基于上下文的二值波器例如可以是去块效应滤波(deblocking)，SAO(样本自适应补偿，sampleadaptive者帧内预测等处理后可以获得预测信号，将预测信号和原始信号sk[x，y]进行相将新的预测信号s[x,y]经过帧内预测处理，得到f(s[x,y]);将新的预测信号s[x,y]经s[x十mxy十my],其中s;[x+my,y+myl可以表示参考块，mx和my分别表示参考块补偿基于视频内容在时域或空域的冗余特性，从已编码的参考块中导出当前块的预测值。码流中显式或隐式的编码一个或多个二维的位移矢本文统一按照以下方式进行描述：1)帧间预测中的位移矢量称为运动矢量(Motion帧内串复制预测中的位移矢量称为串矢量(StringVector，简称SV)。以下以帧间预测为帧间预测。在AV1标准和目前正在研发的AOM下一代标准AV2中包含一种称为复合预测(compoundprediction)的预测模式。该复合预测模式允许当前块使用两个参考帧进行帧间预测值和使用当前帧导出的帧内预测值进行加权组合从而导出当前块的预测值。其中，y))/2和P1y)+32)6CU的预测值，所谓加权预测是指采用自适应选择的权重对CU的N个参考预测值进行加权预视频码流中的CU进行复合预测，并根据N个参考预测值的重要性为CU自适应选择合适的权[0137]编码设备201可以获取待编码的视频，该视频可以通过摄像设备拍摄或计算机生或多个参考帧与当前帧属于视频码流中不同的视频帧；④N个参考块与当前块均位于当前[0140]对应于复合预测的不同预测模式，当前块的N个参考预测值的导出方式可以包括一个参考预测值是使用当前块的N个参考块中的至少一个参考块进行帧间预测后导出得到[0143]解码设备202可在接收编码设备201发送的视频码流后，对视频码流进行解码处得到视频码流中的各CU的预测模式以及量化后的重要性为CU自适应选择合适的权重进行加权预测，拓展了视频编码标准中加权预测方式，[0149]视频码流中包含一个或多个视频帧，每个视频帧中可以包含一个或多个编码上述N个参考预测值可以是从N个参考块中导出得到的，一个参考预测值对应一个参考块，当前帧属于视频码流中不同的视频帧。③N个参考块中存在一个或多个参考块位于当前帧[0151]对应于复合预测的不同预测模式，当前块的N个参考预测值的导出方式可以包括一个参考预测值是使用当前块的N个参考块中的至少一个参考块进行帧间预测后导出得到的所有编码块均不允许使用自适应加权预测，即可确定当前块不满足自适应加权预测条[0156]b)当前块所属的当前片(slice)的片头中包含第二指示字段，且第二指示字段指示当前片中的编码块允许使用自适应加权预测，其中，一个视频帧可以被划分为多个片时，该第三指示字段可以用于指示当前帧中包含的所有编码块均允许使用自适应加权预取值来指示当前帧是否允许使用自适应加权预测[0162]f)当前块的运动类型为指定的运动类型，如当前块的运动类型为simple_[0164]在AV1、AV2标准中使用了一种称为动态运动矢量预测(Dynamicmotionvectorprediction)的技术对MV进行预测，可以通过当前帧中的空间相邻块或参考帧中的[0167]NEW_NEARMV：第一个MV根据视频码流中解码得到的MVD与预测MV组中的第一个预[0168]NEW_NEWMV：第一个MV根据视频码流中解码得到的MVD1与预测MV组中的第一个预[0171]本申请实施例中预设的运动矢量预测模式可以为上述的：NEAR_NEARMV、NEAR_[0172]h)当前块使用预设的插值滤波器。视频编码过程中通常[0173]i)当前块不使用特定的编码工具，如当前块不使用基于光流的运动矢量优化方②中的一种或多种)：①在复合预测中所使用的参考帧与当前帧之间在视频码流中的方位[0175]②在复合预测中所使用的参考帧对应的参考预测值之间的重要性差异的绝对值两个参考预测值分别为：参考帧一对应的参考预测值1以及参考帧二对应的参考预测值2；重值会在加权预测过程中作用到各个参考预测值上，如果某个参考预测值的重要性较低，那么该参考预测值对应目标权重组中取值较小的权重值，而某个参考预测值的重要性较的权重组1包含的权重值的数量为1，但权重列表3中的权重组2包含的权重值的数量为2。[0187]通过上述示例可以看出：(1)权重列表中的权重组包含的全部权重值之和等于并根据N个参考预测值的重要性度量值从多个权重列表[0193](1)根据N个参考预测值的重要性度量值之间的差值的绝对值来确定目标权重列值所在的阈值区间；并将N个参考预测值之间的重要性差异的绝对值所在的阈值区间对应[0204]需要说明的是，本申请实施例还可以利用N个参考预测值之间的重要性差异的绝[0206]当前块的N个参考预测值中可以包括第一参考预测值和第二参考预测值，视频码[0208]可选地，第一权重列表中的权重值与第二权重列表中的权重值相反，即w_list2[0210]当前块的N个参考预测值中包括第一参考预测值和第二参考预测值；视频码流中(1)通过该两个参考预测值之间的重要性差异的绝对值所在阈值区间确定出候选权重列表，然后再采用方式(2)来比较第一参考预测值的重要性度量值和第二参考预测值的重要定为目标权重列表；如果D0≤D1，则将权重列表w_list2确定为目标权重列表；其中，w_3个权重列表均确定为候选权重列表，即候选权重列表可包含第一权重列表、第二权重列[0215]例如，采用方式(1)确定3个权重列表{w_list1,w_li示顺序及参考帧i在视频码流中的帧显示顺序之间的差值，并将该差值的绝对值作为参考置为参考帧i的base_qindex(基础量化索引)，任意参考帧的base_qindex可以不同或者可的质量度量Q可以依据参考帧i中已编码CU与当前帧中的已编码CU之间的编码信息差异导x01234567890[0225]方法三：根据方法一的计算结果和方法二的计算结果计算参考帧i的重要度量分考帧i在排序中的索引确定为参考预测值i的重[0226]作为一种实现方式，通过上述方法一可计算得到参考预测值i的第一重要性度量[0228]其中，根据第一重要性度量值和第二重要性度量值计算参考帧i的重要度量分数组的索引可以指示在目标权重列表中的位置；例如上述示例中的目标权重列表包含4个权[0238]S303、基于目标权重组对N个参考预测值进行加权预测处理，得到当前块的预测到该目标权重组中隐含的权重值3＝1_权重值1_权重值2。[0241](1)解码设备可采用目标权重组中的权重值分别对N个参考预测值进行加权求和和P1型计算，并按照整型计算的形式采用目标权重组中的权重值分别对N个参考预测值进行加解码设备可按照整型计算的形式采用目标权重组中的权重值分别对2个参考预测值进行加4和P1实现在复合预测中基于各参考预测值的重要性为当前块自适应选择合适的权重进行加权个或多个参考帧与当前帧属于视频中不同的视频帧。④N个参考块与当前块均位于当前帧使用N个参考预测值中至少一个参考预测值进行帧间预测以及使用N个参考块中的剩余参用当前块的N个参考块中的至少一个参考块进行帧间预测后导出得到的；剩余的参考预测值是使用N个参考块中的剩余参考块进行帧内预测重值会在加权预测过程中作用到各个参考预测值上，如果某个参考预测值的重要性较低，那么该参考预测值对应目标权重组中取值较小的权重值，而某个参考预测值的重要性较个参考预测值进行加权预测处理，使得当前块在编码过程中的质量损失小于预设损失阈使得当前块在编码过程中的质量损失小于预设损确定用于加权预测的目标权重组可以包括步骤s41_s42：[0267]方法2：当在编码过程中存在多个权重列表时，可引入参考预测值的重要性度量[0268](1)根据N个参考预测值的重要性度量值之间的差值的绝对值来确定目标权重列之间的重要性差异的绝对值所在的阈值区间；并将N个参考预测值之间的重要性差异的绝对值所在的阈值区间对应的权重列表确定为[0271]当前块的N个参考预测值中可以包括第一参考预测值和第二参考预测值，在编码[0274]当前块的N个参考预测值中包括第一参考预测值和第二参考预测值；在编码过程数学符号函数对第一参考预测值的重要性度量值和第二参考预测值的重要性度量值之间预测值和第二预测值，采用方式(2)比对第一参考预测值的重要性度量值和第二参考预测考帧i的base_qindex(基础量化索引)任意参考帧的base_qindex可以不同或者可以相同。度量Q可以依据参考帧i中已编码CU与当前帧中的已编码CU之间的编码信[0279]作为一种实现方式，编码设备可计算当前帧在视频中的帧显示顺序及参考帧i在[0281]方法三：根据方法一的计算结果和方法二的计算结果计算参考帧i的重要度量分考帧i在排序中的索引确定为参考预测值i的重[0282]作为一种实现方式，通过上述方法一可计算得到参考预测值i的第一重要性度量[0283]其中，根据第一重要性度量值和第二重要性度量值计算参考帧i的重要度量分数分别对N个参考预测值进行加权预测处理时的编码性能，然后将目标权重列表中编码性能考预测值进行加权预测处理时所消耗的码率是目标权重列表中所有权重组对应的消耗码应的当前块在编码过程中的质量损失是目标权重列表中所有权重组对应的质量损失中的权重值对N个参考预测值进行加权预测处理时对应的当前块在编码过程中的质量损失是目标权重列表中所有权重组对应的质量损失中的最码出目标权重组的索引，并根据目标权重组的索引从目标权重列表中找到目标权重组即[0292]S404、基于目标权重组对N个参考预测值进行加权预测处理，得到当前块的预测例中提及的解码设备。图5所示的视频处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，该视频处理装置可以用[0302]N个参考块分别位于N个参考帧中，且N个参考帧与当前帧属于视频码流中不同的[0303]N个参考块位于同一个参考帧中，且同一个参考帧与当前帧属于视频码流中不同参考帧对应的参考预测值之间的重要性差异的绝对值大于或[0326]获取N个参考预测值的重要性度量值，并计算N个参考预任意两个参考预测值之间的重要性差异采用任意两个参考预测值的重要性度量值之间的[0328]将N个参考预测值之间的重要性差异的绝对值所在的阈值区间对应的权重列表确[0329]在一个实施例中，当前块的N个参考预测值中包括第一参考预测值和第二参考预[0330]比较第一参考预测值的重要性度量值与第二参考预测值的重要性度量值之间的[0332]若第一参考预测值的重要性度量值小于或等于第二参考[0334]在一个实施例中，当前块的N个参考预测值中包括第一参考预测值和第二参考预[0335]调用数学符号函数对第一参考预测值的重要性度量值和第二参考预测值的重要[0342]方法一：根据当前帧在视频码流中的帧显示顺序及参考帧i在视频码流中的帧显顺序及质量度量Q计算得到；[0344]方法三：根据方法一的计算结果和方法二的计算结果计算参考帧i的重要度量分帧i在排序中的索引确定为参考预测值i的[0352]采用目标权重组中的权重值分别对N个参考预测值进行加权求和处理，得到当前[0353]按照整型计算的形式采用目标权重组中的权重值分别对N个参考预测值进行加权前块自适应选择用于加权预测的目标权重组；基于目标权重组对N个参考预测值进行加权例中提及的编码设备。图6所示的视频处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，该视频处理装置可以用[0364]在一个实施例，采用目标权重组中的权重值对N个参考预测值进行加权预测处理[0365]基于目标权重组中的权重值对N个参考预测值进行加权预测处理，使得当前块在[0366]采用目标权重组中的权重值对N个参考预测值进行加权预测处理时所消耗的码率预测处理时所消耗的码率是目标权重列表中所有权重组对应的消耗码率中的最小值；或者，基于目标权重组中的权重值对N个参考预测值进行加权预测处理时对应的当前块在编用目标权重组中的权重值对N个参考预测值进行加权预测处理时所消耗的码率是目标权重列表中所有权重组对应的消耗码率中的最小值，并且基于目标权重组中的权重值对N个参考预测值进行加权预测处理时对应的当前块在编码过程中的质量损失是目标权重列表中[0377]N个参考块分别位于N个参考帧中，且N个参考帧与当前帧属于视频码流中不同的[0378]N个参考块位于同一个参考帧中，且同一个参考帧与当前帧属于视频码流中不同参考帧对应的参考预测值之间的重要性差异的绝对值大于或[0400]获取N个参考预测值的重要性度量值，并计算N个参考预任意两个参考预测值之间的重要性差异采用任意两个参考预测值的重要性度量值之间的[0402]将N个参考预测值之间的重要性差异的绝对值所在的阈值区间对应的权重列表确[0403]在一个实施例中，当前块的N个参考预测值中包括第一参考预测值和第二参考预[0404]比较第一参考预测