CN115037942B 视频图像处理方法与装置 （深圳市大疆创新科技有限公司）

2018.04.022018.07.132018.08.312018.09.252018.10.30201980002813.52019.03.13南区粤兴一道9号香港科大深圳产学邻近块依次扫描，根据扫描结果确定目标邻近块和所述相关块采用相同的方式划分成多个子块中各子图像块的运动矢量分别对所述当前图2根据当前图像块的特定邻近块的运动矢量，在当前图像块的参考图根据所述特定邻近块的运动矢量在所述当前图像块的参考图像中确定所述子图像块根据所述子图像块的相关块的运动矢量分别对所述子图像其中，当所述子图像块的相关块中出现不可获得运动矢量的将所述相关块的代表运动矢量作为候选者加入运动矢将所述相关块中各子图像块的运动矢量，分别作为所述当前图像块所述特定邻近块的参考图像与所述当前图像块的同位3其中，所述处理后的所述子图像块的相关块的运动矢量和处理前输出根据预测的结果对所述当前图像块进行编码构建模块，用于根据当前图像块的特定邻近块的预测模块，用于根据所述特定邻近块的运动矢量在所述当前图像其中，当所述子图像块的相关块中出现不可获得运动矢量的根据当前图像块的特定邻近块的运动矢量，在当前图像块的参考图根据所述特定邻近块的运动矢量在所述当前图像块的参考图像中确定所述子图像块根据所述子图像块的相关块的运动矢量分别对所述子图像其中，当所述子图像块的相关块中出现不可获得运动矢量的4[0002]本申请要求申请号为PCT/CN2018/081652、PCT/CN2018/095710、PCT/CN2018/所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该块(即当前CU)与相似块(即当前CU的预测块)之间的相对位移称为运动矢量(Motion列表中还包括时域的候选运动矢量，时域运动矢量预测(TemproalMotionVector[0008]高级/可选时域运动矢量预测技术(Advanced/Alternativetemporalmotion当前CU内多个子块的运动信息进行运动补偿。ATMVP技术在构建候选列表(例如merge候选列表或者AMVP(AdvancedMotionVectorPrediction)候选列表)中引入当前CU内多个子5[0009]在当前ATMVP技术的第一步中，通过扫描当前CU的候选运动矢量列表或当前CU的[0010]本申请提供一种视频图像处理方法与装置，在保持现有ATMVP技术的性能增益的[0015]根据所述相关块中各子图像块的运动矢量分别对所述当前图像块中对应的子图[0018]根据当前图像块的运动矢量第二候选列表中的M个候选者确定所述当前图像块的[0021]根据所述当前图像块的相关块确定所述当前图像块的运动矢量第一候选列表中[0023]根据所述相关块中各子图像块的运动矢量分别对所述当前图像块中对应的子图6[0028]构建模块，用于根据当前图像块的运动矢量第二候选列表中的M个候选者确定所所述计算机实现第一方面或第一方面的任一可能的实现方所述计算机实现第二方面或第二方面的任一可能的实现方7据所述基础运动矢量组和运动矢量偏移量确定所述当图像时，放弃根据所述基础运动矢量组和运动矢量偏移量确定所述当前图像块的运动矢被计算机执行时使得所述计算机实现第十一方面或第十一方面的任一可能的实现方式中被计算机执行时使得所述计算机实现第十二方面或第十二方面的任一可能的实现方式中得所述计算机实现第十一方面或第十一方面的任一可能的实得所述计算机实现第十二方面或第十二方面的任一可能的实8称为编码树单元(CodingTreeUnit，CTU)；每个编码树单元可以包含一个编码单元该预测块和该预测块的参考块之间的差异进行编码/压缩，以减少编码/压缩中的冗余信9[0085]4)向解码端发送当前图像块的运动矢量MV1在运动矢量候选列表中的索引以及步[0091]也即在第一类模式中，当前图像块的运动矢量等于预测MV(Motionvector块的运动矢量往运动矢量第二候选列表中加入候选者之后，将根据ATMVP技术确定的运动[0096]下面先结合运动矢量第二候选列表的构建方式使用方式对如何根据ATMVP技术确[0098]图1为本申请实施例提供的视频图像处理方法的示意性流程图。该方法包括如下[0101]例如，当前图像块的运动矢量第二候选列表可以是Merge候选列表或者AMVP候选列表。例如，该运动矢量第二候选列表可以是Merge候选列表中的常规运动矢量候选列表[0102]M个候选运动矢量可以是根据当前图像块在当前帧内的M个邻近块的运动矢量确定的。邻近块可以为在当前帧上与当前图像块的位置相邻或具有一定位置间距的图像块。矢量中出现部分运动矢量不可得而导致该M个候选运动矢量中只有部分候选运动矢量被加入运动矢量第二候选列表中，都固定对该M个候选运动矢量中的N个候选运动矢量依次扫定对该M个候选运动矢量中已被加候选运动矢量列表的N个候选运动矢量进[0108]根据N个候选运动矢量的扫描结果确定参考运动矢量的过程可以是，基于预设条选运动矢量指向的参考帧与当前图像块的参考图[0113]下文将对根据N个候选运动矢量的扫描结果确定参考运动矢量的过程进行详细描[0120]当前图像块的运动矢量第二候选列表中包括步骤S110中确定的M个候选运动矢量第二候选列表的第M+1个候选运动矢量之后，还根据其他方法确定继续加入运动矢量第二[0124]申请人在通用视频编码(VersatileVideoCoding)最新的参考软件VTM_2.0上，[0125]因此，本申请提供的方案在保持现有ATMVP技术的性能增益的前提下，可以降低[0130]下文将对步骤S120中，根据N个候选运动矢量的扫描结果确定当前图像块的参考[0137]该特定候选运动矢量可以为N个候选运动矢量中，按扫描顺序得到的第一个运动[0138]该特定候选运动矢量还可以为N个候选运动矢量中，按其它扫描顺序得到的运动[0139]当预设条件的定义为候选运动矢量指向的参考帧与当前方式中，基于特定候选运动矢量指向的参考图像neigh_ref_pic与该特定运动矢量对应的图像块所在图像curr_pic之间的时间距离，以及当前图像块的参考图像col_pic与当前图[0142]本申请实施例，在N个候选运动矢量中未扫描到参考帧与当前帧的同位帧相同的个候选运动矢量中参考帧与当前图像块的同位帧在时域上距离最近的[0144]应理解，选择N个候选运动矢量中参考帧与当前帧的同位帧距离最近的一个候选量第二候选列表中，并标记该候选者为根据ATMVP技术确定的。当采用该候选者进行预测[0155]在一些视频编解码标准中，相关块可以被称为collocatedblock或者子图像块的大小和/或子图像块的相关块的大小均固前图像块时，计算同一时域层的上一个编码图像块进行ATMVP模式编码时CU中的各个子图的合并(merge)候选列表(mergelist)中的一个MV进行相关块的定位，将定位到的相关块列表构建在mergelist构建过程进行，ATMVP的merge候选列表构建在affinemergelist构建过程中进行。ATMVP和TMVP分别构建两个不同的列表，然而从道理上说不需要在两个merge候选列表中添加同一个或同一组MV。在当前CU的宽和高均等于8的情况下，TMVP与[0163]应理解，在保证子图像块的大小和/或子图像块的相关块的大小固定为等于64个场景中通常监控摄像头固定不动或者只发生缓慢的移动，可以认为背景基本不发生变化。个已解码图像中取出的，该特定参考图像中的不同图像块可能取自于不同的已解码图像。[0168]在一些实现方式中，非特定参考图像可以是不具有以下至少一种性质的参考图[0170]长期参考图像(或长期参考图像中的一部分数据)可以一直存在于参考图像缓冲(或长期参考图像中的一部分数据)才会被为短期参考帧(short_termreference)，长期参考图像被称为长期参考帧(long_term气和电子工程师协会(instituteofelectricalandelectronicsengineers，IEEE)[0173]以上提到的长期参考图像可以是从多个已解码图像中取[0176]可选地，在确定参考图像为长期参考图像时，确定该参考图依据参考图像所具有的标识来确定该参考图像是否[0183]可选地，从图像头(pictureheader)、图像参数集(PPS，pictureparameter及到要利用其它图像上的某个图像块的运动矢量来确定该图像块的运动矢量。为描述方时域参考块或相关块。可以理解的是，第一图像块其中，该参考帧索引值y为第一图像块的参考图像的顺序编号与该第一图像块所在图像的处理后的特定候选运动矢量确定继续加入运动矢量第二候选列表中的候选运动矢量，其根据特定候选运动矢量确定继续加入运动矢量第二候选列表的候[0199]在N个候选运动矢量中未扫描到参考帧与当前帧的同位帧相同的候选运动矢量的[0200]将当前图像块划分为大小为8×8的子图像块，一方面可以适应视频标准VVC中规[0201]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小前图像块时，计算同一时域层的上一个编码图像块进行ATMVP模式编码时CU中的各个子图[0216]在本申请实施例中，将当前图像块的子图像块的大小固定为大于或等于64个像前图像块时，计算同一时域层的上一个编码图像块进行ATMVP模式编码时CU中的各个子图[0220]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小[0222]应理解，在保证子图像块的大小和/或子图像块的相关块的大小固定为等于64个[0224]根据扫描到的第一个符合预设条件的候选运动矢量确定参考运动矢量，可以包[0230]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小[0232]上面描述了如何根据ATMVP技术确定加入运动矢量第二候选列表的候选者的方[0234]图5为本申请实施例提供的视频图像处理装置500的示意性框图。该装置500用于[0237]确定单元520还用于，根据参考运动矢量、当前图像块以及当前图像块的参考图[0239]在现有ATMVP技术的第一步中，通过对运动矢量第二候选列表中当前已加入的所[0241]申请人在通用视频编码(VersatileVideoCoding)最新的参考软件VTM_2.0上，[0242]因此，本申请提供的方案在保持现有ATMVP技术的性能增益的前提下，可以降低[0276]确定单元620还用于，根据参考运动矢量在当前图像块的参考图像中确定子图像[0277]确定单元620还用于，根据相关块的运动矢量确定继续加入运动矢量第二候选列前图像块时，计算同一时域层的上一个编码图像块进行ATMVP模式编码时CU中的各个子图[0279]在本申请实施例中，将当前图像块的子图像块的大小固定为大于或等于64个像[0282]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小的图像块位置相同且位于该参考图像的图像块的位移。在确定该已编/解码的图像块的参两种不同含义所分别提供的基于ATMVP技术确定候选运动矢量的方法基本是一致的，上文的视频图像处理方法中是对该已加入运动矢量第二候选列表中的运动矢量所对应的图像[0295]作为示例，如图2所示，按图2中所示的位于当前图像块周围4个位置A1(左)→B1[0318]下文将对步骤S720中，根据N个邻近块的扫描结果确定目标邻近块的方式进行描[0335]可选地，子图像块的大小和/或子图像块的相关块的大小固定为大于或等于64个前图像块时，计算同一时域层的上一个编码图像块进行ATMVP模式编码时CU中的各个子图[0339]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小[0341]应理解，在保证子图像块的大小和/或子图像块的相关块的大小固定为等于64个[0350]将当前图像块划分为大小为8×8的子图像块，一方面可以适应视频标准VVC中规[0351]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小及到要利用其它图像上的某个图像块的运动矢量来确定该图像块的运动矢量。为描述方时域参考块或相关块。可以理解的是，第一图像块其中，该参考帧索引值y为第一图像块的参考图像的顺序编号与该第一图像块所在图像的[0363]S820，对M个邻近块中的至少部分邻近块依次扫描，根据扫描结果确定目标邻近[0372]在本申请实施例中，将当前图像块的子图像块的大小固定为大于或等于64个像[0375]在本申请一些实施例中，在子图像块的大小和/或所述子图像块的相关块的大小[0377]应理解，在保证子图像块的大小和/或子图像块的相关块的大小固定为等于64个[0383]图9为本申请实施例提供的视频图像处理装置900的示意性框图。该装置900用于候选块列表中的候选块包括M个邻近块和相关块；根据候选块列表中的候选块的参考块对经过缩放处理后的运动矢量在当前图像块的参考图像中指向的图像块作为当前图像块的[0406]根据目标邻近块的运动矢量，在当前图像块的参考图像中确定子图像块的相关[0413]可选地[0413]可选地作为一个实施例编/解码单元930用于[0426]在本申请实施例中，将当前图像块的子图像块的大小固定为大于或等于64个像[0431]应理解，在保证子图像块的大小和/或子图像块的相关块的大小固定为等于64个执行使得处理器1110用于执行根据上文方仿射变换运动补偿模型采用的是四参Affine模型，制点的MV，或者称为控制点预测运动矢量(CPMVP，Controlpointmotionvectorprediction)。可选的，运动矢量第一候选列表可用于Merge模式中，具体的，可以称为AffineMerge模式；相对应的，该运动矢量第一候选列表可以称为affinemerge当前图像块的CPMV(Controlpointmotionvector)，也即不需要进行affine运动估计过[0443]一种实现方式中，可将根据ATMVP技术确定的候选者加入到运动矢量第一候选列定当前图像块的相关块，将当前图像块和该相关块采用相同的方式划分成多个子图像块，图像块的运动矢量分别对当前图像块中对应的子图像块的运动矢量进式的一致性，可将该相关块的代表运动矢量插入为候选者中的每一个控制点的运动矢量[0451]方法二、确定根据当前图像块的运动矢量第二候选列表中的M个候选者确定当前矢量是根据affinemergecandidatelist中的候选者确定的。也即候选者来自当前图像图像块的左上角点、右上角点和左下角点)，这取决于采用的是四参Affine模型还是六参[0457]在所述当前图像块的左侧邻近块中按第一扫描顺序确定第一邻近块的控制点运[0458]在所述当前图像块的上侧邻近块中按第二扫描顺序确定第二邻近块的控制点运[0459]将所述第一邻近块的控制点运动矢量组和所述第二邻近块的控制点运动矢量组满足预置条件的图像块的控制点运动矢量组作为一个候选者加入运动矢量第一候选列表。[0464]也即在该种实现方式中，是通过构造候选者来加入到运动矢量第一候选列表根据四参数模型将选中的两个控制点的MV转化成当前CU的左上角和右上角控制点的MV直至第一候选列表中的候选者的数量达到预候选者为除利用ATMVP技术所确定的候选者以外的至少一个候选者时，通过仿射运动模型根据该候选者导出当前图像块中的子图像块的运动矢量。当采用的候选者为利用ATMVP技定当前图像块中各子图像块的参考块，将各子图像块的参考块拼接成当前图像块的参考[0475]下面结合图14和图15对本申请实施例提供的一种视频图像处理方法进行举例描述当前图像块中的各子图像块与所述相关块中的各子图像块[0479]S1440，根据所述相关块中各子图像块的运动矢量分别对所述当前图像块中对应[0483]S1520，对所述M个邻近块中的N个邻近块依次扫描，根据扫描结果确定目标邻近[0485]S1540，根据所述当前图像块的相关块确定所述当前图像块的运动矢量第一候选[0487]S1560，根据所述相关块中各子图像块的运动矢量分别对所述当前图像块中对应分别对所述当前图像块中对应的子图像块进行预测之前将所述相关块的代表运动矢量作[0498]一个示例中，所述相关块的代表运动矢量包括所述相关块的中心位置的运动矢块时，将所述相关块的代表运动矢量作为所述不可获得运动矢量的子图像块的运动矢量，矢量分别对所述当前图像块中对应的子图像[0511]将每一个确定的邻近块的控制点运动矢量组作为一个候选者加入所述运动矢量[0513]在所述当前图像块的左侧邻近块中按第一扫描顺序确定第一邻近块的控制点运[0514]在所述当前图像块的上侧邻近块中按第二扫描顺序确定第二邻近块的控制点运[0515]将所述第一邻近块的控制点运动矢量组和所述第二邻近块的控制点运动矢量组[0522]一个示例中，当所述运动矢量第一候选列表中的候选者放弃将所述当前图像块的部分控制点的运动矢量加入所述运动矢量[0526]一个示例中，所述根据所述候选者的运动矢量确定所述[0529]根据所述当前图像块在当前图像上的若干个邻近块的运动矢量确定加入所述运[0530]一个示例中，所述当前图像块在当前图像上的若干个邻近块包括所述预设的M个[0535]当所述M个邻近块中的一个或多个邻近块的运动矢量不可获得时，放弃根据所述一个或多个邻近块的运动矢量确定加入所述运动矢量第二[0542]一个示例中，构建模块还用于当在所述N个邻近块中未扫描到符合所述预设条件根据所述缩放处理后的运动矢量对所述当前图像[0543]一个示例中，所述根据所述缩放处理后的运动矢量对所[0544]根据所述缩放处理后的运动矢量和所述当前图像块的参考图像确定所述当前图[0548]将经过所述缩放处理后的运动矢量在所述当前图像块的参考图像中指向的图像[0551]一个示例中，所述子图像块的大小和/或所述子图像块的相关块的大小固定为大[0562]根据数值为1的缩放比例对所述相关块的运动矢量进行缩放后得到的运动矢量，[0570]根据数值为1的缩放比例对所述相关块的运动矢量进行缩放后得到的运动矢量，[0574]构建模块1710，用于根据当前图像块的运动矢量第二候选列表中的M个候选者确述当前图像块的运动矢量第一候选列表中的特定候选者；当确定采用所述特定候选者时，的各子图像块与所述相关块中的各子图像块[0585]一个示例中，构建模块还用于当在所述N个邻近块中未扫描到符合所述预设条件根据所述缩放处理后的运动矢量对所述当前图像[0586]一个示例中，所述根据所述缩放处理后的运动矢量对所[0587]根据所述缩放处理后的运动矢量和所述当前图像块的参考图像确定所述当前图[0591]将经过所述缩放处理后的运动矢量在所述当前图像块的参考图像中指向的图像[0594]一个示例中，所述子图像块的大小和/或所述子图像块的相关块的大小固定为大[0605]根据数值为1的缩放比例对所述相关块的运动矢量进行缩放后得到的运动矢量，[0612]根据数值为1的缩放比例对所述相关块的运动矢量进行缩放后得到的运动矢量，[0617]将所述当前图像块的相关块的代表运动矢量作为所述特定候选者加入所述运动[0619]一个示例中，所述相关块的代表运动矢量包括所述相关块的中心位置的运动矢块时，将所述相关块的代表运动矢量作为所述不可获得运动矢量的子图像块的运动矢量，矢量分别对所述当前图像块中对应的子图像[0629]将每一个确定的邻近块的控制点运动矢量组作为一个候选者加入所述运动矢量[0631]在所述当前图像块的左侧邻近块中按第一扫描顺序确定第一邻近块的控制点运[0632]在所述当前图像块的上侧邻近块中按第二扫描顺序确定第二邻近块的控制点运[0633]将所述第一邻近块的控制点运动矢量组和所述第二邻近块的控制点运动矢量组考帧时，放弃将所述当前图像块的部分控制点的运动矢量加入所述运动矢量第一候选列[0642]一个示例中，所述根据所述候选者的运动矢量确定所述[0645]根据所述当前图像块在当前图像上的M个邻近块的运动矢量确定加入所述运动矢差异(MergewithMotionVectorDifference，MMVD)技术，也称为终极运动矢量表达(Ultimatemotionvectorexpression，UMVE)技术。尤其是应用在MMVD技术构建合并[0658]具体可以是该MMVD技术首先利用已有的merge候选列表(或者前文中描述的不同类型模式下获得的各种运动矢量候选列表)中的合并运动矢量候选(candidate)构建基础运动矢量候选，如果已有的mergelist中的合并运动矢量candidate的组数大于2，则取0)来填充形成MMVD的baseMVPlist。本申请实施例中也可以以其他的默认运动矢量来填[0659]应理解，baseMVPlist中的两组基础MV中的每组基础MV可以为单向预测的基础预测基础运动矢量组中所包括的两个基础运动矢量可以是前向基础运动矢量和后向基础可以包括：从所述偏移量集中确定包括两个运动矢量偏移量的多组运动矢量偏移量组合；[0661]在本申请实施例中，MMVD技术可以根据一定规则对基础运动矢量预测值进行偏选地，在一些实施例中，偏移量集中的运动矢量偏移量(offset)可以有8个选择(21，22对于MMVD的baseMVPlist中的一组基础MV的2个分量MV_x，基础运动矢量预测值+运动矢量偏移量offset。由此，MMVD的当前图像块的运动矢量共有损失满足预设条件的运动矢量作为用于编码和/或解码时当前图像块的认为是从所述多组运动矢量偏移量组合中确定出使得率失真损失满足预设条件的运动矢定当前图像块的运动矢量；根据所述当前图像块的运动矢量对所述当前图像块进行预测。缩放后的运动矢量偏移量与基础运动矢量预测相加(或相减)以确定当前图像块的运动矢实现方式可以进一步减少需尝试的运动矢量偏移量组合的数量，可以进一步提高编/解码P0＝P2_P1，则对两个基础运动矢量加相同大小的运动矢量偏移量X；如果P2_P0＝2*(P2_础运动矢量所使用的运动矢量偏移量与第二基础运动矢量所使用的运动矢量偏移量之比尽量接近当前图像到第一基础运动矢量的参考图像的距离与当前图像到第二基础运动矢[0673]当所述第一基础运动矢量和/或第二基础运动矢量指向特定参考图像(即当前图像块的参考图像为特定参考图像)时，由于特定参考图像与当前图像块所在图像的时间距[0675]或者换句话说，当所述第一基础运动矢量和/或第二基础运动矢量指向特定参考移量(例如为offset2)可以是对某个初始偏移量进行缩放比例为1的缩放得到的或不进行是通过预设算法计算得到的时，该索引可以是另一个运动矢量偏量偏移量中的某一个运动矢量偏移量(例如为offset1)可以是通过预设算法计算得到的分别对应于所述第一基础运动矢量和所述第二基础运动矢量；根据所述第一基础运动矢[068