CN117768651A 处理视频数据的方法、装置、介质、以及比特流存储方法 （北京字节跳动网络技术有限公司）

PCT/CN2018/1071782018.09.201910907741.02019.09.24本申请文件涉及处理视频数据的方法、装得对于使用单个参考图片进行运动补偿的单向2使用从一个或多个先前块导出的一个或多个运动候选维护运动候选包括运动信息和广义双向预测GBi信息，其中GBi信息指示编解码单元(CU)级权基于所述运动候选列表执行视频的当前块和所述视频的比特流之使用为所述当前块导出的GBi信息来更新通过添加所述运动信息和所述GBi信息作为新的运动候选来更新所述且至少一个待加入的候选从所述表中的至少一个候选中继承所述运动信息和所述GBi信基于确定的运动信息和所述GBi信息执行执行所述视频的另一块和所述视频的比特流之间的转换，其中更新的一7.如权利要求1所述的方法，其中在所述8.如权利要求1所述的方法，其中在所述构造9.如权利要求1所述的方法，其中在所述构造期间，权重从表中的候选生成一个或多个Merge10.如权利要求8所述的方法，其中多个Merge候选使用与所述表中的所述候选的运动信息相同的运动信息，并且所述多个Merge候选进一步使用与HMVP候选的权重不同的关联其中最多产生第一Merge候选和第二Merge候选，其中所述第一Merge候选的权重等于所述表中的所述候选的权重，且所述第二Merge候选的权重等于所述转换中使用的参考图其中从所述表中的所述候选生成的Merge候选的数目基于所允许权重的数目、相加之3维护具有从一个或多个先前块导出的一个或多个第一运动候选的一所述表中的所述第一运动候选的布置基于将所述第一运动候选添加到所述表中至少基于表中的至少一个第一运动候选和至少一个第二运动候选为视频的当前块构执行所述当前块和所述视频的比特流之间的转换，其中在所述转其中，将所述第一运动候选添加到所述运动候选列表在一17.如权利要求13所述的方法，其中所述第一运动候选将与所述当前块的时空运动矢量预测器交织，使得所述第一运动候选的一部分被添加在所述时空运动矢量预测器之前、其中，所述第一运动候选将与所述当前块的仿射运动候选交织在包括多个块的视频的视频块与所述视频的比特流表示之间述转换的预测方向，确定是否满足一个或多个基于历史的运动矢量预测HMVP表的更新规421.如权利要求19所述的方法，其中由于所述预测方向是单向并且由于在所述转换期其中所述选择性地更新包括使用所述视频块的多假设运动信息来更新所述一个或多使用从一个或多个先前块导出的一个或多个运动候选维护运动候选包括运动信息和广义双向预测GBi信息，其中GBi信息指示编解码单元(CU)级权基于所述运动候选列表执行所述视频的当前块和所述当前块的比特流之使用从一个或多个先前块导出的一个或多个运动候选维护运动候选包括运动信息和广义双向预测GBi信息，其中GBi信息指示编解码单元(CU)级权基于所述运动候选列表执行所述视频的当前块和所述当前块的比特流之24.一种存储由视频处理装置执行的方法生成的比特流的非暂时性计算机可读记录介使用从一个或多个先前块导出的一个或多个运动候选维护运动候选包括运动信息和广义双向预测GBi信息，其中GBi信息指示编解码单元(CU)级权基于所述运动候选列表从所述视频的当前块生使用从一个或多个先前块导出的一个或多个运动候选维护运动候选包括运动信息和广义双向预测GBi信息，其中GBi信息指示编解码单元(CU)级权将所述比特流存储在非暂时性计算机可读记5令在被所述处理器执行时使所述处理器实现权利要求1至21中任一项27.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器执行以下权利6[0004]本文件公开了使用运动矢量的Merge列表对数字视频编码和解码的方法、系统和至少基于所述HMVP候选所参考的参考图片的条件的规则来存储所述一个或多个表中的7视频的当前块与当前块的比特流之间的转换，其中在所述转换期间使用所述一个或多个用某种类型的Merge候选来生成双向预测Mer当前块的HMVP候选和成对平均候选(PAC)来构造运动候选列表；以及执行所述视频的当前[0017]在又一示例的方面，公开了一种实现本文描述的视频编码方法的视频编码器设8[0048]图26示出了非子块STMVP(时空运动矢量预测)的示例，其中当前块的宽度和高度[0050]图28是用于实现本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台9[0053]图31示出了具有所提出的HMVP(基于历史的运动矢量预测)方法的解码流程图的是所公开的技术不仅限于这些视频标准或其继任者，而是可应用于其他视频编解码器标T开发了H.261和H.263，ISO/IEC开发了MPEG_1和MPEG_4视觉，并且两个组织联合开发了[0080]内部编解码块使用空间预测来探索像素之间的空间相关性。定义了两种分割：[0083]在HEVC中，通过使用表示为编解码树的四叉树结构将CTU划分成CU来适应各种局[0085]1)编解码树单元和编解码树块(CTB)结构：HEVC中的类似结构是编解码树单元[0086]2)编解码单元(CU)和编解码块(CB)：CTU的四叉树语法规定了其亮度和色度CB的同样适用于色度TB。对于4×4、8×8、16×16和32×32的方形TB定义了与离散余弦变换如序列参数集(SPS)中指示的残差四叉树的最大深度所指示的那样，每个象限都会分配一邻TB(CB内或CB外)的解码样本用作帧内预测的[0105]在QTBT分割结构的一个示例中，CTU尺寸被设置为具有两个对应的64×64色度样本块的128×128个亮度样本，MiNQTSize被设置为16×16，MaxBTSize被设置为64×64，此，四叉树叶节点也是二叉树的根节点，并且其二叉树深度为0。当二叉树深度达到树结构对编解码树单元(CTU)进行划分。然后用二叉树结构对四叉树叶节点进行进一步划(包括空间和时间候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的每个参考图片列表对应的参考图片索引和参考图片列表的使用都会在每个PU中显式地用则当前CU的所有PU都共享一个Merge候选列表，这与2N×2N预测单元的Merge候选列表相中，基于与给定参考图片列表中当前图片具有最小图片顺序计数POC差异的共位PU推导了共位图片的参考图片与共位图片之间的POC差异。时间Merge候选的参考图片索引设置为候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考Merge候选列表。图15A和15B示出了原始列表中(在左侧)的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选的情况，其具有MvL0和refIdxL0或MvL1和的平衡，HEVC定义了运动估计区域(MER)，可使用例如语法元素“log2_parallel_merge_规定的空间Merge候选的推导过程。log2_parallel_Merge_level_MiNus2的值应在0到Log2ParMrgLevel等于6时，可以并行推导64x64块中包含的所有预测单元(PU)和编解码单A0[0170]除了参考图片索引的推导外，时间Merge候选的所有推导过程与空间运动矢量候运动矢量预测方法。可选时间运动矢量预测(ATMVP)方法允许每个CU从多个小于共位参考间运动矢量预测和空间邻接运动矢量递归地推导子C[0182]在可选时间运动矢量预测(ATMVP)方法中，运动矢量时间运动矢量预测(TMVP)是[0183]ATMVP分两步预测CU内的子CU的运动矢量。第一步是用所谓的时间矢量识别参考y码器检查是否满足低延迟条件(即，当前图片的所有参考图片的POC都小于当前图片的y[0192]子CU模式作为附加的Merge候选模式启用，并且不需要附加的语法元素来对该模式发信令。将另外两个Merge候选添加到每个CU的Merge候选列表中，以表示ATMVP模式和标志有条件地为每个至少有一个非零MVD分量的C[0196]对于具有至少一个非零MVD分量的CU，第一个标志将发信令以指示CU中是否使用[0197]当CU的第一个MVD分辨率标志为零或没有为CU编码(意味着CU中的所有MVD都为数亮度采样精度)的运动信息。在对具有整数亮度样本和4亮度样本MVD分辨率的同一个CU[0202]模式匹配运动矢量推导(PMMVD)模式是基于帧速率上转换(FRUC)技术的特殊[0204]在编码器侧，基于对正常Merge候选所做的RD成本选择决定是否对CU使用FRUCB中找到其配对的双边MV的参考图片refb，以便refa和refb在时间上位于当前图片的不同b之间的时间距离缩放MVa推导MVb。[0219]在CU级，可以将AMVPCU的最多15个MV和MergeCU的最多13个MV添加到候选列表片中子CU的共位位置处的MV被缩放为起始C被分配任何内插运动，则根据时间距离TD0和TD1将参考块的运动缩放到当前图片(与HEVC配和模板匹配都使用双线性插值而不是常规的8抽头帧间预测。确定MV后，对亮度使用8抽头(8_taps)插值滤波器并且对色度使用4抽头(4_两种搜索模式—无限制中心偏置菱形搜索(UCBDS)和自适应交叉搜索，分别在CU级别和子图片中基于当前CU运动轨迹上两个块之间的最近匹配得出的。模板匹配Merge模式没有这和列表1的MV形成的预测块组合形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法[0255]首先通过利用冗余检查将空间相邻和时间相邻块的运动矢量和参考索引插入候义的插入顺序，在插入空间候选(图11)、时间候选、仿射候选、高级时间MVP(Advanced[0257]块14的外推(extrapol[0273]在此提案(contribution)中，提出GBi以允许将不同的权重应用于来自L0和L1的w1的权重值0w1的权重值0112w1的权重值012134[0298]其中L(_1,y)和R(W,y)是当前块左侧和右侧的4x4块的运动矢量。A(x,_1)和B(x,[0302]_使用推导出的右下方相邻4×4块的运动信息以及右上方相邻4×4块的运动信[0304]_使用推导出的右下方相邻4×4块的运动信息以及左下方相邻4×4块的运动信表的Merge索引。对每个参考列表分别计算平均运动矢量；如果两个MV在一个列表中均可[0312]阶段1：当将HMVP候选插入查找表时，可以应用修剪以在查找表中移除相同的候中)和时间Merge候选之后，插入组合的双向预测Merge候选和零运动矢量候选的可能性仍[0331]c.在一个示例中，要检查的对的数目取决[0333]a.如果我们用K比特(例如，HEVC中的[0336]5.提出仅将参考某些参考图片(例如每个参考列表的参考索引等于0的参考图片)[0343]b.在一个示例中，不允许将子块运动候选(例如，ATMVP)用于组合的双向预测[0345]a.在一个示例中，可以在潜在的修[0351]e.从一个HMVP候选生成多少Merge候[0366]提出了基于历史的MVP(HMVP)方法，其中HMVP候选被定义为先前编码的块的运动[0368]HMVP候选可以用在Merge候选列表构建过程中。按顺序对表中的最新几个HMVP候ATMVP)之外的空间或时间Merge候选的中的最后K个HMVP候选的运动矢量。仅使用具有与AMVP目标参考图片相同的参考图片的[0378]1)空间Merge候选+ATMVP(ATMVP可以与空间Merge候选交织插入)_>TMVP_>HMVP_>[0379]2)空间Merge候选+ATMVP+STMVP(ATMVP和STMVP可以与空间Merge候选交织插入，[0380]3)空间Merge候选+ATMVP(ATMVP可以与空间Merge候选交织插入)_>TMVP_>HMVP_>[0381]4)空间Merge候选+ATMVP(ATMVP可以与空间Merge候选交织插入)_>TMVP_>成对平[0382]5)空间Merge候选+ATMVP+STMVP(ATMVP和STMVP可以与空间Merge候选交织插入，STMVP可以在TMVP恰好之前或之后插入)_>TMVP_>HMVP_[0386]图33是视频处理的示例方法3300的流程图。方法3300包括使用广义双向预测模[0387]另一示例视频处理方法包括使用基于历史的运动矢量预测查找表来执行视频的运动矢量预测(HMVP)在包括视频的当前块的多个视频块和所述多个视频块的比特流之间[0395]5.如条款4所述的方法，还包括[0408]18.如条款1至17中任一项所述的方法，其中，所述转换还使用组合的双向预测[0417]27.如条款1至23所述的方法，其中通过在当前块的成对平均候选之间交织，将[0426]图36是示出示例视频处理系统3600的框图，其中可以实现本文公开的各种技[0428]外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体电话或能够执行数字数据处理和/或视频显[0429]图37是视频处理的示例方法3700的流程图。该流程图的步骤可以与本文档第4节中描述的示例1相关联。方法3700包括在包括多个块的视频的视频块与该视频的比特流之[0430]图38是视频处理的示例方法3800的流程图。该流程图的步骤可以与本文档第4节的第二运动信息精度，以及在该视频的当前块和该当前块的比特流之间执行(3804)转换，[0431]图39是视频处理的示例方法3900的流程图。该流程图的步骤可以与本文档第4节[0432]图40是视频处理的示例方法4000的流程图。该流程图的步骤可以与本文档第4节[0433]图41是视频处理的示例方法4100的流程图。该流程图的步骤可以与本文档第4节或多个具有基于历史的运动矢量预测(HMVP)候选的表；以及使用广义双向预测(GBi)模式[0434]图42是视频处理的示例方法4200的流程图。该流程图的步骤可以与本文档第4节个或多个具有基于历史的运动矢量预测(HMVP)候选的表；使用广义双向预测(GBi)模式执[0435]图43是视频处理的示例方法4300的流程图。该流程图的步骤可以与本文档第4节[0436]图44是视频处理的示例方法4400的流程图。该流程图的步骤可以与本文档第4节当前块的多对运动信息来生成组合的双向预测Merge候选，并且其中仅使用某种类型的[0437]图45是视频处理的示例方法4500的流程图。该流程图的步骤可以与本文档第4节或多个具有基于历史的运动矢量预测(HMVP)候选的表；从HMVP候选生成(4504)多个Merge[0439]图47是视频处理的示例方法4700的流程图。该流程图的步骤可以与本文档第4节对平均候选(PAC)来构造(4704)运动候选列表；以及执行(4706)视频的当前块与该当前块[0446]4.如条款1所述的方法，其中由[0447]5.如条款4所述的方法，其中所述[0462]13.如条款11所述的方法，其中仅将参考某[0470]使用应用于所述HMVP候选以及该视频的当前块的运动信[0471]17.如条款16所述的方法，其中基于哈希[0473]在确定所述HMVP候选的哈希值与所述视频的当前块的运[0476]使用广义双向预测(GBi)模式来执行所述视频的当前块与该当前块的比特流之间[0480]22.如条款19所述的方法，其中所述[0483]使用广义双向预测(GBi)模式执行所述视频的当前块与该当前块的比特流之间的[0488]通过添加当前块的运动信息和权重作为新的HMVP候选，来更新所述一个或多个述一个或多个表，其中通过比较当前块的N对运动信息来生成组合的双向预测Merge候选，[0497]30.如条款28所述的方法，其中N取决于在将并且其中仅使用某种类型的Merge候选来生成双向预测MeHMVP候选的运动信息，并且所述多个Merge候选还使用与所述HMVP候选的权重不同的相关得一部分HMVP候选在PAC之前添加且另一部分HMVP候选在PA得一部分HMVP候选在PAC之前添加且另一部分HMVP候选在仿射运动候[0546]61.如条款55至条款60中的任一项的述实施例中各种系统组件的分离不应理解为在所有实施例中都