CN120302032A 从合并数据语法移除冗余语法的方法和装置 （Lg 电子株式会社）

202080045511.92020.06.23从合并数据语法移除冗余语法的方法和装置本公开涉及从合并数据语法移除冗余语法的关于预测模式的信息来确定当前块的预测模包括关于表示组合的图片间合并和图片内预测步骤可以包括基于CIIP可用标志从比特流获得2基于指示应用所述组合的图片间预测和图片内预测的所述启用标志从所述比特流中将由所述合并标志指示的所述合并模式确定为所述当前其中，所述图像信息进一步包括基于指示应用所述组合的其中，所述当前块的预测模式被配置为基于由所述合并标其中，所述图像信息进一步包括基于指示应用组合的图启用标志的合并标志，所述合并标志指示合并模式被用于生成所述当前块的帧间预测参其中，所述当前块的预测模式被配置为基于由所述合并标3[0001]本申请是2021年12月21日提交的国际申请日为2020年6月23日的申请号为[0002]该技术涉及用于在视频/图像编译系统中从合并数据语法移除冗余语法的方法和[0009]本公开的又一个方面提供一种用于在帧间预测期间移除不必要信令的方法和设[0010]本公开的又一个方面提供一种用于在帧间预测期间有效地用信号通知关于合并4基于CIIP可用性标志从比特流获得常规[0031]图10和11示意性地表示根据本文档的实施例的包括帧间预测方法的视频/图像编[0032]图12和13示意性地表示根据本文档的实施例的包括帧间预测方法的视频/图像解限制本文档的实施例。单数的表达包括复数的表达，只要它不被清楚地不同地理解。诸如5存储介质或网络将编码的视频/图像信息或数据以文件或流的形式6[0046]发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像[0049]在本文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。在省略量[0050]在本文档中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系行来构建（拼块可以被分区成多个图块，每个图块可利用拼块内的一个或多个CTU行来构具有等于图片的高度的高度和可以由图片参数集中的语法元素指定的宽度（拼块列是CTU块行是CTU的矩形区域，其具有由图片参数集中的语法元素指定的宽度和可以等于图片的在拼块中以CTU光栅扫描连续地排序，并且图片中的拼块可以图片的拼块的光栅扫描连续7以是用于推导变换系数的单元和/或用于从变换系数推导残差信8[0060]帧间预测器221可以基于参考图片上的由运动向量所指定的参考块（参考样本阵配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片用调色板模式时，可以基于关于调色板表和调色板索引的信息用信号通知图片中的样本9[0064]量化器233可以基于系数扫描顺序以一维向量形式重新排列具有块形式的量化的变换系数，并且还基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信[0065]熵编码器240可以执行例如指数Golomb编译、上下文自适应可变长度编译像信息还可以包括一般约束信息。在本文档中稍后描述的用信号通知/发送的信息和/或语法元素可以通过前述编码过程来编码并且因此包括在比特流中。比特流可以通过网络被发器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描果通过帧间预测器应用帧间预测，则编码设备可以避免编码设备200与解码设备之间的预[0070]存储器270的DPB可以存储用作帧间预测器221中的参考图片的修改的重构图经重构的块的运动信息。所存储的运动信息可以被发送到帧间预测器221以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并且可以将重构样本传送至帧内预测器2[0071]图3是用于示意性地解释可应用本公开的实施例的视频/图像解码设备的配置的[0073]当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2所示的编叉树结构和/或三叉树结构从编译树单元或最大编译单元分割编译单元。可以从所述编译以接收与来自比特流的每个语法元素相对应的bin（二进制位使用待解码的语法元素信[0078]预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间色板索引的信息可以包括在视频/图像信息中并且用模式和多个定向模式。帧内预测器331可以使用应用于邻近块的预测模式来确定应用于当[0081]帧间预测器332可以基于参考图片上的由运动向量所指定的参考块（参考样本阵息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索[0082]加法器340可以通过将所获取的残差信号与从预测器（包括帧间预测器332和/或[0083]加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前350可以通过对重构图片应用各种滤波方法来生成修改的重构图片并且将修改的重构图片间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片内的重构块于以分区结构为基础推导的CTU和CU（和/或TU和PU）来执行稍后描述的预测、残差处理形式被传送到解码设备。解码设备的熵解码器310可以基于从比特流获得的分区相关信息本）CB或TB大小来推导。TU大小可以基于maxTbSize推导。例如，如果CU的大小大于[0096]图片解码过程可以示意性地包括（通过解码）从比特流的图像/视频信息获取过码设备的解码图片缓冲器或存储器360中，并且在后续图片解码的帧间预测过程中用作参[0097]图片编码过程可以示意性地包括生成用于当前图片的重构图片的过程和对重构[0098]通过该环内滤波过程，可以降低在图像/视频编译期间生成的诸如去块伪影和振当前图片/切片/拼块组是I图片/切片/拼块组的情况下，可以仅基于帧内预测来重构包括组的情况下，可以基于帧内预测或帧间预测来重构包括在当前图片/切片/拼块组中的块。[0102]在帧间预测被应用于当前块的情况下，编码设备/解码设备的预测器可以通过以下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。以被称为并置参考块或并置CU（colCU并且包括时间邻近块的参考图片可以被称为并置运动向量预测子与运动向量差的和来推导当前块描述的(A)MVP候选列表，并且可以使用从包括在(A)MVP候选列表中的运动向量预测子过上述运动估计推导的参考块的运动向量可以用作当前块的运动向量，并且在mvp候选之中具有与当前块的运动向量具有最小差的运动向量的mvp候选可以成为所选择的mvp候选。码设备可以基于预测信息中的预测模式信息来确定将哪个帧间预测模式[0116]例如，解码设备可以基于合并标志确定相对于当前块是应用合并模式还是确定描述的(A)MVP候选列表，并且可以使用从包括在(A)MVP候选列表中的运动向量预测子索引信息来推导当前块的参考图片索引。由当前块的参考图片列表中的参考图片索引所指关于接收到的运动信息的信息来推导当前块的运动信息（运动向量和/或参考图片索引[0125]指示用于当前块的帧间预测模式的预测模式信息可以从编码设备用信号通知给inter_pred_idc语法元素值来顺序在当前图片之前和/或之后的参考图片，并且L1可以包括按POC顺序在当前图片之后[0146]pred_mode_flag等于0指定以帧间预测模式编译当前编译单元。pred_mode_flag[0147]pred_mode_ibc_flag等于1指定以IBC预测模式编译当前编译单元。pred_mode_包括亮度编译块的编译单元中不存在transform_tree()语法[0149]intra_mip_flag[x0][y0]等于1指定亮度样本的帧内预测类型是基于矩阵的帧内[0151]general_merge_flag[x0][y0]指定是否从相邻帧间预测分区推断当前编译单元并且合并数据语法可以被配置/编译为包括如以[0156]这里，regular_merge_flag[x0][y0]等于1指定常规合并模式被用于生成当前编。[0157]mmvd_merge_flag[x0][y0]等于1指定使用具有运动向量差的合并模式来生成当从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]所推导的运动向量差一起使用。[0161]merge_subblock_flag[x0][y0]指定基于子块的帧间预测参数是否用于当前编[0163]ciip_flag[x0][y0]指定是否对当前[0164]merge_triangle_idx0[x0][y0]指定基于三角形[0165]merge_triangle_idx1[x0][y0]指定基于三角形[0168]ref_idx_l1[x0][y0]具有与ref_idx_[0170]sym_mvd_flag[x0][y0]等于1指定语法元素ref_idx_l0[x0][y0]和re[0172]ref_idx_l1[x0][y0]具有与ref_idx_基于仿射模型的运动补偿被用于生成当前编译flag[x0][y0]等于0指定基于4参数仿射模型的运动补偿用于生成当前编译单元的预测样于0指定运动向量差的分辨率为亮度样本的1/4。amvr_flag[x0][0指定运动向量差的分辨率为一个整数亮度样本，否则为1/16的亮度样本。如果inter_affine_flag[x0][y0]等于0，则amvr_precision_flag[x0][y0]等于1指定运块在参考图片中所确定的搜索范围内以分数像素为单位搜索具有高相关性的相似参考块，用合并模式的标志信息和表示使用哪个相邻预测块的合并索引来表示当前块的运动信息。近块A0B0和B2的顺序搜索图6中示出的5个块，并且可以通过顺序地对照col图片上的针对当前块的并置块的右下角邻近块和右下中心块的顺序来搜索时间邻近码设备可以基于根据残差信息所推导的残差样本和预测样本来生成重构样本，并且基于tb被定义为当前图片的参考图片与当前图片之间的POC差，并且td被定义为并置图片的参[0198]除了合并模式之外，其中隐式推导的运动信息直接用于当[0205]这里，slice_fpel_mmvd_enabled_flag等于1指定具有运动向量差的合并模式使用当前切片中的整数样本精度。slice_fpel_mmvd_enabled_flag等于0指定具有运动向量差的合并模式可以使用当前切片中的分数样本精度。当不存在时，slice_fpel_mmvd_enabled_flag的值推断为0。slice_fpel_mmvd_enabled_flag语法元素可以通过切片报头[0206]方向索引表示MVD相对于起始点的方向。方向索引可以表示如表4所示的四个方量的MV偏移的符号并且列表1MV的符[0215]2.TMVP从并置图片中的并置块提取时间中运动移位是从来自当前CU的空间邻近块[0216]图8图示SbTVMP处理。SbTMVP分两步预测当前CU内的子CU的运动向量。在第一步[0219]包含SbTVMP候选和仿射合并候选二者的组合的基于子块的合并列表可以用于仿模式仅可应用于宽度及高度两者均大于或等于8[0223]三角形分区模式可以用于帧间预测。三角形分区模式可以仅应用于8x8或更大的CU。与其他合并模式一起使用CU级别标志作为一种合并模式来用信号通知三角形分区模[0225]如果三角形分区模式用于当前CU，则进一步用信号通知指示三角形分区的方向分区中的每一个之后，使用具有自适应权重的混合处理来调整沿着对角或反对角边的样本cu_sbt_flag推断为0。[0228]组合的帧间和帧内预测可以应用于当前块。可用信号通知附加标志（例如ciip_预测信号组合。使用应用于常规合并模式的相同帧间预测处理来推导CIIP模式P_inter中的开/关标志被禁用，则编码设备不以CU或PU为单位用信号通知用于相应预测模式的显式[0238]在该文档中，为了移除冗余语法的信令，公开一种用于考虑到合并/跳过模式的[0242]在不允许三角形合并的条件下，不需要用信号通知CIIP相关标志（例如，CIIP_[0245]图10和图11示意性地示出根据本公开的实施例的包括帧间预测方法的视频/图像[0247]具体地，参照图10和图11，编码设备的预测器可以确定当前块的预测模式索与当前块相似的块来推导与当前块具有最小差或者等于或小于预定参考的差的参考块，[0251]编码设备的预测器可以基于当前块的预测模式和当前块的运动信息来推导当前[0253]编码设备的编码器可以对包括关于残差样本的信息和关于预测模式的信息的图码的信息可以以比特流的形式被输出。比特流可以通过网络或存储介质被发送到解码设译单元语法可以包括表示是否将跳过模式应用于当前块的CU跳MMVD（MMVD模式）的条件（MMVDAllowed）、允许合并子块（子块合并模式）的条件merge_flag信令条件和相关语义、MMVD_merge_flag信令条件和相关语义、merge_[0260]在表5中，general_merge_flag[x0][y0]指定是否从相邻帧间预测分区推断用于[0288]同时，regular_merge_flag[x0][y0]等于1指定常规合并模式用于生成当前编译[0289]参考表5，常规合并标志可以包括在图像信息中，并且在基于MMVD模式的条件或者分区模式候选的最大数目等于或大于2的情况下，可以将常规合并标志包括在比特流[0300]参考表5，在基于MMVD模式的条件（MMVDAllowed）、基于子块合并模式的条件信息中并且可以以比特流的形式用信号通知。从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]推导的运动向量差一起使[0311]mmvd_direction_idx[x0][y0]指定用于推导MmvdSign[x0][y0]的索引，如表4中[0313]merge_subblock_flag[x0][y0]指定是否从邻近块推断用于当前编译单元的基于值为1的情况下，合并子块标志可以包括在图像信息中并且可以以比特流的形式用信号通中x0,y0指定所考虑的编译块的左上亮度样本相对于图片的左上亮度样本的位置（x0,[0325]同时，ciip_flag[x0][y0]指定是否对当前编译单元应用组合的图片间合并和图[0326]参考表5，CIIP标志可以包括在图像信息中，并且在基于CIIP模式的条件[0334]变量MergeTriangleFlag[x0][y0]指定在解码B切片时是否使用基于三角形的运[0342]图12和图13示意性地示出根据本文档的实施例的包括帧间预测方法的视频/图像[0344]参照图12和图13，解码设备可以从比特流获得关于用于当前块的预测模式的信的熵解码器310可以从以比特流形式从图2的编码设备接收到的信号中推导残差信息和关信息可以包括帧间/帧内预测分类信息和帧间预测模式信息，并且可以包括与该信息相关[0346]解码设备的预测器320可以基于用于当前块的预测模式来配置用于当前块的运动[0348]同时，解码设备的残差处理器320可以基于从比特流获得的残差信息