CN119484812A 图像解码方法、图像编码方法和图像数据发送方法 （Lg电子株式会社）

202080059109.62020.06.19推导合并候选列表或子块合并候选列表中的候2通过比特流获取包括帧间预测模式信息和残差信其中，所述帧间预测模式信息包括与是否应用子块合并模式应用常规合并模式相关的第二标志以及与是否应用具有运动向量差的合并模式MMVD相关其中，基于组合图片间合并和图片内预测CIIP模式未被启用、通为两个分区来执行预测的分割预测模式未被启用、所述第一标志的值等于0并且所述第三标志的值等于0，所述帧间预测模式信息包括指示针对所述常规合并模式生成的合并候选确定当前块的帧间预测模式并且生成指示所述帧间预测模对包括所述帧间预测模式信息和所述残差信息的图像信息其中，所述帧间预测模式信息包括与是否应用子块合并模式应用常规合并模式相关的第二标志以及与是否应用具有运动向量差的合并模式MMVD相关其中，基于组合图片间合并和图片内预测CIIP模式未被启用、通为两个分区来执行预测的分割预测模式未被启用、所述第一标志的值等于0并且所述第三标志的值等于0，所述帧间预测模式信息包括指示针对所述常规合并模式生成的合并候选其中，所述帧间预测模式信息包括与是否应用子块合并模式应用常规合并模式相关的第二标志以及与是否应用具有运动向量差的合并模式MMVD相关3其中，基于组合图片间合并和图片内预测CIIP模式未被启用、通为两个分区来执行预测的分割预测模式未被启用、所述第一标志的值等于0并且所述第三标志的值等于0，所述帧间预测模式信息包括指示针对所述常规合并模式生成的合并候选4[0001]本申请是原案申请号为202080059109.6的发明专利申请(国际申请号：PCT/[0002]本公开涉及用于通过应用确定的预测模式来生成预测样本的图像解码方法及其[0008]本公开还提供用于当最终未选择合并模式时基于默认合并模式推导预测样本的[0009]本公开还提供用于通过将常规合并模式应用为默认合并模式来推导预测样本的当前块划分为两个分区来执行预测的分割模式(partitioningmode)不可用，常规合并模5组合图片间合并和图片内预测CIIP模式以及通过将当前块划分为两个分区来执行预测的[0013]帧间预测模式信息包括指示通过应用常规合并模式生成的合并候选列表中包括[0015]帧间预测模式信息包括指示通过应用常规合并模式生成的合并候选列表中包括[0021]图2是示意性地例示可以应用本文档的实施方式的视频/图像编码设备的配置的[0022]图3是示意性地例示可以应用本文档的实施方式的视频/图像解码设备的配置的6[0036]图17和图18示意性地示出了根据本公开的实施方式的视频/图像编码方法和相关[0037]图19和图20示意性地示出了根据本公开的实施方式的图像/视频解码方法和相关[0045]参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装7[0049]发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/图[0055]图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的CTU的矩形区域。图块扫描是块按图片的图块的光栅扫描连续排序。切片可以包括可以被包括在一个NAL单元中的图片8[0065]图2是示意性例示了可以应用本文档的实施方式的视频/图像编码设备的配置的[0067]图像划分器210可以将输入到编码设备200的输入图像(或者图片或帧)分割成一据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分9本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，[0069]编码设备200可以从输入图像信号(原始块、原始样本数组)中减去从帧间预测器预测的信息可以被熵编码器240编码并以比特流根据设置使用更多或更少的定向预测模式。帧内预测器222可以使用应用于相邻块的预测[0071]帧间预测器221可以基于参考图片上运动向量所指定的参考块(参考样本数组)来候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片索引的信息。者基于调色板模式进行块的预测。IBC预测模式或调色板模式可以用于诸如游戏这样的内描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。成重构信号或者可以用于生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、[0074]量化器233对变换系数进行量化并且将其发送到熵编码器240，并且熵编码器240关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块形生成关于变换系数的信息。熵编码器240可以执行诸如(例如)指数哥伦布(exponential像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位进行发送或存储。视频/图像文档中，从编码设备发送/发信号通知给解码设备的信息和/或语法元素可以被包括在视量化器234和逆变换器235对量化变换系数应用解量化和逆变换来重构残差信号(残差块或器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重[0078]发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图[0079]存储器270的DPB可以存储修正后的重构图片，以用作帧间预测器221中的参考图用作空间相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前图片中的[0082]图3是示意性说明了可以应用本文档的公开内容的视频/图像解码设备的配置的组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器[0084]当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2中例示的以基于关于参数集的信息和/或常规约束信息对图片进行解码。随后在本文档中描述的发应二进制算术编码(CABAC)这样的编码方法对比特流中的信息进行解码，并输出图像重构模型预测出现bin的概率来对bin执行算术解码，并生成与每个语法元素的值对应的符号。在熵解码器310中被执行了熵解码的残差值(即，量化变换系数和相关的参数信息)可以输基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并者基于调色板模式进行块的预测。IBC预测模式或调色板模式可以用于诸如游戏这样的内式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于相邻块[0091]帧间预测器332可以基于参考图片上的运动向量所指定的参考块(参考样本数组)构造运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动向量和/或参[0092]加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图[0093]加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重[0096]存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测编码设备可以将关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样(MMVD)模式等的各种模式。解码器侧运动向量细化(DMVR)模式、自适应运动向量分辨率辅助模式。仿射模式可以被称作仿射运动预测模式。MVP模式可被称作高级运动向量预测[0101]可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的帧间预测示应用MVP模式或者还可以发信号通知用于进一步分割的标志。仿射模式可以作为独立模[0104]L0和L1可以包括在当前图片之前被编码/解码的参考图片。例如，L0可以包括按POC顺序在当前图片之前和/或之后的参考图片，并且L1可以包括按POC顺序在当前图片之的参考图片索引可以被分配给L0，并且相对于按POC顺序晚于当前图片的参考图片较低的[0114]pred_mode_flag等于0可以指定当前编码单元以帧间预测模式编码。pred_mode_[0115]pred_mode_IBC_flag等于1可以指定当前编码单元以IBC预测模式编码。pred_mode_IBC_flag等于0可以指定当前编码单元未以IBC预测模式编[0116]pcm_flag[x0][y0]等于1可以指定pcm_sample()语法等于0可以指定不存在pcm_sample()语法结构。也就是说，pcm_flag可以表示脉冲编码调[0117]intra_mip_flag[x0][y0]等于1可以指定亮度样本的帧内预测类型是基于矩阵的[0118]intra_chroma_pred_mode[x0][y0]可以指定当前块中的色度样本的帧内预测模[0119]general_merge_flag[x0][y0]可以指定从相邻经帧间预测分区推断当前编码单元的帧间预测参数。也就是说，general_merge_flag可以表示一般合并可用，并且当general_merge_flag的值为1时，常规合并模式、MMVD模式和合并子块模式(subblock[0124]mmvd_merge_flag[x0][y0]等于1可以指定具有运动向量差的合并模式用于生成[0125]mmvd_cand_flag[x0][y0]可以指定是合并候选列表中的第一(0)候选还是第二(1)候选与从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]推导的运动向[0126]mmvd_distance_idx[[0127]mmvd_direction_就是说，merge_subblock_flag可以表示子块合并模式(或仿射合并模式)是否应用于当前[0130]ciip_flag[x0][y0]可以指定组合图片间合并和图片内预测(CIIP)是否应用于当[0131]merge_triangle_idx0[x0][y0]可以指定基于三角形形状的运动补偿候选列表的[0132]merge_triangle_idx1[x0][y0]可以指定基于三角形形状的运动补偿候选列表的[0135]ref_idx_l1[x0][y0]具有与ref_idx[0137]sym_mvd_flag[x0][y0]等于1可以指定不存在语法元素ref_idx_l0[x0][y0]和[0139]ref_idx_l1[x0][y0]具有与ref_i[0140]inter_affine_flag[x0][y0]等于1可以指定在解码P或B切片时使用基于仿射模片时，基于6参数仿射模型的运动补偿用于生成当前编码单元的预测样本。等于0的cu_affine_type_flag[x0][y0]可以指定基于4参数仿射模型的运动补偿用于生成当前块的预动向量差的分辨率还由amvr_precision_flag[[0143]amvr_precision_flag[x0][y0]等于0可以指定：如果inter_affine_flag[x0][y0]等于0，则运动向量差的分辨率为一整个亮度样本，否则为亮度样本的1/16。amvr_[0145]图4示出了基于帧间预测的视频/图像编码方法的示例，并且图5是示意性示出编的参考块的运动向量可以被用作当前块的运动向量，并且在mvp候选当中的具有与当前块以被构造为参考图像索引信息并且被单独地发信号通知给解码[0154]图6示出了基于帧间预测的视频/图像解码方法的示例，并且图7是示意性示出解[0156]具体地，解码设备可以基于接收到的预测信息来确定当前块的预测模式(S600解码设备可以基于预测信息中的预测模式信息来确定要向当前块应用哪种帧间器332_2和预测样本推导器332_3，并且预测模式确定器332_1可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导器332_2可以基于接收到的关于运动信息的信息来推导当前块的运动信息(运动向量和/或参考图片索引等)，并且预测样本推导器基于预测样本和残差样本来生成当前块的重构样本，并可以基于此来生成重构图片模式来推导运动信息的步骤以及基于推导出的运动信息来执行预测(预测样本的生成)的且随后将描述的时间合并候选或时间MVP候选可以被称为T相邻块(A1>B1_>B0_>A0_>B2的顺序搜索图8中例示的五个块，并且可标(左上样本位置)算术右移达一定值之后的算术左移位置的预测块的运动信息来推导时间合并候选。例如，当预定存储单元是2n×2n样本的单元时，如果时间相邻块的坐标是元时，如果时间相邻块的坐标是(xTnb，yTnb)，则关于处于校正后位置(xTnb>>3)<<3),(yTnb>>3)<<3))处的预测块的运动信息可以被用于时间组的切片/图块组类型为类型B时)和/或零向量合并候选中[0177]如上所述，关于所选择的合并候选的运动信息可以被用作关于当前块的运动信[0180]MMVD模式为将运动向量差(MVD)应用于其中直接使用推导以生成当前块的预测样enabled_flag等于1可以指示在当前切片中使用整数样本为单位来推导MVD的距离，并且slice_fpel_mmvd_enabled_flag等于0可以指示在当前切片中使用分数样本为单位推导mmvd_direction_idx[x0]00102030[0194]MmvdOffset[x0][y0][0]＝(MmvdDistance[x0][y0]2)*MmvdSign[x0][y0][0195]MmvdOffset[x0][y0][1]＝MmvdDistance[x0][y0]2)*MmvdS[0200]仿射运动预测可以使用两个或更多个控制点运动向量(CPMV)来确定块中所包括的样本位置的运动向量。在这种情况下，运动向量的集合可以被称为仿射运动向量场[0222]以仿射合并模式或子块合并模式构造的仿射候选可以表示通过组合每个控制点候选。控制点运动向量的组合可以是{CPMV0，CPMV1，CPMV2}、{CPMV0，CPMV1，CPMV3}、[0227]基于子块的时间运动向量预测(SbTMVP)也可以被称为高级时间运动向量预测(ATMVP)。SbTMVP可以使用并置的图片中的运动场来改进当前图片中的CU的运动向量预测[0232]包括SbTVMP候选和仿射合并候选二者的组合的基于子块的合并列表可以用于仿应用于常规合并模式的相同帧间预测过程推导帧间预测信号P_inter。可以根据具有平面[0237]可以使用加权平均来组合帧内预测信号和帧间预测信号，并且可以在下面的式4可以通过序列参数集(SPS)中的开/关标志来启用或停用。如果在SPS中停用针对特定模式[0247]下表5涉及从常规merge_data语法推导合并模式或跳过模CUMergeTriangleFlag[x0][y0]可以对应于上文在图12中描述的针对分割模式的开/关标志，并且merge_triangle_split_dir[x0][y0]可以指示在应用分割模式时的分割方向(对[x0][y0]可以指示当应用分割模式时针对每个分区enabled_flag可以对应于从SPS启用或停用上文在图12中描述的分割模[0257]可以根据表6的SPS的标志以及可以使用每个预测模式的条件来解析或推导表5的merge_data语法。在表7和8中示出了根据可以使用SPS的标志和每个预测模式的条件的所当合并子块模式、MMVD模式、CIIP模式和分割模式全部在SPS中启用时，如果regular_志启用分割模式，可以仅在附加满足下表9的条件时才将其用作预测模式。在下表9中，MergeTriangleFlag[x0][y0]可以对应于针对分割模式的开/关标志，并且sps_triangle_enabled_flag可以对应于来自SPS的启用或停用分割模式的标和合并数据语法来选择最终预测模式而不执行解码的例外情况中发生的问题，在本公开当前块划分成两个分区来执行预测的分割模式全部不可用的情况而将常规合并模式应用式的标志sps_mmvd_enabled_flag可以为0或指示是否应用MMVD模式的第一标志(mmvd_merge_flag[x0][y0])可以的标志sps_affine_enabled_flag可以为0或指示是否应用合并子块模式的第二标志[0274]另外，基于CIIP模式不可用的情况，来自SPS的用于启用或停用CIIP模式的标志sps_ciip_enabled_flag可以为0或指示是否应用CIIP模式的第三标志(ciip_flag[x0][0275]另外，基于分割模式不可用的情况，来自SPS的用于启用或停用分割模式的标志sps_triangle_enabled__flag可以为0或指示是否应用分割模式的第四标志[0276]此外，例如，基于指示合并模式是否可用于当前块的一般合并标志的值为1的情否应用合并子块模式的第二标志merge_subblock_flag[x0][y0]以及指示是否应用CIIP模[0277]此外，例如，基于其中基于标志sps_triangle_enabled_flag停用分割模式的情[0280]例如，基于MMVD模式不可用的情况，来自SPS的用于启用或停用MMVD模式的标志sps_mmvd_enabled_flag可以为0或指示是否应用MMVD模式的第一标志(mmvd_merge_flag的标志sps_affine_enabled_flag可以为0或指示是否应用合并子块模式的第二标志[0282]另外，基于CIIP模式不可用的情况，来自SPS的用于启用或停用CIIP模式的标志sps_ciip_enabled_flag可以为0或指示是否应用CIIP模式的第三标志(ciip_flag[x0][0283]另外，基于分割模式不可用的情况，来自SPS的用于启用或停用分割模式的标志sps_triangle_enabled__flag可以为0或指示是否应用分割模式的第四标志以及用于通过将当前块划分成两个分区来执行预测的分割模式不可用而将常规合并模式[0287]例如，在指示合并模式是否可用于当前块的一般合并标志的值为1但最终未针对[0288]例如，基于MMVD模式不可用的情况，来自SPS的用于启用或停用MMVD模式的标志sps_mmvd_enabled_flag可以为0或指示是否应用MMVD模式的第一标志(mmvd_merge_flag的标志sps_affine_enabled_flag可以为0或指示是否应用合并子块模式的第二标志[0290]另外，基于CIIP模式不可用的情况，来自SPS的用于启用或停用CIIP模式的标志sps_ciip_enabled_flag可以为0或指示是否应用CIIP模式的第三标志(ciip_flag[x0][0291]另外，基于分割模式不可用的情况，来自SPS的用于启用或停用分割模式的标志sps_triangle_enabled__flag可以为0或指示是否应用分割模式的第四标志过参考L1参考列表的第0参考图片(RefPicList[1][0])[0294]图17和图18示意性地示出了根据本公开的实施方式的视频/图像编码方法和相关图17的步骤S1700至S1710可以由图18的编码设备200的预测器220执行，并且图17的步骤S1720可以由图18的编码设备的残差处理器230执行。图17的步骤S1730可以由图18的编码合并和图片内预测模式)以及通过将当前块划分成两个分区来执行预测的分割模式中的至前块的空间相邻块和/或时间相邻块，并且可以优先搜合并候选(当当前切片/图块组的切片/图块组类型是类型B时)和/或零向量合并候选中的[0301]例如，编码设备可以基于由合并索引信息指示的候选而生成当前块的预测样表中包括的合并候选中的一个的合并索引信息，并且可以使用合并索引信息生成预测样[0308]例如，用于启用或停用分割模式的标志可以包括于图像信息的序列参数集(SPS)[0316]图19和图20示意性地示出了根据本公开的实施方式的视频/图像解码方法和相关成两个分区来执行预测的分割模式之类的各种模式。例如，帧间预测类型信息可以包括[0320]解码设备可以基于残差信息生成残差样本(S1910)。解码设备可