CN114270824B 用于基于帧间预测编译图像的方法和装置 （Lg电子株式会社）

2022.02.18PCT/KR2020/0080082020.06.19WO2020/256493KO2020.12.24GeonjungKoetal..Non-CE4:JingYeetal..Non-CE4BenjaminBrossetal..Versatil一种根据本文档的由解码设备执行的解码片间合并和图片内预测(CIIP)启用标志和指示是否跳过模式被应用于当前块的编译单元(CU)标志的条件和基于CU跳过标志的条件中的至少一个以及基于当前块的大小的条件从比特流获2从比特流获取组合的图片间合并和图片内预测(CIIP)启用标志、指示应用于当前块的编译单元(CU)跳过标志和预测信息其中，仅基于所述当前块的高度和所述当前块的宽度的乘积不等对包括所述预测信息和所述残差信息的图像信息其中，所述图像信息包括组合的图片间合并和图片内预测(CII其中，仅基于所述当前块的高度和所述当前块的宽度的乘积不等获得用于所述图像的比特流，其中所述比特流基于以下步骤来其中，所述图像信息包括组合的图片间合并和图片内预测(CII其中，仅基于所述当前块的高度和所述当前块的宽度的乘积不等34间合并和图片内预测(CIIP)启用标志和指示是否跳过模式被应用于当前块的编译单元志的条件以及基于所述当前块的大小的条件中的至少一个从所述比特流获取常规合并标图片内预测(CIIP)启用标志和指示是否跳过模式被应用于当前块的编译单元(CU)跳过标5内预测(CIIP)启用标志和指示是否跳过模式被应用于当前块的编译单元(CU)跳过标志中[0028]图10和11示意性地示出根据本公开的实施例的包括帧间预测方法的视频/图像编[0029]图12和13示意性地示出根据本公开的实施例的包括帧间预测方法的视频/图像解[0031]可以各种形式修改本公开的公开内容，并且将在附图中描述和图示其具体实施所公开的方法的主旨的情况下，组合和/或分离配置的实施例包括在本公开的公开内容的6[0039]参照图1，视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装[0043]发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信7[0046]在本文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当省略量残差编码语法用信号通知。可以基于残差信息(或者关于变换系数的信息)来推导变换系图块(brick)可以表示图片中的拼块内的CTU行的矩形区域。拼块可以被分割成多个图块，每个图块可由拼块内的一个或多个CTU行组成。未被分割成多个图块的拼块也可以被称为片的拼块的光栅扫描连续地排序。拼块是图片中的特定拼块列和特定拼块行内的CTU的矩以CTU光栅扫描连续地排序而图片中的拼块以图片的拼块的光栅扫描连续地排序。切片包[0051]图2是示意性地图示本公开的实施例可以应用于的视频/图像编码设备的配置的8[0053]图像分区器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应[0057]帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本阵列)来推9片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预[0059]通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生图形获取的变换。CNT意指基于通过使用所有先前重构的像素生成的预测信号而获取的变器240编码量化的信号(关于量化的变换系数的信息)并且输出编码的信号作为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序以一维[0062]熵编码器240可以执行诸如例如指数Golomb、上下文自适应可变长度编译信号通知/发送到解码设备的信息和/或语法元素。视频/图像信息可以通过前述编码过程介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如发送单元(未示出)和/或用于存储该信号的存储单元(未示出)可以被配置为编码设备200化器234和逆变换单元235将解量化和逆变换应用于量化的变换系数来重构残差信号(残差器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片类型的信息并且将所生成的信息传送到熵编码器240，如在各个滤波方法的描述中稍后描编码设备应用帧间预测时，可避免编码设备200与解码设备之间的预测失配并且可以改善[0067]存储器270的DPB可以存储修正后的重构图片，以用作帧间预测器221中的参考图用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的[0068]图3是用于示意性地解释可应用本公开的实施例的视频/图像解码设备的配置的[0070]当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备区相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理单元来执行解码。构和/或三叉树结构从编译树单元或最大编译单元分割。可从编译单元推导一个或更多个指数Golomb编译、上下文自适应可变长度编译(CAVLC)、或上下文自适应二进制算术编译(CABAC)的编译方法解码比特流内的信息，并且输出图像重构所需的语法元素和用于残差码的符号/bin的信息来确定上下文模型，并且通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310所解码的信息当中与预测有关的信息可以被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310已经[0075]预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间板表和调色板索引的信息可以包括在视频/图像信息中并且用多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式[0078]帧间预测器332可以基于参考图片上由运动向量指定的参考块(参考样本阵列)来动信息可以包括运动向量和参考图片索引。造运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考[0079]加法器340可以通过将所获取的残差信号与从预测器(包括帧间预测器332和/或[0080]加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当器350可以通过向重构图片应用各种滤波方法来生成修正后的重构图片，并将修正后的重[0083]存储在存储器360的DPB中的(修改的)重构图片可以用作帧间预测器332中的参考空间相邻块的运动信息或时间相邻块的运动信息。存储器360可以存储当前图片内的重构设备可通过用信号向解码设备通知关于原始块(而非原始块的原始样本值本身)与预测块来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残[0087]在帧间预测被应用于当前块的情况下，编码设备/解码设备的预测器能够以块为况下，可以基于由参考图片索引所指示的参考图片上的运动向量所指定的参考块(参考样考块或并置CU(colCU)，且包括时间相邻块的参考图片可以被称为并置图片(colPic)。例信息，该标志或索引信息指示选择(使用)哪个候选以便于推导当前块的运动向量和/或参用运动向量预测值与运动向量差的和来推导当前块的(A)MVP候选列表，并且使用从包括在(A)MVP候选列表中的运动向量预测器(MVP)候选中推导的参考块的运动向量可以用作当前块的运动向量，并且在MVP候选当中具有与当前块标志或模式索引)和运动信息的信息作为与预测过程相关的信息。关于运动信息的信息可以包括作为用于推导运动向量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索[0095]输出比特流可以存储在(数字)存储介质中并且被发送到解码设备或者可以通过[0100]具体地，解码设备可以基于接收到的预测信息来推导用于当前块的预测模式过模式或合并模式被应用于当前块的情况下，解码设备可以构造稍后描述的合并候选列择信息(合并索引)来执行。可以使用所选合并候选的运动信息来推导当前块的运动信息。式，运动信息推导器可以基于关于接收到的运动信息的信息来推导当前块的运动信息(运有CU级权重的双预测(BCW)和双向光流(BDOF)可进一步使用或替代地用作附带模式。仿射档中，可以将一些模式和/或由一些模式推导的运动信息候选包括为与其他模式的运动信[0111]可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的预测模式合并标志来指示是否应用合并模式；并且当不应用合并模式时可以指示应用MVP模式或者向信息或帧间预测指示信息，并且能够以例如inter_pred_idc语法元素的形式来构造/编[0114]L0和L1可以包括在当前图片之前被编码/解码的参考图片。例如，L0可以包括按POC顺序在当前图片之前和/或之后的参考图片，并且L1可以包括按POC顺序在当前图片之的参考图片索引可以被分配给L0，并且相对于按POC顺序晚于当前图片的参考图片较低的[0124]pred_mode_flag等于0指定以帧间预测模式编译当前编译单元。pred_mode_flag[0125]pred_mode_ibc_flag等于1指定以IBC预测模式编译当前编译单元。pred_mode_[0126]pcm_flag[x0][y0]等于1指定在位置(x0，y0)处包括亮度编译块的编译单元中存在pcm_sample()语法结构并且不存在transform_tree()语法结构。pcm_flag[x0][y0]等于0指定不存在pcm_sample()语法结构。也就是说，pcm_flag可以表示是否将脉冲编译调[0127]intra_mip_flag[x0][y0]等于1指定亮度样本的帧内预测类型是基于矩阵的帧内[0129]general_merge_flag[x0][y0]指定是否从相邻帧间预测分区推断当前编译单元[0133]这里，regular_merge_flag[x0][y0]等于1指定常规合并模式用于生成当前编译[0134]mmvd_merge_flag[x0][y0]等于1指定使用具有运动向量差的合并模式来生成当[0135]mmvd_cand_flag[x0][y0]指定合并候选列表中的第一(0)或第二(1)候选是否与从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]所推导的运动向量差一起使用。[0136]mmvd_distance_id[0137]mmvd_directio[0138]merge_sub_flag[x0][y0]指定用于当前编译的基于子块的帧间预测参数。即，merge_sub_flag可以表示子块合并模式(或仿射合并模式)是否应用于当[0140]ciip_flag[x0][y0]指定是否对当前编译单元应用组合的图像间合并和图像内预[0141]merge_triagle_idx0[x0][y0]指定基于三角形形状的运动补偿候选列表的第一[0142]merge_triagle_idx1[x0][y0]指定基于三角形形状的运动补偿候选列表的第二[0145]ref_idx_l1[x0][y0]具有与ref_idx_l0相同的语义，其中l0和列表0可以分别被[0147]sym_mvd_flag[x0][y0]等于1指定语法元素ref_idx_l0[x0][y0]和ref_idx_l1[0149]ref_idx_l1[x0][y0]具有与ref_idx_l0相同的语义，其中l0、L0和列表0分别被基于仿射模型的运动补偿被用于生成当前编译[0151]cu_affif_type_flag[x0][y0]等于1指定，对于当前编译单元，当解码P或B切片时，基于6参数仿射模型的运动补偿用于生成当前编译单元的预测样本。cu_affif_type_flag[x0][y0]等于0指定基于4参数仿射模型的运动补偿用于生成当前编译单元的预测样的分辨率进一步由amvr_precision_flag[x0]指定运动向量差的分辨率为一个整数亮度样本，否则为1/16的亮度样本。如果inter_中的原始块以分数像素为单位在参考图像中所确定的搜索范围内搜索具有高相关性的相基于帧间预测模式根据各种方法将所推导的运动信息用信号通知用合并模式的标志信息和指示使用哪个相邻预测块的合并索引来指示当前块的运动信息。和B2可用作空间合并候选。以下，稍后将描述的空间合并候选或空间MVP候选可以被称为[0166]首先，编译设备(编码设备/解码设备)可以将通过搜索当前块的空间相邻块所推以进一步用作空间相邻块。编译设备可以通过基于优先级搜索空间相邻块来检测可用块，放置的当前图片不同的图片。时间相邻块所放置的参考图片可以被称为并置图片或col图片。可以按照关于col图片上的当前块的共置块的右下角相邻块和右下中心块的顺序来搜值之后的算术左移位置的预测块——而不是位于时间相邻块的坐标处的预测块——的运[0169]同时，编译设备可以确定当前合并候选的数目是否小于最大合并候选的数目选(在当前切片/拼块组的切片/拼块组类型为B类型时)和/或零向量设备可以结束合并候选列表的配置(S850)。在这种情况下，编码设备可以基于速率失真以基于当前块的运动信息来推导。编码设备可以基于预测样本来推导当前块的残差样本，[0174]同时，除了合并模式(其中隐式推导的运动信息直接用于当前CU的预测样本生[0176]进一步的信息包括合并候选标志(例如mmvd_merge_flag)、指定运动幅度的索引(例如mmvd_distance_idx)和用于指示运动方向的索引(例如mmvd_候选标志指示合并候选列表中的第一候选(0)或者第二候选(1)是否与运动向量差一起使[0181]这里，slice_fpel_mmvd_enabled_flag等于1指定具有运动向量差的合并模式使用当前切片中的整数样本精度。slice_fpel_mmvd_enabled_flag等于0指定具有运动向量差的合并模式可以使用当前切片中的分数样本精度。当不存在时，slice_fpel_mmvd_enabled_flag的值推断为0。slice_fpel_mmvd_enabled_flag语法元素可以通过切片报头[0182]方向索引表示MVD相对于起始点的方向。方向索引可以表示如表4所示的四个方mmvd_direction_idx[x0]00102030[0187]MmvdOffset[x0][y0][0]＝(MmvdDistance[x0][y0]2)＊MmvdSign[x0][y0][0188]MmvdOffset[x0][y0][1]＝(MmvdDistance[x0][y0]2)＊MmvdSign[x0][y0][0192]2.TMVP从并置图片中的并置块提取时间运动向量(并置块是相对于当前CU的右下运动移位是从来自当前CU的空间相邻块中的一个的中心样本的最小运动栅格)的运动信息来推导用于子CU的运动信息。当子块具有均匀的长[0196]包含SbTVMP候选和仿射合并候选二者的组合的基于子块的合并列表可以用于仿射合并模式(可以被称为(基于)子块的合并模式)的信号通知。SbTVMP模式由序列参数集[0197]在SbTMVP中使用的子CU大小可以固定为8×8，并且如针SbTMVP模式可以仅应用于宽度及高度这用CU级别标志作为一种合并模式来用信号[0201]如果三角形分区模式用于当前CU，则进一步用信号通知指示三角形分区的方向(对角或反对角)的标志和两个合并索引(每个分区一个合并索引)。最大TPM候选大小的数[0202]从如上所述构造的合并候选列表直接推导单预测候选列表(uni-prediction[0204]此外，组合的帧间和帧内预测可以应用于当前块。可用信号通知附加标志(例如且如果CU宽度和CU高度这两者均小于128个亮度样本，那么用信号通知附加标志以指示组模式可以通过序列参数集(SPS)中包括的每个模式的开/关标志来启用/禁用。如果用于特定模式的开/关标志被禁用，则编码设备不用信号通知以CU或PU为单位用于相应预测模式[0215]编码设备可以基于如下面的表5所示的序列参数集来用信号通知标志，以便选择特定装置和信号/信息的名称，所以本公开的技术特征不限于在以下附图中使用的特定名[0222]图10和图11示意性地示出根据本公开的实施例的包括帧间预测方法的视频/图像的S1000至S1010可以由编码设备200的预测器220执行，S1020和S1030可以由编码设备200被定义为基于子块的合并模式。分区模式可以被定义为通过将当前块划分为两个分区(对角或反对角)来执行预测的模式。CIIP模式可以被定义为图片间合并和图片内预测彼此组[0227]编码设备的预测器可以基于当前块的预测模式和当前块的运动向量来生成当前[0228]编码设备的残差处理器可以基于当前块的原始样本(原始块)和当前块的预测样[0229]编码设备的编码器可以对图像信息进行编码，图像信息包括关于残差样本的信括指示是否将跳过模式应用于当前块的CU基于当前块的大小的条件可以是当前块的高度和当前块的宽度的乘积为64或更大且当前块的高度和当前块的宽度各自小于128的情况。基于CIIP启用标志的条件可以是CIIP启用基于当前块的大小的条件中的至少一个，编码设备可以在图像信息中包括常规合并标志。当前块的宽度和高度的乘积为64或更大的情况和/或包括当前块的切片类型为B切片的情满足基于当前块的高度和关于当前块的信息的条件以及基于分区模式启用标志的条件时，译单元的帧间预测参数。阵列索引x0,y0指定所考虑的编译块的左顶部亮度样本相对于图[0246]-sps_mmvd_enable_f[0248]-sps_ciip_enabled_flag等于0或者cbWidth*cbHeight<64或者cbWidth>＝128或[0249]-sps_triangle_enabled_flag等于0或MaxNumTriangleMergeCand<2或slice_件和基于当前块的大小的条件在图像信息中包括MMVD合并标志，从而不重复发送相同语大且当前块的高度和当前块的宽度各自小于128的情况。基于CIIP启用标志的条件可以是当前块的宽度和高度的乘积为64或更大的情况和/或包括当前块的切片类型为B切片的情满足基于当前块的高度和关于当前块的信息的条件以及基于分区模式启用标志的条件时，[0260]mmvd_merge_flag[x0][y0]等于1指定具有运动向量差的合并模式被用于生成当前编译单元的帧间预测参数。阵列索引x0,y0指定所考虑的编译块的左顶部亮度样本相对[0268]-sps_ciip_enabled_flag等于0或者cbWidth>＝128或者cbHeight>＝128或者cu_[0269]-sps_triangle_enabled_flag等于0或MaxNumTriangleMergeCand<2或slice_件和基于当前块的大小的条件在图像信息中包括合并子块标志，从而不重复发送相同语大且当前块的高度和当前块的宽度各自小于128的情况。基于CIIP启用标志的条件可以是当前块的宽度和高度的乘积为64或更大的情况和/或包括当前块的切片类型为B切片的情满足基于当前块的高度和关于当前块的信息的条件以及基于分区模式启用标志的条件时，[0280]merge_subblock_flag[x0][y0]指定是否从相邻块推断用于当前编译单元的基于子块的帧间预测参数。阵列索引x0,y0指定所考虑的编译块的左顶部亮度样本相对于图片[0289]-sps_ciip_enabled_flag等于0或者cbWidth>＝128或者cbHeight>＝128或者cu_[0290]-sps_triangle_enabled_flag等于0或MaxNumTriangleMergeCand<2或slice_件和基于当前块的大小的条件来在图像信息中包括CIIP标志，从而不重复发送相同语法。且当前块的高度和当前块的宽度各自小于128的情况。基于CIIP启用标志的条件可以是[0300]ciip_flag[x0][y0]指定针对当前编译单元是否应用组合的图片间合并和图片内预测。Ciip_flag(x0)(y0)[0310]-sps_triangle_enabled_flag等于0或MaxNumTriangleMergeCand<2或slice_[0312]图12和图13示意性地示出根据本公开的实施例的包括帧间预测方法的视频/图像12中公开的解码方法可以包括该文档中上面描述的测相关信息。关于预测模式的信息可以包括帧间/帧内预测分类信息、帧间预测模式信息[0316]解码设备的预测器330可以基于满足基于CIIP启用标志的条件和基于CU跳过标志的条件以及基于当前块的大小的条件中的至少一个从比特流获取常规合并标志(S1210)。此外，解码设备的预测器330可以基于常规合并标志执行帧间预测以生成当前块的预测样的预测器330可以使用最佳合并候选的运动信息作为当前块的运动信息来生成当前块的预加法器340可以基于由预测器330生成的预测样本和由残差处理器320生成的残差样本来生大小的条件可以是当前块的高度和当前块的宽度的乘积为64或更大并且当前块的高度和乘积为64或更大且当前块的高度和当前块的宽度各自小于128的情况。基于CU跳过标志的设备可以随后从比特流中包括的合并数据语法解析常规志的条件以及基于当前块的大小的条件中的至少一个从比特流获取常规合并标志。这里，基于CIIP启用标志的条件可以是CIIP启用标志的值为1的情况。基于CU跳过标志的条件可