CN114303373B 用于残差编译的解码视频的方法及其设备 （Lg电子株式会社）

2022.02.28PCT/KR2020/0114182020.08.26WO2021/040410KO2021.03.04descriptionforVersatileMartaKarczewiczetalcontext,levelmapping,andbitplaneCE7-3.8,CE7-3.9,CE7-3.10,andCE7-一种用于由根据本文档的解码设备执行的特流获取包括预测模式信息和残差信息的视频及用于基于预测样本和残差样本来推导当前块2descriptionforVersatile3通过比特流来获得包括预测模式信息和残差信基于用于所述当前块中的当前残差系数的残差语法元素来推基于所述残差样本和所述预测样本来推导所述当其中，用于所述当前块的残差系数之中的在所述当前残差系数文编译残差语法元素的数量等于所述当前块的上下文其中，用于所述当前残差系数的所述残差语法元素包括其中，所述当前残差系数的绝对级别被推导为由用于别信息所指示的值，并且所述当前残差系数的符号被推导为由所述符号标志所指示的符5.根据权利要求1所述的图像解码方法，其中被全部用作用于所述当前残差系数之前的所述残差系数的所述上下文编译残差语法元素大于第一阈值的第一系数级别标志以及用于所述系数级别是否大于第二阈值的第二系数对图像信息进行编码，所述图像信息包括表示所述当前块的预其中，用于所述当前块的残差系数之中的在所述当前残差系数文编译残差语法元素的数量等于所述当前块的上下文4其中，用于所述当前残差系数的所述残差语法元素包括其中，所述系数级别信息表示所述当前残差系数的系数级别的残差系数的所述符号标志表示所述当前残差被全部用作用于所述当前残差系数之前的所述残差系数的所述上下文编译残差语法元素否大于第一阈值的第一系数级别标志以及用于所述系数级别是否大于第二阈值的第二系获得图像信息的比特流，所述图像信息包括表示当前块的预测模发送包括所述图像信息的比特流的数据，所述图像其中，基于帧间预测或帧内预测来推导所述当前块的预息是帧间预测或帧内预测是否被应用于所述当前块作为所其中，基于所述当前块的残差样本来推导所述当前残差系其中，用于所述当前块的残差系数之中的在所述当前残差系数文编译残差语法元素的数量等于所述当前块的上下文其中，用于所述当前残差系数的所述残差语法元素包括其中，所述系数级别信息表示所述当前残差系数的系数级别的5所述图像信息包括用于所述当前残差系数的残差语法元素和指示所述当前块的预测模式6译的残差系数来提高整体图像/视频压缩效率并降低编译[0021]图7示例性地示出了用于对语法元素进行编码的上下文自适应二进制算术编译7[0035]参照图1，视频/图像编译系统可以包括第一设备(源设备)和第二设备(接收设[0039]发送器可以通过数字存储介质或网络以文件或流的形式向接收设备的接收器发送以比特流形式输出的编码后的图像/图像信息或数据。数字存储介质可以包括诸如USB、媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接8块行是CTU的矩形区域，该矩形区域的高度由图片参数集中的语法元素指定并且宽度等于光栅扫描对CTU进行连续排序，而可以按图片的图块的光栅扫描对图片中的图块进行连续[0054]图2是例示了可以应用本公开的实施方式的视频/图像编码装置的配置的示意9[0056]图像分割器210可以将输入到编码装置200的输入图像(或图片或帧)分割到一个树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)来递归地分割编×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素于预测的信息可以在熵编码器240中编码并以比特流[0060]帧间预测器221可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)信息可以包括运动矢量和参考图片索引。运动信运动信息候选列表，并且生成指示使用哪个候选来推导当前块的运动矢量和/或参考图片可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测二式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编[0062]由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换(CABAC)等。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为编码装置200量化器234和逆变换器235对量化变换系数应用解量化和逆变换，来重构残差信号(残差块或重构块生成器。所生成的重构信号可以用于在当前图片中要处理的下一块的帧内预测，器260可以通过对重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器270(具体地，存储器270的DPB)中。各种滤波方法可包括例如去块滤与滤波有关的信息可以由熵编码器240编码并且以比特[0068]存储器270的DPB可以存储用作帧间预测器221中的参考图片的修改后的重构图相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前图片中的重构块的组件还可以包括存储器360作为内部/外部[0071]当输入包括视频/图像信息的比特流时，解码装置300可以与在图2的编码装置中导一个或更多个变换单元。可以通过再现装置来再现通过解码装置300解码并输出的重构码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息之中与预测有关的信息可以提供给预测器(帧间预测器332和帧内预测器331)，差样本阵列)。另外，由熵解码器310解码的信息之中关于滤波的信息可以提供给滤波器装置可以称为视频/图像/图片解码装置，并且解码装置可以分类为信息解码器(视频/图可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编译，以基于关于调色板表和调色板索引的信息来发信号通知图多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式[0078]帧间预测器332可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图[0079]加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或[0080]加法器340可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图器350可以通过对重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360(具体地，存储器360的DPB)中。各种滤波方法可包括例如去块滤[0083]存储器360的DPB中存储的(修改后的)重构图片可以用作帧间预测器332中的参考相邻块的运动信息或时间相邻块的运动信息来利用。存储器360可以存储当前图片中的重[0085]在本公开中，可以省略量化/逆量化和/或变换/逆变换中的至少一种。当省略量[0086]在本公开中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)推导变换系包括空间域(或像素域)中的预测样本。在编码装置和解码装置中以相同的方式推导预测块，并且编码装置可以向解码装置发信号通知关于原始块与预测块之间的残差的信息(残息来推导包括残差样本的残差块，将残差块和预测块相加以生成包括重构样本的重构块，解量化/逆变换过程并且推导残差样本(或残差块)。解码装置可以基于预测块和残差块来前块的帧内预测的相邻参考样本。当前块的相邻参考样本可以包括与大小为nWxnH的当前样本可以包括与大小为nWxnH的当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的总共nW个样本以及与当前块的右下[0091]当推导相邻参考样本时，(i)可以基于当前块的相邻参考样本的平均或插值来推模式的预测方向中的第一相邻样本和位于预测方向相反的方向中的第二相邻样的插值来临时预测样本与现有相邻参考样本(即未滤波的相邻参考样本)中的根据帧内预测模式推[0094]另外，选择当前块的相邻多个参考样本线中的具有最高预测准确度的参考样本用相邻参考样本来提高帧内预测性能。这种预测方法可以被称为基于帧内子分区(ISP)的PDPC、MRL和ISP的特定帧内预测类型的一般帧内预测方法可以被称为正常帧内预测类型。预测模式和附加候选模式推导的最可能模式(MPM)列表中的MPM候选之一或基于剩余帧内可以被配置为包括或不包括平面模式作为候选。例如，当MPM列表将平面模式包括为候选发信号通知标志(非平面标志)以检查它是否是预测模式是在MPM候选(和平面模式)之中还是在剩余模式之中。值为1的MPM标志可以指示用于当前块的帧内预测模式在MPM候选(和平面模式)内，并且值为0的MPM标志可以指示当not_planar_flag)可以指示用于当前块的帧内预测模式为平面模式，值为1的非平面标志可以指示用于当前块的帧内预测模式不是平面模式。能够以mpm_idx或intra_luma_mpm_预测模式信息可以通过按照预测模式编号的顺序索引来指示所有帧内预测模式之中的未包括在MPM候选(和平面模式)中的剩余帧内预测模式之一。帧内预测模式可以是亮度分量引(例如mpm_idx或intra_luma_mpm_idx)或剩余帧内预测模式信息(rem_intra_luma_[0105]如上所述，如果MPM列表被构造成不包括平面模式，则平面模式可以从列表中排片索引指示的参考图片上的由运动矢量指定的参考块(参考样本阵列)来推导用于当前块指示选择(使用)哪个候选的标志或索引信息以便推导当前块的运动矢量和/或参考图片索使用运动矢量预测器和运动矢量差的总和来推导当运动信息推导过程和预测样本的生成过程，并且可以比其他过程更早地执行任何一个过编码装置的帧间预测单元可以通过运动估计在参考图片的预定区域(搜索区域)中搜索与间的位置差来推导运动矢量。编码装置可以确定各种预测模式之中的应用于当前块的模述的合并候选列表，并且推导在由合并候选列表中包括的合并候选指示的参考块之中的、发信号通知解码装置。可以通过使用选择的合并候选的运动信息来推导当前块的运动信述的(A)MVP候选列表，并且使用(A)MVP候选列表中包括的运动矢量预测器(mvp)候选之中导的参考块的运动矢量可以被用作当前块的运动矢量，并且mvp候选之中具有与当前块的运动矢量的最小差的运动矢量的mvp候选可以成为选择的mvp候选。可以推导运动矢量差以被配置为参考图片索引信息并且被单独地发信号通知以比特流的形式来输出编码的图像信息。预测信息可以包括关于预测模式信息的信息(例的信息和/或参考图片索引信息。此外，关于运动信息的信息可以包括指示是否应用L0预构样本和重构块)。这是为了推导与由解码装置执行的预测结果相同的预测结果，并且结[0121]具体地，解码装置可以基于所接收的预测信息来确定当前块的预测模式(S500解码装置可以基于预测信息中的预测模式信息来确定哪种帧间预测模式被应用于[0122]例如，可以基于合并标志来确定是否合并模式或者(A)MVP模式被应用于当前跳过模式或合并模式被应用于当前块时，解码装置可以配置将在下面描述的合并候选列述的(A)MVP候选列表，并且使用(A)MVP候选列表中包括的运动矢量预测器(mvp)候选之中片上的当前块的运动矢量指示的参考块的样本来推导当前块的预测样本。在这种情况下，块的运动信息(运动矢量和/或参考图片索引)，并且预测样本推导单元可以推导当前块的有CU级权重的双预测(BCW)以及双向光流(BDOF)等可以进一步被用作附加模式。仿射模式本文中，一些模式和/或由一些模式推导的运动信息候选也可以被包括在其他模式中的运者添加到MVP模式的mvp候选。如果HMVP候选被用作合并模式或跳过模式的运动信息候选，[0132]指示当前块的帧间预测模式的预测模式信息可以从编码装置发信号通知解码装图像重构所需的语法元素的值和与残差相关的变换[0138]图7示例性地示出了用于对语法元素进行编码的上下文自适应二进制算术编译置的常规编译引擎可以对相应的bin分配反映概率值的上下文模型，并且可以基于所分配与语法元素对应的bin，可以使用语法元素和解码目标块或相邻块的解码信息或者上一步的上下文模型来更新下一个解码bin的上下可以省略用于推导语法元素的上下文模型的过程以及用于解码之后更新应用于bin的上下[0145]例如，可以基于语法元素(诸如transform_skip_flag、last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_[0152]同时，在发信号通知变换跳过标志之后发信号通知的语法元素可以与下表2中所coeff_x_suffix、last_sig_coeff_y_suffix、sb_coded_flag、sig_coeff_flag、abs_level_gtx_flag、par_level_flag、abs_remainder、coeff_sign_flag和/或dec_abs_level_gt3_flag。例如，abs_level_gtx_flag[n][0]可以是第一变换系数级别标志(abs_level_gt1_flag)的示例，并且abs_level_gtx_flag[n][1]可以是第二变换系数级别标志(abs_level_gt3_flag)[0169]参考上表3，可以编码/解码last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_suffix、sb_coded_flag、sig_coeff_flag、abs_level_gt1_flag、par_level_flag、abs_level_gt3_flag、abs_remainder、coeff_sign_flag和/或dec_abs_level。同时，sb_coded_flag可以被表示为表示变换块内按扫描顺序的最后有效系数的列位置的前缀，last_sig_coeff_y_prefix表示变换块内按扫描顺序的最后有效系数的行位置的前缀，last_sig_coeff_x_suffix表示变换块内按扫描顺序的最后有效系数的列位置的后缀，而last_sig_coeff_y_suffix表示扫描顺序。可以基于是否将帧内/帧间预测应用于目标块(CB或包括TB的CB)和/或特定帧特语法元素coded_sub_block_flag来指示当前子块当前TB中的每个变换系数位置(xC,yC)处的相应变换系数的级别(值)是否为非零。在实施[0174]在编码sig_coeff_flag之后剩余的级别值可以如以下等可以从以下等式推导指示待编码的级别值的语法元素remA[0181]另外，上述等式2中描述的remAbsLevel的最低有效系数(LSB)值可以通过par_[0185]在执行par_level_flag编码之后要编码的变换系数级别值remAbsLevel可以如下[0188]abs_level_gt3_flag可以指示相应扫描位置(n)的remAbsLevel是否大于3。可以仅在rem_abs_gt3_flag等于1的情况下执行对abs_remainder的编码。实际变换系数值coeff与每一语法元素之间的关系可以如下文在以下等式中[0190]|coeff|＝sig_coeff_flag+abs_level_gt1_flag+par_level_flag+2＊(abs_[0194]在此，|coeff|指示变换系数级别(值)，并且还可以被指示为用于变换系数的其使用通过先前bin的编译而更新的概率状态及范围，并且读取概率区间和确定当前状态abs_level_gt3_flag或sig_coeff_flag、coeff_sign_flag、abs_level_gt1_flag、par_level_flag、abs_level_gt3_flag、abs_level_gt5_flag、abs_level_gt7_flag、abs_前块的大小为16×16时，用于当前块的上下文编译bin的数量可以限于当前块的像素的数gt1_flag、par_level_flag、abs_level_gt3_flag，并且可以将其直接编译成dec_abs_flag、par_level_flag和abs_level_gt3_flag可以不再被编译，并且可以被直接编译为00112233445566778899二值化过程可以表示基于TR二值化过程、EGk二值化过程或FL二值化过程执行以推导语法[0208]TR二值化过程的输入可以是用于语法元素的cMax和cRiceParam以及对TR二值化[0209]具体地，例如，在存在用于语法元素的后缀bin串的情况下，用于语法元素的TR[0214]例如，如果prefixVal小于cMax>>cRiceParam，则前缀bin串可以是长度为由前缀bin串可以是由binIdx指示的、比特数为prefixVal+1的比特串。小于prefixVal的[0224]TRbin串(即，后缀bin串)的后缀可以基于用于suffixVal[0228]用于语法元素的解析过程可以开始于读取包括在比特流的当前位置开始的第一(leadingZeroBits)指示的值可以被解释为用于首先记录的最高有效比特的无符号整数的中的比特串的0或1表示。也就是说，由上表9中的0或1[0250]有限EGk二值化过程的输入可以是对有限EGk二值化的请求、莱斯(rice)参数作为对应于空串的值的symbolVal的有二值化过程的输出可以是用于作为对应于bin串的值的symbolV[0256]可以通过使用比特数具有固定长度的symbolVal的比特串来配置FL二进制化。在[0260]用于FL二值化的bin的索引可以是使用从最高有效比特到最低有效比特有序增加[0262]abs_remainder的二值化过程的输入可以是对语法元素abs_remainder[n]、颜色[0263]用于abs_remainder的二值化过程的输出可以是abs_remainder的二值化(即，abs_remainder的二值化bin串)。可以通过二值化过程推导用于abs_remainder的可用bin[0264]可以通过经由输入颜色分量cIdx和亮度位置(x0,y0)、当前系数扫描位置(xC,度的以2为底的对数)而执行的莱斯参数推导过程来推导用于abs_remainer[n]的莱斯参数用于abs_remainder的bin串可以扫描位置(xC,yC)、作为变换块的宽度的以2为底的对数的log2TbWidth及作为变换块的高的当前亮度变换块的左上样本。此外，莱斯参数推导过程的输出可以是莱斯参数locSumAbs0123456789cRiccParam0000000111111122locSumAbscRiceParam2222222222223333[0288]可以通过用于suffixVal的有限EGk二值化过程推导abs_remainder的bin串的后缀bin串，其中，k被设置为cRiceParam+1，riceParam被设置为cRiceParam，[0290]用于dec_abs_level的二值化过程的输入可以是对语法元素dec_abs_level[n]、底的对数的log2TbWidth及作为变换块的高度的以2为底的对数的log2TbHeight的二值化的请求。亮度位置(x0,y0)可以指示基于图片的左上亮度样本的当前亮度变换块的左上样[0291]用于dec_abs_level的二值化过程的输出可以是dec_abs_level的二值化(即，dec_abs_level的二值化bin串)。可以通过二值化过程推导用于dec_abs_level的可用bin变换块的宽度的以2为底的对数的log2TbWidth和作为变换块的高度的以2为底的对数的log2TbHeight的输入执行的莱斯参数推导过程来推导用于dec_abs_level[n]的莱斯参数[0301]可以通过用于prefixVal的TR二值化过程推导dec_abs_level[n]的bin串的前缀[0302]如果前缀bin串与所有比特为1且比特长度为6的比特串相同，则dec_abs_level扫描位置(xC,yC)、作为变换块的宽度的以2为底的对数的log2TbWidth及作为变换块的高的当前亮度变换块的左上样本。此外，莱斯参数推导过程的输出可以是莱斯参数locSumAbs0locSumAbs0123456789cRiccParam0000000111111122locSumAbscRiceParam2222222222223333[0317]可以通过用于suffixVal的有限EGk二值化过程，推导dec_abs_level[n]的bin串的后缀bin串，其中，k被设置为cRiceParam+1，truncSuffixLen被设置为15，并且基于如上所述的LastAbsRemainder及lastRiceParam推导RRC中的语法元素abs_remainder[]的莱斯参数cRiceParam，但是可以将TSRC中的语法元素abs_remainder[]的莱斯参数将用于当前块的TSRC的abs_remainder[和/或abs_level_gtx_flag[n][1]，但是在TSRC中，可以发信号通知abs_level_gtx_flag[n][3]和abs_level_gtx_flag[n][4]。在此，可以将abs_level_gtx_flag[n][0]表达为level_gt3_flag或第二系数级别标志，可以将abs_level_gtx_flag[n][2]表达为abs_level_gt5_flag或第三系数级别标志，可以将abs_level_gtx_flag[n][3]表达为abs_abs_level_gtx_flag[n][0]、abs_level_gtx_flag[n][1]和abs_level_gtx_flag[n][2]、化)左残差样本和上残差样本的方法编译的修改级别的技术。在诸如无损编译或接近无损(数据)编译的上下文编译bin的数量可以限于特定阈值，并且当可用于TU的残差编译的所有上下文编译bin耗尽时(即，当用于TU的残差编译的上下文编译bin的数量等于特定阈值以如图9中所示，按从上到下的顺序编译用于CG、变换块或编译块中的残差系数的语法元系数是负值时，coeff_sign_flag可以具有值1(或0)，并且当相应位置的残差系数是正值是正值时，coeff_sign_flag可以具有值1(或0)，并且当残差系数是负值或0时，coeff_[0330]参考图11，coeff_sign_flag可以表示用于残差系数的符号标志的语法元素，且可以基于abs_level_gtx_flag[0]的值来确定是否映射级别。因此，在不编译abs_level_gtx_flag[0]的简化残差数据编译结构中，不能正确地执行对其应用了级别映射的残差系可以使用的上下文编译bin的数量)被耗尽且转换成简化的残差数据编译结构时防止执行可以是表示是否应用无损编译的语法元素。可以在CU或TU或图片级别发信号通知于当前块的所有上下文编译bin时，使用简化的残差数据编译结构推导当前块的残差系数使用用于当前块的所有上下文编译bin时，可以基于表示绝对值的信息的值及符号信息推预测样本和残差样本来生成用于当前块的重构图片和[0342]编码装置基于帧间预测或帧内预测来推导用于当前块的预测样本(S1200)。编码过用于所述当前块的原始样本和预测样本的相减块的残差系数之中的当前残差系数之前的残差系数的上下文编译残差语法元素的数量可以等于当前块的上下文编译bin的最大数量，并且用于当前残差系数的残差语法元素可以之中的在当前残差系数之前的残差系数的上下文编译残差语法元素的bin，并且用于当前残差系数的残差语法元素可以包括用于当前残差系数的系数级别信息和残差系数的符号数量的上下文编译bin被用于针对按扫描顺序的当前残差系数的先前残差系数的残差语法[0354]编码装置对包括表示当前块的预测模式的预测模式信息和用于当前残差系数的残差语法元素的图像信息进行编码(S1230)。编码装置可以对包括表示当前块的预测模式如，用于当前块的上下文编译bin可以全部被用作用于当前块的残差系数之中的在当前残所有最大数量的上下文编译bin可以被用于针对按扫描顺序的当前残差系数的先前残差系译残差语法元素的数量可以等于当前块的上下文编译bin的最大数量，用于当前残差系数的残差语法元素可以包括用于当前残差系数的绝对级别信息和当前残差系数的符号标志。例如，用于当前块的上下文编译bin可以全部被用作用于当前块的残差系数之中的在当前残差系数之前的残差系数的上下文编译残差语法元素的bin，用于当前残差系数的残差语用于当前块的所有最大数量的上下文编译bin被用于针对按扫描顺序的当前残差系数的先数级别为正值，当符号标志的值为1时，符号标志可以表示当前残差系数的系数级别为负符号的符号标志、用于系数级别是否大于第一阈值的第一系数级别标志和/或用于系数级第四阈值的第四系数级别标志和/或用于残差系数的系数级别是否大于第五阈值的第五系数级别标志。在此，有效系数标志可以是sig_coeff_flag，奇偶性级别标志可以是par_abs_level_gt7_flag或abs_level_gtx_flag，第五系数级别标志可以是abs_level_gt9_加法器来执行基于用于当前块的预测样本和残差样本生成用于当前块的重构图片和重构[0365]解码装置通过比特流来获得包括预测模式信息和残差信息的图像信息(S1400)。解码装置可以通过比特流来获得包括用于当前块的预测模式信息和残差信息的图像信息。下文编译残差语法元素的数量可以等于当前块的上下文编译bin的最大数量，用于当前残差系数的残差语法元素可以包括用于当前残差系数的绝对级别信息和当前残差系数的符用于当前块的最大上下文编译