CN113170131B 变换系数编码方法及其装置 （维沃移动通信有限公司）

2021.04.30PCT/KR2019/0131052019.10.07WO2020/076028KO2020.04.16号KR20180048739A,2018.05.10US2013114730A1,2013.05.09差信息包括用于指示变换块中的最后非0的变换2基于所述比特流中包括的所述残差信息来推导当前块基于所述量化变换系数来推导所述当前块的残差样本；以及基于其中，基于与变换跳过是否应用于所述变换块有关的变换跳过标志的值等于0并且当描顺序中的最后有效系数的列位置的前缀有关的信息和与所述变换块中的所述扫描顺序中的所述最后有效系数的行位置的前缀有关的信息以及与所述变换块中的所述扫描顺序中的所述最后有效系数的列位置的后缀有关的信息和与所述变换块中的所述扫描顺序中基于所解码的奇偶性水平标志的值和所解码的第一变换系数水平标志的值来推导所对包括关于所述量化变换系数的信息的残差信息其中，基于与变换跳过是否应用于所述变换块有关的变换跳过标志的值等于0并且所描顺序中的最后有效系数的列位置的前缀有关的信息和与所述变换块中的所述扫描顺序中的所述最后有效系数的行位置的前缀有关的信息以及与所述变换块中的所述扫描顺序中的所述最后有效系数的列位置的后缀有关的信息和与所述变换块中的所述扫描顺序中3基于所编码的奇偶性水平标志的值和所编码的第一变换系数水平标志的值来推导所基于所述当前块的所述残差样本来推导量化变换系数；以及对包括其中，基于与变换跳过是否应用于所述变换块有关的变换跳过标志的值等于0并且所4宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传率和高质量图像/视频的信息的高效图像/[0008]本公开还提供用于根据是否应用变换跳过(skip)来提高残差编码的效率的方法5零变换系数的位置有关的位置信息，并且其中在变换跳过未应用于变换块时推导位置信码设备执行的图像编码方法生成的编码图像信[0027]图7是例示根据本公开的实施方式的解析coded_block_flag的方法的控制流程[0029]图9是例示根据本公开的另一实施方式的解析coded_block_flag的方法的控制流[0031]图11是例示根据本公开的实施方式的推导最后有效系数位置的方法的控制流程[0033]图13是例示了根据本公开的另一实施方式的推导最后有效系数位置的方法的控6被组合和/或划分的实施方式将落入本公开的专利权的范围，只要它们不脱离本公开的实[0044]参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装[0047]编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编[0048]发送器可以通过数字存储介质或网络以文件或流传输的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括7切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并切片可以由多个完整图块组成或者仅由一个图块的连续序列的完整块部组成。在本文件8[0058]图2是示意性地描述可以应用本公开的视频/图像编码设[0060]图像分割器210将输入到编码设备200的输入图像(或图片或帧)分割成一个或更(CTU)或最大编码单元(LCU)开始根据四叉树二叉树三叉树(QTBTTT)结构来递归地分割编到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式被输9过使用应用于邻近块的预测模式来确定应用于当前块的[0064]帧间预测器221可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。配置运动信息候选列表，并且生成指示哪个候选被用于推导当前块的运动向量和/或参考情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式[0066]通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先器240可以对量化后的信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以NAL(网络抽象层)为单位进行发送或化器234和逆变换器235向量化变换系数应用反量化和逆变换，可以重构残差信号(残差块器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且将修改后的[0071]发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图[0072]存储器270的DPB可以存储修改后的重构图片，以便用作帧间预测器221中的参考且被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片[0075]当输入包括视频/图像信息的比特流时，解码设备300可以与据此在图2的编码设推导一个或更多个变换单元。可以通过再现设备来再现通过解码设备300解码并输出的重关于参数集的信息和/或常规约束信息进一步对图片进行解码。在本文件中随后描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中的与预测有关的信息可以被提供到预测器(帧间预测器器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器[0079]预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是可以将帧内预测或帧间预测应用于对一个块预测，而且可以同时应用帧内预测和帧间预多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式[0082]帧间预测器332可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。息候选列表，并且基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索[0083]加法器340可以通过将所获得的残差信号与从预测器(帧间预测器332或帧内预测[0084]加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当[0086]滤波器350可以通过向重构后的信号应用滤波来改善主观滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将[0087]存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从中推导(或解码了)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器向解码设备发信号通知并非原始块本身的原始样本值而是关于原始块与预测块之间的残化/反量化过程并且推导残差样本(或残差样本块)。解码设备可以基于预测块和残差块来生成重构块。编码设备可以通过对量化变换系数进行反量化/逆变换来推导残差块以便作[0091]图4示出了用于对单个语法元素进行编码的上下文自适应二进制算术编码[0092]在输入信号是非二值化的语法元素的情况下，CABAC的编码处理首先通过二值化[0094]常规编码引擎将反映概率值的上下文模型指派给相对应的bin，并根据指派的上[0095]旁路编码引擎省略了估计输入bin的概率的处理以及在编码之后更新已经应用于[0097]此外，在实施方式中，基于诸如transform_skip_flag、last_sig_coeff_x_prefix，last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_[0102]transform_skip_flag指示是否跳过关联块的变换。关联块可以是编码块(CB)或以推导CB的残差样本，并且可以通过对残差样本进行变换和量化来推导(量化的)变换系换块中的扫描顺序中的最后有效系数的列位置的前缀，last_sig_coeff_y_prefix指示变换块中的扫描顺序中的最后有效系数的行位置的前缀；last_sig_coeff_x_suffix指示变换块中的扫描顺序中的最后有效系数的列位置的后缀；并且last_sig_coeff_y_suffix指描顺序。可以基于是否将帧内/帧间预测应用于目标块(CB或包括TB的CB)和/或特定帧内/sig_coeff_flag的编码处理。由于包括最后非零系数的子块不需要对coded_sub_block_[0106]如果因为coded_sub_block_flag的值为1而确定当前子块中存在非零系数，则相对每个系数编码1位语法元素sig_coeff_flag。如果当前扫描位置处的变换系数的值不为[0107]在对sig_coeff_flag进行编码之后剩余的水平值可以与下面的式1中的相同。也[0110]通过par_level_flag，可以如下面的式2所示对式1中写入的remAbsLevel的最低abs_gt2_flag为1时对abs_remainder执行编码。当总结实际变换系数值coeff与每个语法可以使用1位符号coeff_sign_flag对每个系数的符号进行编码。|coeff|可以指示变换系[0117]|coeff|＝sig_coeff_flag+par_level_flag+2*(rem_abs_gt1_flag+rem_abs_abs_gt2_flag。abs_level_gtx_flag[n][j]可以是指示在扫描位置n处的变换系数水平的绝对值(或向右移位1的变换系数水平)的绝对值是否大于(j1)+1的标志。在一个示例rem_abs_gt2_flag可以执行与abs_level_gtx_flag[n][1]相同和/或相似的功能。也就是sig_coeff_flagpar_level_flagrem_abs_gt1_flagrem_abs_gt2_flagabs_remainder0011002110310104111051011061111071011181111191011211112101139876543210coefficients00001020346sig_coeff_flag0000110101111111par_level_flag0010101101rem_abs_gt1_flag0001011111rem_abs_gt2_flag000111abs_remainder012ceoff_sign_flag0100110010[0127]由于尚未经历变换的像素域的残差信号具有与一般的变换域的残差信号不同的制为特定块大小(仅当变换块的大小为4×4或更小时，才包括解析变换跳过标志的条件)。Log2TbWidth和log2TbHeight的大小确定为变量wN和hN，并且可以将wN和hN选择为以下之先将是否应用对应块的变换发送给解码设备。通过表示变换域中的残差信号之间的相关间域)中的残差信号发送到解码设备。作为跳过变换的像素域的残差信号具有与一般变换信号编码方法。更详细地，我们提出了一种根据transform_skip_flag解析coded_block_与否，并且将该信息作为称为coded_block_flag的语法元素来发送。如果coded_block_[0149]图7是例示根据本公开的实施方式的解析coded_block_flag的方法的控制流程[0150]如图所示，将指示是否已经应用了变换的变换应用跳过标志(例如，transform_skip_flag)和包括该标志的比特流输入到coded_block_flag推导器800中，并且可以基于[0151]coded_block_flag推导器800可以基于transform_skip_flag是否为0、解析的[0152]如果transform_skip_flag是0，由于未应用变换跳过并因此coded_block_flag推导器[0155]作为跳过变换的像素域的残差信号具有与一般变换域的残差信号不同的特性(残信号高效地发送到解码设备的残差信号编码方法。更详细地，我们提出一种根据transform_skip_flag解析coded_blo例中，目标块的最大宽度和最大高度(即，变换块的宽度阈值和高度阈值)可以分别由“(log2TbWidth<＝wN)&&(log2TbHeight<＝hN)”，并且指定coded_sub_block_flag[xS] [yS]的解析条件为“&&transform_skip_flag[x0][y0][cIdx]&&log2TbWidth<log2ThWSize&&log2TbHeight<log2ThSizeH”。[0166]图9是例示根据本公开的另一实施方式的解析coded_block_flag的方法的控制流[0167]如图所示，将指示是否已经应用了变换的变换应用跳过标志(例如transform_skip_flag)、变换块的大小以及包括它们的比特流输入到coded_block_flag推导器1000[0168]coded_block_flag推导器1000可以基于transform_skip_flag是否为0、解析的[0169]如果transform_skip_flag是0，由于未应用变换跳过并因此coded_block_flag推导器1000可以确定变换块的宽度(log2TbWidth)是否小于预定阈变换块的高度(log2TbHeight)也小于预定阈值(log2ThHSize)时，才如上所述地对coded_变换块进行变换，变换块宽度(log2TbWidth)大于预定阈值(log2ThWSize)或变换块高度(log2TbHeight)大于预定阈值(log2ThHSize)，则coded_block_flag推导器1000不解析[0174]作为跳过变换的像素域的残差信号具有与一般变换域的不同的特性(残差信号的coeff_x_suffix、last_sig_coeff_y_suffix之类的指示最后系数的位置的上下文元素的被发送到解码设备。这样的位置信息被编码在last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix和last_sig_coeff_y_suffix的上下文元素如last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_suffix之类的指示最后系数的[0178]图11是例示根据本公开的实施方式的推导最后有效系数位置的方法的控制流程[0179]如图所示，指示是否已经应用了变换的变换应用跳过标志(例如，transform_[0180]最后系数位置推导器1200可以基于transform_skip_flag是否为0、解析的[0181]如果transform_skip_flag为0，由于未应用变换跳过并[0184]作为跳过变换的像素域的残差信号具有与一般变换域的残差信号不同的特性(残信号高效地发送到解码设备的残差信号编码方法。我们提出了一种根据transform_skip_flag和变换块的大小来解析诸如last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、被发送到解码设备。这样的位置信息被编码在last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix和last_sig_coeff_y_suffix的上下文元素小等于或大于一定大小并且transform_skip_flag为0时，解析诸如last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_最大宽度和最大高度(即，变换块的宽度阈值和高度阈值)可以表示为log2ThWSize和[0188]图13是例示根据本公开的另一实施方式的推导最后有效系数位置的方法的控制[0189]如图所示，将指示是否已经应用了变换的变换应用跳过标志(例如，transform_[0190]最后系数位置推导器1400可以基于transform_skip_flag是否为0、解析的[0191]如果transform_skip_flag是0，由于未应用变换跳过并因此最后系数位置推导器1400可以确定变换块的宽度(log2TbWidth)是否小于预定阈值换块的高度(log2TbHeight)也小于预定阈值(log2ThHSize)时，如上所述地解析最后系数变换块进行变换，变换块宽度(log2TbWidth)大于预定阈值(log2ThWSize)或变换块高度[0197]例如，关于最后有效系数的位置的信息(last_sig_coeff_x_prefix、last_sig_[0198]例如，取决于是否应用了变换跳过，关于变换系数的符号的标志(coeff_sign_flag)的信令顺序可以不同。当未应用变换跳过时，在abs_remainder之后发信号通知coeff_sign_flag，而在应用变换跳过时，可在rem_abs_gt1_flag之前发信号通知coeff_和abs_remainder的解析循环可以取决于是否以在对奇偶性水平标志进行解码之前执行对第一变换系数水平标flag之后解码，因此rem_abs_gt1_flag可以指示对应的扫描位置n处的变换系数是否大于1，并且rem_abs_gt2_flag可以指示在对应的扫描位置n处的变换系数是否大于3。也就是[0220]|coeff|＝sig_coeff_flag+par_level_flag+rem_abs_gt1_flag+2*(rem_abs_[0222]根据图15和图16的编码设备可以执行与根据图17和图18的解码设备对应的操[0227]根据实施方式的编码设备可以基于当前块的残差样本来推导量化变换系数[0228]根据实施方式的编码设备可以对包括关于量化变换系数的信息的残差信息进行[0229]在实施方式中，残差信息可以包括诸如last_sig_coeff_x_prefix、last_sig_最后有效系数的列位置的前缀，而last_sig_coeff_y_prefix表示变换块中的扫描顺序中最后有效系数的行位置的前缀，并且last_sig_coeff_x_suffix表示变换块中的扫描顺序中最后有效系数的列位置的后缀，而last_sig_coeff_y_suffix表示变换块中的扫描顺序仅当不将变换跳过应用于变换块时对指示最后有效系数的位置的信息进行编码和flag或abs_level_gtx_flag[n][0]，而第二变换系数水平标志指示rem_abs_gt2_flag或或abs_level_gtx_flag[n][0]执[0239]换句话说，包括在残差信息中的当前块中的量化变换系数的有效系数标志的数一变换系数水平标志的数量、奇偶性水平标志的数量和第二变换系数水平标志的数量之[0242]在实施方式中，可以基于当前块(或当前块内的当前子块)的大小来确定该阈[0244]例如，当基于由系数扫描顺序确定的第0量化变换系数(或第一量化变换系数)到abs_level_gtx_flag[n][1])的数量之和达到预定最大值时，针对由系数扫描顺序确定的[n][0])、par_level_flag、abs_level_gtx_flag[n][1]和rem_abs_gt2_flag(或abs_level_gtx_flag[n][1])的显式信令，并且可以基于残差信息中包括的abs_remainder或dec_abs_level的值来推导第(n+1)以由图3中公开的熵解码器310来执行S1700和S1710，并且可以由图3中公开的反量化单元[0251]根据实施方式的解码设备可以基于包括在比特流中的残差信息来推导当前块的[0252]根据实施方式的解码设备可以基于量化变换系数来推导当前块的残差样本变换系数，并且解码设备的逆变换器322可以通过对变换系数进行逆变换来推导当前块的[0253]根据实施方式的解码设备可以基于当前块的残差样本来生成重构图片(S1730)。[0254]在实施方式中，残差信息可以包括诸如last_sig_coeff_x_prefix、last_sig_最后有效系数的列位置的前缀，而last_sig_coeff_y_prefix表示变换块中的扫描顺序中最后有效系数的行位置的前缀，并且last_sig_coeff_x_suffix表示变换块中的扫描顺序中最后有效系数的列位置的后缀，而last_sig_coeff_y_suffix表示变换块中的扫描顺序仅当不将变换跳过应用于变换块时对指示最后有效系数的位置的信息进行编码和flag或abs_level_gtx_flag[n][0]，而第二变换系数