CN119420947A 基于变换的图像编译方法及其装置 （Lg 电子株式会社）

202080077531.42020.09.18本公开涉及基于变换的图像编译方法及其数的步骤包括以下步骤：在ISP被应用于当前块时确定是否能够对划分的子分区块的高度和宽度应用LFNST；在能够应用LFNST时解析LFNST索2通过对所述量化的变换系数执行逆量化来推导用于所述当前及通过将基于与所述LFNST索引相关的LFNST矩阵的所述LFNST应用于所述变换系数，推其中，所述LFNST矩阵是基于LFNST集中的LFNST索引被推导的，并且其中，在所述当前块的树类型是双树亮度或单树的情况下对关于所述量化的变换系数的残差信息和与所述LFNST矩阵相关的LFNST索引进行编其中，所述LFNST矩阵被包括在LFNST集中，并且基于所述当前其中，在所述当前块的树类型是双树亮度或单树的情况下获得用于所述图像的比特流，其中所述比特流基于以下生成：推LFNST应用于所述变换系数推导修改的变换系数，通过对所述修改的变换系数执行量化来推导量化的变换系数，以及对关于所述量化的变换系数的残差信息和与所述LFNST矩阵相3其中，所述LFNST矩阵被包括在LFNST集中，并且基于所述当前其中，在所述当前块的树类型是双树亮度或单树的情况下4[0001]本申请是2022年5月7日提交进入中国专利局的国际申请日为2020年9月18日的申宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传率和高质量图像/视频的信息的高效图像/[0010]本公开的又一技术方面在于提供一种用于对图像进行编译以用于将LFNST应用于用于当前块的情况下确定LFNST是否适用于分区的子分区块（partitionedsubpartition5[0015]可以基于当前块的树类型和颜色格式来确定LFNST是否适用于当前块的高度和宽[0016]如果ISP未被应用于当前块并且当前块的树类型是双树色度，则在与当前块的色[0017]如果ISP未被应用于当前块并且当前块的树类型是单树或双树亮度，则在与当前括根据由编码设备执行的图像编码方法生成的比特流和编码的图像信息的括编码的图像信息和比特流的图像数据以使解码设备执行[0026]本公开的技术方面可以提供用于对图像进行编译以用于将LFNST应用于子分区变6被组合和/或划分的实施例将属于本公开的专利权的范围，只要它们不脱离本公开的实质[0054]在本文档中，可以提供与视频/图像编译相关的各种实施例，并且除非相反地指7[0064]图1是示意性地图示能够应用本公开的视频/图像编码设备的配置的图。在下文8换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差预测器122可以通过使用应用于邻近块的预测模式来确定应用于当前块邻近块来配置运动信息候选列表并且生成指示哪个候选被用于推导当前块的运动矢量和/9于生成重构信号或者生成残差信号。变换器132可以通过对残差信号应用变换技术来生成当通过图来表示像素之间的关系信息时从图获得的变换。CNT是指基于使用所有先前重构形像素块或者可以被应用于具有变化大小的非视频/图像信息中包括从编码设备向解码设备发送/用信号通知的信息和/或语法元素。视频/图像信息可以通过上述编码过程来编码并且被包括在比特流中。比特流可以通过网络种滤波方法的描述中讨论的，滤波器160可以生成与滤波相关的各种信息并且将所生成的[0077]可以将被发送到存储器170的修改的重构图片用作帧间预测器121中的参考图[0078]存储器170DPB可以存储修改的重构图片以便将它用作帧间预测器121中的参考存储当前图片中的重构块的重构样本并且可以将重构样本发送到帧内预[0081]当输入包括视频/图像信息的比特流时，解码设备200可以与已经在图1的编码设信号通知/接收的信息和/或语法元素可以通过解码过程来解码并且从比特流获得。例如，码目标语法元素信息以及邻近和解码目标块的解码信息或在前一个步骤中解码的符号/下文模型之后使用针对下一符号/bin的上下文模型解码的符号/bin的信息来更新上下文232和帧内预测器231并且可以将已经在熵解码器210中对其执行熵解码的残差值即量化[0084]逆变换器222通过对变换系数执行逆变换来获得残差信号（残差块、残差样本阵可以基于从熵解码器210输出的关于预测的信息来确定是否对当前块应用帧内预测或帧间测或帧间预测以用于对一个块进行预测，并且还可以同时应用帧内预测和帧间预测。这可进行预测。帧内块复制可以被用于游戏等中的内容图像/视频编译，诸如屏幕内容编译基于与调色板表和调色板索引相关的信息来用信号通知图片内的样本值。模式可以包括多个非定向模式和多个定向模式。帧内预测器231可以通过使用应用于邻近信息候选列表并且基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索[0089]加法器240可以通过将所获得的残差信号加到从预测器（包括帧间预测器232和/[0090]可以将加法器240称为重构器或重构块生成器。所生成的重构信号可以被用于当波器250可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并且可以将修改储当前图片中的重构块的重构样本并且可以将重构样本发送到帧过向解码设备用信号通知不是原始块它本身的原始样本值而是关于原始块与预测块之间重构块。编码设备可以通过对量化变换系数进行解量化/逆变换来推导残差块以供参考以类型8和DST类型1可以被称为变换类型、变换核或变换核心。可以基于基函数来定义这些换索引来适应性地确定垂直变换核/水平变且将值为2的trTypeHor或trTypeVer可以设置给D[0104]在这种情况下，MTS索引信息可以被编码并且用信号通知到解码设备以指示多个1可以指示trTypeHor和trTypeVer值均为1，MTS索引2可以指示trTypeHor值为2并且可以指示trTypeHor和trTypeVer[0116]在式2中，矢量是通过根据行优先顺序重新布置式1的二维块X而获得的一维矢4×4变换来执行不可分离的次级变换。8×8变换是指当W和H二者都等于或大于8时可应用不可分离的次级变换的每个变换集二个不可分离的次级变换核，并且可以存在四个变换并且针对4×4变换的四个变换集中的每个变换集可以包括二个4和1号的DC帧内预测模式，并且定向帧内预测模式可以包括2号至66号的65个帧内预测模于水平模式的输入数据对齐方法被用于帧内预测模式34。转置输入数据意味着二维MxN块数据的行和列被切换成NxM数据。帧内预测模式18和帧内预测模式50分别可以表示水平帧内预测模式和垂直帧内预测模式，并且可以将帧内预测模式2称为右向上对角线帧内预测不可分离的次级变换索引，并且可以将不可分离的次级变换索引用信号通知给解码设备。可以指示第一不可分离的次级变换没有被应用于目标块，并且lfnst索引值1至3可以指示并且可以被编码并用信号通知给解码设备，并且被传送到编码设备中的解量化器/逆变换[0137]逆变换器能够以与在上述变换器中执行一系列过程的次序相反的次序执行一系[0145]同时，当基于RST来执行次级逆变换时，编码设备100的逆变换器135和解码设备200的逆变换器222可以包括基于变换系数的逆RST来推导修改的变换系数的逆缩减次级变数。由于用于目标块的变换系数的总数从N减小到R，所以由编码设备100发送到解码设备级变换和基于RST的次级变换来推导用于目标块的变换系数。可以将这些变换系数传递到解码设备200的逆变换器，并且解码设备200的逆变换器222可以基于针对变换系数的逆缩RxNT与用于目标块的变换系数相乘时，可以推导用于目标块的修改的变换系数或用于当前块的残差样本。可以将逆RST矩阵TRxNT表达为(TRxN[0173]作为式8的计算的结果，可以推导表示目标块的修改的变换系数或目标块的残差的情况可以针对每个变换系数块用信号通知作为语法元素的变换索引或lfnst索引，由的W和H均等于或大于4时可应用于变换系数块中包括的4×4区域的变换，并且4×4区域可置应用逆RST的输入系数数据，并且可以根据预定布置顺序将通过将一维矢量与在一维矢量左侧的对应的逆RST矩阵相乘而获得的修改的系数矢量布置以一维阵列输入8×8区域中的变换系数当中的对应于8×8区域的左上区域的16个变换系222可以包括用于基于对变换系数的逆RST来推导修改的变换系数的逆缩减次级变换器以及用于基于针对修改的变换系数的逆初级变换来推导用于目标块的残差样本的逆初级变8]矩阵和[16×8]矩阵是分别从[48×16]矩阵和[16×16]矩阵的左侧采样的8个变换基矢16]，并且[8×48]矩阵和[8×16]矩阵是通过分别从[16×48]矩阵和[16×16]矩阵的上部[0198]在逆LFNST的情况下，可以通过将作为[16×1]矢量或[8×1]矢量的输入矢量y乘[0201]在逆LFNST中，可以选择8个[48×16]矩阵和8个[16×16]矩阵中的一个作为变换时照原样留下右下4x4块。[0211]图9中所示的块的左上处的阴影区域对应于正向LFNST的4x4块相邻的两个4x4块或扫描次序中的第二LFNST索引的信令，因此编码设备可以通过残差编译来知道在TU或CU块内的所有位置是否而未改变的区域，并且维持正向初级变换的结果。如上所述，由于LFNST被划分为4×4检查是否存在非零数据。也就是说，在检查在图9中用零填充的块中是否存在非零数据之种实施例。当然，上述简化方法的组合不限于以下实施例，并且可以将任何组合应用于[0241]在检查非零数据是否也存在于填充有零值的现有区域以及由于附加的清零而[0243]因此，在应用LFNST时，在检查非零数据是否存在于残差编译过程不允许的位置为执行正向LFNST的结果而推导出的数据的数量可以减小到16或更小。另外，随着整个块[0249]诸如LFNST之类的次级变换向现有的初级变换添加了计算量，因而增加了执行变作包括由编码设备执行的编译和由解码设备执行的解码[0252]表4表示当ISP被应用时根据块大小划分的子块的数目，并且可以将根据ISP划分[0255]ISP是将预测为亮度帧内的块根据块的大小在垂直方向或水平方向上划分为两个[0261]可以对通过ISP预测方法以分区块为单位生成的残差信号应用变换。基于DST_7/帧内预测模式应用于划分的分区块，如上所述。因此，当选择基于帧内预测模式推导的块。因此，当根据ISP预测方法的划分的分区块的水平长度或垂直长度小于4时，不应用×8区域内的除了右下4×4区域之外的其式中并且当对所有分区块应用LFNST时，可以将相同的LFNST索引值应用于对应的分区块。单元中的所有分区块。如上所述，LFNST索引值可以具有0、1和2的值，其中0表示不应用单独的条件来确定是否应用在编译单元级别用信号通知的LFNST索引值以及是否应用[0271]在应用了ISP模式的编译单元中，当分区块的一侧的长度小于4时应用LFNST的示[0276]可以同时应用第一实施例和第二实施例，或者可以应用两个实施例中的任一式66预测的2xM块，以图17的（a）的次序布置输入数据，然后可以应用针对模式2设置的数据来生成16个变换系数。生成的变换系数可以按照VVC标准中使用的扫描顺序布置在左应用初级变换的现有变换系数保持原样。预定LFNST索引可以是当在编码处理中在改变且为了将最坏情况的计算复杂度控制在一定程度或更低，可以通过减少输入数据的数量用与现有LFNST核不同的核，并且可以应用与应用于当前VVC标准的帧内预测模式索引和LFNST集之间的映射表不同的映射表。应用于当前VVC标准的映射表可以与表2的映射表相[0304]当应用ISP预测模式时，如果每个分区块的水平长度和垂直长度二者都等于或大可以应用不同于当前VVC标准的映射表和L且表7的映射表被配置有两个LFNST集。作为另一示例，当它被配置有一个LFNST集时，lfnstTrSetIdx值可以相对于preModeIntra值[0313]在下文中，将描述在将LFNST应用于ISP模式时保持最坏情况的计算复杂度的方[0315]1.当分区块的水平长度和垂直长以基于对应的编译单元大小而不是分区块的大小来应用用于LFNST的最坏情况的复杂度计分别指示包括在所选LFNST集中的两个LFNST核矩阵中的每一个。基于由LFNST索引选择的针对亮度块和色度块中的每一个单独地用信号通知LF[0332]C.当编译单元的亮度块的水平长度或垂直长度超过可用于变换的最大亮度变换小，并且检查色度块是否超过可用于颜色格式的对应亮度块的变换的水平/垂直长度和最[0334]64长度变换或32长度变换意指分别应用于水平或垂直长度为64或32的变换。并[0336]D.仅当编译单元的水平长度和垂直长度二者等块，并且如果Cb的最后非零系数位置和Cr的最后非零系数位置中的至少一者不是DC位置，[0341]在本文中，当指示用于一个变换块的变换系数的存在或不存在的编译块标志数位置。也就是说，当对应的CBF值等于0时，由于变换未应用于对应块，因此当检查针对对对应的分量的分区块的事实而用信号通知LFNST索引。下文将描述可用于ISP模式的针对亮度块和色度块中的每一个单独地用信号通知LF[0349]B.当编译单元的亮度块的水平长度或垂直长度超过可用于变换的最大亮度变换[0350]可以基于分区块而不是编译单元的大小来确定是否执行LFNST索引的信令。也就况下，将颜色格式的对应亮度块的水平/垂直长度与可用于最大变换的最大亮度变换大小[0353]C.如果应用包括在当前VVC标准中的LF[0355]总之，可以仅针对分区块大小等于或大于可以应用LFNST的最小大小的情况来发度分量的分区块的大小等于或大于可以应用LFNST的最小大小的情况下用信号通知LFNST度块并且甚至针对所有分区块之一的相应最后非零系数位置不是DC位置，则可以发送LFNST索引。如果块是双树类型色度块并且甚至用于Cb的所有分区块的最后非零系数位置非零系数位置（当不对色度分量应用ISP模式时，假设分区块的数目等于1）之一不是DC位[0362]i.在ISP模式的情况下，跳过对亮度块和色度块二者的最后非零系数位置的检分区块的数量等于1以便于确定是否执行对应的LFNST索引信令。[0365]E.例如，当验证变换系数存在于[0368]如果即使对于分区块大小等于2×M（1×M）或M×2（M×1）的情况也可以应用分区块仅生成8个LFNST变换系数。当以从左到右或从上到下的扫描次序布置变换系数时，系数存在于即使在一个分区块中也被指定用0填充的区域中时，可以跳过LFNST索引信令，[0375]1.对于LFNST索引为0的情况（包括LFNST索引被推断为0的情况可以遵循用于确定与包括在当前VVC标准中的ISP模式相对应的初级变换的条件。也就是说，通过独立地[0378]B.可以遵循用于确定与包括在当前VVC标准中的ISP模式对应的初级变换的条[0381]表8至表10中的每个示出LFNST核由总共4个LFNST集配置的示例，其中每个LFNSTLFNST核由16x16矩阵配置。表8至表10中示出的每个16x16矩阵表示在正向LFNST变换中使[0400]更具体地，解码设备200可以从比特流对关于用于目标块的量化变换系数的信息进行解码并且可以基于关于用于当前块的量化变换系数的信息来推导用于当前块的量化中应用缩减变换的最小变换大小的信息、关于在其中应用缩减变换的最大变换大小的信[0401]另外，解码设备还可以接收关于当前块的帧内预测模式的信息和关于ISP是否应[0405]与沿着垂直方向或水平方向单独地变换作为变换目标的系数的初级变换不同，LFNST为在不沿着特定方向分离系数的情况下应用变换的不可分离的变换。这种不可分离发送可以为仅在低频区域而非整个块区域中应用正向变换的低频[0406]LFNST索引信息被接收作为语法信息，并且语法信息可以被接收作为包括0和1的[0407]根据本实施例的LFNST索引的语法元素可以指示是否正在应用逆LFNST或逆不可[0411]解码设备可以确定LFNST是否适用于分区的子分区块的高度和宽度。在这种情况与当前块的色度分量块相对应的高度和宽度等于4或更大时，解码设备可以解析LFNST索[0419]此后，解码设备可以基于LFNST索引和用于LFNST的LFNST矩阵来从变换系数推导[0420]解码设备可以基于从帧内预测模式信息推导的帧内预测模式来确定包括LFNST矩编译单元级别用信号通知的，所以可以将相同的LFNST矩阵应用于从当前块划分的子分区[0424]可以基于当前块或子分区变换块的大小来推导作为LFNST的输出数据的预先确定[0426]可以根据子分区变换块的帧内预测模式在垂直方向或水平方向中布置48个变换[0427]解码设备可以基于针对修改的变换系数的逆初级变换来推导用于当前块的残差[0429]随后，解码设备200可以基于用于当前块的残差样本和用于当前块的预测样本来[0433]根据实施例的编码设备100可以基于应用于当前块的帧内预测模式来推导用于当[0439]此外，编码设备100可以基于残差样本的初级变换来推导用于当前块的变换系数[0441]编码设备100可以确定是否针对当前块的变换系数执行次级变换或不可分离变[0442]与沿着垂直方向或水平方向单独地变换作为变换目标的系数的初级变换不同，LFNST为在不沿着特定方向分离系数的情况下应用变换的不可分离的变换。这种不可分离[0443]编码设备可以在ISP被应用于当前块的情况下确定LFNST是否适用于分区的子分[0444]编码设备可以确定LFNST是否适用于分区的子分区块的高度和宽度。在这种情况当与当前块的色度分量块相对应的高度和宽度等于4或更大时，编码设备可以确定可以应[0451]当确定要执行LFNST时，编码设备100可以基于映射到帧内预测模式的LFNST集和LFNST集中包括的LFNST矩阵来推导用于当前块或子分区变换块的修改的变换系数[0452]编码设备100可以根据应用于当前块的帧内预测模式基于映射关系来确定LFNST[0456]可以基于子分区变换块的大小来推导用作LFNST的输入数据的变换系数所位于的[0457]为了利用LFNST矩阵来执行乘法运算，可以根据子分区变换块的帧内预测模式沿[0458]可以根据子分区变换块的帧内预测模式在垂直方向或水平方向中读取48个修改的条件，基于该确定生成和编码LFNST索引，选择变换核