CN111937400A 通过使用约化变换来处理视频信号的方法和装置 （Lg电子株式会社）

PCT/KR2019/00667520WO2019/235797KO2019.12.通过使用约化变换来处理视频信号的方法本发明涉及一种基于约化变换对视频信号变换索引指示的变换内核和所述当前块的大小2基于由所述变换索引指示的变换内核和所述当前块的大小来确定向所述当前块应用通过使用由所述变换索引指示的变换内核对应用了主变行：当由所述变换索引指示的变换内核是预定义变换并且所述当前块的宽度和/或高度大于预定义大小时，确定具有所述预定义大小的宽度和/或高度的区域为应用所述主变换的4.根据权利要求3所述的方法，其中，所述预定义变换是由DST7且确定所述当前块的高度和16中的较小值作为应用所述主变换索引获得单元，该变换索引获得单元在未向义变换并且所述当前块的宽度和/或高度大于预定义大小时，所述主变换单元确定具有预3在由所述变换索引指示的变换内核属于第一变换在由所述变换索引指示的变换内核属于第二变换4[0002]下一代视频内容将具有诸如高空间分辨率、高帧频和高维度场景呈现这样的特由所述变换索引指示的所述变换内核对应用了主变所述变换内核是预定义变换并且所述当前块的宽度和/或高度大于预定义大小时，确定具有预定义大小的宽度和/或高度的区域作为[0011]优选地，所述预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中5于由所述变换索引指示的所述变换内核和所述当前块的大小来确定向所述当前块应用主[0018]优选地，所述预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中[0027]图3例示了可以应用本发明的实施方式，图3A是按四叉树(QT[0028]图4是作为应用本发明的实施方式的编码器中的变换单元120和量化单元130以及6[0029]图5是作为应用本发明的实施方式的解码器中的解量化单元220和逆变换单元230[0030]图6是示出了作为应用本发明的实施方式的应用多重变换选择(MTS)的变换配置[0031]图7是示出了作为应用本发明的实施方式的执行多重变换选择(MTS)的编码过程[0032]图8是示出了作为应用本发明的实施方式的执行多重变换选择(MTS)的解码过程[0033]图9是用于描述作为应用本发明的实施方式的MTS标志和MTS索引的编码过程的流[0034]图10是用于描述作为应用本发明的实施方式的基于MTS标志和MTS索引向行或列[0036]图12是示出了作为应用本发明的实施方式的在NSST中针对每种帧内预测模式分[0038]图14例示了作为应用本发明的实施方式的由吉文斯旋转层和排列(permutation)[0039]图15是用于描述作为应用本发明的实施方式的前向约化变换和逆约化变换的操[0040]图16是例示了作为应用本发明的实施方式的根据后向扫描顺序执行从第64至第[0041]图17例示了作为应用本发明的实施方式的变换系数块(变换块)的三个前向扫描[0042]图18例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时各个4×4块的有效变换系数的位[0043]图19例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时两个4×4块的有效变换系数被组[0044]图20是作为应用本发明的实施方式的基于约化二次变换对视频信号进行编码的[0045]图21是作为应用本发明的实施方式的基于约化二次变换对视频信号进行解码的[0046]图22是例示了作为应用本发明的实施方式的通过使用约化变换对视频信号进行[0047]图23是例示了作为应用本发明的实施方式的通过使用约化变换对视频信号进行[0049]图25是例示了作为可以应用本发明的实施方式的通过自适应地应用约化变换来7[0050]图26是例示了作为可以应用本发明的实施方式的通过自适应地应用约化变换来[0051]图27和图28是例示了前向约化二次变换和逆约化二次变换以及用于推导它们的[0052]图29是例示了作为应用本发明的实施方式的向非正方形区域应用约化二次变换中清楚地阐述了含义，因此不应该仅通过在本发明的描述中使用的术语的名称来解释它，[0060]在本文献中，多重变换选择(MTS)可以是指使用至少两种变换类型执行变换的方[0063]图像划分单元110将输入编码器100中的输入图像(或图片或帧)划分成一个或更[0065]编码器100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的8[0066]变换单元120可以通过向残差信号应用变换技术来生成变换系数。可以向四叉树[0067]变换单元120可以基于多个变换(或变换组合)来执行变换，并且变换方案可以被称为多重变换选择(MTS)。MTS也可以被称为自适应多重变换(AMT)或增强型多重变换[0068]MTS(或AMT或EMT)可以是指基于从多个变换(或变换组合)中自适应地选择的变换[0069]多个变换(或变换组合)可以包括在本说明书的图6中描述的变换(或变换组合)。[0074]本发明提供了通过在应用4×4RST时检查是否有非零变换系数存在于不可接受区[0075]本发明提供了在对最后一个非零变换系数位置进行编码之后对对应变换索引进[0076]本发明提供了在应用4×4RST时对亮度块和色度块应用不同的变换索引编码和残[0078]量化单元130可以对变换系数进行量化，并且将量化后的变换系数发送到熵编码[0079]尽管变换器120和量化单元130被描述为单独的功能单元，但是9[0083]解码图片缓冲器170可以存储滤波后的图片，以便使用滤波后的图片作为帧间预[0085]因此，帧间预测单元180可以通过应用低通滤波器来以子像素为单位在像素之间[0087]此外，帧内预测单元185可以通过参考将经历当前编码的块附近的样本来预测当[0088]通过帧间预测单元180或帧内预测单元185生成的预测信号可以被用于生成重构变换配置组来配置变换组合的方法，并且逆变换单元230可以基于通过本发明配置的变换[0098]逆变换单元230可以推导与二次变换索引对应的二次变换，通过使用二次变换对<N)个变换系数数据(L×1个变换系数向量)的变换。换索引，并且特定区域指示当在应用约化二次变换的情况下根据扫描顺序布置变换系数[0103]逆变换单元230可以推导与主变换索引对应的变换组合，并且通过使用变换组合[0105]所获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号相[0108]图3示出了可以应用本发明的实施方式，图3A是按四叉树(QT)(下文中，被称为[0111]图3B例示了BT划分的示例。不再按QT划分的块B3可以被划分成垂直BT(C0,C1)或[0113]图3D例示了AT划分的示例。不再按QT划分的块B3可以被划分成垂直AT(C0,C1)或从上到下地执行搜索，并且搜索块可以意味着决定是否进一步划分每个划分的子块的顺[0125]作为实施方式，二次变换可以有条件地采用不可分二次变换(下文中，被称为换集。[0132]将参照图12至图15和说明书中的其它实施方式更详细地描述二次变换(例如，[0140]逆主变换单元232对逆二次变换后的信号(或块)执行逆主变换，并且获得残差信变换配置组来配置变换组合的方法，并且逆主变换单元232可以基于通过本发明配置的变[0145]图6是示出了作为应用本发明的实施方式的应用多重变换选择(MTS)的变换配置[0147]在本说明书中，用于变换配置组Gi的第j个变换组合候选由下式1中示出的对表3s",DST类型4:S:[0158]一个变换组合可以由应用于对应2D块的行的水平变换(或行变换)和应用于列的换组合可以由四个(行方向变换和列方向变换)组合构成。作为特定示例，可以在组0的行[0163]另外，除了上图6中表示的变换内核之外，也可能出现由于残差信号的特性导致不大于阈值，则可以在不应用图6的变换内核的情况下在行方向和列方向二者上都应用[0169]作为实施方式，MTS索引可以被定义为可以同时指示水平变换和垂直变换的一个片参数集(PPS)或切片头中的至少一个级别定义用于启用/[0172]图7是示出了作为应用本发明的实施方式的执行多重变换选择(MTS)的编码过程存在应该将方案仅应用于主变换和二次变换二者中的任一者和可以将方案应用于主变换[0178]执行变换的结果是，编码器100可以确定或选择具有最小速率失真(RD)代价的变[0180]图8是示出了作为应用本发明的实施方式的执行多重变换选择(MTS)的解码过程[0194]图9是用于描述作为应用本发明的实施方式的MTS标志和MTS索引的编码过程的流[0199]另一方面，当未应用多重变换选择(MTS)时，编码器可以将MTS标志编码为0[0200]图10是用于描述作为应用本发明的实施方式的基于MTS标志和MTS索引向行或列[0202]解码器可以基于MTS标志来确定是否向当前块应用多重变换选择(MTS)(S1020)。索引可以意指用于帧内预测模式或帧间预测模式中的每一种的多个变换组合中的任一个，[0205]解码器可以基于MTS索引和预测模式中的至少一个来推导或确定水平变换和垂直[0207]当非零变换系数的数量不大于阈值时，解码器可以应用预先配置的垂直逆变换[0212]应用了本发明的解码器可以获得sps_mts_intra_enabled_flag或sps_mts_内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_intra_enabled_flag=0时，在帧内编码单元的残差编码语法中存在tu_mts_flag。另外，sps_mts_inter_mts_inter_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中存在tu_[0213]解码器可以基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_000111221312422[0223]在上图11中，主要描述了以下的实施方式：获得tu_mts_flag，以确定是否应用包括水平变换内核类型trTypeHor和垂直变换内核类[0228]解码器可以基于变换大小nTbS或变换内核类型中的至少一个来执行变换矩阵乘[0234]这里，预定义变换矩阵1至8中的各个可以对应于各种类型的变换矩阵中的任一[0237]图12是作为应用本发明的实施方式的在NSST中针对每种帧内预测模式分配变换[0240]作为实施方式，二次变换可以有条件地采用不可分二次变换(下文中，被称为换集。以从编码器向解码器发信号通知指示根据帧内预测模式确定的变换集中的特定变换的语1012321[0248]作为另一实施方式，可以不向整个主变换块而是可以仅向左上8×8区域应用[0250]由于8×8NSST和4×4NSST二者遵循本文献中描述的变换组合配置并且是不可分变换，因此8×8NSST接收64个数据并输出64个数据并且4×4NSST具有16个输入和16个输[0251]8×8NSST和4×4NSST二者由吉文斯旋转的分层级组合配置。在式4中示出对应于[0259]图14例示了作为应用本发明的实施方式的由吉文斯旋转层和排列构成的4×[0263]作为最后一个步骤，最后进一步对通过吉文斯旋转层输出的[0265]图15是用于描述作为应用本发明的实施方式的前向约化变换和逆约化变换的操[0274]另外，与图12所中例示的变换集配置相同的变换集配置甚至可以被应用于8×[0278]图16是例示了作为应用本发明的实施方式的根据后向扫描顺序执行从第64至第[0279]图16例示了当前向扫描顺序从1开始时(以前向扫描顺序)从第17个系数至第64个[0284]本发明提供了可以被应用于来自RST结构的4×4块的设计RST的方法以及关联的[0285]图17例示了作为应用本发明的实施方式的变换系数块(变换块)的三个前向扫描[0289]通过矩阵乘积而获得的变换系数具有16×1向量形式，并且对于每个变换系数而[0293]如果布置在较前侧(接近第0个元素)的变换系数具有较大的能量，则即使在不使[0297]4×4RST可以被应用为二次变换，并且可以被辅助应用于被应用了诸如DCT类型2[0298]实施方式2-1)4×4RST未应用于所有N×N区域，而是可以仅应用于某些区域。例[0305]图17以HEVC中应用的4×4变换块(系数组(CG))为单位示出了三个前向扫描本发明也可以被配置为根据帧内预测模式类[0307]图18例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中[0308]当遵循图17中的对角扫描顺序并且将左上4×8块划分成4×4块并将4×4RST应用[0309]各4×4块中只有一半可以具有变换系数，并且默认地可以向标记X的位置应用值[0310]因此，通过根据图17中例示的扫描顺序针对每个4×4块布置L个变换系数并且假[0311]图19例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时两个4×4块的有效变换系数被组[0313]因此，由于相对于空的4×4块不需要大多数残差编码，因此对应的coded_sub_[0320]当4×4RST也具有选择并应用了作为NSST准备的变换集之一的结构时，可以发信[0322]当执行残差解码并且确认在第L+1至第16之间存在至少一个非零变换系数时，不可以指定应用于所有4×4块中的每一个的4×4RS[0325]由于是否通过一个NSST索引将4×4RST应用于所有4×4块，因此可以检查在残差解码过程期间在针对所有4×4块的第L+1至第16位置处是否存在非零变换系数。作为检查结果，当非零变换系数存在于即使在一个4×4块中也不被接受的位置(第L+1至第16位置)记有X的块)不存在有效的变换系数时，可以检查不存在有效变换系数的块的coded_sub_最后一个非零变换系数的位置应用4×4RST时，如果最后一个非零变换系数位置被确定为不能生成非零变换系数的位置，则4×4RST可以被配置为不应用于最后一个非零变换系数中时，可以省略对NSST索引的编码。当最后一个非零变换系数没有处于标记有X的区域中进行有条件编码来检查是否应用4×4RST时，可以通过以下两种方案来处理其余残差编码[0340]例如，在到达图18中标记有X的位置的情况下，可以省略对sig_coeff_flag的编非零变换系数的x位置Px和y位置Py分别小于Tx和Ty时，可以省略NSST索引编码并且可以不[0344]确定是否通过与阈值比较对NSST索引进行编码的方案可以被不同地应用于亮度域中时省略NSST索引编码的第一种方法以及当非零变换系数的X坐标和Y坐标中的每一个[0352]图20是作为应用本发明的实施方式的基于约化二次变换对视频信号进行编码的[0374]编码器可以通过使用最佳前向二次变换对当前块执行前向二次变换(S2040)。例残差向量)并且输出L(L＜N)个变换系数数据(L×[0378]图21是作为应用本发明的实施方式的基于约化二次变换对视频信号进行解码的变换可以是约化二次变换。约化二次变换是指输入N个残差数据(N×1个残差向量)并且输[0389]本发明的实施方式提出了通过仅向预定义区域应用主变换来提高复杂度的码器可以通过对具有R×R(M>＝R)大小的区域执行变换来获得具有R×R大小的变换块，而非通过仅对具有R×R(M>＝R)大小的区域执行变换来获得具有M×M大小的变换块。作为示编码器/解码器对除了R×R区域之外的区域中存在的系数可以不执行计算，而是将系数的[0393]另外，编码器/解码器可以仅向预定区域应用主变换，该预定区域是根据编码块(或变换块)的大小和/或变换(变换内核)的类型确定的。下表3示出了根据变换的大小(或小自适应确定的约化变换的约化自适应多重变换(RAMT)可以被称为约化多重变换选择施方式中，可以根据应用于当前块(编码块或变换块)的变换(或变换内核)来确定表3中示[0400]参照表4，当应用于主变换的变换是DCT2和其它变换(例如，DST7和/或DCT8的组[0401]图22是例示了作为应用本发明的实施方式的通过使用约化变换对视频信号进行[0404]编码器基于应用于当前块的第一变换的变换内核和当前块的大小来确定对当前[0407]例如，预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一外，作为示例，当由变换索引指示的变换内核是DCT2并且当前块的宽度和/或高度大于32[0411]编码器通过对应用主变换的区域使用应用于当前块的主变换的变换内核来执行[0412]图23是例示了作为应用本发明的实施方式的通过使用约化变换对视频信号进行[0415]解码器基于由变换索引指示的变换内核和当前块的大小(即，宽度和/或高度)来[0418]例如，预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一外，作为示例，当由变换索引指示的变换内核是DCT2并且当前块的宽度和/或高度大于32[0422]解码器通过使用由变换索引指示的变换内核对应用了主变换的区域执行逆主变解码器可以在执行主变换之前向解量化后的变换系数应用二次变换，并且在这种情况下，[0425]在本发明的实施方式中，描述了图15至图23中提出的约化变[0430]图25是例示了作为可以应用本发明的实施方式的通过自适应地应用约化变换来[0433]解码器检查是否向当前块应用(或者针对当前块使用)变换(S2502)。如果未向当足以下特定条件的具有预定大小或更小大小(或小于预[0446]-宽度TH&&高度TH[0463]图26是例示了作为可以应用本发明的实施方式的通过自适应地应用约化变换来[0474]在本发明的实施方式中，提出了考虑用于二次变换/二次逆变换的各种块大小的[0475]图27和图28是例示了前向约化二次变换和逆约化二次变换以及用于推导它们的[0479]本发明的实施方式提出了除了4×4或8×8正方形区域之外向各种非正方形图应[0480]图29是例示了作为应用本发明的实施方式的向非正方形区域应用约化二次变换[0494]Reduced_transform_factor表示指定用于约化变换的约化维度的数量的语法元[0495]min_reduced_transform_size表示指定将应用约化变换的最小变换大小的语法[0496]max_reduced_transform_size表示指定将应用约化变换的最大变换大小的语法[0497]Reduced_transform_factor表示指定用于约化变换的约化维度的数量的语法元[0520]以上描述的表7至表10的变换内核可以被定义为针对约化变换的较小的变换内[0532]为了方便描述，已经分别描述了本发明的上述实施方式，但是本发明不限[0541]例如，预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一外，作为示例，当由变换索引指示的变换内核是DCT2并且当前块的宽度和/或高度大于32[0545]主逆变换单元3103通过使用由变换索引指示的变换内核对应用主变换的区域执[0550]编码设备可以对输入视频/图像进行编码。编码设备可以执行包括针对压缩和编[0551]发送器可以通过数字存储介质或网络以文件或流传输形式将以比特流形式输出的编码后的视频/图像信息或数据发送到接