CN113950832B 基于矩阵的帧内预测装置和方法 （Lg电子株式会社）

2021.12.03PCT/KR2020/0072152020.06.03WO2020/246803KO2020.12.10LiangZhao,XinZhao,XiangLi,andchanges.2019,1,54,110.MichaelSchäfer,PhilippMerkle,PhilippHelle,TobiasHinz,HeikoSchwarz,Detlev4.2).Document:JVET-N0217根据本文档的图像解码方法可以包括以下的帧内预测(MIP)的标志信息；基于标志信息来接收基于矩阵的帧内预测(MIP)模式信息；基于MIP模式信息来生成当前块的帧内预测样本；以2接收与基于矩阵的帧内预测MIP是否用于当前基于所述标志信息来接收基于矩阵的帧内预基于所述MIP应用于所述当前块，基于所述MIP来推导针对所述当前块的帧内预测样对关于所述残差样本的信息和关于所述MIP的信息其中，关于所述MIP的信息包括与所述MIP是否应用于所述获得比特流，其中，所述比特流是通过以下生成的：推导是否其中，关于所述MIP的信息包括与所述MIP是否应用于所述3宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传率和高质量图像/视频的信息的高效图像/[0008]本公开的又一技术方面在于提供用于基于矩阵的帧内预测的图像编码方法和图[0009]本公开的又一技术方面在于提供用于编码关于基于矩阵的帧内预测的模式信息对缩减预测样本进行上采样来生成当前块的减预测样本进行线性插值(interpolation)来对帧内预测样4[0016]MIP矩阵可以从根据当前块的大小分类的三个矩阵集中的任何一个矩阵集中选用于当前块的标志信息和基于矩阵的帧内预测(包括根据由编码设备执行的图像编码方法生成的编码的图像信包括编码的图像信息和比特流的图像数据以使[0026]图4示意性地例示了可应用本公开的实施方式的基于帧内预测的图像编码方法示[0028]图6示意性地例示了可应用本公开的实施方式的基于帧内预测的图像解码方法示[0030]图8例示了可应用本公开的实施方式的编码设备中的基于MPM的帧内预测方法的[0031]图9例示了可应用本公开的实施方式的解码设备中的基于MPM的帧内预测方法的5[0041]图19是示意性地例示根据本公开的实施方式的可以由解码设备执行的解码方法[0042]图20是示意性地例示根据本公开的实施方式的可以由编码设备执行的编码方法[0045]在本文档中描述的附图中的元件是为了便于与不同的特性功能相关的描述而独6带/贴片可以包括一个或更多个编码树单元(CTU)。一幅图片可以由一个或更多个条带/贴砖块扫描是砖块中的分割贴片的CTU的特定顺序排序，在图片中以CTU栅格扫描连续地排语法元素指定并且宽度等于图片的宽度。贴片扫描是贴片中的分割图片的CTU的特定顺序[0059]参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装7[0062]编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编[0063]发送器可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如[0066]图2是示意性地例示可应用本公开的视频/图像编码设备[0068]图像划分器210可以将输入到编码设备200的输入图像(或图片或帧)划分为一个8测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差可以用作与一幅图片(或图像)的像素或图元(p[0070]在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器预测的信息可以在熵编码器240中编码并以比特流应用于邻近块的预测模式来确定应用于当前[0072]帧间预测器221可以基于参照图片上的运动向量所指定的参考块(参考样本阵列)基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。邻近块来配置运动信息候选列表，并且生成指示哪个候选被用于推导当前块的运动向量以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测二者。9[0074]由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过将变换技术应用于残差信号而生成变换当用曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT指代基于使用所有先前器240可以对量化后的信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描次序将块型的量化频/图片信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。质。发送从熵编码器240输出的信号的发送器(未示出)或存储信号的存储单元(未示出)可解量化器234和逆变换器235将解量化和逆变换应用于量化变换系数来重构残差信号(残差器260可以通过将各种滤波方法应用于重构图片而生成修改的重构图片并且将修改的重构[0080]存储器270的DPB可以存储修改的重构图片以用作帧间预测器221中的参照图片。存储器270可以存储当前图片中的已推导(或编码)运动信息的块的运动信息和/或图片中的已经重构的块的运动信息。所存储的运动信息可以发送到帧间预测器221并用作空间相邻块的运动信息或时间相邻块的运动信息。存储器270可以存储当前图片中的重构块的重[0083]当输入包括视频/图像信息的比特流时，解码设备300可以与据此已在图2的编码310基于诸如指数哥伦布编码、CAVLC、或CABAC之类的编码方法对比特流中的信息进行解熵解码方法可以接收比特流中的与各语法元素对应的bin，使用在前一阶段解码的符号/码器310解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器332和帧内的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分为信息解码器[0086]逆变换器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵[0087]预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模[0090]帧间预测器332可以基于由参照图片上的运动向量指定的参考块(参考样本阵列)基于相邻块与当前块之间的运动信息的相关性而以块、子块或样本为单位来预测运动信造运动信息候选列表，并且基于所接收的候选选择信息推导当前块的运动向量和/或参照[0091]加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或[0092]加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前器350可以通过将各种滤波方法应用于重构图片而生成修改的重构图片并且将修改的重构[0095]存储在存储器360的DPB中的(修改的)重构图片可以用作帧间预测器332中的参照空间相邻块的运动信息或时间相邻块的运动信息。存储器360可以存储当前图片中的重构特流)将相关残差信息发信号通知给解码设备。在此情况下，残差信息可以包括诸如值信[0100]帧内预测指代用于基于包括当前块的图片(以下称为当前图片)内的当前块外部括与左边界相邻的样本和与当前块的左下相邻的总共2×nH个样本，与当前块的上边界相当前块的下边界相邻的总共nW个样本和与当前块的右下相邻况下，解码设备可以通过用可用样本取代不可用样本来配置要用于预测的相邻参考样本。[0103]如果推导相邻参考样本，则(i)可以基于当前块的相邻参考样本的平均或插值来推导预测样本，以及(ii)可以基于当前块的相邻参考样本当中的在针对预测样本的特定的第一相邻样本与位于基于当前块的预测样本的预测方向的相反方向上的第二相邻样本过用于向解码设备指示(发信号通知)此时使用的参考样本线的方法来执行帧内预测编码。前述情况可以称为多参考线(MRL)帧内预测或基于MRL参考样本，由此增强一些情况下的帧内预测性能。这种预测方法可以被称为帧内子分区和ISP之类的特定帧内预测类型之外的一般帧内预测方法可以被称作正常帧内预测类型。[0109]除了上述帧内预测类型之外，基于矩阵的帧内预测(以下称为MIP)可以被用作用于帧内预测的方法。MIP可以被称为仿射线性加权帧内预测(ALWIP)或矩阵加权帧内预测预测中或用于正常帧内预测的帧内预测模式不[0111]MIP的帧内预测模式可以被称作仿射线性加权帧内预测模式或基于矩阵的帧内预[0113]图4示意性地例示了可应用本公开的实施方式的基于帧内预测的图像编码方法的测器也可以同等地或与其对应地应用到图2所示的编码设备200的测模式/类型的RD成本并且确定当前块的最佳[0119]编码设备可以对包括关于帧内预测的信息(预测信息)和关于残差样本的残差信息的图像信息进行编码(S420)。预测信息可以包括帧内预测模式信息和帧内预测类型信化残差样本并然后再次解量化/逆变换它们的原因是推导与由解码设备推导的残差样本相[0122]图6示意性地例示了可应用本公开的实施方式的基于帧内预测的图像解码方法示器也可以同等地或与其对应地应用到图3所示的解码设备300的[0123]参照图6和图7，解码设备可以执行与由编码设备执行的前述操作相对应的操从比特流中获取S600中的预测信息和S630中的残差信息。解码设备的残差处理器320可以的逆变换器322通过对变换系数进行逆变换来推导当前块的残差样本。S640可以由解码设[0124]解码设备可以基于所接收的预测信息(帧内预测模式/类型信息)推导当前块的帧于预测样本和残差样本生成当前块的重构样本，并且推导包括重构样本的重构块(S640)。由熵解码器310获取的帧内预测模式/类型信息来确定当前块的帧内预测模式/类型，参考[0127]帧内预测模式信息可以包括(例如)指示是否将最可能模式(MPM)应用于当前块或用于当前块，则预测模式信息还可以包括指示帧内预测模式候选(MPM候选)中的一个的索否将MRL应用于当前块以及如果应用MRL则使用哪条参考样本线；ISP标志信息(例如，intra_subpartitions_mode_flag)，其指示ISP是否应用于当前块；ISP类型信息(例如，[0129]上述帧内预测模式信息和/或帧内预测类型信息可以通过本文档中描述的编码方法进行编码/解码。例如，可以通过基于截断的(莱斯)二进制码的熵编码(例如，CABAC、CAVLC)来编码/解码前述帧内预测模式信息和(例如，左相邻块和/或上相邻块)的帧内预测模式以及附加候选模式推导出的最可能模式(mpm)列表中的mpm候选中选择一个mpm候选，或者可以基于其余帧内预测模式信息选择不mpm列表不包括平面模式作为候选，则可以发信号通知指示当前块的帧内预测模式是否为候选是首先通过首先发信号通知标志(非平面标志)来标识帧内预测模式是否为平面模式，预测模式是在mpm候选(和平面模式)中还是在其余模式中。mpm标志值1可以表示当前块的帧内预测模式在mpm候选(和平面模式)中，并且mpm标志值0可以表示当前块的帧内预测模以表示当前块的帧内预测模式为平面模式，并且非平面标志值1可以表示当前块的帧内预号通知，并且其余帧内预测模式信息可以以rem_intra_luma_pred_mode或intra_luma_式数量的次序对整个帧内预测模式当中的不包括于mpm候选(和平面模式)中的其余帧内预mpm_idx)以及其余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_候选模式列表(candModeList)和候选帧内预测测模式进行编码时考虑当前块与相邻块之间的相似性[0133]图8例示了可应用本公开的示例性实施方式的编码设备中的基于MPM的帧内预测式执行预测，并且基于以上预测基于率失真优化(RDO)确定最佳帧内预测模式。在此情况MPM列表(和平面模式)中的其余帧内预测模式当中的模式作为当前块的帧内[0138]编码设备可以编码帧内预测模式信息以按比特流的形式输出帧内预测模式信息[0139]图9例示了可应用本公开的示例性实施方式的编码设备中的基于MPM的帧内预测内预测模式，或推导MPM列表中的MPM候选当中的由mpm索引指示的候选(基于非平面标志)括适用于mpm标志的值为1以及包括于MPM列表中的候选即使没有mpm标志的确认，解码设备也可以推导MPM列表中的由mpm索引指示的候选或平面相邻块，并且上相邻块可以表示位于邻近当前块的上部的上相邻块当中的最右的相邻块。例如，如果当前块的大小为W×H并且当前块的左上样本位置的x分量和y分量分别为xN和内预测应用于上相邻块并且上相邻块包括于当前CTU中时，解码设备可以将上相邻块的帧可用或帧内预测未应用于上相邻块或上相邻块不包括于当前CTU中时，解码设备可以推导[0149]编码设备/解码设备可以通过基于从左相邻块推导的左模式和从上相邻块推导的内预测方法(正常帧内预测类型)而且应用特定帧内预测类型(例如，MRL或ISP)时构造MPM内预测模式。非定向预测模式可以包括平面帧内预测模式(即，0号)以及DC帧内预测模式[0155]用于MIP的帧内预测模式可以指示用于帧内预测的矩阵和偏移，而非现有的定向(ALWIP)或矩阵加权帧内预测(MWIP)。为了预测具有宽度(W)和高度(H)的矩形块的样本，MIP使用与块的左边界相邻的重构样本当中的一条H线以及与块的上边界相邻的重构样本[0158]图11例示了根据示例的基于MIP的预测样本生成过程。如下参照图11描述MIP过[0160]在边界样本当中，通过平均过程提取针对W＝H＝4的情况的四个样本和针对任何b0ib1ib2i[0179]对于宽度大于8(W＞8)的W×8块，由于在奇数水平位置和每个垂直位置处生成样[0185]平均过程的第一步是将输入的边界(bdryleft和bdrytop)缩减到更小的边界([0192]由于两个缩减边界bdr和被级联成缩减边界向量bdryred，因此bdryred[0193]当“模式(mode)”指示MIP模式时，可以根据下式基于块的大小和intra_mip_transposed_flag值来定义缩减边界向量以指示是否转置缩减预测样本。此语法元素的语义可以表示为“intra_mip_transposed_flag[x0][y0]指定用于亮度样本的基于矩阵的帧内预测=8*2l[0204]缩减预测样本predred可以通过执行矩阵-向量乘法并然后添加偏移来获得，并且[0213]当idx为1或更小(idx≤1)时或当idx为2且W和H中的较小值大于4(min(W，H)＞4)于实际上在MIP模式中发生的各个模式的频率相对均匀地分布，因而与现有的帧内模式中的频率显著不同，因此所提出的编码结构使得可以在编码和解码MIP模式信息时使效率最[0235]根据实施方式的针对MIP发送和接收的图像信息如下。以下语法可以包括在从前比特流的形式发信号通知给解码设备，并且解码设备可以根据语法中所公开的条件/次序式的语法intra_mip_flag和intra_mip_mode_idx，并且在用于当前块的语法intra_mip_[0239]intra_mip_flag的等于1的值指示亮度样本的帧内预测类型是基于矩阵的帧内预[0240]等于1的intra_mip_mode_idx指示亮度样本的基于矩阵的帧内预测模式。如上所mip_transposed_flag指示输入向量被转置，并且可以通过此标志信息减少用于基于矩阵[0246]intra_mip_mode_idx可以通过旁通(bypass)方法而非基于上下文模型的方法来[0247]根据另一示例，当通过截断的二值化方法对intra_mip_mode是4((cbWidth4||cbHeight4))，或者如果编码块的宽度和高度是8(cbWidth==((cbWidth4||cbHeight4))或者如果编码块的宽度和高度不为8(cbWidth8&&=2K1-1[0259]实施方式可以提出仅针对MIP技术能够被高效地应用到的特定块使用MIP的方当应用根据实施方式的方法时，可以减少MIP所需的矩阵向量的数量并且显著地减少存储[0267]表6和表7中的intr[0275]实施方式可以提出用于将用于大块的加权矩阵(Ak)和偏移向量权矩阵(Sub(Ak))和通过将用于大块的偏移向量进行下采样获得的偏移向量(Sub(bk))分别作为用于小块的加权矩阵和偏移向量来应用现有M[0280]另外，可以基于当前块的大小而不同地设置应用此实施方式的MIP的帧内预测模[0284]为了将用于大块(例如，块大小类型＝2)的加权矩阵和偏移向量应用于小块(例[0291]图19是示意性地例示根据本公开的实施方式的可以由解码设备执行的解码方法[0292]图19所示的方法可以由图3所示的解码设备300执行。具体地，图19的S1900至[0293]参照图19，解码设备可以从比特流中接收(即，获得)指示基于矩阵的帧内预测[0295]解码设备可以基于所接收的标志信息接收基于矩阵的帧内预测(MIP)模式信息[0298]解码设备可以基于MIP信息生成当前块的帧内预测样本。解码设备可以从当前块[0299]当应用MIP时，解码设备可以通过对与当前块邻近的参考样本进行降采样来推导[0301]当当前块的宽度和高度为4时，可以推导出四个缩减边界样本，并且在其它情况[0302]用于降采样的平均过程可以应用于当前块的每个边界(例[0304]随后，解码设备可以基于在当前块的大小和索引信息的基础上推导出的MIP矩阵[0306]MIP矩阵可以从根据当前块的大小分类的三个矩阵集中的任何一个矩阵集中选[0309]包括包含16个行和8个列的10或8个矩阵以及10或8个偏移向量的矩阵集可以应用[0311]基于在MIP矩阵与缩减边界样本的乘法运算之后添加偏移的运算来推导缩减预测[0312]解码设备可以通过对缩减预测样本进行上采样而生成当前块的帧内预测样本[0319]图20是示意性地例示根据本公开的实施方式的可以由编码设备执行的编码方法[0320]图20所示的方法可以由图2所示的编码设备200执行。具体地，图20的S2000至[0321]参照图20，编码设备可以推导是否将基于矩阵的帧内预测(MIP)应用于当前块[0323]当确定MIP应用于当前块时，编码设备可以通过对与当前块邻近的参考样本进行[0325]当当前块的宽度和高度为4时，可以推导出四个缩减边界样本，并且在其它情况[0326]用于降采样的平均过程可以应用于当前块的每个边界(例[0328]当推导缩减边界样本时，编码设备可以基于在当前块的大小的基础上选择的MIP[0329]MIP矩阵可以从根据当前块的大小分类的三个矩阵集中的任何一个矩阵集中选[0332]包括包含16个行和8个列的10或八个矩阵以及10或八个偏移向量的矩阵集可以应[0334]基于在MIP矩阵与缩减边界样本的乘法运算之后添加偏移的运算来推导缩减预测[0335]编码设备可以通过对缩减预测样本进行上采样来生成当前块的帧内预测样本[0339]编码设备可以基于当前块的预测样本和当前块的原始样本来推导当前块的残差[0342]指示MIP是否被应用的标志信息是诸如intra_mip_flag之类的语法，并且可以被[0347]生成当前块的预测样本的前述过程可