CN114026854B 图片及视频处理中的基于矩阵的帧内预测的方法与装置 （寰发股份有限公司）

2021.12.28PCT/CN2020/0982692020.06.24WO2020/259630EN2020.12.30VersatileVideoCodin29/WG1114thMeeting:14thMeeting:Geneva,CH,19–27March图片及视频处理中的基于矩阵的帧内预测一图片或视频处理方法包括：接收通过MIP模式2将MIP块的基于矩阵的帧内预测(MIP)模式索引映射为默认模式，并且不需要用于将包含通过从所述当前图片中的所述MIP块的相邻边界采样中导出参考采样，通过将所述参考采样与所述矩阵相乘来生成中间预测采样，并对所述中间预测采样进行剪切到合理范当前块的DM推导将对应的亮度块的MIP模式索引映射到默认模式，并且根据默认模式对当的帧内最可能模式(MPM)推导包括将相邻块的MIP模式索引映8.根据权利要求1所述的方法，其特征在于，所述当前块是由所述MIP模式编码的MIP接收与当前图片中已完成或将要通过基于矩阵的帧内预测(MIP)模式编解码的当前块通过根据是否应用转置来用预测采样的转置来替换当前块的预测3根据当前块的预测采样对当前图片中的当前块进行志，然后用信号发送或解析所述矩阵索引，来用信号发送或解析所述当前块的MIP模式信根据是否应用转置将缩减的顶边界采样和缩减的左边界采下步骤来接收输入数据和执行在所述计算机处理器上可执行的用于图片或视频编码的编将MIP块的基于矩阵的帧内预测(MIP)模式索引映射为默认模式，并且不需要用于将下步骤来接收输入数据和执行在所述计算机处理器上可执行的用于图片或视频编码的编接收与当前图片中已完成或将要通过基于矩阵的帧内预测(MIP)模式编码的当前块相通过根据是否应用转置来用预测采样的转置来替换当前块的预测4根据当前块的预测采样对当前图片中的当前块进行5[0002]本发明要求于2019年6月28日提交的序号为62/868,013、名称为“MethodsforSimplificationofMatrixbasedIntraPrediction–MPMremoval,MIPmodemapping,部的相邻块和左侧的相邻块可以用于形成帧内预[0006]帧内预测的第二步骤是根据从HEVC标准支持的35种帧内预测模式中选择的一种择的角度模式的预测方向从相邻的边界采样中外推采样来预测当前块中的每个采样的值。6[0009]图1所示的33个角度模式可以扩展到具有更多或更少角度模式的一般情况，其中标准支持的原始33种角度模式之间。图3中的65种角度模式包括在该块的左边界处从下到[0010]在即将到来的视频编码标准通用视频编码(VVC)中，提出了一种用于正方形和矩前块的采样，输入包括一行位于当前块左侧的H个重构的相邻边界采样和一行位于当前块个矩阵Af,ie(0,…,9}组成，每个矩阵有16列8行，还有10个偏移向量bf,ie{0,…,97方法的第一步中，顶部输入边界bdrytop和左侧输入边界bdryleft用于生成缩减的顶部边界减的顶部边界bdry2:定义为：bdry:定的左边界bdr.[0015]将两个缩减的边界bdr和串联在一起，形成缩减的边界向量bdryred[0020]通过矩阵向量乘法产生缩减的预测信号通过缩减的边界向量产生缩减的预测信82之一获取矩阵A和向量b。[0031]单步线性插值对于宽度W及高度H至少一个大于或等于8的当前块，通过线性插值Hred并且uver=2"ver>1。扩展的缩减的预测信号然后由以下定义：9[0037]生成用于通过MIP方法编码或解码的当前块的预测信号的最后阶段是剪切。在通块的相邻边界采样进行下采样以生成参考采样。导出参考采样的步骤可以包括通过平均MIP块的相邻边界采样来提取参考采样。产生中间预测采样的步骤包括在将参考采样和矩[0039]MIP模式映射中的默认模式的示例是平面模式，并且默认模式的另一示例是DC模式。在MIP模式映射的一个实施例中，当前块是以直接模式(DM)已编码或将要编码的色度模式编码的MIP块是当前块的相邻块。当前块的帧内最可能模式(IntraMostProbable基于变换矩阵将变换块的二次变换系数变换为一次[0040]图片或视频编解码系统的一些实施例接收与在当前图片中由MIP模式编码或将要比特流中发出信号或从视频位流中解析出，指示在对当前块进行编码时是否应用了转置。图片或视频编解码系统根据当前块的预测采样[0044]本公开的一方面还提供了一种图片或视频编解码系统中的用于压缩图片或视频频编解码系统的计算复杂度。用信号发送每个MIP编码块的转置标志的优点是在解码器中面和特征对于本领域具有通常技术者将变得显而[0048]图2示出了由帧内平滑滤波器滤波的示例性参考采样，用于导出当前块的帧内预[0050]图4示出了从顶边界参考采样和左边界参考采样中导出在MIP模式下已编码或将[0051]图5是示出根据MIP模式映射的实施方式的用于通过将MIP模式索引映射到默认模式来对当前块进行编码或解码的示例性图片或视频[0052]图6是示出根据转置标志信令的实施例的用于以MIP模式对当前块进行编码的示[0053]图7是示出根据转置标志信令的实施例的用于以MIP模式对当前块进行解码的示[0054]图8示出了根据本发明实施例的，结合了帧内预测方法的视频编码系统的示例性[0055]图9示出了根据本发明实施例的，结合了帧内预测方法的视频解码系统的示例性的帧内预测(MIP)模式编码的图片或视频块的计算复杂性。分别在图8和图9中示出了实现[0058]MIP模式映射在常规的基于矩阵的帧内预测(Matrix-basedIntraPrediction，[0063]本发明的实施例通过将所有MIP模式索引映射到默认模式来消除对MIP模式索引导或二次变换集选择中不再需要用于将MIP模式索引映射到常[0065]根据另一实施例，将所有MIP模式索引映射到默认模式的方法也应用于二次变换通过映射变换块的原始维向量至在不同空间中的降维向量，来提高帧内编码块的编码效集选择基于表2中所示的帧内预测模式。表2中的IntraPredMode是当前块的帧内预测模式10<＝IntraPredMode<＝1012345<＝IntraPredMode<＝21[0068]在该实施例中，当通过MIP模式对当前块进行编码并且将二次变换应用于当前块[0069]图5是说明根据MIP模式映射的各种实施例的用于处理在图片或视频编码器或解是帧内编码块且MIP块是当前块的相邻块时，图片或视频编码器或解码器通过在步骤S506中并入默认模式来推导当前块的帧内最可能模式(MPM)。在又一个实施例中，当当前块以MIP模式被编码并且被二次变换处理或将被处理时，图片或视频编码器或解码器在步骤[0071]图4示出了通过MIP模式准备用于对当前块进行编码的参考采样的示例。如图4所示，从当前块42的顶部边界参考采样44(图中简写为refT[])和左边界参考采样46(图中置。例如，视频编码系统在当前块的大小为4x4时选择矩阵集S0，或者在当前块的大小为入向量是通过合并缩减的顶部边界采样和缩减的左边界参考采样而获得的缩减的边界向对当前块进行编码时是否应用了转置。在视频比特流中还用信号发送当前块的矩阵索引，[0072]通过在解码器处去除矩阵索引推导和转置标志推导，用信号发送用于MIP编码块是否分别大于或等于8和6来推导集合S1和S2中的转置码器接收与要在MIP模式下编码的当前块相关联的输入数据，并在步骤S604中确定在对当[0074]用于通过MIP模式对当前块进行编码的编码方法还可以包括：将预测采样剪切到[0075]图7是示出根据本发明的实施例的用于通过MIP模式对当前块进行解码的示例性[0076]用于通过MIP模式对当前块进行解码的解码方法还可以包括：将预测采样剪切到[0077]MIP方法中的MPM去除(Removal)在传统的MIP方法中，当通过MIP模式对当前块进个表将常规帧内模式索引映射到MIP模式索引。第一个表将65个角度模式索引映射到33个MIP编码块的MIP模式索引，其中用于固定长度码字的位数可以取决于MIP模式的数目。例[0078]通过结合将所有MIP模式索引映射到默认模式的方法和去除MIP编码块的MPM的方度模式索引映射到MIP模式索引、默认MPM列表表以及用于将MIP模式索引映射到常规帧内[0080]视频编码器和解码器的实现可以在视频编码器或解码器中实现上述提出的图片提出的图片或视频处理方法。或者任何提出的方法都被实现到编码器的帧内预测模组和/[0081]图8示出了用于实现本发明的视频处理方法的视频编码器800的示例性系统框当前块的预测模式。帧内预测模组810基于当前图片的重构视频数据来生成当前块的预测当前块的相邻边界采样中获取当前块的参考采样，然后将其乘以矩阵以生成中间预测采邻块的帧内MPM推导或用于当前块的变换块的二次变换集选择都是基于默认模式进行的。[0082]当前块的预测残差由变换模组(T)818进一步处理，然后由量化模组(Q)820处和逆变换模组(IT)824对当前块的经变换和量化的残差信号进行处理以恢复预测残差。如并且用于其他图片的预测。由于编码处理，来自REC826的重构视频数据可能遭受各种损828和样本自适应偏移(SAO)830被应用于重构视频数据以进一步提高图片品质。DF828和任何其他组合以对重构的视频数据进行滤波。与用于环路处理DF828和SAO830的信息相[0083]在图9中示出了用于对由图8的视频编码器800编码的数据进行解码的示例性的对解析并恢复经变换和量化的残差信号和其他系统信息。解码器900的解码过程类似于编码自帧内预测模组912的帧内预测子或来自帧间预测模组914的帧间预测子。帧内预测模组阵相乘以生成中间预测采样。根据从编码的视频比特流中解析出的矩阵索引来选择矩阵。量化模组(IQ)920和逆变换模组(IT)922恢复。通过将REC918中的帧内或帧间预测子加回解码的图片的重构视频也储存在参考图片缓冲器928中以用于解码顺序在后面的为执行储存在记忆体中的程式指令的一个或多个处理器、或硬体和处理器的组合来实现。对应的信息和/或编码或解码过程中的中间数据。在一些实施例中的记忆体包括非暂时性样自适应偏移830和参考图片缓冲器832中的一个或多个也可以用作图9中的重构模组918、[0085]用于图片或视频编码系统的基于矩阵的帧内预测方法的实施例可以在集成到视[0087]在不脱离本