CN119452654A 用于视频编解码的跨分量预测的方法和装置 （北京达佳互联信息技术有限公司）

2024.12.27PCT/US2023/0265302023.06.29WO2024/006409EN2024.01.04用于视频编解码的跨分量预测的方法和装置本公开提供了一种用于对视频数据进行解区域的外部亮度样点值以及所述外部区域的外波器模式包括用于对应的一个或多个经预运算括基于外部亮度样点值之间的样点差获得的至式基于所述内部亮度样点值预测所述视频块的2获得所述视频块的内部亮度样点值、所述视频块的外部区域的外基于所述外部亮度样点值和所述外部色度样点值确定滤波器模及的对应的经预运算的亮度样点值的所述平方以及与所述视频块的所述亮度样点值范围相样点差获得的对应的经预运算的亮度样点值的所述平方以及与所述视频块的所述亮度样点值范围相对应的中间色度值之和进行缩放所述两个或更多个经预运算的亮度样点值中的至少两个对应于相同的亮度位置并且所述两个或更多个经预运算的亮度样点值中的至少两个对应于不同的亮度位置并且3获得所述视频块的内部亮度样点值、所述视频块的外部区域的基于所述外部亮度样点值和所述外部色度样点值确定滤波器模及通过使用所预测的内部色度样点值生成包括经编码的视频通过加权平均运算获得的至少一个经预运算的亮得的对应的经预运算的亮度样点值的所述平方以及与所述视频块的所述亮度样点值范围的样点差获得的对应的经预运算的亮度样点值的所述平方以及与所述视频块的所述亮度样点值范围相对应的中间色度值之和进行缩放所述两个或更多个经预运算的亮度样点值中的至少两个对应于相同的亮度位置并且所述两个或更多个经预运算的亮度样点值中的至少两个对应于不同的亮度位置并且4使得所述一个或多个处理器执行根据权利要求1_22中任一28.一种存储比特流的计算机可读介质，其中，所述比特流是通过执行根据权利要求5[0002]本申请要求享受于2022年6月29日递交的美国临时申请No.63/356,841，以及于编解码标准执行的。例如，视频编解码标准包括通用视频编解码(VVC)、高效视频编解码存在的冗余。视频编解码技术的一个重要目标是将视频数据压缩为使用较低比特率的形6[0018]图4示出了左侧和上方样点以及CCLM模式中所涉及的当前块的样点的位置的示7[0030]图11示出了根据本公开内容的一个或多个方面的在多元线性回归(MLR)模型中使[0031]图12示出了根据本公开内容的一个或多个方面的示例性不同滤波器形状和/或抽[0032]图13示出了其中FLM仅可以使用顶部或左侧的亮度和/或色度样点(扩展的)来进[0039]图20示出了根据本公开内容的一个或多个方面的用于对视频数据进行解码的方[0040]图21示出了根据本公开内容的一个或多个方面的用于对视频数据进行编码的方供了大致50％的比特率节省或等同的感知质量。尽管VVC标准比其前身提供了显著的编解VCEG和ISO/IECMPEG的合作下，联合视频探索小组(JVET)开始探索能够在VVC之上大幅提增强压缩模型(ECM)的软件代码库。ECM参考软件基于由JVET为VVC开发的VVC测试模型波器等)。未来，超出VVC标准的任何新的编解码工具都需要集成到ECM平台中，并且使用8相同的视频图片/切片中的经编解码的邻近块的样点(其被称为参考样点)的像素来预测当减少了视频信号中固有的时间冗余。通常通过一个或多个运动矢量(MV)发信号通知针对给多个参考图片，则另外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来构的CU被放入参考图片存储中并且用于对未来的视频块进行编解码之前，可以将环路滤波 (诸如去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF))应用于经重构的CU的残差系数均被发送到熵编码单元，以被进一步压缩和打包，从而形成比特流。应当注意测单元(PU)或变换单元(TU)和/或可以是或对应于对应的块，例如编码树块(CTB)、编码块 [0047]图3示出了基于块的视频解码器的总体框图。首先在熵解码单元处对视频比特流[0048]本公开内容的主要焦点是进一步增强应用于ECM中的跨分量预测、跨分量线性模型(CCLM)的编解码工具的编解码效率。在下文中，将简要回顾ECM中的一些相关编解码工[0050]为了减少跨分量冗余，在VVC中使用跨分量线性模型(CCLM)预测模式，对于该模9ba和Yb：+x1A+1)>>1；+y1A+1)>>1；[0071]图4示出了左侧样点和上方样点以及CCLM模式中所涉及的当前块的样点的位置的[0072]用于计算参数α的除法运算是利用查找表实现的。为了减少对表进行存储所需的地用于其它2种LM模式(被称为LM_A和LM_L模[0078]为了匹配4:2:0视频序列的色度样点位置，对亮度样点应用两种类型的下采样滤[0081]此参数计算是作为解码过程的一部分执行的，而不仅仅是作为编码器检索操I切片中启用了针对亮度分量和色度分量的单独的块分割结构，因此一个色度块可以对应[0089]在表2中，第一个二进制位指示其是常规模式(0)还是LM模式(1)。如果其是LM模应的intra_chroma_pred_mode的二值化表的第一个二进制位可以在熵编解码之前被丢弃。[0090]另外，为了减少双树中的亮度一色度时延，当64×64亮度编码树节点利用NotSplit(并且ISP不用于64×64CU)或QT进行分割时，允许32×32/32×16色度编码树节点中[0091]如果32×32色度节点不分割或被QT分割，则32×32节点中的所有色度CU都可以[0092]如果32×32色度节点利用水平BT分割，且32×16子节点不分割或使用垂直BT分亮度样点的因果重构数据和因果色度样点之间进行线性最小二乘解，以导出模型参数α和[0098]已经提出上文讨论的最小均方(LMS)的整数化(请参考等式(8)_(9))，作为针对[0099]如等式(1)中所讨论的，整数化设计利用线性关系对亮度信号和色度信号的相关A2[0137]k1＝Max(0,Log2(abs(a2))_5)–Max(0,Log2(abs(123456789a2s40424344454647lmDiv512496482468455443431420410400390372356349a2s4849lmDiv328315309303298293287282278273269264260还可以在其它两种MMLM模式(被称为MMLM_A模式和MMLM_L模式)中替代地样的经重构亮度样点。Threshold可以基于亮度和色度的平均值以及其最小值和最大值一AB是样点B的x坐标还可以在其它两种MMLM模式(分别被称为MMLM_A模式和MMLM_L模式)中替代地式包括五种传统的帧内模式和三种跨分量线性模型模式。色度模式信令及推导过程如表1于在I切片中启用了针对亮度分量和色度分量的单独的块分割结构，因此一个色度块可以[0199]在一个示例中，调整可用于使用块的上方和左侧的参考样点的CCLM模型(“LM_[0201]为了在编码器处启用缩放调整，编码器可以对Cr执行缩放更新的最佳值的基于[0204]ECM_4.0中针对色度分量启用的帧内预测模式是六种跨分量线性模型(LM)模式对当前块的第二邻近行和列的L形模板的每个经重构的亮度样点计算水平梯度和垂直梯度帧内预测模式(DIMD色度)和非LM模式与MMLM_LT使用具有最大的直方图幅度值的帧内预测模式执行当前色度块的色[0208]当从DIMD色度模式导出的帧内预测模式与从DM模式导出使用具有第二大直方图幅度值的帧内预测模式作为DI0123450度模式可以使用相等的权重与MMLM_L这两个预测器与具有从梯度推导的权重的平面模式预测器相结合，如JVET_O0449中所述。权重推导中的除法运算是利用与由CCLM使用的相同的基于查找表(LUT)的积分方案来执行模式中DC值的推导与参考行索引0的推导一致。MRL需要利用CTU存储3条邻近的亮度参考[0235]所提出的卷积7抽头滤波器由5抽头加符号形状空间分量、非线性项和偏差项组[0240]偏差项B表示输入与输出之间的标量偏移(类似于CCLM中的偏移项)，并且被设定[0243]通过将参考区域中的预测色度样点与经重构色度样点之间的MSE最小化来计算滤[0244]MSE最小化是通过计算针对亮度输入的自相关矩阵以及亮度输入与色度输出之间数。该过程大致遵循ECM中的ALF滤波器系数的计算，然而选择LDL分解而不是Cholesky分[0245]该模式的使用是利用CABAC编解码的PU级别标志用信号通知的。包括了一个新的值作为分数亮度样点位置)相关，并且使用利用普通最小二乘(OLS)的简单线性回归(SLR)同时与多个亮度预测样点相关(AC或DC相关)，因此多元线性回归(MLR)模型可以进一步提或本文中描述的其它分类器的不同实例进行组合。例如，第一分类器可以与现有的基于[0255]本领域技术人员将认识到，虽然在说明书中使用VVC标准中的现有CCLM设计作为将亮度_色度样点对划分成多个样点组来应用如果视频数据是RGB格式，则还可以通过简单地将YUV符号映射到GBR，来应用所提出的方[0258]考虑到一个色度样点可能同时与多个亮度样点相关的可能性，引入了利用MLR模[0259]对于将要预测的色度样点，经重构的同位和邻近亮度样点可以用于预测色度样i[0263]对于给定的CU，顶部和左侧经重构亮度和色度样点可以用于导出或训练FLM参数i,[0267]所提出的ELM/FLM/GLM(如下所讨论的)可以直接扩展到AV1标准中的CfL设计，该PPS/PH/SH/区域/CTU/CU/子块/样点级别处导出α和/或β,并且将其用信号通知给解码器，子块或样点级别中用信号通知或切换对一组滤波器定义滤波器形状(0,1,2,3,4,5)可以[0274]在本公开内容的另一方面中，可以从可用的经重构的样点填充用于导出MLR模型练数据(顶部和左侧邻近的经重构的亮度样点和法求解，则可以使用默认值来填充色度预测值。默认值可以被预定义或在SPS/DPS/VPS/[0290]以下示例表示矩阵A无法求解的情况，其中，可以将默认预测器分配给整个当前SQR是一个小值，其可以被预定义或在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/CTU/CU/子[0293]图11示出了使用顶部2个和/或左侧3个亮度行以及顶部1个和/或左侧1个色度行[0298]扩展的亮度/色度样点PPS/PH/SH/区域/CTU/CU/子块/样点级别中用[0301]2、与MRL类似，不同的行索引可以被预定义或在SPS/APS/PPS/PH/SH/区域/CTU/[0311]虽然上面讨论的FLM提供了最好的灵活性(得到最好的性能)，但是如果滤波器抽的方法/示例也可以应用于上面讨论的任何设计中，以在一定的复杂性权衡下获得更好的[0315]请注意，以下详细描述讨论了其中所提出的预运算可以重用于SLR模型/与SLR模型组合的场景(也被称为1抽头情况)，并且重用于MLR[0323]在本公开内容的一个方面中，所提出的新方法可以重用于上文讨论的CCLM/与上文讨论的CCLM结合，这利用了简单线性回归(SLR)模型并且使用一个对应的亮度样点值来移参数β:用多元线性回归(MLR)模型并且使用多个亮度样点值来预测色度样点值。这也被称为多抽样的邻近亮度样点值的基础上计算的水平或垂直样点差来导出多个缩放参数α中的至少一块的第i个邻近行和列的L形模板的每个经重构的亮度样点应用多个方向梯度滤波器。然器的方向确定为所导出的(亮度)梯度方向。例如[0335]以下示例涉及重用ECM_4.0中包括的用于亮度帧内预测的解码器侧帧内模式推导[0341]用于导出梯度方向的梯度滤波器的形状可以在形状上与GLM滤波器相同或不同。度_色度样点对包括利用所导出的线性模型预测的内部色度样点值)分类成2个组；对不同度样点的最小值/最大值进行等分，被固定或在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/固定的或在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/CTU/CU/子块/样点级别中用信号通[0362]在例如AVC/HEVC/AV1/VVC/AVS的已知标准开发中为CCLM/LIC(局部照明补偿)提MMLM分类和参数推导的除法LUT可以不同。例如，使用较低精度的LUT(如最小一最大中的[0366]大小约束可以根据CU面积/宽度/高度/深度。阈值可以被预定义或在SPS/DPS/CTU边界处时，使用仅一个亮度行(帧顶部模板可以限制为仅使用1行(而不是2行)进行参数位置相对应的滤波器的系数设定为零，使得仅使用来自第一区域的样点值来计算样点差。[0377]pred0是基于CCLM(包括[0379]不同的I/P/B切片可以具有不同的权重设计(w0和w1)，这取决于邻近块是利用CCLM/GLM/其它编码模式还是块大小/宽度不会引入额外的推导。这样的1抽头设计可以根据本公开内容的一个或多个方面进一步扩n预定义或在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/CTU/CU/子块/样点级别中用信号通[0388]一些梯度滤波器模式(诸如3×3Sobel或Prewitt算子)可以应用于经下采样的亮[0391]梯度滤波器模式可以与下采样亮度域中的其他梯度/通用滤波器模式组合。在一以使用低通/带通/全通系数替换。替换可以与上文讨论的FLM/CCCM形状切换进行组合(导同的滤波器抽头，其中，系数可以是高通滤波器(GLM)或者低通/带通/全通滤波器；针对C2使[0405]哪些CCCM/FLM抽头应用系数替换可以在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/CTU/CU/子块/样点级别进行预定义(如上例所示)或用[0406]对于每个CCCM/FLM抽头，用于CCCM/FLM下采样的系数候选可以在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/CTU/CU/子块/样点级别进行预[0411]在本公开内容的一个或多个方面中，可以引入一种或多种语法来指示关于GLM的PPS/PH/SH/区域/CTU/CU/子块/样点级别中用信[0420]在本公开内容的一方面中，Cb/Cr分量的GLM开启/关闭控制可以联合地或分开地用1个标志来指示Cb/Cr是否均有效。如果两者均不有效，则1个标志指示Cb或者Cr是有效[0421]在本公开内容的另一方面中，是否用信号通知GLM开启/关闭标志可以取决于亮采样的亮度参考值和/或不同的未经下采样的亮度参考的选择。一种或多种滤波器形状可[0429]在本公开内容中，参考样点/训练模板/经重构的邻近区域通常是指用于导出MLR的亮度参考值是未经下采样的。一个或多个预定义形状/数量的滤波器抽头可以用于基于关于TB/CB/切片/图片/序列级别的先前经解码信息的CC[0432]虽然多抽头滤波器可以很好地拟合训练数据(即，顶部/左侧邻近的经重构的亮CTU/CU/子块/样点级别中用信号通知/切换。一组滤波器形状候选可以被预定义，或者在[0435]可以从可用的经重构的样点填充对于导出MLR模型不可用的亮度/色度样点。例[0436]根据本公开内容的一个或多个实施例，可以跳过并且不使用对于导出MLR模型不[0440]在本公开内容中，参考样点/训练模板/经重构的邻近区域通常是指用于导出MLR预定义，或者在SPS/DPS/VPS/SEI/APS/PPS/PH/SH/区域/CTU/CU/子块/样点级别中用信号域/CTU/CU/子块/样点级别中用信号通知/切换。不同的分量(U/V)可以具有不同的参考区域选择可以在PH或CU/CTU级别中切换。不同的色度类型/颜色格式可以具有不同的预定义程被应用于训练数据(顶部/左侧邻近的经重构亮度/色度样点)和测试数据(CU中的亮度/[0446]根据本公开内容的一个或多个实施例，可以跳过并且不使用对于导出MLR模型不用于大于或等于预定义数量(诸如128)的样点，并且FLM/[0450]根据本公开内容的一个或多个实施例，用于FLM/GLM/ELM的预定义最小样点的数[0452]图20示出了根据本发明的一个或多个方面的、用于对视频数据进行解码的方法之间的样点差获得的至少一个经预运算的亮[0460]在一个示例中，一个或多个经预运算的亮度样点值还包括通过应用低通滤波器、高通滤波器或非线性滤波器中的一个获得的至少一个经亮度样点值的平方以及与视频块的亮度样点值范围相对应的中间色度值之和进行缩放获经预运算的亮度样点值的平方以及与视频块的亮度样点值范围相对应的中间色度值之和算的亮度样点值中的至少两个对应于不同的亮度位置并且是利用相同或不同滤波器获得[0468]图21示出了根据本公开内容的一个或多个方面的用于对视频数据进行编码的方之间的样点差获得的至少一个经预运算的亮[0476]在一个示例中，一个或多个经预运算的亮度样点值还包括通过应用低通滤波器、高通滤波器或非线性滤波器中的一个获得的至少一个经亮度样点值的平方以及与视频块的亮度样点值范围相对应的中间色度值之和进行缩放获经预运算的亮度样点值的平方以及与视频块的亮度样点值范围相对应的中间色度值之和算的亮度样点值中的至少两个对应于不同的亮度位置并且是利用相同或不同滤波器获得[0486]本公开的实施例可以体现为诸如非暂时性计算机可读介质之类的计算机可读介行编码操作并发送包括与上述预测色度样点相关联的经编码的视频信息或者将要获知的与贯穿本公开所描述的各种方面的元素等效的所有结构和功能在此都通