CN119452638A 用于对图像或视频进行编码和解码的方法和装置 （交互数字Ce专利控股有限公司）

2024.12.20PCT/EP2023/0666302023.06.20WO2023/247533EN2023.12.28用于对图像或视频进行编码和解码的方法一种用于对图像或视频块进行编码和解码基于根据该块的至少一个特性进行修改的参考2一基于所述块的所述至少一个交叉分量模型和重构亮度样本来预测所述块的色度样2.一种装置，包括一个或多个处理器，其中所一基于所述块的所述至少一个交叉分量模型和重构亮度样本来预测所述块的色度样3.根据权利要求1所述的方法或根据权利要求24.根据权利要求1或3所述的方法或根据权利要求2或3所述的和色度样本是位于所述块的所述参考区域中的重构亮度样本5.根据权利要求3所述的方法或装置，其中基于所述块的至少一个特性来修改所述参其中基于所修改的参考区域来获得所述至少一个交叉分量模度样本和共置色度样本来确定所述至少一个交叉6.根据权利要求5所述的方法或装置，其中响应于确定所述参考亮度样本具有与所述块的所述重构亮度样本相同的特性而在所述块的所述参考区域中选择参考亮度样本和共8.根据权利要求7所述的方法或装置，其中表示所述块的所述重构亮度样本的值的所9.根据权利要求8所述的方法或装置，其中从所述块的所述重构亮度样本的平均值和10.根据权利要求5至9中任一项所述的方法或装置，其中基于所修改的参考区域来获311.根据权利要求10所述的方法或装置，其中将所述第一值确定为所述块的所述重构12.根据权利要求10所述的方法或装置，其中基于所述块的所述重构亮度样本和所选样本和共置色度样本还基于参考亮度样本子述参考亮度样本子集中的参考亮度样本来确定所15.根据权利要求13和14中任一项所述的方法或装置，其中所述参考亮度样本子集包及位于所述块的左侧的一列或多列中且位于所述块的参考色度样本和所述第二预测色度样本之间确定的第二失真来选择所述第一交叉分量模17.根据权利要求1或3所述的方法或根据权利要求2或3所述的装置，其中所述块的所20.根据权利要求17和19或根据权利要求18和19所述的方法或装置，其中经编码的指示符或所述第一指示符与所述第二指示符组合在用视频数据21.根据权利要求7、18和19所述的方法或装置参考区域中的所有参考亮度样本均在所述范围内而修改所述参考22.根据权利要求7、18和19所述的方法或装置423.根据权利要求1和3至22中任一项所述的方法或根据权利要求2至22中任一项所述扩展所述参考区域；24.根据权利要求1和3至22中任一项所述的方法或根据权利要求2至22中任一项所述25.根据权利要求21所述的方法或装置，其中如果所述第一指示符指示基于所选参考26.根据权利要求17至25中任一项所述的方法或装置，其中所述第一指示符用视频数27.根据权利要求17或26所述的方法或装置，其中响应于所述块的大小或响应于用于确定交叉分量模型的给定模式而用视频数据对经编码的指示符或所述第一指示符进行编28.根据权利要求1和3至27中任一项所述的方法或根据权利要求2至27中任一项所述29.根据权利要求1和3至27中任一项所述的方法或根据权利要求2至27中任一项所述30.一种计算机程序产品，包括用于使一个或多个处理器执行根据权利要求1和3至2931.一种非暂时性计算机可读介质，其存储可执行程序指令以使执行所述指令的计算机执行根据权利要求1和3至29中任一项56[0002]本申请要求于2022年6月21日提交的欧洲申请号22305896.7和于2022年9月30日[0003]本实施例一般涉及视频压缩。本实施例涉及一种使用交叉分量模型来确定对图色度样本确定至少一个交叉分量模型的参考区域；基于块的至少一个特性来修改参考区预测色度样本的方法的任一实施例来预测图像或视频的预测色度样本的方法的任一实施例来预测图像或视频的至少一个交叉分量模型和块的重构亮度样本来预一个块执行：识别用于根据参考亮度和色度样本确定至少一个交叉分量模型的参考区域；7选参考亮度样本和共置色度样本来确定至少一个交叉分[0016]在一种变体中，响应于确定参考亮度样本具有与块的重处理器执行时使得一个或多个处理器执行根据本文所述的任何实施例的用于预测色度样本或编码/解码图像或视频数据的方法。本实施例中的一个或多个还提供非暂时性计算机可读介质和/或计算机可读存储介质，其上存储有用于根据本文所述方法预测色度样本或[0026]图7示出了用于帧内预测的卷积交叉分量模型的变体中的卷积滤波器的空间部分[0027]图8示出了在交叉分量模型预测模式的变体中用于导出滤波器系数的带填充的参[0030]图11示出了根据实施例的用于使用交叉分量帧内预测来预测块的色度样本的方[0031]图12A示出了根据实施例的用于使用交叉分量帧内预测来编码块的色度样本的方[0032]图12B示出了根据实施例的用于使用交叉分量帧内预测来解码块的色度样本的方8[0034]图14示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法的示[0035]图15示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法的示[0036]图16示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法的示[0037]图17示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法的示[0039]图19示出了CU重构亮度样本和用虚线框标示的参考重构亮度样本子集的另一示[0040]图20示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法的示[0045]图25示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法的示的计算机可读存储介质和/或存储有根据所述任何方法生成的比特流的计算机可读存储介9[0057]系统100包括编码器/解码器模块130，其例如配置成处理数据以提供经编码的视[0058]加载到处理器110或编码器/解码器130上以执行本申请中描述的多个方面的程序备(例如，处理设备可以是处理器110或编码器/解至少一个实施例中，快速外部动态易失性存储器2部分)或VVC(多功能视频编码，由联合视频专家组JVET正在开发的新标准))的工作存储[0061]在多种实施例中，方框105的输入设备具有本领域中已知的相关的各自的输入处执行这些功能中的多种，例如包括将接收信号下变储元素结合操作以根据需要处理数据流以在输出口150可以包括但不限于配置成通过通信信道190发送和接收数据的收发器。通信接口150会))向系统100进行数据的流式传输。这些实施例的Wi_Fi信号通过适配用于Wi_Fi通信的显示器165和扬声器175可在电子设备(例如电视机)中与系统100的其它构件集成在单个单RF部分是单独的机顶盒的一部分。在显示器165和扬声器175为外部构件的多种实施例中，[0069]实施例可通过由处理器110实施的计算机软件或通过硬件或通过硬件和软件的组(202)并例如以CU(编码单元)为单位进行处理。每个单元例如使用帧内或帧间模(275)和补偿(270)。编码器决定(205)使用帧内模式或帧间模式中的哪一[0074]运动细化模块(272)使用已经可用的参考图片来细化块的运动场，而无需参考原量和其它语法元素进行熵编码(245)以输出比特流。编码器可以跳过变换并直接对未变换行逆量化(240)和逆变换(250)以解码预测残差。结合(255)经解码的预测残差和经预测的系数进行逆量化(340)和逆变换(350)以解码预测残差。结合(355)经解码的预测残差和经4:2:0转换为RGB4:4:4)或执行预编码处理(201)中执行的重映射过程的逆过程的逆重映色度样本及其对应的下采样亮度样本来导出CCLM参数(α和β)。存在3种CCLM模式(LM_y1Ba和Yb的推导如下：+x1A+1)>>1+y1A+1)>>1出了将邻近样本分为两组的示例。将阈值确定为邻近重构亮度样本的平均值。具有低于或等于阈值的值的相邻亮度样本被分类到第一组，具有高于阈值的值的相邻亮度样本被分类到第二组。导出两个CC模型，其中针对每个类根据该类的相邻亮度和色度样本导出一个CC如果当前块大小大于给定值，则使用多模型预测模式)来进行是否使用单中使用一个指示符(例如一个标志)来对是否使用单模型或多模型的选择进行编码。[0095]还基于与相邻亮度样本分类相同的规则对要预测色度样本的CU的亮度样本进行片段B和E的最接近样本进行填充。HEVC帧内图片预测使用最近的参考线(即参考线0)。在[0102]P＝(C*C+midVal)>>bitDepth，其中midVal是在bitDepth下[0105]偏置项B表示输入和输出之间的标量偏移(类似于CCLM中的偏移项)，并设置为中[0108]通过将参考区域中预测和重构色度样本之间的MSE最小化来计算滤波器系数ci。[0109]通过计算用于亮度输入的自相关矩阵和亮度输入与色度输出之间的互相关向量遵循ECM中ALF滤波器系数的计算，但是选择LDL分解(又称替代式Cholesky分解)而不是[0113]图9示出了使用交叉分量亮度模型进行色度预测的方法900的示例。方法900可用型允许根据CU的共置的(下采样的)重构亮度样本值来导出色度计信息)可能与当前CU中重构亮度样本的信号特性不同，这会影响用于预测当前CU色度样[0118]根据本公开的一方面，对图9中所示的用于使用交叉分量亮度模型进行色度预测的方法900进行了修改，以更好地匹配当前CU的重构亮度样本的信号特性。在一些实施例[0119]当前CU附近的一些重构亮度样本值的信号特性可能与当前CU重构亮度样本值的法还可以用于对块进行解码的方法、对包括该块的图像或视频进行解码的方法中的任一它交叉分量帧内预测。下面描述的任一种实施例都可以在图像或视频编码器/解码器的帧[0122]图11示出了根据一实施例的用于使用交叉分量帧内预测来预测块的色度样本的本来预测块的色度样本。然后，可以使用所预测的色度样本来对块的色度样本进行编码述了方法1100中的步骤1110或112[0124]在1310处，在当前CU的邻域中选择具有所确定范围内的值的参考重构亮度样CU的重构亮度样本值的平均值(μ)和标准偏差(σ)以及正态/高斯模型获得的范围(min2，[0129]在图14中所示的另一实施例中，参考样本的选择(910)相对但使用当前CU的重构亮度样本值来导出(1420)用于对参考样本进行分类并导出若干CC模型的阈值。例如，阈值是当前CU的重构亮度样本值的平均值。方法1400的其它步骤(910、[0130]图15示出了另一实施例，其是图13和图14所示实施例的组合。参考样本的选择可用于用通过一种方法获得的值来校正通过另一种方法获得的值。例如，第一阈值度样本值的平均值，然后可以将最终阈值确定为第一和第二阈值的加权组合，例如3/考样本的特征，而是使用当前CU重构亮度样本和参考重构亮度样本子集来计算这些特征由位于当前亮度块上方的前n行参考重构亮度样本和位于当前亮度块左侧的前n列参考重CU上方的前n行参考重构亮度样本和位于当前亮度CU左侧的前n列参考重构亮度样本组成，[0137]使用邻近区域(a)中的所有重构亮度参考样本{refLuma(a)}导出(2030)CC6(多)如果在2030处使用CC多模型，则为邻近区域中的参考样本确定阈值并对参考样本进行分[0138]仅使用具有与当前CU重构亮度样本相同的特性的重构亮度参考样本{refLuma[0139]在2040处，使用在2030处导出的CC(多)模型(a)来预测所选参考重构亮度样本集[0140]在940处，使用在930处导出的CC(多)模型(b)来预测所选参考重构亮度样本集与图13至图1相关的上述一个或多个实施例以及其它交叉分量预测模式进号通知指示使用哪些实施例或其它交叉分量预测模式来预测块/当前C[0148]在一些实施例中，参考区域和/或对参考区域中的参考样本的选择通过视频数据哪个邻近区域(例如区域A或区域B)来本的过程没有影响(即，通过在参考区域中选择用于确[0157]图25示出了根据另一实施例的用于使用交叉分量模型进行色度预测的方法2500[0162]在2530处，可以通过添加来自另一个区域(例如区域B)的样本或用另一个区域中的其它样本来替换参考区域的所选样本或删除所选样本26中的2610)中的样本子集(例如图26中的区域2615)进行测试(2520)。这可能具有以下优[0168]在可以与任何先前变体/实施例组合的另一种变体中，仅针对当前块大小的一些[0169]在另一变体中，第一指示符indS表示指示用于推导CC模型的方法的改变的信一指示符indS未编码或第一指示符indS已编码且设置为0时，将对块使用第一方法或第二27中的当前CU)上方的部分重构块、位于块右上方的部分重构块、位于块左侧的部分重构所有可用的候选修改参考区域以确定CC模型，并且选和编码色度样本的失真和编码成本)的候选修改参考区域或初始参考区域，并相应地设置图12A和12B中所示的方法1200和1201用于根据本文所述任一实施例使用CC模型来预测色度[0184]该装置包括处理器2110，并且可通过至少一个端口与存储器2120互连。处理器[0186]在图22所示的实施例中，在两个远程设备A和B之间通过通信网络NET的传输环境这样的过程还包括或替代地包括本申请中描述的多种实施方式的解码旨在具体指操作子集还是一般地指更广泛的编码过程将基于具体描述的上下文来变得清仅选择第一个和第三个列出的选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，