CN119452641A 使用组合帧内模式对图像或视频编码和解码的方法和装置 （交互数字Ce专利控股有限公司）

2024.12.30PCT/EP2023/0669302023.06.22WO2024/002846EN2024.01.04使用组合帧内模式对图像或视频编码和解公开了一种用于对图像或视频的块编码或2基于第一帧内预测模式和第二帧内预测模式的组合来解码所基于第一帧内预测模式和第二帧内预测模式的组合来解码所基于第一帧内预测模式和第二帧内预测模式的组合来编码所5.根据权利要求1或3所述的方法或根据权6.根据权利要求1、3或5中任一项所述的方法或根一个是从包括方向帧内预测模式的第二帧内预测模7.根据权利要求1、3或5_6中任一项所述的方法或8.根据权利要求1、3或5_7中任一项所述的方法或根据9.根据权利要求1、3或5_8中任一项所述的方法或根据权313.根据权利要求3或5_12中任一项所述的方法或根据权利要求4_12中任一项所述的14.根据权利要求3或5_13中任一项所述的方法或根据权利要求4_13中任一项所述的16.根据权利要求3或5_15中任一项所述的方法或装置或根据权利要求4_15中任一项17.根据权利要求3或5_16中任一项所述的方法或根据权利要求4_16中任一项所述的22.根据权利要求19_21中任一项所述的方法或24.一种存储可执行程序指令的非暂时性计算机可读介质，所述可执行程序指令使得4频的数据，(ii)被配置为将包括代表图像或视频的数据的信号限制到频带的频带限制器，5[0002]本申请要求于2022年6月30日提交的欧洲申预测模式和第二帧内预测模式的组合对至少一个块预测模式和第二帧内预测模式的组合来解码67[0023]图2图示了视频编码器的实施例的框图，在该视频编码器内可以实现本实施例的[0024]图3图示了视频解码器的实施例的框图，在该视频解码器内可以实现本实施例的[0026]图5A和5B图示了推导属于ECM中的内部切片(slice)的亮度CB的通用MPM列表的示[0029]图8图示了待预测的WxH块周围的解码参考样本集的范围和允许的帧内预测角度[0031]图10图示了亮度CB的模板和在基于模板的帧内模式推导(TIMD)中使用的模板的[0036]图15图示了当前和左CTU中的当前CTU(编码树单元)处理次序以及其可用参考样[0045]图21A图示了根据实施例的用于用信号通知或解码比特流中或来自比特流的一个[0046]图21B图示了根据另一实施例的用于用信号通知或解码比特流中或来自比特流的8[0047]图21C图示了根据另一实施例的用于用信号通知或解码比特流中或来自比特流的[0048]图21D图示了根据另一实施例的用于用信号通知或解码比特流中或来自比特流的[0049]图21E图示了根据另一实施例的用于用信号通知或解码比特流中或来自比特流的[0050]图22图示了根据另一实施例的用于用信号通知或解码比特流中或来自比特流的[0051]图23A和23B图示了根据另一实施例的用于用信号通知或解码比特流中或来自比所描述的任何方法对视频数据编码或解码的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存9[0061]系统100包括至少一个处理器110，所述至少一个处理器110被配置为执行加载在[0062]系统100包括编码器/解码器模块130，该编码器/解码器模块130被配置为例如处[0063]将被加载到处理器110或编码器/解码器130上以执行本申请中描述的各种方面的程序代码可以被存储在存储设备140中，并且随后被加载到存储器120上以供处理器110执外部的存储器(例如，处理设备可以是处理器110至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG_2(MPEG指代运动图片专家组，MPEG_2也被称为ISO/IEC[0066]在各种实施例中，框105的输入设备具有如本领域中已知的相关联的相应输入处130，它们与存储器和存储元件相组合地操作，以按照需要处理数据流以在输出设备上呈[0069]系统100包括通信接口150，该通信接口150使能经由通信信道190与其他设备通信。通信接口150可以包括但不限于被配置为通过通信信道190发送和接收数据的收发器。通信接口150可以包括但不限于调制解调器或网卡，并且通信信道190可以在例如有线和/的通信信道190和通信接口150接收的。这些实施例的通信信道190通常连接到接入点或路他过顶通信。其他实施例使用机顶盒向系统100提供流数据，该机顶盒通过输入块105的[0071]系统100可以向各种输出设备提供输出信号，所述各种输出设备包括显示器165、器)。在实施例的各种示例中，其他外围设备185包括独立的数字视频盘(或数字通用盘)[0072]在各种实施例中，使用信令在系统100和显示器165、扬声器175或其他外围设备集成在单个单元中。在各种实施例中，显示接口160包括显示驱动器，例如时序控制器(T替代地与一个或多个其他部件分离。在显示器165和扬声器175是外部部件的各种实施例[0074]可以通过由处理器110实现的计算机软件或者通过硬件或者通过硬件和软件的组内模式或帧间模式中的哪一个来编码该单元，并通过例如预测模式标志来指示帧内/帧间[0080]运动细化模块(272)使用已经可用的参考图片，以便在不参考原始块的情况下细化块的运动场。用于区域的运动场可以被认为是用于该区域中所有像素的运动向量的集果单个运动向量用于该区域，则用于该区域的运动[0084]特别地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器200生处理中推导的并且在比特流中用信号通知的预测(CIIP)之类的一些工具也执行帧内预测和帧间预测之[0096]为了捕获自然视频中呈现的任意边缘方向，在VVC中将方向帧内预测模式的数量这些更密集的方向帧内预测模式适用于所有块大小以及亮度和色度帧内预测二者。在VVC中被细化，其中来自VVC的用于方向帧内预测模式的四抽头插值变成了ECM中的六抽头插[0102]在ECM(目前是ECM_4.0)中，通用MPM列图5A从左到右示出了在待预测的当前亮度CB属于帧内切片的情况下候选帧内预测模式索预测模式索引不存在于MPM的通用列表中，则在索引i的槽处插入当前帧内预测模式索引，并且在索引i+1的槽处插入下一个候选帧内[0104]在图6A和6B中描绘了被选择来预测ECM(当前为ECM_4.0)中的当前亮度CB的帧内为1意味着当前亮度CB上方的第二行解码参考样本和当前亮度CB左侧的第二列解码参考样[0106]图7中示出了在ECM(当前为ECM_4.0)中被选择来预测当前色度CB对的帧内预测模解码参考样本的范围和允许的帧内预测角度的范围之间的关系。表1呈现了在VVC和ECM中[0112]图9示出了对于宽度严格大于其高度的非正方形块，角度帧内模式如何被广角模[0114]对于图10(a)中的给定亮度CB(1003)，以下经由TIMD的模式推导在编码器和解码默认模式，TIMD模式从模板(1002)的解码参考样本确定亮度CB的模板(1000和1001)的预2ht+2H解码参考样本集(1002)预测当前亮度CB的模板。在图10(c)中，当前W×H亮度CB(1003)被其模板包围，其中仅其左侧的其wt×H部分(1000)是可用的。在TIMD推导步骤期间，测试的帧内预测模式从模板的1+2wt+2W+2H解码参考样本集(1002)预测当前亮度CB的W/H2W/H4W/H8W/H16W/H32W/H1无H/W2H/W4H/W8H/W16H/W32预测器组合。利用交叉分量线性模型(CCLM)所使用的相同的基于查找表(LUT)的积分方案何分区索引和两个合并索引(每个分区一个)被用的IPM候选分别是相对于GPM块边界的平行角度模式(平行模式)、相对于GPM块边界的垂帧内和帧内预测的GPM被限制在具有帧内的GPM中，以减少IPM的信令开销并避免硬件解码不存在相同的IPM候选，则可以注册从ECM_3.1中的解码器侧帧内模式推导(DIMD)方法和/具有与运动向量差的合并的GPM(GPM_MMVD)023458AAAAAALLLLAAAAAALLLL[0156]在第四变型(测试d)中，除了第三变型之外，还可以利用具有带模板匹配的GPM[0158]帧内块复制(IBC)是SCC上的HEVC扩展中采用的工具。IBC工具显著改进了屏幕内容材料的编码效率。由于IBC模式被实现为块级编码模式，因此在编码器处执行块匹配式适用于其中宽度和高度二者均小于或等于64个亮度样[0160]在基于哈希的搜索中，当前块和参考块之间的哈希键匹配(32位CRC)被扩展到所[0163]IBC跳过/合并模式：合并候选索引用于指示来自相邻候选IBC编码块的列表中的[0166]为了减少存储器消耗和解码器复杂性，VVC中的IBC仅允许预定义区域的重建部还可以参考左CTU的左下角64×64块中的参考样本和左CTU的右上角64×64块中的参考样[0173]IBC是用于屏幕内容编码的有效工具。它还示出了以编码时间显著量增加为成本改以将每样本块向量搜索(或称为局部搜索同帧间预测过程来推导CIIP模式中的帧间预测信号Pinter；并且帧内预测信号Pintra是在利[0179]如果顶部邻居可用并且是帧内编码的，则将isIntraTop设置为1，否则将[0186]本文结合图19_26描述了用于对图像或视频的块编码或解码的方法和装置的实施中基于这样的组合来预测块的模式被称为亮度[0187]本文描述的任何一个实施例可以在图像或视频编码器/解码器的帧内预测模块中帧内预测模式集包括方向帧内预测模式(IPM)。从第一帧内预测模式集之中获得第一帧内模式集还可以包括不捕获块的方向特征或者仅捕获块的信号的较低频率的任何其他帧内内预测模式中的一个或多个：VVC或ECM的67个方向帧内预测模式中的一个或多个模式、[0193]图19A图示了根据实施例的用于对图像或视频的块编码的方法1900的示例。在[0194]图19B图示了根据实施例的用于对图像或视频的块解码的方法1910的示例。在[0195]图20A图示了根据另一实施例的用于对图像或视频的块编码的方法2000的示例。它预测(诸如，第二帧内预测模式或另一帧内预测模式或帧间预测模式)获得针对块的预[0202]图20B图示了根据另一实施例的用于对图像或视频的块解码的方法2010的示例。示第一帧内预测模式的一个或多个语法元素模式可以以与结合图19B描述的实施例中相同的方式或者使用下面进一步描述的任何其他下面进一步描述用于组合第一块预测器和第二块预测器的实它预测(诸如，第二帧内预测模式或另一帧内预测模式或帧间预测模式)获得针对块的预[0207]图20C图示了根据另外实施例的用于对图像或视频的块解码的方法2020的示例。第一块预测器或任何其它预测(诸如，第二帧内信号通知第二帧内预测模式的IPM索引。在下文中，假设要组合的方向帧内预测模式是从[0220]在其中第一预测模式被确定为MIP模式的变型中，可以使用以下变型来推导第二[0222]在那些实施例中，当MIP模式被用作两个帧内预测模式的组合(亮度帧内融合)的[0223]在变型中，两个帧内预测模式的组合(亮度帧内融合)总是应用于重新训练的矩帧内预测模式的标识不招致信令成本，(2)由于亮度帧内融合总是应用于MIP模式(第一帧[0224]在其中第一预测模式被确定为IBC模式的变型中，可以使用以下变型来推导第二[0225]在实施例中，在使用IBC作为第一帧内预测模式对亮度CB使用亮度帧内融合的情[0226]在实施例中，亮度帧内融合的应用被限制于由所使用的IBC运动向量指向的块是预测器块时用于第一预测器块的权重集之中[0230]图21A图示了根据实施例的方法2100的示例，该方法2100用于在比特流中用信号的实施例组合。这里假设使用组合了第一帧内预测模式和第二预测模式的预测对块编码，[0231]图21B图示根据另一实施例的用于用信号通知或解码比特流中或来自比特流的一[0232]图21C图示根据另一实施例的用于用信号通知或解码比特流中或来自比特流的一20C描述的实施例组合。这里假设使用组合了第一帧内预测模式和第二预测模式的预测对[0234]图21D图示根据另一实施例的用于用信号通知或解码比特流中或来自比特流的一20C描述的实施例组合。这里假设使用组合了第一帧内预测模式和第二预测模式的预测对以与结合图21A_21B_21C描述的实[0235]图21E图示根据另一实施例的用于用信号通知或解码比特流中或来自比特流的一20C描述的实施例组合。这里假设使用组合了第一帧内预测模式和第二预测模式的预测对一和第二帧内预测模式的权重，如下面进一步描述的。该实施例可以与结合图21A_21B_在TIMD(相应地DIMD)被用于推导亮度帧内融合的第二帧内预测模式的实施例中，当TIMD帧内预测模式——例如方向帧内预测模式——器的过程，以推导亮度帧内融合中涉及的第二帧内预测模式——例如方向帧内预测模[0250]在应用亮度帧内融合之前，我们称predA为由亮度帧内融合模式的第一帧内预测如为亮度帧内融合选择的方向模式(即，从例如由TIMD或DIMD过程选择的帧内模式的预于亮度帧内融合的一些实施例中，可以在TIMD模板上计算第一帧内预测模式的SATD成本costA。其中costB是TIMD找到的最佳基于方向的模式的成本，最终权重可以推导为α=根据本文描述的实施例中的任一个所描述的亮度融合模式来预测块。该装置包括处理器[0264]在图25中图示的实施例中，在通信网络NET上的两个远程设备A和B之间的传输环[0269]指示第二帧内预测模式是从解码器侧帧内模式推导获得还是从基于模板的帧内[0270]对于比特流中的至少一个块，指示第一帧内预测模式是否将与第二帧内预测模[0272]指示将由所述第一帧内预测模式使用的矩阵的指示符，所述第一帧内预测模式[0273]指示来自被用于从亮度融合模式中的第一帧内预测模式获得的预测的权重集之实施例中，这样的过程还或者替代地包括由本申请中描述的各种实现的解码器执行的过括例如对于系统级或应用级标准常见的方式，诸如将信息放入以下各项中的一个或多个[0284]e.通过HTTP传输的HLS(HTTP实时流种技术中的任一个来执行优化，但是优化不一定是对编码成本和相关失真二者的完整评请的各种地方中出现的任何其他变型不一定全部指代同第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个个或多个语法元素、标志等用于向对应的解码器发信号通知信息。虽然前面涉及单词