CN119487852A 用于视频处理的方法、装置和介质 （抖音视界有限公司）

PCT/CN2022/0974812022.06.2024.12.05PCT/CN2023/0988442023.06.07WO2023/236988EN2023.12.14本公开的实施例提供一种用于视频处理的进行编解码的帧内块复制模板匹配合并(IBC_TM_MERGE)模式的运动候选列表，邻近块是利用重建重新排序帧内块复制(RRIBC)模式来被编解2针对视频的当前块与所述视频的比特流之间的转换，基于所述当用于对所述当前块进行编解码的帧内块复制模板匹配合并(IBC_TM_MERGE)模式的运动候2.根据权利要求1所述的方法，其中调整被应用于所4.根据权利要求1至3中任一项所述的方法，其中所述运动候选列表包括第一运动候5.根据权利要求4所述的方法，其中所述第一运动候选的运动信息与所述邻近块的所7.根据权利要求6所述的方法，其中所述邻近块的所述运动信息通过添加运动偏移而8.根据权利要求1至3中任一项所述的方法，其中所述运动候选列表包括第一运动候9.根据权利要求4至8中任一项所述的方法，其中所12.根据权利要求11所述的方法，其中所述第一运动的所述翻转类型与所述邻近块的动候选列表中的运动候选不被允许基于所述14.根据权利要求13所述的方法，其中所述另一块的所述邻近块的运动信息和翻转类15.根据权利要求13所述的方法，其中所述另一块的所述邻近块的编解码信息不被允3针对视频的当前块与所述视频的比特流之间的转换，确定RRIBC模式是否被应用于所基于所述确定，生成用于对所述当前块进行编解码的帧内块复制高级运动矢量预测如果确定所述RRIBC模式未被应用于所述当前块，基于模板匹配来调整所述运动候选基于运动矢量差(MVD)阈值，确定关于第一运动候选是否与所述运动候选列表中的第26.根据权利要求22至25中任一项所述的方法，其中所述第一值或所述第二值中的至27.根据权利要求22至25中任一项所述的方法，其中所述第一值或所述第二值中的至28.根据权利要求22至25中任一项所述的方法，其中所述第一值或所述第二值中的至29.根据权利要求22至25中任一项所述的方法，其中所述第一值或所述第二值中的至430.根据权利要求22至25中任一项所述的方法，其中以与在IBC_TM_MERGE模式或帧间31.根据权利要求16至30中任一项所述的方法，其中块，并且与所述运动候选列表中的第三运动候选相对应的邻近块是利用所述RRIBC而被编32.根据权利要求31所述的方法，其中所述第三运动候选的运动矢量在被用于编解码33.根据权利要求31所述的方法，其中如果所述当前块的翻转类型与所述邻近块的翻者如果所述当前块的所述翻转类型与所述邻近块的所述翻候选的所述运动矢量在不被调整的情况下被用于编解码所34.根据权利要求16至30中任一项所述的方法，其前块，并且对应于所述运动候选列表中的第三运动候选的邻近块利用所述RRIBC而被编解35.根据权利要求34所述的方法，其中所述第三运动候选的运动矢量在不被调整的情36.根据权利要求34所述的方法，其中所述第三运动候选的运动矢量在被用于编解码37.根据权利要求32至33和35至36中任一项所述的方法，其中所述第三运动候选的所39.根据权利要求1至38中任一项所述的方法，其中40.根据权利要求1至38中任一项所述的方法，其中所述转换述指令在由所述处理器执行时使所述处理器执行根据权利要求1至40中任一项所述的方43.一种非暂态计算机可读记录介质，存储视频的由用于视频处理的装置执行的方法5基于所述视频的当前块的邻近块，生成用于对所述当前块进行编解码的IBC基于所述视频的当前块的邻近块，生成用于对所述当前块进行编解码的IBC45.一种非暂态计算机可读记录介质，存储视频的由用于视频处理的装置执行的方法6码(VVC)标准。然而，通常期望能够进一步提高视频编解码技术的编解码效率和编解码质[0005]根据本公开的第一方面的方法，基于利用RRIBC编解码的邻近块，针对IBC_TM_[0007]根据本公开的第二方面的方法，基于RRIBC模式是否被应用于当前块，针对IBC_指令的非暂态存储器。指令在由处理器执行时使处理器执行根据本公开的第一方面的方介质存储有使处理器执行根据本公开的第一方频的当前块的邻近块，生成用于对当前块进行编解码的IBC_TM_MERGE模式的运动候选列7录介质存储视频的由用于视频处理的装置执行的方法生成的比特流。该方法包括：确定[0019]图4示出了当前编码树单元(CTU)处理顺序及其在当前和左侧CTU中的可用参考样8技术术语具有与本公开所属领域的普通技术人员通常理解的含义[0036]本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施[0037]图1是图示可以利用本公开的技术的示例视频编解码系统1[0038]视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形系统和/或以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获9器200可以是图1所示的系统100中的视频编码器1[0048]模式选择单元203可以例如基于误差结果来选择多种编解码模式(帧内编码或帧间编码)中的一种编解码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编解码块以用作参考图205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经[0050]运动估计单元204和运动补偿单元205可以对当前视频块计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预[0054]在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视[0055]在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来[0058]残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块对应于当前视频块中样本的不同样本部分的残[0060]变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差[0061]在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关[0062]反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关[0063]在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频器300可以是图1所示的系统100中的视频解码器1频解码器300可以执行通常与关于视频编码器200所描述的编码过程[0068]熵解码单元301可以取回经编码的比特流。经编码的比特流可以包括经熵编码的[0070]运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法[0071]运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划[0072]帧内预测单元303可以使用例如在比特流中接收的帧内预测模式，以从空间相邻[0073]重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显视频编解码标准主要通过公知的ITU_T和ISO/IEC标准的发展而演进。ITU_T制定了H.261和H.263，ISO/IEC制定了MPEG_1和MPEG_4Visual，两个组织联合制定了H.262/以外的未来视频编解码技术，VCEG和MPEG于2015年联合创立了联合视频探索团队(JVET)。JVET会议每季度同时举行一次，新的视频编解码标准在2018年4月的JVET会议上被正式命和测试模型VTM在每次会议后都被更新。VVC项目在2020年7月的会议上实现了技术完成动矢量精度之间切换。IBC编解码的CU被视为除了帧内或帧间预测模式之外的第三预测模在基于哈希的搜索中，当前块和参考块之间的哈希键匹配(32位CRC)被扩展到所为了减少存储器消耗和解码器复杂度，VVC中的IBC仅允许预定义区域的重建部–如果当前块落入当前CTU的左上方的64×64块中，则除了当前CTU中已经重建的使用CPR模式参考左侧CTU的左下方64×64块中的参考样本和左侧CTU的右上方64×64块中–如果当前块落入当前CTU的右上方的64×64块中，则除了当前CTU中已经重建的–如果当前块落入当前CTU的左下方的64×64块中，则除了当前CTU中已经重建的CPR模式参考左侧CTU右下方64×64块中–如果当前块落入当前CTU的右下方的64×64块中，则只能使用CPR模式参考当前该限制允许使用用于硬件实现的本地片上存储–IBC可以与成对合并候选和HMVP一起使用。可以通过对两个IBC合并候选进行平与HEVC屏幕内容编解码扩展中不同，当前图片不再被包括作为用于IBC预测的参–IBC与常规MV合并共享相同的过程，包括成对合并候选和基于历史的运动预测–块矢量约束以比特流一致性约束的形式实现，编码器需要确保比特流中不存在ibcBuf[(x+bv[0])％wIbcBuVVC支持用于屏幕内容编解码的块差分脉冲编解码的调制(BDPCM)。在序列级别当启用BDPCM时，如果CU大小在亮度样本方面小于或等于MaxTsSize×MaxTsSize决于BDPCM预测方向)邻近位置的先前经编解码的残差)之产生具有元素的经修改的M×N阵列R,其中根据其邻近的经量化残差值来预测。对于CM(2-4)使用与变换跳过模式残差编解码中相同的残差编解码过程将预测的量化残差值VVC允许变换跳过模式用于大小达到MaxTsSize×MaxTsSize的亮度块，其中MaxTsSize的值在PPS中用信号通知并且可以至多为32。当CU以变换跳过模式被编解码时，–当所有先前标志等于0时，针对除了最后子块之外的每个子块对coded_sub_–sig_coeff_flag上下文建模使用简化的模板，并且sig_coeff_flag的上下文模–abs_level_gt1标志的上下文模型还取决于左侧sig_coeff_flag值和上方sig_–基于左侧和上方邻近值确定符号标志的上下文模型，并且在sig_coeff_flag之后解析符号标志以将所有上下文编解码的二元位(绝对水平大于1的标志(abs_level_gtx_flag[0])及奇偶校验(par_level_flag)进行编解扫描遍次#1和#2(第一扫描遍次和大于x扫描遍次)中的二元位经上下文编解码，sign_flag、abs_level_gt1_flag和par_level_flag。如果在对第一遍次进行编解码时的二元位对第二编解码遍次中的语法元素进行编解码，语法元素包括abs_level_gt3_图5示出了变换跳过残差编解码过程。星形标记在上下文编解码的二元位被耗尽伦布二值化过程(EG5)对量化逸出符号进行为从先前CTU行中的第一CTU导出的预测子，使得调色板预测子和CABAC同步之间的初始化信号通知1个上下文编解码的二元位run_copy_flag＝0以指示像素是否与先前的样本位置解码二元位copy_above_palette_indices_flag以指示当前样本的行程类型，即INDEX或对于具有双亮度/色度树的条带，调色板单独地应用于亮度(Y分量)和色度(Cb和情况的方式应用它们的调色板(这与非4:4:4编解码相关，并且将在2.1.4.1中进一步解的最大调色板表大小为31。对于用双树编解码的条带，最大预测子和调色板表大小减半，以与HEVCSCC中的调色板模式类似的方式，针对所有色度格式支持VVC中的调色而仅具有亮度分量但不具有色度分量，那么仅用信号通知亮度逸出值。这与HEVCSCC中相2.对于局部双树块，调色板模式以与应用于具有两个异常的单个T形块的调色板3.由此生成的调色板表包含来自步骤1中的聚类的质心的一些新条目，以及来自行类型COPY_ABOVE或运行类型INDEX相同，应用格图RD优化，为每个样本位置找到run_SCC中相同，ACT通过自适应地将残差从输入颜色空间转换到YCgCo空间而在预测残差域中ACT标志来适应性地选择两个颜色空间。当标志等于1时，CU的残差在YCgCo空间中被编解由于YCgCo_R变换未被归一化。为了补偿在颜色变换之前和之后残差信号的动态应用以下快速编码算法以在启用ACT时降低编–启用/禁用ACT的RD检查的顺序取决于输入视频的原始颜色空间。对于RGB视频，空间中存在至少一个非零系数的情况下检查第二颜–为了减少测试编解码模式的数目，在两个色彩空间之间共享所选择的编解码模帧内模板匹配预测(IntraTMP)是从当前帧的重建部分复制最佳预测块的特殊帧通过将当前块的L形因果邻居与图9中的预定义搜索区域中的另一块进行匹配来所有区域(SearchRange_w，SearchRange_h)的尺寸与每个像素具有固定数目的在IBC_TM合并模式中，所选择的候选在RDO或解码过程之前利用模板匹配方法来IBC_TM合并模式和AMVP模式两者的模板匹配细化是非常简单的，因为IBC运动矢矢量和在每个细化步骤中使用的模板必须遵于0的每个分量，大于1的标志被用信号通知，然后利用EG1码二值化旁路编解码的剩余幅在JVET_Z会议，提出了用于屏幕内容视频编解码的重建重新排序IBC(RR_IBC)模11A示出了用于水平翻转的BV调整的示例，且图11B示出了用于垂直翻转的BV调整的实例。以水平翻转被编解码的情况下，BVcur的水平分量通过将运动偏移添加到BVnbr的水平分量解码的情况下，BVcur的垂直分量通过将运动偏移添加到BVnbr的垂直分量(表示为BVnbrv)而curv＝2(ynbr_ycur)+BVnbrv。处的样本被表示为S(x,y)，并且在重新排序之后的区域中的位置(x,y)处的样本j.在一个示例中，是否和/或如何对样本重新排序可从编码器用信号通知给解码3.提出了除了重新排序过程之外的至少一个解析或解码过程可以取决于是否和/a.重新排序过程是否应用于重建/原始/预测块可取决于视频单元的经编解码信i.如果WT1和/或HT2。ii.如果WT1和/或HT2。v.如果W×HT。vii.如果W×HT。i.例如，视频单元的重建样本可在将经解码的残差添加到预测之后立即重新排3.是否和/或如何应用上文公开的方法可在序列级别/图片组级别/图片级别/条带级别/图块组级别处用信号通知，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条4.是否和/或如何应用上述公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其他种类的包含多于一个样本或像素的区域中用信号b.例如，假定帧内模板匹配使用标志指定视频单元是通过帧内模板匹配编解码视频单元的样本重新排序的使用。信号通知第一新语法元素(例如标志)，指定对过程以基于预定义的规则/过程来确定是否执行重新排序以及如何替进一步发信号通知重新排序方法，如何基于预定义规则/程序(无信令)来确定如何重新过程以基于预定义的规则/过程来确定是否执行重新排序以及如何程以基于预定义的规则/过程来确定是否执行重新排序以及如何3.是否和/或如何应用上文公开的方法可在序列级别/图片组级别/图片级别/条4.是否和/或如何应用上述公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其他种类的包含多于一个的样本或像素的区域中用信号b.例如，新候选列表可以仅考虑利用样本重新排序编解码的运ii.例如，可以插入与目标视频单元的重新排序方法相同的重新排序方法e.例如，用于目标视频单元的运动(预测)候选列表生成可以取决于重新排序方频单元的重新排序方法相同的重新排序方法被编解码f.例如，视频单元的合并候选的自适应重新排序(ARMC)可以取决于重新排序方元的重新排序方法相同的重新排序方法被编解码的运动候选可以被放置于利用不同重新(但不管样本重新排序方法的类型如何)被编解码的运动候选可以被放置于利用不同重新法被编解码的运动候选可以被放置于利用重新排序方法被编解码的那a.是否重新排序视频单元的重建/原始/预测样本可以从编码器和解码器两者处2.例如，成本/误差可以指第一模板中的样本与第二模板中的对应样本之间的差b.哪个重新排序方法被用以对重建/原始/预测样本进行重新排序可以从编码器2.例如，成本/误差可以指第一模板中的样本与第二模板中的对应样本之间的差c.是否使用或者使用哪种重新排序方法对视频单元的重建/原始/预测样本重新排序可以从编码器和解码器两者处的编解码信4.是否和/或如何应用上述公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别处被发信号通知，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/5.是否和/或如何应用上述公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其他种类的包含多于一个样本或像素的区域中被发信号MERGE模式的IBC_TM_MERGE列表AMVP候选，并且ECM代码中不存在RRIBC。因此，在IBC_TM被允许时如何构建基于RRIBC的4.1当近邻候选被编解码为RRIBC时，关于在RRIBC和IBC_TM之间的交互诸如如何a.在一个示例中，无论此IBC_TM合并候选的运动是否从经RRIBC编解码的邻近块a.在一个示例中，这种IBC_TM_MERGE候选的翻转类型被设置为等于经RRIBC编解a.在这种情况下，经RRIBC编解码的邻近块的运动和翻转类型可以被禁止添加到转类型不等于NO_FLIP)的情况下，AMVP候选可以不被允许通过模板匹配(例如，IBC_TM_c.例如，在IBC_AMVP列表生成过程中，根据当前视频单元是由RRIBC还是由非中的候选之间的相似性进行修剪过程)可以在不同的视iii.例如，K1和/或K2可以基于在编译码器中的现有编解码工具的相似转类型不等于NO_FLIP)且当前视频单元的MVP候选也是经RRIBC编解码b.在一个示例中，仅在当前视频单元的翻转类型和用于导出MVP候选的邻近块的翻转类型等于NO_FLIP)且当前视频单元的MVP候选是经配合并(IBC_TM_MERGE)模式的运动候选列表。邻近块利用重建重新排序帧内块复制码信息可以不被允许添加到另一运动候选列表被生成的并且被存储在非暂态计算机可读记录于当前块，则运动候选列表中的运动候选可以在不基于模板匹配被调整的情况下被生成。板匹配来调整运动候选列表中的运动候选。在一些实施例中，鉴于运动候选列表被用于[0090]鉴于以上内容，针对IBC_AMVP模式的运动候选列表是基于是否在当前块上应用[0106]条款5.根据条款4所述的方法，其[0108]条款7.根据条款6所述的方法[0112]条款11.根据条款4至8中任[0113]条款12.根据条款11所述的方法，其中所一运动候选列表中的运动候选不被允许基于所述另一块[0115]条款14.根据条款13所述的方法，其中所[0116]条款15.根据条款13所述的方法，其中所述当前块，则所述运动候选列表中的运动候选在不基于模板匹配被调整的情况下被生如果确定所述RRIBC模式未被应用于所述当前块，基于模板匹配来调整所述运动候选列表基于运动矢量差(MVD)阈值，确定关于第一运动[0123]条款22.根据条款21所述的方法，其中如果所述RRIBC模式未被应用于所述当前[0127]条款26.根据条款22至25中任一项所述[0128]条款27.根据条款22至25中任一项所[0129]条款28.根据条款22至25中任一项所述的[0130]条款29.根据条款22至25中任一项所述的[0131]条款30.根据条款22至25中任一项所述的方法，其中以帧间TM模式中所使用的MVD阈值相同的方式，所述第一值或所述第二值中的至少一项被确当前块，并且与所述运动候选列表中的第三运动候选相对应的邻近块是利用所述RRIBC而[0133]条款32.根据条款31所述的方法，其中所述[0134]条款33.根据条款31所述的方法，其的翻转类型相同，则所述第三运动候选的运动矢量在被用于编解码所述当前块之前被调运动候选的所述运动矢量在不被调整的情况下被用于编解码述当前块，并且对应于所述运动候选列表中的第三运动候选的邻近块利用所述RRIBC而被[0136]条款35.根据条款34所述的方法，其[0137]