CN119487549A 用于视频处理的方法、装置和介质 （字节跳动有限公司）

2025.01.03PCT/US2023/0694932023.06.30WO2024/011074EN2024.01.11针对视频的视频单元与视频单元的比特流之间2针对视频的视频单元与所述视频单元的比特流之间的转换，通过2.根据权利要求1所述的方法，其中所述多个滤波器被应用于所述视频单元的跨分量其中F(Y)表示所述目标滤波器，{Y}表示所述第一颜色4.根据权利要求1所述的方法，其中在所述多个滤波器中的目标滤波器中涉及的至少S其中F(Y)表示所述目标滤波器，{Y}表示所述第一颜色第一颜色分量的样本的位置取决于所述第二颜色分器包括当所述第一颜色分量为Y且所述第二颜色分量为Cb或Cr时下采样或按比例缩小的过3本对应的所述多个滤波器中的目标滤波器所涉及的所述第一颜色分量中的第i个样本的位20.根据权利要求16所述的方法，其中与所述第二颜色分量中的所述特定样本对应的所述目标滤波器所涉及的所述第一颜色分量中的样本处于以下一个或多个21.根据权利要求20所述的方法，其中与所述第二颜色分量中的所述特定样本对应的的具有6个抽头的所述目标滤波器所涉及的所述第一颜色分量中的所述样本处于所述位置22.根据权利要求16所述的方法，其中所述目标滤波器中所涉及的样本的位置取决于23.根据权利要求16所述的方法，其中所述目标滤波器中所涉及的样本的位置取决于所述第一颜色分量或所述第二颜色分量中的至少一项。24.根据权利要求16所述的方法，其中所述目标滤波器中所涉及的样本的位置取决于解码树单元(CTU)或CTU行中的一个26.根据权利要求16所述的方法，其中所述目标滤波器中所涉及的样本的位置取决于所述视频单元的交叉分量线性模型(CCLM428.根据权利要求16所述的方法，其中在一位置处的滤波器抽头的滤波器系数被设定30.根据权利要求29所述的方法，其中如果所述目标滤波器中所涉及的所述样本不可31.根据权利要求30所述的方法，其中所述样本被填充有所述样本的最近的可用样本32.根据权利要求31所述的方法，其中所述最近的可用样本被涉及于所述目标滤波器33.根据权利要求1所述的方法，其中候选滤波器集合的至少一个候选滤波器被用于滤波所述第一34.根据权利要求33所述的方法，其中至少一个滤波器候选的系数被从编码器指示给40.根据权利要求39所述的方法，其中所述系数通过使用经解码的样本值的最小均方或42.根据权利要求33所述的方法，其中用以编解码不同颜色分量的所述候选滤波器集43.根据权利要求33所述的方法，其中用以编解码不同颜色分量的所述候选滤波器集44.根据权利要求33所述的方法，其中所述候选滤波器集合取决于所述视频单元的编546.根据权利要求1所述的方法，其中关于所述多个滤波器的47.根据权利要求46所述的方法，其中指示被选择滤波器的语法元素被指示在以下一48.根据权利要求46所述的方法，其中所述语法元素通过算术编解码中的至少一个编或确定编解码模式是否被应用于针对所述视频单元的跨分量预测54.根据权利要求53所述的方法，其中所述编解码模式是否被允许是在以下一项中从658.根据权利要求55所述的方法，其中如果所述视频单元的宽度和所述视频单元的高61.根据权利要求53所述的方法，其中语法元素是否被65.根据权利要求61所述的方法，其中针对至少两个分量，所述语法元素单独地被指767.根据权利要求61所述的方法，其中所述语法元素利用算术编解码中的至少一个编68.根据权利要求61所述的方法，其中在所述语法元素之后与针对所述跨分量预测的71.根据权利要求68所述的方法，其中所述另一语法元素指示用以导出目标滤波器的72.根据权利要求1所述的方法，其中关于所75.根据权利要求72所述的方法，其中目标滤波器的成本被导出为所述第二颜色分量在第一位置集合处的重建样本和所述第一位置集合处的对应预测值的以76.根据权利要求75所述的方法，其中所述第一位置集合包括邻近所述视频单元的样78.根据权利要求76所述的方法，其中所述第一样本位置集合取决于邻近样本的可用80.根据权利要求78所述的方法，其中所述邻近样本相邻于所述视频单元或不相邻于81.根据权利要求80所述的方法，其中所述邻近样本包括所述视频单元上方的K行样82.根据权利要求80所述的方法，其中所述邻近样本包括所述视频单元左侧的K列样884.根据权利要求83所述的方法，其中所述目标滤波器被用于在第二位置集合处生成85.根据权利要求84所述的方法，其中生成的样本和重构的样本被用于导出针对所述86.根据权利要求85所述的方法，其中所述至少一个线性模型是使用LMSE方法或最小87.根据权利要求85所述的方法，其中所述至少一个线性模型使用针对视频编解码的基于多模型的跨分量线性模型色度帧内预测(MMLM)中的88.根据权利要求85所述的方法，其中所述至少一个线性模型被应用以在所述第一位90.根据权利要求88所述的方法，其中额外操作被应用于利用所述至少一个线性模型92.根据权利要求85所述的方法，其中是否导出或使用所述至少一个线性模型取决于93.根据权利要求92所述的方法，其中如果CCLM模式被应用94.根据权利要求92所述的方法，其中如果MMLM模式被应用99.根据权利要求75所述的方法，其中所述第一位置集合或所述第二位置集合中的至置集合或所述第二位置集合中的至少一者包括所述置集合或所述第二位置集合中的至少一者包括所述103.根据权利要求102所述的方法，其中所述第一颜色分量的样本由第一滤波器滤波9104.根据权利要求103所述的方法，其中所述第二集合的经滤波样本在CCLM的过程中被用作与所述第二颜色分量中的样本对应的所述第一颜色分105.根据权利要求103所述的方法，其中所述第二集合的经滤波样本进一步由第三滤106.根据权利要求105所述的方法，其中所述第三集合的经滤波样本在CCLM的过程中被用作与所述第二颜色分量中的样本对应的所述第一颜色分其中scaleX(n)和scaleY(n)表示在第n次滤波之前的样本和所述第二颜色分量的样本的117.根据权利要求115所述的方法，其中经滤波的所述亮度样本被自适应地进一步滤118.根据权利要求1_117中任一项所述的方法，其中所述目标滤波器是多级滤波的级120.根据权利要求1所述的方法，其中如果所述第一颜色分量的样本在所述CCLM的过122.根据权利要求120所述的方法，其中目标滤波器的导出过程被针对Cb分量及Cr分123.根据权利要求120所述的方法，其中所述目标滤波器的滤波器索引被针对Cb分量124.根据权利要求1所述的方法，其中如果所述第一颜色分量的样本在CCLM的过程中126.根据权利要求124所述的方法，其中目标滤波器的导出过程被针对Cb分量及Cr分127.根据权利要求126所述的方法，其中所述导出过程取决于Cb分量和Cr分量中的一128.根据权利要求124所述的方法，其中所述目标滤波器的滤波器索引被针对Cb分量滤波器在所述第一颜色分量中生成所述样本值的指示基于所述视频单元的经编解码的信息，确定是否和/或如何通过应用所述多个滤波器133.根据权利要求1_132中任一项所述的方法，其中所述转换包括将所述视频单元编134.根据权利要求1_132中任一项所述的方法，其中所述转换包括从所述比特流解码述指令在由所述处理器执行时，使所述处理器执行根据权利要求1_134中任一项所述的方通过将多个滤波器应用于第一颜色分量的至少一个样本，生成所通过将多个滤波器应用于第一颜色分量的至少一个样本，生成所[0001]本申请要求2022年07月05日递交的申请号为63/358,442的美国临时申请和2022ITU_TH.265高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准已被提议用于视频与视频单元的比特流之间的转换，通过将多个滤波器应用于第一颜色分量的至少一个样介质存储使得处理器执行根据本公开的第一方[0010]提供本公开内容是为了以简化的形式介绍以下在具体实施例中进一步描述的概本文描述的公开内容可以以除了下面描述的方式之外的各种方术语具有与本公开所属领域的普通技术人员通常理解的[0029]图1是示出可以利用本公开的技术的示例视频编解码系统100的框图。如所示出[0030]视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供方接收视频数据的接口、用于生成视频数据的计算机图形系统和/或特流可以包括经编解码的图片和相关联的数据。经编解码的图片是图片的经编解码表示。以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获[0040]模式选择单元203可以例如基于误差结果来选择多种编解码模式(帧内或帧间)中205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经[0042]运动估计单元204和运动补偿单元205可以对当前视频块计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预[0046]在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视[0047]在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模频块执行帧内预测时，帧内预测单元206可以基于相同图片中其他视频块的经解码样本来[0050]残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块对应于当前视频块中样本的不同样本部分的残[0052]变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差[0053]在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关[0054]反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关[0055]在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频[0056]熵编码单元214可以从视频编码器200的其他功能分量接收数据。当熵编码单元频解码器300可以执行通常与关于视频编码器200所描述的编码过程[0060]熵解码单元301可以取回经编码的比特流。经编码的比特流可以包括经熵编解码亚像素精度被使用的插值滤波的标识符可以[0062]运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信[0063]运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划[0064]帧内预测单元303可以使用例如在比特流中接收的帧内预测模式，以从空间邻近[0065]重构单元306可以例如通过将残差块与由运动补偿单元202或帧内预测单元303生冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显可以单独地或以各种组合被应用于任何图像/视频编解码标准或非标准图像/视频编解码视频编解码标准主要通过公知的ITU_T和ISO/IEC标准的发展而发展起来。ITU_T定了H.262/MPEG_2视频(Video)和H.264/MPEG_4高级视频编解码(AVC)和H.265/HEVC标准。新的视频编解码标准命名为多功能视频编解码(VVC)，并且此时VVC测试模型(VTM)的第一为了捕获自然视频中呈现的任意边缘方向，VVC中的方向性帧内模式的数量从33在VVC中，使用非正方形块的广角帧内预测模式自适应地替换若干常规角度帧内为了保持最可能模式(MPM)列表产生的复杂性较低，考虑两种可用的邻近帧内模–否则，如果模式落入组B中，那么可将[1,2,1]参MDIS条件)参考样本以进一步根据所选择的方向将这些经滤波的值复制到帧内预测器中，考样本以生成落入根据所选择的方向的参考样本BA和yB被导出为：0A+x1A+1)>>10B+x1B+1)>>10A+y1A+1)>>10B+y1B+1)>>1b图7示出了在CCLM模式中涉及的左侧和上方DivTable[]＝{0,7,6,5,5,4这将具有降低计算复杂度以及用于存储所需表格所需的存储为了匹配用于4:2:0视频序列的色度样本位置，将两种类型的下采样滤波器被应于在I条带中启用用于亮度及色度分量的单独块划分结构，一个色度块可对应于多个亮度表3_3_启用cclm_时来自亮度模式的色度预–如果32x32色度节点是未分割或经划分的QT分割，那么32x32节点中的所有色度–如果32x32色度节点利用水平BT被划分，且32x16子节点不分割或使用垂直BT分以上部分给出了VVC规范中的单模跨分量线性模型预测，其将当前编解码块及其亮度和色度样本分成两组，然后每组具有一个模型/函数以调制属于该组的亮度和色度样1.具有多个滤波器以生成对应于第二颜色分量(例如Cb/Cr)的样本的第一颜2)在一个示例中，多个滤波器中的一个滤波器(被表示为F(+…6)在一个示例中，滤波器F中所涉及的第一分量的样本的位置可取决于第二分量7)在一个示例中，滤波器F中所涉及的第一分量的样本的位置可以取决于颜色格e.在一个示例中，对应于第二分量中的特定样本的F中涉及的第一分量中的样本l.在一个示例中，如果F中所涉及的样本不可用(如在当前图片/条带/图块/CTU2滤波器中的至少一个候选滤波器可以被用于对第b.系数可被二值化为固长码//(截断)一元码b.在一个示例中，滤波器F的成本可被导出为第一位置集合处的第二分量的重建样本和与第一位置集合处的对应预测值的绝对差的总和(SAD)或平方差的总和(SSD)或绝a)在一个示例中，滤波器F可被用于在第二位置集合处生成对应于第二分量的重a.在一个示例中，可以使用如在JEM中定义的LMSE方法或VVC中定义的最小值_最a)在一个示例中，第一位置集合可以包括在当前块上方的两行样本和/或在当前b)在一个示例中，第二位置集合可以包括当前块上方的一行样本和/或当前块左a.在一个示例中，可在CU/TU/PU/CTU/条带/图片中用信号发送语法元素SE(例如vi.P5:(scaleX(n)*xC+1vii.P6:(scaleX(n)*xviii.P7:(scaleX(n)*x其中scaleX(n)和scaleY(n)表示在第n次滤波之前的样本和第二分量的样本的缩放在i.例如，(仅)当应用特定模式，例如常规CCLM和/或CCLM_L和/或CCLM_T和/或和Cr的两个分量可以具有不同的X_flags，并且关于是否执行多滤波器方法他们被不同地两个分量可以具有相同的X_flag，并且关于是否执行多滤波器方法它们以相同方式来处vi.X_flag可用算术编解码中的至少一个9.是否及/或如何应用上述公开的方法可在序列级别/图片组级别/图片级别/条带级别/图块组级别例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/PPS/条带头/图块组头10.是否和/或如何应用上述公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/的包含多于一个的样本或像素其他种类的区域处被用信号发一种自感知滤波器估计CCLM(SAFE_CCLM)方法被提出来探索不发信号通知滤波器c5}＝滤波器候选计算经重建的色度样本与其对应预测值之间的SAD成本。最后，选择具有最小或Sn+g(S0格式，目标滤波器包括当第一颜色分量为Y且第二颜色分量为Cb或Cr时下采样或按比例缩中的目标滤波器所涉及的第一颜色分量中的第i个样本的位置，并且scaleX和scaleY分别应的多个滤波器中的目标滤波器所涉及的第一颜色分量中的第i个样本的位置，并且[0079]在一些实施例中，与第二颜色分量中的特定样本对应的的具有6个抽头的目标滤[0088]在一些实施例中，关于多个滤波器的滤波器选择信息被从编码器指示给解码[0089]在一些实施例中，语法元素通过算术编解码中的至少一个编解码上下文被编解[0092]在一些实施例中，如果视频单元的宽度和视频单元的高[0097]在一些实施例中，语法元素利用算术编解码中的至少一个编解码上下文被编解[0099]在一些实施例中，关于多个滤波器的滤波器选择在编码器和解码器两者处被导第一位置集合或第二位置集合中的至少一者包的经滤波样本进一步由第三滤波器滤波以生成第三集合的经滤波样本。在一些实施例中，第三集合的经滤波样本在CCLM的过程中被用作与第二颜色分量中的样本对应的第一颜色[0111]在一些实施例中，第n个滤波级中所涉及的样本处于以下位置中的一个或多个：P0:(scaleX(n)*xC,scaleY(n)*yC)，P1:(scale[0118]在一些实施例中，是否和/或如何通过应用多个滤波器在第一颜色分量中生成样应于第二颜色分量的样本的第一颜色分量的样本值；以及基于生成的样本值生成比特流；[0124]条款2.根据条款1的方法，其中多个滤[0126]条款4.根据条款1的方法，其中在括当第一颜色分量为Y且第二颜色分量为Cb或Cr时下采样或按[0138]条款16.根据条款1的方法，其中xL＝scaleX*xC+OffX，和/或yL＝scaleY*yC+对应的多个滤波器中的目标滤波器所涉及的第一颜色分量中的第i个样本的位置，并且[0141]条款19.根据条款16的方法，其中OffX和OffY取决于样本的序列值(i)并且是整[0142]条款20.根据条款16的方法，其[0144]条款22.根据条款16的方法，其中目[0145]条款23.根据条款16的方法，其中目标[0146]条款24.根据条款16的方法，其中目[0148]条款26.根据条款16的方法，其中[0150]条款28.根据条款16的方法，其中在一[0156]条款34.根据条款33的方法，[0162]条款40.根据条款39的方法，其中系数[0164]条款42.根据条款33的方法，其中用以编解[0165]条款43.根据条款33的方法，其中用以[0169]条款47.根据条款46的方法，其中指[0170]条款48.根据条款46的方法，其中语法元[0176]条款54.根据条款53的方法，其中编[0180]条款58.根据条款55的方法，其中如果视[0189]条款67.根据条款61的方法，其中[0190]条款68.根据条款61的方法，其中在[0197]条款75.根据条款72的方法一位置集合处的重建样本和第一位置集合处的对应预测值的以下一项：绝对差的总和[0206]条款84.根据条款83的方法[0207]条款85.根据条款84的方法，其中[0209]条款87.根据条款85的方法，其中至[0210]条款88.根据条款85的方法，其中至少一[0212]条款90.根据条款88的方法，其中[0214]条款92.根据条款85的方法，其中是[0221]条款99.根据条款75的方法，其中第一[0225]条款103.根据条款102的方[0226]条款104.根据条款103的方法，其中第二集合的[0227]条款105.根据条款103的方法，其[0228]条款106.根据条款105的方法，其中第三集合的[0239]条款117.根据条款115所述的方法，[0240]条款118.根据条款1_117中任一项所[0242]条款120.根据条款1的方法，其中如[0244]条款122.根据条款120的方法，其中目标滤波器