CN119497873A 用于视频处理的方法、装置和介质 （字节跳动有限公司）

2025.01.06PCT/US2023/0695012023.06.30WO2024/011076EN2024.01.11本公开的实施例提供一种用于视频处理的括当前视频块的帧同位；以及基于确定执行转2针对视频的当前视频块与所述视频的比特流之间的转换，基于候选4.根据权利要求1_3中任一项的方法，其中所述候选帧来自解码图针对视频的当前视频块与所述视频的比特流之间的转换，确定7.根据权利要求5或权利要求6所述的方法，8.根据权利要求7所述的方法，其中所述另一同位帧的所述另一信息至少指示包括所9.根据权利要求8所述的方法，其中所述另一同位帧的所述另一信息进一步指示所述于阈值，则所述第一参考帧列表中的所述另一同位帧的参考索引不被包括在所述比特流11.根据权利要求8_10中任一项所述的方法，其中没有参考帧被包括在第二参考帧列针对视频的当前视频块与所述视频的比特流之间的转换，确定的帧同位的多个同位帧，与所述多个同位帧相关联的多个语法元素被包括在所述比特流13.根据权利要求12所述的方法，其中所述多个语法元素包括与所述多个同位帧中的14.根据权利要求13所述的方法，其中所述第一同位帧由所述第一语法元素和所述第二语法元素标识，并且所述第一语法元素和所述第二语法元素与不同的参考帧列表相关315.根据权利要求13或权利要求14所述的方法，其中所述第一同位帧多次被包括在所第二时域信息与包括所述第一同位帧的第二参考帧列表16.根据权利要求15所述的方法，其中所述第一时域信息包括所述第一参考帧列表中17.根据权利要求16所述的方法，其中所述第一运动矢量和所述第二运动矢量以组合如果确定所述当前视频块的多个候选帧的数目小于预定基于所述多个候选帧的数目和所述预定义数目，从所述多个候选帧如果确定候选帧与所述多个同位帧中的每个同位帧基于参考帧列表中的所述同位帧的参考索引，确定所述多个同位21.根据权利要求12_20中任一项所述的方法，其22.根据权利要求12_20中任一项所述的方法23.根据权利要求12_20中任一项所述的方24.根据权利要求23所述的方法，其中如果所述多个同位帧中的第二同位帧的第二优则所述第三参考帧列表是所述第一参考帧列表或所述4则所述第三参考帧列表是所述第一参考帧列表或所述针对视频的当前视频块与所述视频的比特流之间的转换，基于所述至少一个运动移位列表确定所述当前视频块的目标运动29.根据权利要求28所述的方法，其中所述至少一个运动移位列表中的候选运动移位基于所述至少一个运动移位列表确定所述当前视频块的候选，32.根据权利要求31所述的方法，其中所述候选基于所述至少一个运动移位列表中的基于经编解码的块或经编解码的编解码单元(CU)确定所述至少一个运动移位列表中确定与所述运动信息相关联的运动矢量(MV)是否指向所述当前视频块的至少一个同将所述MV添加到所述至少一个运动移位列表中作为所述35.根据权利要求34所述的方法，其中在利用所述至少一个运动移位列表中的另一候36.根据权利要求33所述的方法，其中所述候选运动移位包括来自邻近块或邻近CU的38.根据权利要求33所述的方法，其中所述候选运动移位包括来自非邻近块或非邻近541.根据权利要求40所述的方法，其中所述MV列表包括基于历史的运动矢量预测44.根据权利要求33_43中任一项所述的方法，其中所述候选运45.根据权利要求28_44中任一项所述的方法，其中所述至少46.根据权利要求28_45中任一项所述的方法，其中第一47.根据权利要求28_46中任一项所述的方法，其中48.根据权利要求47所述的方法，其中所述至少一个运动移位列表的数目是所述同位49.根据权利要求47或权利要求48所述的方法，其中确定所述至少一个运动移位列表针对所述当前视频块的同位帧，将与参考列表中的运动矢量(MV51.根据权利要求28_46中任一项所述的方法52.根据权利要求28_51中任一项所述的确定所述当前视频块的候选运动移位的运动信息，所述运动信如果确定所述MV指向所述当前视频块的至少一个同位帧653.根据权利要求28_52中任一项所述的方法54.根据权利要求53所述的方法，其中所述至少一个候选基于所述至少一个运动移位55.根据权利要求53或权利要求54所述的方法，其中所述至少一个候选基于所述至少56.根据权利要求55所述的方法，其中所述至少一个候选在不使用所述至少一个运动基于所述至少一个运动移位列表中的运动移位候选的相应度量，58.根据权利要求57所述的方法，其中所述一组运动移位候选包括来自所述至少一个运动移位列表中的第一运动移位列表的第一数目的运动移位候选和来自所述至少一个运60.根据权利要求59所述的方法，其中所述至少一个候选中的预定义数目的候选被包将来自所述第一运动移位列表的第一运动移位候选的第一成本与来自所述第二运动如果确定所述第一成本小于所述第二成本，基于所62.根据权利要求61所述的方法，其中所述第一运动移位列表中的所述第一运动移位候选的第一索引与所述第二运动移位列表中的所述第二运动移位候选的第二索64.根据权利要求53_62中任一项所述的方65.根据权利要求1_64中任一项所述的方法，其中所述转换包括将所述当前视频块编766.根据权利要求1_64中任一项所述的方法，其中所述转换包括从所述比特流解码所68.一种非暂态计算机可读存储介质，存储有使处理器执行根据权利要求1_66中任一69.一种非暂态计算机可读记录介质，存储有由视频处理装置执行的方法生成的视频基于所述候选帧的帧类型，确定与所述视频的当前视频块相关基于所述候选帧的帧类型，确定与所述视频的当前视频块相关71.一种非暂态计算机可读记录介质，存储有由视频处理装置执行的方法生成的视频确定与包括所述视频的当前视频块的帧同位的多个同位确定与包括所述视频的当前视频块的帧同位的多个同位73.一种非暂态计算机可读存储介质，存储有由用于视频处理的装置执行的方法生成确定与包括所述视频的当前视频块的帧同位的多个同位帧，与确定与包括所述视频的当前视频块的帧同位的多个同位帧，与75.一种非暂态计算机可读存储介质，存储有由用于视频处理的装置执行的方法生成8基于所述至少一个运动移位列表确定所述当前视频块的目标运动基于所述至少一个运动移位列表确定所述当前视频块的目标运动9[0001]本申请要求于2022年7月6日递交的申请号为63/358,859的美国临时申请的优先合在本申请中。运动移位列表确定当前视频块的目标运动移位，目标运动移位与以下中的至少一项相关的目标运动移位，该目标运动移位与以下中的至少一项相关联：仿射控制点，时域MVP[0024]图4示出了高级运动矢量预测(AMVP)或合并候选列表结构中使用的空域和时域相[0028]图8示出了示出使用当前块的子块的运动信息的具有子块运动的块的模板和参考具有与本公开所属领域的普通技术人员共同理解[0042]本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施[0043]图1是示出可以利用本公开的技术的示例视频编解码系统100的框图。如所示出[0044]视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形系统和/或编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获器200可以是图1所示的系统100中的视频编码器1[0054]模式选择单元203可以例如基于误差结果来选择多种编码模式(帧内编解码或帧间编码)中的一种编码模式，并且将所产生的帧内编解码块或帧间编码块提供给残差生成205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经[0056]运动估计单元204和运动补偿单元205可以对当前视频块计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视之间的多个空域位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预[0060]在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视[0061]在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来[0064]残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块对应于当前视频块中样本的不同样本部分的残[0066]变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差[0067]在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关[0068]反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关[0069]在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频[0070]熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元器300可以是图1所示的系统100中的视频解码器1频解码器300可以执行通常与关于视频编码器200所描述的编码过程[0074]熵解码单元301可以取回经编码的比特流。经编码的比特流可以包括经熵编码的亚像素精度被使用的插值滤波的标识符可以[0076]运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信[0077]运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划[0078]帧内预测单元303可以使用例如在比特流中接收的帧内预测模式，以从空域邻近[0079]重构单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显2.介绍预测(MVP)作为传递运动信息的有效机制应运而生。早期的策略只是使用指定邻近块的MV并候选和零MV候选被添加到MVP候选列表。一旦可用合并候选的数目达到用信号传输的最在VVC中，通过引入基于历史的MVP(HMVP)进一步改进了针对合并模式的构建过MVP被插入在TMVP和HMVP之间，其中非相邻空域候选与当前编解码块之间的距离基于当前是基于DCT的插值滤波器(DCTIF)和平滑插值滤波器(SIF)。DCTIF的构建方式与HEVC和VVC中色度分量运动补偿所使用的方式相同。SIF是通过将2抽头线性插值滤波器与[121]/4双线性插值滤波器用于生成分数样本，用于VVC中解码器端运动矢量细化(DMVR)的搜索过模板匹配(TM)合并/AMVP模式是一种解码器端MV推导方法，通过查找当前图片中之间最接近的匹配来细化当前CU的运动信息。图6示出了示出在初始MV周围的搜索区域上搜索，在[–8，+8]像素搜索范围内从全像素MVD精度(或4像素AMVR模式)开始细化此MVP候后仍保持与自适应运动矢量分辨率(AMVR)模式指示的相同MV匹配可以作为基于块和基于子块的双边匹配(BM)方法之间的独立过程或额外的MV细化过的候选通过RDO过程被选择的概率较高，因此应被放置在列表中的前部位置以减少信令成重排序方法应用于常规合并模式、模板匹配(TM)合并模式和仿射合并模式(不包对于子块大小等于Wsub*Hsub的基于子块的合并候选，上面的模板包括几个大小前块的第一行第一列的子块的运动信息被用于推导每个子位图片中的运动场来促进更精确的MVP导出。TMVP所使用的相同同位图片被用于SbTVMP。使用来自当前CU的空域相邻块中的一者的M图10示出了导出通过基于邻近运动信息应用运动移位获取的子CU运动场的图作以将时域运动矢量的参考帧与当前CU的参应当注意的是，提出的MVP列表构建策略可以被用于正常合并和AMVP列表构建过2.MVP列表中允许的最大非相邻TMVP5.与TMVP候选和当前编解码块相关联的非相邻区域之间的距离可以与当前块的b)在一个示例中，可使用平方误差(SSE)、绝对差值和(SAD)、绝对变换差值和/CIIP/MMVD/GPM/TPM/子块合并模式)，可以对联合组非相邻MVP和HMVP候选进行3.在一个示例中，可以针对包含类别内的部分可用联合组MVP候选来进行排序过规/仿射AMVP模式，可以针对来自一个或多个类别的所有或部分联合组候选来进行排序过13.提出MVP列表构建过程可以涉及单个组/类别的重排序和包含来自多于一个类3.在一个示例中，在MVP列表构建过程中分别重排序一个或多个单个组和一个或应类别中具有最小成本的MVP候选被选择并包括在M过以模板匹配成本的升序遍历联合组中的候选来导出TMVP以及HMVP候选用模板匹配成本被一起排序，并且对应类别(或组)中具有最小成本的a)在一个示例中，联合组或独立组中的被包括到MVP列表中的候选取决于模板匹b)在一个示例中，是否将独立组或联合组内的候选放入MVP列表中取决于模板匹c)在一个示例中，独立组或联合组内的多少个候选被包括到MVP列表中取决于模插入到对应的单个组或联合组中的MVP列表中的最19.MVP候选的修剪旨在增加MVP列表内的多样性，这可以通过使用适当的24.在应用上述排序方法的MVP列表之后，还可以应用自适应重排序合并候选a)在一个示例中，可以在ARMC中进一步利用在MVP列表构建期间在排序过程中使1.提出在参考模板生成过程中用其他方式代替帧间预测信号生成过程的运动补及/或如何使用以上方法可在比特流中用信号传输或根据经解码的信息在运行中2.在被添加到候选列表之前，是否和/或如何执行EMCD可以基于候选列表内的最a)在一个示例中，假设可用候选(可以用于构建候选列表的有效候选)的数目是则仅当NAVAL_NMAX大于恒定或自适应地导出的阈值T时EMCD才被启用。4.提出利用至少一个模板成本的第一编解码工具计算的一条信息可以由第二编解码工具利用至少一个模板成本再使用。1)现有MVP候选列表构建方法通常在候选修剪过程中使用统一阈值，这没有充分本公开提出了一种基于模板匹配成本排序的优化的MVP列表推导方法。研究了一种通过利用重构模板区域中的匹配成本的优化的MVP选择方法，而不基于预定义的遍历顺应当注意的是，提出的用于MVP列表构建的策略可以被用于常规合并和AMVP列表构建过程中，并且还可以被轻松地扩展到需要MVP导出的其它模块，例如，与运动向量差该组内的每一候选可能被选择为MVP候选列表中的候选。运动移位候选列表表示在视频编解码过程中指向同位帧的一组MV候选。子CU级别MVP候选列表表示提供子CU级别运动场的下面的详细实施例应被视为解释一般概念的示例。这些实施例不应被狭隘地解a)阈值可以被用于确定潜在候选是否可以被ii.例如，如果潜在候选的MV的所有分量与候选列表中存在的候选的MV的b)在一个示例中，可以对多个单个/联合组执行多遍次重排序，其中至少两个单在这种情况下，MVP列表中的至少一个位置被保留用于虚拟候选(例如，成对MVP和/或零邻候选和HMVP的联合组被重排序并且随后被附加到MVP列表。在这种情况下，为虚拟候选a)在一个示例中，单个/联合组被构建为具有由最大数目Ni约束的有限数目的候1)在一个示例中，编码器和解码器可以基于第i组的所有可用运动信息的方差来d)在一个示例中，利用至少一个组中或组间的至少一个修剪操作来执行单个/联或所有候选以与它们被包括在组中的顺序相同的顺序被a)在一个示例中，在第一遍次修剪中，用于两个单个/联合组的修剪阈值可以相a)在一个示例中，存储在K个同位帧中的至少一个中的运动矢量可以被用于对当a)SK可以被选择为同位帧可以取决于待编解码帧与i.在一个示例中，如果参考列表或DPB中的N(N>1)个帧相对于待编解码帧具等的POC距离，则具有较大(或较小)QP(或相大(或较小)POC(或相对于待编解码帧的绝对10.可在比特流中用信号传输多个语法元素以识别多个同位帧，ii.在一个示例中，同一同位帧可由可在不同参考帧列表中的不同语历K(K>＝0)个位置以包括TMVP/MVP候选列表中的TMVP，其中K对于每个同位帧可以是相同对于被检查的第i个位置，以优先级的降序遍历所有同位帧中的特定位置，并且将可用的ii.在一个示例中，低优先级同位帧是选自列表0还是列表1可13.所提出的同位帧可以用于视频编码过程中的任何编码工具，包且将前M(M>＝0)个候选包括在最终合并候选15.提出构建至少一个运动移位列表以以导出SbTMVP/AFFINE控制点/TMVP的运动17.可以构建K(K>＝1)个运动移位列表以导出至少一个SbTMVP/AFFINE控制点/则在执行冗余校验之后将该MV插入到为当19.H(H>＝1)SbTMVP/AFFINE控制点/TMVP候选可以被包括在子CU/CU层级MVP候选a)在一个示例中，运动移位列表中的部分或全部候选用于导出SbTMVP/AFFINE控b)在一个示例中，至多Q(Q＞0)个运动移位被用于导出一个运动移位列表中的c)在一个示例中，不使用运动移位来导出某些运动移位列表中的SbTMVP/AFFINE20.在每个运动移位列表中具有最小度量成本的前M(M>0)个候选可以被用于导出b)在一个示例中，可以进一步重新排序基于运动移位的经构建的SbTMVP/AFFINE使用哪一者来导出SbTMVP/AFFINE控制点21.在运动移位用于导出SbTMVP/AFFINE控制点/TMVP候选之前，可以首先通过模a)在一个示例中，可以通过对列表中的任意K(K>1)个移位求平均来构建运动移23.SbTMVP候选的重新排序。一旦基于从一个或多个运动移位列表中选择的运动ii.在一个示例中，将部分SbTMVP候选与所有仿射候选一ii.在一个示例中，在具有最高优先级的同位帧中的SbTMVP候选的全部(N>0)，则该SbTMVP可以被放置在经排序的子CU级别MVP候选列表中的第一(或任24.在一个示例中，可在用于定位TMVP或sbTMVP的至少一个同位帧中的位置之前可共同用于导出最终运动移位(表示为SMf)以定位用于的候选来附加MVP列表，直到遍历联合组中的所有候选，或者MVP列表达到Nmax-1，其中遍历并且MVP列表仍然具有空闲位置，则不属于联合组的剩余候选项将按预定义顺序被包组，然后以与常规/CIIP/MMVD/GPM/TPM/子块合并模式相同的方式进行修剪过程和模板匹不属于联合组的剩余候选项将按预定义顺序被包括在MVP列表中，直到列表达到Nmax-1。最果联合组内的所有候选均被遍历并且MVP列表仍然具有空闲位置，则不属于联合组的剩余在一个示例中，在待编解码的帧发起编解码过程之前导出K(例如，K＝2)个同位对于当前帧较近的POC距离/绝对QP距离)的那些帧被指K个TMVP候选列表。然后基于模板或双边匹配成本分别对这些TMVP列表进行重新排序。然索引(或相对于当前帧的距离)的升序来检在另一实例中，在待编解码的帧发起编解码过程之前导出K个(例如，K＝2)同位动移位列表进行重新排序，并且使用具有最低成本的前T个候选来导出SbTMVP候选，然后可以被实现用于视频的当前视频块与视频的比特[0082]在框1210处，根据候选帧的帧类型确定与当前视频块关联的候选帧是否为同位可以被实现用于视频的当前视频块与视频的比特[0093]方法1300使得能够在比特流中包括部分同位帧，而不在比特流中包括其他同位可以被实现用于视频的当前视频块与视频的比特[0105]方法1400使得能够在比特流中包含多个语法元素以标识[0110]在一些实施例中，第一运动矢量和第二运动矢量以组合方式被包括在比特流位帧中的第二同位帧来自与第一参考帧列表[0117]在一些实施例中，如果多个同位帧中的第二同位帧的第二优先级低于第一优先可以被实现用于视频的当前视频块与视频的比特个运动移位列表确定当前视频块的目标运动移位。目标运动移位与仿射控制点、时域MVP[0130]在一些实施例中，候选基于至少一个运动移位列表中的单个运动移位列表来确运动信息；确定与运动信息相关联的运动矢量(MV)是否指向当前视频块的至少一个同位[0142]在一些实施例中，候选运动移位通过使用以下编解[0145]在一些实施例中，至少一个运动移位列表的数目基于当前视频块的同位帧的数与参考列表中的运动矢量(MV)相关联的运动候选添加到至少一个运动移位列表的对应运[0151]在一些实施例中，当前视频块的至少一个候选被包括在运动矢量预测(MVP)候选动移位列表的第一数目的运动移位候选和来自至少一个运动移位列表中的第二运动移位移位候选的第一成本与来自第二运动移位列表的第二运动移位候选的第二成本进行比较；[0171]条款4.根据条款1_3中任一项所述的方法，其中所述候选帧来自解码图片缓冲的至少一个同位帧的信息不存在于所述比特流中；以及基于所述多个同位帧执行所述转[0175]条款8.根据条款7所述的方法，其[0176]条款9.根据条款8所述的方法，其中所所述第一参考帧列表中的所述另一同位帧的参[0178]条款11.根据条款8_10中任一项所[0180]条款13.根据条款12所述的方法，其[0181]条款14.根据条款13所述的方法，其[0182]条款15.根据条款13或条款14所述的第二时域信息与包括所述第一同位帧的第二参考帧列表[0183]条款16.根据条款15所述的方法，其中所述第一表中的第一运动矢量，并且所述第二时域信息包括所述第二参考帧列表中的第二运动矢[0184]条款17.根据条款16所述的[0191]条款24.根据条款23所述的[0192]条款25.根据条款24所述的方法，其[0193]条款26.根据条款24所述的方法，其[0194]条款27.根据条款24所述的方法，[0196]条款29.根据条款28所述的方法，其中位列表确定所述当前视频块的候选，所述候选包括以下中的至少一项：仿射控制点候选，[0199]条款32.根据条款31所述的方法，[0202]条款35.根据条款34所述的方法，其[0203]条款36.根据条款33所述的方法，其中[0205]条款38.根据条款33所述的方法，其中所[0215]条款48.根据条款47所述的方法，[0216]条款49.根据条款47或条款48所述[0219]条款52.根据条款28_51中任一项所述的方法其中确定所述至少一个运动移位列余校验之后将所述候选运动移位添加到所述至少一个运动移[0221]条款54.根据条款53所述的方法，[0222]条款55.根据条款53或条款54[0223]条款56.根据条款55所述的方法，所[0225]条款58.根据条款57所述的方法，一个运动移位列表中的第一运动移位列表的第一数目的运动移位候选和来自所述至少一[0227]条款60.根据条款59所述的方法，