CN114554197B 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置 （联发科技股份有限公司）

2022.05.27201980026329.62019.04.15视频编解码系统中具有重叠块运动补偿的用于编解码当前块的示例性视频处理方法以及装置通过重叠的子块运动补偿将所述当前叠区域的多个重叠子块的多个原始预测子推导编解码块的示例性视频处理方法以及装置通过将MV改变成整数MV或者将MV分量改变成整数分2根据所述当前块的宽度确定用于所述当前块的左边边界的重叠块运动补偿混合线的通过使用所述当前块的一个或多个运动向量的运动补偿推导所述当前块的原始预测通过使用所述当前块的左边相邻块的一个或多个运动向量的运动补偿推导具有用于所述左边边界的所述重叠块运动补偿混合线的数目的左边重叠块运动补偿区域的重叠块偿推导具有用于所述顶部边界的所述重叠块运动补偿混合线的数目的顶部重叠块运动补通过针对所述重叠块运动补偿混合线的数目将所述重叠块运动补偿预测子与所述当2.如权利要求1所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，的所述重叠块运动补偿混合线的数目是2，以及如果所述当前块的所述宽度大于或等于所在所述亮度分量的所述顶部边界的所述重叠块运动补偿混合线3.如权利要求1所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，述重叠块运动补偿混合线的数目是1，以及如果所述当前块的所述宽度大于或等于所述预述色度分量的所述顶部边界的所述重叠块运动补偿混合线的数4.如权利要求1所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，进一步包括确定指示重叠块运动补偿混合线的数目是启用的或禁用的旗标，块运动补偿混合线的数目总是4以及用于色度分量的所述重叠块运动补偿混合线的数目总5.如权利要求1所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，36.一种视频编解码系统中处理视频数据的装根据所述当前块的宽度确定用于所述当前块的左边边界的重叠块运动补偿混合线的通过使用所述当前块的一个或多个运动向量的运动补偿推导所述当前块的原始预测通过使用所述当前块的左边相邻块的一个或多个运动向量的运动补偿推导具有用于所述左边边界的所述重叠块运动补偿混合线的数目的左边重叠块运动补偿区域的重叠块偿推导具有用于所述顶部边界的所述重叠块运动补偿混合线的数目的顶部重叠块运动补通过针对所述重叠块运动补偿混合线的数目将所述重叠块运动补偿预测子与所述当7.一种存储程序指令的非瞬时计算机可读根据所述当前块的宽度确定用于所述当前块的左边边界的重叠块运动补偿混合线的通过使用所述当前块的一个或多个运动向量的运动补偿推导所述当前块的原始预测通过使用所述当前块的左边相邻块的一个或多个运动向量的运动补偿推导具有用于所述左边边界的所述重叠块运动补偿混合线的数目的左边重叠块运动补偿区域的重叠块偿推导具有用于所述顶部边界的所述重叠块运动补偿混合线的数目的顶部重叠块运动补通过针对所述重叠块运动补偿混合线的数目将所述重叠块运动补偿预测子与所述当4题为“Simplifiedoverlappedblock2018年10月25日提交的，美国临时专利申请案，案号62/750,279，标题为“Methodsof[0004]高效视频编解码(High_EfficiencyVideoCoding，HEVC)是由来自TTU_T研究组改善了它前身标准H.264/AVC视频压缩性能来满足更高图像分辨率、更高帧率以及更好视频质量的需求。在HEVC标准的发展过程中，提出了与重叠块运动补偿(OverlappedBlock[0005]OBMCOBMC的基本原理是基于从它附近的块运动向量推导的运动补偿信号找到像块的两个区域之间的边界像素的示例。灰色阴影像素122属于在块的左上半部分的第一区[0006]OBMC也用于使对称运动分区的边界像素光滑，如从2N×2N编码单元(coding5区边界的像素可能具有大的不连续性，OBMC被应用来减轻视觉伪影以及改善转换/编解码的示例。图2A或图2B中的灰色像素是属于分区0的像素以及白色像素是属于分区1的像素。亮度(luma)分量中的重叠区域被定义为水平边界的每一侧上的两行像素以及垂直边界的每一侧上的一行(row)像素以及在垂直边界的每一侧上的一列(column)像素，以及分别用[0007]跳过以及合并跳过以及合并模式被提出并在HEVC标准中被采用来通过从空间相[0008]用于当前PU30的HEVC标准中合并候选集包含与当前PU30的相邻块有关的四个并候选是左边预测子A1312，第二合并候选是顶部预测子B1314，第三合并候选是右上方预测子B0313，以及第四合合并候选是左下方预测子A0311。左上方预测子B2315被包含在合并候选集中来替换不可用的空间预测子。第五合并候选是第一可用时间预测子TBR321以及TCTR322的时间预测子。基于如通过率失真优化(RDO)决定的运动向量补偿，编码器从候选集选择一个最终候选用于在跳过或合并模式中编码的每一PU，以及表示所选择的最终候选的索引被发信到解码器。解码器根据在视频比特流中传输的索引从候选集中选择相同的最终候选。因为跳过以及合并候选的推导是类似的，为了方便起见，下文中提到的[0009]在许多最近开发的编解码工具，如子块时间运动向量预测(subblockTemporalVectorPrediction，STMVP)、基于模式的运动向量推导(Pattern_basedMotionVectorDerivation，PMVD)以及仿射运动补偿预测(AffineMotionCompensationPrediction，6SbTMVP模式的具体算法可以在下文的(POC)距离比List1中的POC距离更近时，List0是用于搜索的第一列表。可以在条带查”检查由vec_init_scaled指出的当前PU的中心位置周围的同位子PU是由帧间或帧内模的形状的中心像素或者当前子PU的中心像素的混合。当由vec_init_scaled指出的中心位主同位图像main_colpic以及当用于当前所搜索图像的可用性检查结果为真时，完成同位(main_colpic)中首先定位用于子PU411以及子PU412的对应的位置421以及位置422。在[0013]同位位置x＝Sub_PU_i_x+vec_init_scaled_i_x(整数部分)+shift_x,[0014]同位位置y＝Sub_PU_i_y+vec_init_scaled_i_y(整数部分)+shift_y,当前图像内容sub_PUi的垂直的左上方位置，vec_init_scaled_i_x表示用于sub_PUiinit_scaled_i的缩放的垂直分量，以及shift_x以及shift_y分别表示水平移位值以及垂7直移位值。为了减少计算复杂度，仅Sub_PU_i_x以及Sub_PU_i_y的整数位置，以及vec_411的位置421的vec_init_sub_0423定位的同位位置425以及由来自sub_PU412的位置422的vec_init_sub_1424定位[0017]STMVP在JEM_3.0中，空间时间运动向量预测通过后续的与HEVC标准中指定的TMVP推导的相同进程推导子块A的时间运动相邻预测子8[0020]仿射MCP仿射运动补偿预测(仿射MCP)是为预测除平移运动外各种类型的运动开611以及612的运动向量613以及614进行描述。块的运动向量场(MotionVectorField，[0023]应用基于块的仿射变换预测而不是基于像素的仿射变换预测以便于进一步简化制点622的运动向量624。根据推导的运动向量应用运动补偿插值来为每一子块生成预测[0024]当在多个子块运动补偿编解码工具之一中进行编码时，CU以及这些子块可具有不同的参考图像以及不同的MV。子块运动补偿需要高带宽以及应用PN的权重因子是{1/4,1/8,1/16,1/32}以及用于PC的权重因子分别是{3/4,7/8,15/16,31/9[0026]当CU尺寸小于或等于JEM中的256亮度样本时，OBMC可以根据CU级旗标开启与关前块时，第一方案是预生成OBMC区域以及在用于相邻块的局部缓冲器中存储OBMC区域的预测子以及OBMC区域的参考块提取。根据当前块的运动向码树单元(CTU)的额外的线性缓冲器需要存储底部OBMC区域的MC结果。第二实施方案就在于所述重叠区域的所述最终预测子以及所述非重叠区域的所述原始预测子(如果可用)对[0032]用于在视频编解码系统中用重叠的块运动补偿(OBMC)处理块的一些示例性视频数MV或者将所述一个或多个MV的一MV分量改变成整数分量，生成一个或多个已转换的MV，生成所述右边以及底部OBMC区域两者用于所述右边以及底部相邻块。在另一个实施例中，量改变成整数生成所述已转换的MV，为了推导用于所述底部相邻块的所述底部OBMC区域，通过将所述当前块的所述MV的一垂直分量改变成整数生成所述已转换个整数MV双向预测并且所述相邻块是双向预测时，使用所述已转换的MV推导所述OBMC区[0036]将MV改变成整数MV的一些示例是截断或舍入成整数MV。置OBMC混合线的最大数目是1或2。如果所述MV的绝对值的分数部分大于0.5或者大于等于0.5，所述视频处理方法的另一个实施例设置用于亮度分量的所述OBMC区域中用于色度分量的所述OBMC区域中OBMC混合的数目为1，否则设置用于所述色度分量的所述亮度分量的所述OBMC区域中所述OBMC混合线的数目减少到3，设置用于色度分量的所述OBMC区域中OBMC混合线的数目为1，否则设置用于所述色度分量的所述OBMC区域中所述OBMC混合线的数目是3否则用于所述亮度分量的所述OBMC区域中所述OBMC混合线的数目是所述色度分量的所述OBMC混合线的数目是2。当所述OBMC区域由左边相邻块的已转换的MV于所述亮度分量的所述OBMC混合线的数目被减少到3时，用于色度分量的所述OBMC区域中[0038]应用OBMC的一些实施例适应性确定OBMC混合线的数目用于将原始预测子与当前边边界的所述OBMC混合线的数目，与/或根据所述当前块的高度决定用于所述当前块的顶动补偿推导用于左边边界的具有所述OBMC混合线的数目的左边OBMC区域的所述OBMC预测数目混合所述OBMC预测子与所述当前块的所述原始预测子，所述视频编码或解码系统将亮度的高度与预定阈值进行比较来决定在所述当前块的所述顶部边界使用2个OBMC混合线或4个OBMC混合线。用于左边或顶部边界的较少OBMC混合线用于宽度或长度短于所述预定[0040]本发明的一个方面进一步提供了在视频编解码系统中处理视频数据的装置的实施例。装置的一个实施例包括一个或多个电子电路用于接收当前图像中当前块的输入资所述一个或多个MV改变成一个或多个整数MV或者将所述一个或多个MV的MV分量改变成整[0045]图2A以及图2B示出了边界像素具有不同权重的2N×N块以及N×2N块的OBMC覆盖[0054]图8B标出了从存储器中提取参考块用于生成当前块的预测子以及用于相邻块的考块用于生成用于当前块的预测子以及用于相邻块的两个OBMC预测子[0061]图12A是示出了用使用第一OBMC实施方案的OBMC处理当前块的示例性实施例的流[0062]图12B是示出了用使用第二OBMC实施方案的OBMC处理当前块的示例性实施例的流[0063]图13示出了根据本发明实施例的结合视频处理方法的视频编码系统的示例性系[0064]图14示出了根据本发明实施例的结合视频处理方法的视频解码系统的示例性系块运动补偿(OBMC)，以及方法的每一个或其组合可以在视频编码器或视频解码器中实施。示出了将CU分割成16个非重叠的子块的示例。图9B示出了将CU分割成6个重叠的子块的示编码器或解码器根据子块的一个或多个对应的MV推导子块预测子，然后视频编码器或解码器通过混合后组合6个原始预测子推导用于CU的最终预测的右边部分的原始预测子与子块2的左边部分的原始预测子混合。每一非重叠区域的原始子与子块0的底部分的原始预测子混合，以及子块2的底部分的原始预测子与子块4的顶部个对应的MV。根据一个或多个对应的MV为16个子块分区的每一子块定位第一原始预测子。预测子是由16个子块分区推导的第一原始预测子以及另一个预测子是由25个子块分区推[0070]示例性流程图图10标出了视频编码或解码系统通过重叠的子块运动补偿处理视叠的子块确定子块MV，如果在双向预测中预测子块，为每一重叠的子块确定List0以及区域的原始预测子混合来推导最终预测子用于每一重叠区域。根据各种重叠的子块分区，[0071]定向OBMC对于子块模式中编码的CU，在四个方向将传统的OBMC应用于每一子预测子用于与当前子块的原始预测子混合。在另一个实施例中，仅使用从上方块生成的在一个实施例中，基于在当前块与相邻块之间的运动向量差的大小(magnitude)应用OBMC块以及相邻块可以分别是当前块或当前子块以及相邻块块或头插值滤波器用于对亮度样本执行OBMC以及2抽头插值滤波器用于对色度样本执行OBMC。一步简化计算以及减少OBMC进程中运动补偿的存储器带宽。相当于在OBMC进程中采用了1到预生成OBMC进程中的整数样本来避免分数运动补偿计算以及在OBMC进程中存取额外的[0074]将MV改变成整数MV用于生成OBMC区域的一些示例包括将MV截断或舍入成整数M例如，通过丢弃MV的分数部分改变MV，将MV舍入到最接近的整数，当舍入偏移等于0.一个实施例，用于推导右边OBMC区域的仅水平方向中的MV被改变成整数MV。在生成右边成整数MV以及用于推导底部OBMC区域的垂直方向中的MV被改变成整的每一OBMC区域用于与相邻块的一个或多个[0080]有条件地预生成OBMC区域第一实施方案的一些实施例总是在生成一个或多个[0081]有条件地预生成OBMC区域的另一个实施例在预定方向检查当前MV用于右边或底一示例中，仅当水平以及垂直方向上的MV分量分别不是整数时，生成每一右边以及底部MV的仅一个在水平方向具有整数MV分量，使用在水平方向具有分数MV分量的MV生成右边在所有方向具有整数MV分量。当这一右边OBMC区域的OBMC预测子与另一个预测子混合时，1中多个MV的仅一个在垂直方向具有整数MV分量，使用在垂直方向具有分数MV分量的MV生度或高度大于或等于预定阈值时，生成OBMC区域。用于尺寸的预定阈值的一些示例是16、[0087]减少用于OBMC的混合线用于OBMC的混合线的数目是右边OBMC区域中水平方向上及OBMCB1130)距离用于参考图像中当前块的当前预测子1110有1像素间隔。在这种情况[0088]一些其他实施例根据一个或多个预定标准决定用于每一块的OBMC混合线的数系统检查list0或list1中MV的用于亮度分量的混合线的数目从4减少到3，以及如果用于亮度分量的混合线的数目从4减亮度分量的OBMC混合线的数目从4减少到3，用于色度分量的OBMC混合线的数目从2减少到部块边界的混合线的数目是4。类似地，仅当水平方向上亮度MV的绝对值的分数部分大于或水平方向上亮度MV的绝对值的分数部分大于0.5时，用于亮度分量的在顶部或左边块边MV的绝对值的分数部分大于或等于0.5时是否减少OB[0090]适应性的OBMC混合线的数目本发明的一些实施例根据取决于OBMC混合的方向的[0091]适应性确定OBMC混合线的数目的一些其他实施例根据运动补偿中使用的插值滤波器的长度确定OBMC混合线的数目。插值滤波器的长度也称为插值滤波器中抽头的数目。当旗标指示OBMC混合线的适应性数目被禁用时，用于亮度分量的混合线的数目总是等于4[0094]上述OBMC混合线减少或确定方法可以与通过整数MV生成OBMC区域的方法之一组条件地将MV改变成整数MV用于色度分量的实施例取决于用于亮度分量的对应MV是否被改[0095]示例性流程图图12A以及图12B示出了用于用重叠块运动补偿对块进行编码或解码的视频编码或解码系统的两个示例性流程图。图12A示出了根据第一OBMC实施方案的处S1214中，通过舍入或者截断成整数MV或者将MV分量改变成整数分量将所述当前MV改变成前块的原始预测子以及通过使用已转换的MV的运动补偿推导用于一个或多个相邻块的一述当前块有关的一个或多个OBMC预测子混合来对所述当前块进行编码或[0096]在图12B的步骤S1220中，接收当前图像中当前块的输入视频数据。在步骤S1222预测子，以及通过使用已转换的MV的运动补偿推导用于当前块的OBMC区域中的OBMC预测[0097]OBMC与BiCW的交互具有CU权重的双向预测(Bi_predictionwithCUweights，邻块的BiCW权重被存储以及根据相邻块的实际BiCW权重生成O[0098]OBMC与BDOF的交互通常，视频编解码系统在运动补偿期间执行双向光流[0099]视频编码器以及解码器实施方式前述描述的视频处理方法可以在视频编码器或运动补偿模块与/或解码器的预测子推导模块或运动补偿模块耦合的电路，以便提供预测过在帧间预测中将一个或多个OBMC预测子与原始预测子混合生成用于每一块的最终预测子恢复预测残差来生成重构的视频数据。重构的视频数据可以被存储在参考图像缓冲器[0101]图14中示出了用于解码来自图13中的视频编码器1300的视频比特流的对应的视合从重叠的子块MV推导的原始预测子