CN114615492B 视频编码的方法与装置 （寰发股份有限公司）

2022.06.10201780016759.02017.03.17A,2010.03.24A,2013.10.02A,2014.02.19A,2016.01.27方法包括接收与图像帧中的当前块相关联的输素组和当前块的帧内预测模式生成当前块的帧码或解码以输出已编码的视频数据或已解码的2从与该当前块的第一边缘相邻的多个第一候选相邻像素组以及与该当前块的第二边基于所选择的该多个参考像素组导出该当前块的基于该最终帧内预测子编码或解码该当前块以输出已编码的视频数据该方法还包括基于与该色度块对应的亮度块的选择的该多个参考像素组来导出所选该方法还包括使用与色度块的上边缘紧邻的上相邻参考像素组以及该色度块的左边缘紧邻的左相邻参考像素组来对该亮度块相对应的该色度块进行编从与该当前块的第一边缘相邻的多个第一候选相邻像素组以及与该当前块的第二边基于所选择的所述多个参考像素组导出该当前块基于该最终帧内预测子编码或解码该当前块以输出已编码的视频数据3[0005]许多视频编码标准包括将输入视频的图像帧划分成一个视频编码标准产生并组合预测子和块的残差部分来获得4差值以及第一样本值和第二样本值中的一个来计算与多个预测参考线中的一个重叠的该[0011]在一个示例中，计算帧内预测子的像素值可以基于等式：P＝Ref1+W·(Ref1-选择的K个参考像素组来分别确定K个样本值，以及基于K个样本值计算与多个预测参考线[0013]在至少一个实施例中，生成帧内预测子包括分别基于选择的K个参考像素组来确定K个样本值，并且基于K个样本值计算与预测参考线中的一个重叠的帧内预测子的像素[0016]本公开的方面进一步提供非瞬时计算机可读媒体(non-transitorycomputer5[0019]图2示出了依据本公开的示例性实施例的从与当前块的第一边缘相邻的多个第一候选相邻像素组中选择至少一个第一参考像素组并且从与当前块的第二边缘相邻的多个第二候选相邻像素组中选择至少一个第二参考像素组以用于生成当前块的帧内预测子的[0020]图3示出了依据本公开的示例性实施例的使用两个选择的参考像素组来计算帧内[0021]图4示出了依据本公开的示例性实施例的从多个候选相邻像素组中选择参考像素[0022]图5示出了依据本公开的实施例的图1中的视频编解码系统中的示例性解码电路[0023]图6示出了依据本公开的实施例的图1中的视频编解码系统中用于视频编码的处[0024]图7示出了依据本公开的实施例的使用例如图5中的处理电路之类的用于视频解[0025]图8示出了依据本公开的实施例的使用例如图6中的处理电路之类的用于视频编过解码已编码的视频数据102来生成输出帧104。视频编解码系统100可以通过一个或多个[0027]解码电路110可以至少包括帧内预测模块112，参考像素组选择器(reference像帧中要解码的块(或者当前的块)的帧内预测子。参考像素组选择器114可以从与当前块的上边缘相邻并与其并行布置多个第一候选相邻像素组中选择至少一个水平参考像素组和/或从与当前块的左边缘相邻并与其并行布置的多个第二候选相邻像素组中选择至少一使用帧内预测模块112来解码当前块和/或控制帧内预测模块112和参考像素组选择器114生成帧内预测子，以导出用于滤波原始帧内预测子的梯度滤波参数(gradientfiltering6[0029]可以在编码视频数据102中明确地指定所选择的参考像素组，或者基于已编码的寸的色度块或色度块的边缘可以自动使用最靠近相[0031]帧内预测模式也可以在已编码的视频数据102中明确指定，或者基于已编码的视可以与帧内估计模块121一起选择来自与当前块的上边缘相邻并与其并行布置的多个第一候选相邻像素组中的至少一个水平参考像素组和/或来自与当前块的左边缘相邻并与其并行布置的多个第二候选相邻像素组中的至少控制器126可以使用帧内预测来确定是否对当前块进行编码，并且如果要使用帧内预测对[0034]由帧内估计模块121选择或识别的预测参数也可以被转发到帧内预测模块122以模式和/或所选择的参考像素组的信息来生成与当前块相关联的已编码的视频数据102以用于产生当前块的帧内预测子。所选择的参考像素组可以由解码电路110的帧内预测模块[0036]所选择的参考像素组可以在已编码的视频数据102中被明确指定，或者可以基于已编码的视频数据102和预定视频编码标准由解码电路110导出。可以基7具有小于阈值的尺寸的色度块或色度块的边缘可以自动使用最靠近相应边缘的参考像素[0038]帧内预测模式也可以在已编码的视频数据102中明确指定，或者基于已编码的视[0039]此外，由帧内估计模块121选择或识别的预测参数也可以被转发到帧内预测模块和预测参数可由编码控制器126编码并包括在已编码的[0040]如上所述，在一些示例中，所选择的参考像素组可以由解码电路110或编码电路图2-图4进一步说明从解码的角度来看这些应用的非限制性示例，这将可应用于从编码的[0041]图2示出了依据本公开的示例性实施例的从与当前块210的上边缘212相邻的多个第一候选相邻像素组222[1]-222[M]中选择至少一个水平参考像素组并且从与当前块210的左边缘214相邻的多个第二候选相邻像素组224[1]-224[N]选择至少一个垂直参考像素[0042]多个第一候选相邻像素组222[1]-222[M]对应于与上边缘212相邻并与其并行布缘212的参考像素组222[1])。在一些示例中，可以基于当前块210的尺寸是否大于预定阈[0044]可以基于从已编码的视频数据发送或导出的可用帧内预测模式中选择的一个来8参考像素组的角度帧内预测模式来生成当前块210的帧内预测子。当仅需要一个水平参考像素组以产生当前块210的帧内预测子时，可以选择M个候选相邻像素组222[1]-222[M]中选择的水平参考像素组和至少一个所选择的垂直参考像素组，生成当前块210的帧内预测选相邻像素组224[1]-224[N]来选择至少一个所选择的垂直参考像素组，选取方法类似于从多个候选相邻像素组222[1]-222[M]中选择至少一个所选择内预测子的水平参考像素组可以从多个候选相邻像素组222[1]-222[M]中选择，而垂直参考像素组可以被设置为默认选择(例如接近于左边缘214的相邻参考像素组224[1])，并且相邻像素组合中的一个(例如，用于上边缘212的候选相邻像素组222[1]和/或用于左边缘214的候选相邻像素组合224[1])可以总是默认地选择为所选择的参考像本值来生成与预测参考线之一重叠的帧内预测子的像素值，并且基于K个样本值来计算帧内预测子的像素值。K个样本值中的每个可以对应于所选择的参考像素组的各个参考线和[0051]其中P表示帧内预测子的像素值，Ref1-RefK表示从K个选择的参考像素组导出的9来确定。可以将K个选择的参考像素组中的所选主要参考像素组的权重设置为在所有权重被设置为大于对当前块210的相应边缘更远的另一个选择的参考像[0053]依据各种替代方法或组合，可以使用来自多个候选相邻参考像素组222[1]-222[0054]依据使用所选择的参考像素组的一种替代方法，可以基于最接近对应边缘212和214的相邻参考像素组222[1]和224[1]和指定的帧内预测模式，来生成当前块的原始帧内预测子。可以使用基于从多个相邻候选像素组222[1]-222[M]和/或224[1]-224[N]中的所[0055]在一些示例中，梯度信息G可以对应于基于沿特定的帧内预测模式的预测方向的子的像素的值是Praw时，可以基于以下等式来确定与Praw对应的最终帧内预测子P的像素候选像素组224[1]和224[2])之间的差值选择的水平参考像素组和当前块210的上边缘212之间的最短距离可以不同于垂直选择的参考像素组与当前块210的左边缘214之成当前块的最终帧内预测子。可以基于所选择的水平参考像素组和/或所选择的垂直参考素组来计算。可以基于来自角像素216(cornerpixel)正上方的候选像素组222[1]的像素相邻候选像素组222[1]-222[M]的两个或更多个选择的参考像素组导出的第一梯度信息[0066]尽管在本公开中示出了用于使用所选择的参考像素组来生成帧内预测子的许多或者自动使用最接近对应替代边缘的参考像素组可以取决于边缘的尺寸是否大于预定阈接近对应边缘的相邻候选像素组，可以取决于与边缘及/或当前块相邻的相邻块的边缘尺据102来发送或者基于已编码的视频数据过如上所述选择参考像素组或使用与替代色度块的边缘紧邻的参考像素组来对色度块进所属的帧进行编码时，该帧的亮度和色度块可以具有不同块尺寸和/或形状的不同的块划左上角像素共位(co-located)的像素的对应亮度块的参考像素组的选择。在一些示例中，当使用4:2:0颜色格式时，用于亮度块的第一和第二最接近的参考像素组可以对应于相应[0071]图3示出了依据本公开的示例性实施例的使用两个选择的参考像素组322[M1]和322[M2]来计算帧内预测子的像素值的示意图。图3示出了使用参考图2简要示出的从多个相邻像素组中选择的参考像素组来生成帧内预测子[0072]从与当前块210的上边缘212相邻并并行的相邻候选像素组222[1]-222[M]中选择成帧内预测子的指定帧内预测模式，可以额外地或替代地基于从相邻候选参考像素组224[0073]当选择对应于特定边缘212的两个参考像素组322[M1]和322[M2]以产生帧内预测组合可以以从两个选择的参考像素组中的一个导出的样本值和从由预定乘法因子(multiplicationfactor)调整的两个选择的参考像素组导出的不同样本值的总和的形式的参考像素组322[M1]来确定第一样本值Ref1。第一样本值Ref1可以对应于第一参考线L1个像素之间的距离D1a和D1b分别成反比的比率的内插(interpolation)操作来确定第一样322[M2]来确定第二样本值Ref2。第二样本值Ref2对应于第二参考线L2和预测参考线L3相二位置344相邻。当然，可以通过基于所选择的参考像素组322[M1]和/或参考像素组322[M2]的任何其它适用方法来确定样本值Ref1和Re[0075]可以基于第一样本值Ref1和第二样本值Ref2来计算与预测参考线L3重叠的帧内[0078]可以基于当前块的尺寸或帧内预测模式或当前块中的像素316的位置来设置乘法[0081]图4标出了使用所选择的像素组的另一种方法的示意图，该方法包括依据本公开的示例性实施例从多个候选相邻像素组中选择参考像素组，以导出当前块410的帧内预测理部分402包括在处理当前块410之前已被用于编码或解码处理的块。未处理部分404包括考像素组430可以与帧400的处理部分402一起使用以导出当前块410的帧内预测模式。例参考模板像素424可以用作表示当前块410的参考模板。参考模板像素422可以具有与上边所选择的参考像素组434和左边缘414之间的最短距离相同的[0084]因此，编码电路可以从已编码的视频数据排除关于当前块的帧内预测模式的信用选择的参考像素组430和各种候选帧内预测模式产生对应的计算像素值之间的最小误差素424的像素值和使用所选择的参考像素组430和各种候选帧内预测模式对应的计算的像[0086]图5示出了依据本公开的实施例的例如图1中的视频编解码系统100的视频编解码预测模块512可以基于所选择的参考像素组和由解码控制器516通知的帧内预测模式来生码控制器516的残差信息生成当前块的剩余部分。加法器542可以通过将自残差解码器544器546的已滤波的图像帧和/或来自预测模块(帧内预测模块512或帧间预测模块532)的当[0090]解码控制器516接收并分析已编码的视频数据502并提取当前块的残留信息和预测模块512可以依据所选择的参考像素组和当前块所属的帧的处理部分，导出当前块的帧[0093]解码控制器516还将残差信息转发到残差解码器544，其中残差解码器544生成当令以执行可能不直接涉及解码已编码的视频数据502[0096]图6示出了依据本公开的实施例的图1中的视频编码系统100的视频编解码系统中帧间估计模块631和帧间预测模块632的操作。编码控制器626可以将每个输入帧划分为多个块并且指示帧内估计模块621和/或帧间估计模块631确定每个块的预测方案，预测模式[0099]帧内预测模块622和帧间预测模块632可以分别从帧内估计模块621和帧间估计模632可以以类似于帧内预测模块512和帧间预测模块532的操作类似的方式生成最终预测[0100]在一些示例中，编码控制器626可以控制帧内估计模块621，参考像素组选择器[0101]重构模块648可以从帧内预测模块622或帧间预测模块632接收最终预测值，并从计模块621从输入帧606接收当前块的原始图像。帧内估计模块621可以使用参考像素组选[0103]帧内预测模块622可以基于由帧内估计模块621提供的预测参数来生成当前块的所示的自相邻候选参考图像组和帧内预测模式产生当前块的帧内预测子。在一些示例中，[0104]加法器642可以基于当前块的原始图像和最终预测子输出当前块的残差部分，并以执行程序指令以控制输入帧606的接收和已编码的视频数据602的输出。在一些示例中，处理器660可以执行程序指令以执行可能对已编码视频数据602进行编码不直接相关的功[0107]此外，图5中的解码电路510和图6中编码电路620可以在[0108]图7示出了依据本公开的实施例的使用例如图5中的解码电路510的视频解码处理据。例如，解码控制器516可以接收包括与当前块相关联的输入数据的已编码的视频数据据中提供的信息而导出。在步骤S730和/或步骤S740中与所识别的帧内预测模式一起选择224[N]中选择一个或多个参考像素组作为如参照图2所描述的一个或多个第一参考像素个候选相邻像素组222[1]-222[M]或224[1]-224[N]中选择一个或多个参考像素组作为一[0114]当帧内预测子的生成需要对应于当前块的两个不同边缘的所选择的参考像素组[0116]在步骤S750，使用所识别