CN114866768B 视频编译系统中的帧间预测方法和装置 （Lg电子株式会社）

201680055123.22016.07.15本发明涉及视频编译系统中的帧间预测方基于样本单元运动矢量推导用于当前块的预测2基于当前块的大小推导用于所述当前块的控制点(CP)的运动矢量，基于所获得的用于所述CP的运动矢量推导与所述当前块中的样本位置相关的运动矢基于用于所述当前块的所述推导的预测样本生成用于所述当其中，用于所述CP的所述运动矢量包括用于所述第一C其中，所述第一运动矢量是根据第一预定义的优先级顺序可用块推导的，所述第一预定义的优先级顺序是包括在所述第一块组中的块之间的优先其中，所述第二运动矢量是根据第二预定义的优先级顺序可用块推导的，所述第二预定义的优先级顺序是包括在所述第二块组中的块之间的优先其中，所述第三运动矢量是根据第三预定义的优先级顺序可用块推导的，所述第三预定义的优先级顺序是包括在所述第三块组中的块之间的优先其中，所述第一块组包括所述当前块的左上角邻近块、作为与其中，所述第二块组包括所述当前块的右上角邻近块和作为其中，所述第三块组包括所述当前块的左下角邻近块和作为3其中(xp,yp)是所述当前块的左上样本位置，以及W和H分别是所述当前块的宽度和高左上角邻近块到所述第一上邻近块到所述第一及基于当前块的大小推导用于所述当前块的控制点(CP)的运动矢量，基于所获得的用于所述CP的运动矢量推导与所述当前块中的样本位置相关的运动矢4其中，用于所述CP的所述运动矢量包括用于所述第一C二CP的第二运动矢量以及用于所述第三C其中，所述第一运动矢量是根据第一预定义的优先级顺序可用块推导的，所述第一预定义的优先级顺序是包括在所述第一块组中的块之间的优先其中，所述第二运动矢量是根据第二预定义的优先级顺序可用块推导的，所述第二预定义的优先级顺序是包括在所述第二块组中的块之间的优先其中，所述第三运动矢量是根据第三预定义的优先级顺序可用块推导的，所述第三预定义的优先级顺序是包括在所述第三块组中的块之间的优先其中，所述第一块组包括所述当前块的左上角邻近块、作为与其中，所述第二块组包括所述当前块的右上角邻近块和作为其中，所述第三块组包括所述当前块的左下角邻近块和作为5其中，所述第一预定义的优先级顺序是从所述左上角邻近块及基于当前块的大小推导用于所述当前块的控制点(CP)的运动矢量，基于所获得的用于所述CP的运动矢量推导与所述当前块中的样本位置相关的运动矢6其中，用于所述CP的所述运动矢量包括用于所述第一C二CP的第二运动矢量以及用于所述第三C其中，所述第一运动矢量是根据第一预定义的优先级顺序可用块推导的，所述第一预定义的优先级顺序是包括在所述第一块组中的块之间的优先其中，所述第二运动矢量是根据第二预定义的优先级顺序可用块推导的，所述第二预定义的优先级顺序是包括在所述第二块组中的块之间的优先其中，所述第三运动矢量是根据第三预定义的优先级顺序可用块推导的，所述第三预定义的优先级顺序是包括在所述第三块组中的块之间的优先其中，所述第一块组包括所述当前块的左上角邻近块、作为与其中，所述第二块组包括所述当前块的右上角邻近块和作为其中，所述第三块组包括所述当前块的左下角邻近块和作为获得用于所述视频的比特流，其中基于下述生成所述比特流：基其中，用于所述CP的所述运动矢量包括用于所述第一C二CP的第二运动矢量以及用于所述第三C其中，所述第一运动矢量是根据第一预定义的优先级顺序可用块推导的，所述第一预定义的优先级顺序是包括在所述第一块组中的块之间的优先其中，所述第二运动矢量是根据第二预定义的优先级顺序可用块推导的，所述第二预定义的优先级顺序是包括在所述第二块组中的块之间的优先其中，所述第三运动矢量是根据第三预定义的优先级顺序可用块推导的，所述第三预定义的优先级顺序是包括在所述第三块组中的块之间的优先7其中，所述第一块组包括所述当前块的左上角邻近块、作为与其中，所述第二块组包括所述当前块的右上角邻近块和作为其中，所述第三块组包括所述当前块的左下角邻近块和作为8[0001]本申请是2018年3月22日提交的国际申请日为2016年7月15日的申请号为[0007]本发明的另一技术目的是为了提供一种基于仿射运动模型的帧间预测方法和设[0008]本发明的另一技术目的是为了提供一种用于执行基于样本单元运动矢量的帧间[0009]本发明的另一技术目的是为了提供一种基于当前块的控制点的运动矢量来推导[0010]本发明的另一技术目的是为了提供一种基于邻近块的样本推导关于作为非方块[0011]本发明的另一技术目的是为了提供一种基于关于先前解码的邻近块的控制点的运动矢量推导关于当前块的控制点的运动矢量的9况以及当前块的图像被平面移位的情况下，通过样本单元运动矢量有效地执行帧间预测。[0026]图5是图示其中生成预测块的状态和仿射运动模型被应用于的帧间预测的运动矢[0033]图12是图示其中分割类型2NxN被应用于的PU的CP的预测候选限于两个预测候选[0035]图14是图示其中分割类型Nx2N被应用于的PU的CP的预测候选限于两个预测候选[0047]图片分割模块105可以被配置成将输入图片分割成至少一个处理单元块。就此而[0048]预测模块110包括稍后将会描述的执行帧间预测过程的帧间预测单元和执行帧内[0049]在帧间预测中，基于与当前图片的先前图片和/或后续图片中的至少一个有关的差信号被最小化并且运动矢量幅度也被最小化。像素(pixels)、像素(pels)和样本[0056]所构建的预测块和原始块之间的残留值(残差块或者残差信号)被输入给变换模[0064]重排模块130可以通过使用系数扫描方法将二维块形式的量化变换系数重新排列[0065]熵编码模块135可以被配置成根据基于由重排模块130重排的量化变换值或编码编码方法是接收具有各种值的符号并且将该符号表达为可以被解码的二进制串同时去除号之间的差异可以被变换和量化以定义残差信号。残差信号可以被称为块单元中的残差[0067]当应用熵编码时，可以表达符号使得将少量的比特分配给具有高出现概率的符[0068]诸如指数哥伦布码、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制[0070]去量化模块140对量化模块125量化的值变换系数进行去量化。逆变换模块145逆[0071]由去量化模块140和逆变换模块145生成的残差值或残差样本或残差样本阵列以及由预测模块110预测的预测块可以被组合以形成包括重建的样本或一个重建的样本阵列[0074]去块滤波器去除在重建的图片中的块之间的边界处产生的块失真。ALF基于原始[0075]存储器160可以存储由滤波模块155计算的重建的块或图片。存储在存储器160中[0078]熵解码模块210可以根据概率分布对输入比特流进行熵解码以生成量化系数形式设备中执行熵编码时，熵解码模块210可以使用与编码设备中使用的VLC表相同的VLC表来一步骤中解码的符号/bin的信息，以及根据确定的上下文模型来预测bin出现的概率并且文模型之后，CABAC熵解码方法还可以包括使用解码的符号/bin的信息来更新上下文模型[0081]可以将用于从由熵解码模块210解码的信息构造预测块的信息供应给预测模块[0082]重排模块215可以基于视频编码设备中的重排方法重新排列由熵解码模块210熵[0083]重排模块215可以将以一维矢量的形式表达的系数重建并且重新排列为二维块形式的系数。重排模块215可以基于应用于当前块变换块的预测模式和变换块的大小来扫描[0084]去量化模块220可以基于从视频编码设备供应的量化参数和重新排列的块的系数[0085]逆变换模块225可以对来自视频编码设备的量化结果执行已经由视频编码设备的变换模块执行的DCT和/或DST的逆DCT和/或设备的变换模块执行的变换的变换信息来执行逆[0087]预测模块230基于由熵解码模块210提供的预测块生成相关信息和先前解码的块和/或从存储器提供的图片信息生成包括预测样本或预测样本[0088]如果用于当前PU的预测模式是帧内预测模式，则预测模块230可以执行帧内预测[0089]如果用于当前PU的预测模式是帧间预测模式，则预测模块230可以被配置成基于包括在先前图片或者后续图片到当前图片的至少一个图片中的信息来对当前PU执行帧间[0090]当对当前图片执行帧间预测时，预测模块230可以生成预测块使得相对于当前块向解码设备发送指示具有从包括在合并候选列表中的候选块当中选择的最优运动矢量的用重建的空间邻近块的运动矢量和/或对应于作为时间邻近块的Col块的运动矢量来生成块的Col块相对应的运动矢量可以被用作运动矢量候选。编码设备可以向解码设备发送指示从包括在运动矢量预测子候选列表中的运动矢量候选中选择的最优运动矢量的预测运[0094]编码设备可以获得用于当前块的运动矢量与运动矢量预测因子(MVP)之间的运动[0096]解码设备的预测模块230可以使用邻近块的运动信息来预测当前块的运动矢量，备接收的推导的运动矢量和参考图片索引信息来生成当前块的预测样本(或者预测的样本[0097]解码设备可以通过将如从编码设备发送的变换系数获得的预测样本(或预测样本[0100]可以使用由预测模块230生成的预测块和由逆变换模块225提供的残差块来生成的残差样本或残差样本阵列进行组合来生成重建样本或重建样本阵列。[0103]存储器240可以存储重建的图片或块以用作参考图片或参考块，并且可以将重建235等可以被表达为解码器或与其他元件区分的y动矢量MV将具有与参考图片内的预测块的形状和尺寸相同的形状和尺寸的区域指定为预y导对于图4中图示的当前块中的每个样本而言不同或唯一的运动[0111]图5是图示其中生成预测块的状态和使用仿射运动模型的帧间预测中的运动矢量[0116]如上面的等式(1)所图示，用于推导样本单元运动矢量的等式的参数可以基于当[0117]参考图6，示出针对用于推导样本单元运动矢量的等式基于分割类型2N×2N从CU0和Vy0表示用于CP0的运动矢量V0的x分量和y分量，Vx1和Vy1分别表示用于CP1的运动矢量V1的x分量和y分量，并且Vx2和据如等式2中的用于推导样本单元运动矢量的等式，可以基于针对基于分割类型2N×2N从CU分割的PU的每个样本在PU中的相对0和Vy0表示用于CP0的运动矢量V0的x分量和y分量，Vx1和Vy1分别表示用于CP1的运动式3表示用于考虑PU的宽度是S/2来推导样本单元运动矢量的等式。根据如等式3中的用于推导样本单元运动矢量的等式，可以基于针对基于分割类型N×2N从CU中分割的PU的每个0和Vy0表示用于CP0的运动矢量V0的x分量和y分量，Vx1和Vy1表示用于CP1的运动矢量本单元运动矢量的等式，可以基于用于基于分割类型2N×N从CU中分割PU的每个样本在PU导用于每个PU的三个CP，并且可以根据如图9中所图示的PU的形状基于宽度和高度调整CP0和Vy0表示用于CP0的运动矢量V0的x分量和y分量，Vx1和Vy1表示用于CP1的运动矢量[0141]可以将与每个CP相邻的邻近块(或邻近样本)的运动信息用作用于三个CP的运动近样本)的多条运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以由B0近样本)的多条运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以分别由C0和C1表示。在CU的宽度和高度是S并且CU的左上样本位置的坐标是(xc，yc)的情况[0149]作为配置用于应用2N×N分割类型的PU的CP的运动矢量的预测候选的方法，预测[0150]图12图示其中应用分割类型2N×N的PU的CP的预测候选限于两个预测候选的配运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以分别由C0和C1表示。近样本)的运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以分别由[0162]作为配置应用N×2N分割类型的PU的CP的运动矢量的预测候选的方法，预测候选[0163]图14图示其中应用分割类型N×2N的PU的CP的预测候选限于两个预测候选的配运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以分别由B0和B1表示。运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以分别由C0和C1表示。[0167]参考图15的(a)，示出配置应用分割类型nL×2N的PU的CP的运动信息预测候选的动矢量的预测候选，并且可以考虑到PU的解码处理顺序配置用于CP的运动矢量的预测候[0168]如图15的(a)中所图示，可以使用与每个CP相邻的邻近块(或邻近样本)的编译的这两条运动信息可以分别由A3和A4表示。在包括PU的CU的宽度和高度是H并且CU的左上样运动矢量C2和C3中的至少一个可以被进一步用作v2的[0173]参考图15的(b)，示出配置应用分割类型nR×2N的PU的CP的运动信息的预测候选[0174]如图15的(b)中所图示，与每个CP相邻的邻近块的编译的运动信息可以被用作三[0179]参考图15的(c)，示出配置用于应用分割类型2N×nU的PU的CP的运动信息的预测[0180]如图15的(c)中所图示，与每个CP相邻的邻近块的编译运动信息可以被用作三个这两条运动信息可以分别由A3和A4表示。在包括PU的CU的宽度和高度是W并且CU的左上样运动矢量B2和B3中的至少一个可以被进一步用作v1的[0185]参考图15的(d)，示出配置应用分割类型2N×nD的PU的CP的运动信息的预测候选动矢量的预测候选，并且可以考虑到PU的解码处理顺序配置用于CP的运动矢量的预测候[0186]如图15的(d)中所图示，与每个CP相邻的邻近块(或邻近样本)的编译的运动信息运动信息中的两条运动信息作为预测候选，并且两条运动信息可以分别通过B0和B1表示。[0191]包括在图15中图示的CU中的每个PU可以使用CU中的PU的相同预测候选作为用于近样本)的多条运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以通过近样本)的运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以分别由在CP0的运动矢量v0的情况下，可以使用先前解码的邻近块(或邻近样本)的多条运动信息[0200]如果紧挨着当前PU的要被解码的PU(下一个PU)的CP具有与当前PU的CP相同的位中不存在运动信息的情况下使用仅针对CP的上述检查编码设备/解码设备内的当前PU的邻近块的运动信息的解码过程确定PU是否是需要运动矢量，所以编码设备可以仅编码用于CP1的运动信息并且通过比特流发送编译的运动信设备可以基于先前解码过程中推导的运动矢量来推导当前PU的CP基于上述等式2至5基于相应块的CP来推导相应块的右下邻近以基于上述等式2至5基于相应块的CP来推导相应块的右下邻推导的相应的块的右下邻近块的运动矢量可以被用作当前块的CP2的运动矢量。在这种情[0209]而且，在当前块是基于分割类型N×2N从CU分割的PU并且当前块的宽度和高度分[0210]而且，在当前块是基于分割类型2N×N从CU分割的PU并且当前块的宽度和高度分[0212]编码设备获得用于CP的运动矢量(S1910)。编码设备可以基于与CP相邻的邻近样下，编码设备可以使用邻近块(或邻近样本)的运动信息当中的三条运动信息作为预测候当前块的宽度和高度分别是S和S/2并且当前块的左上样本位置的坐标是(xp，yp)的情况1)坐标的样本中的至少一个的邻近样本组1推导关当前块的宽度和高度分别是S和S/2并且当前块的左上样本位置的坐标是(xp，yp)的情况yp+S/2-1)坐标的样本中的至少一个的邻近样本组2推导关于CP2的运[0219]在当前块的分割ID是1的情况下，编码设备还可以包括当前CU的邻近块的样本作的宽度和高度是S并且CU的左上样本位置的坐标是(xc，yc)的情况下，B2可以表示(xc+S，近样本)的多条运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以是yp-1)坐标的样本的运动矢量。在这种情况下，编码设备可以使用A0和A1作为v0的预测候[0222]在CP1的运动矢量v1的情况下，编码设备可以使用邻近块(或邻近样本)的多条运[0223]在CP2的运动矢量v2的情况下，编码设备可以使用邻近块(或邻近样本)的多条运当前块的宽度和高度分别是S/2和S并且当前块的左上样本位置的坐标是(xp，yp)的情况1)坐标的样本的邻近样本组1推导关于CP1当前块的宽度和高度分别是S/2和S并且当前块的左上样本位置的坐标是(xp，yp)的情况[0227]在当前块的分割ID是1的情况下，编码设备可以进一步包括当前CU的邻近块的样近样本)的多条运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以是yp-1)坐标的样本的运动矢量。在这种情况下，编码设备可以使用A0和A1作为v0的预测候[0230]在CP1的运动矢量v1的情况下，编码设备可以使用邻近块(或邻近样本)的多条运当前块的宽度和高度分别是S/2和S并且当前块的左上样本位置的坐标是(xp，yp)的情况编码设备可以包括邻近样本组2中的(xp-1，yp+S)坐标的样本和(xp-1，yp+S-1)坐标的样当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，标的样本的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，本的邻近样本组2推导关于CP2的运动矢量个运动信息可以分别由A3和A4表示。在包括当前块的CU的宽度和高度是H并且CU的左上样在这种情况下，编码设备可以进一步使用运动矢量C2和C3中的至少一个作为v2的预测候当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，标的样本的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，本的邻近样本组2推导关于CP2的运动矢量块的CU的宽度和高度是H并且CU的左上样本位置的坐标是(xc，yc)的情况下，C2可以表示当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，样本中的至少一个的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，的至少一个的邻近样本组2推导关于CP2的运动矢量这两个运动信息可以分别由A3和A4表示。在包括当前块的CU的宽度和高度是W并且CU的左当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，样本中的至少一个的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，的至少一个的邻近样本组2推导关于CP2的运动矢量样本)的多条运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以由B0和样本)的多条运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以分别当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，[0259]编码设备基于用于CP的运动矢量推导当前块中的样本单元运动矢量(S1920)。根据仿射运动模型，运动矢量可以根据当前块中的每个样本坐标而不同。如果CP0的运动矢中的运动矢量—CP0的运动矢量(vx0,vy0)、CP1的运动矢量(vx1,vy1)以及CP2的运动矢量(vx2[0260]编码设备基于样本单元运动矢量生成用于当前块的预测样本(S1930)。编码设备[0261]编码设备对当前块的预测模式信息进行编码并输出编码信息(S1940)。编码设备可以编码用于当前块的预测模式和推导的运动矢量，并且以比特流的形式输出编码信息。的左边界相邻的左邻近块当中的最上面的块进行解码的情况下，相应块的CP1的运动矢量下，可以将基于相应块的CP推导的相应块的右下邻近样本的运动矢量用作当前块的CP0的述等式2至5基于相对应的块的CP推导相应块的右下邻近样分割的PU并且当前块的宽度和高度是S的情况下，解码设备可以基于当前块的左上样本位[0269]而且，在当前块是基于分割类型N×2N从CU分割的PU并且当前块的宽度和高度分别是S/2和S的情况下，解码设备可以推导基于前块的左上样本位置的坐标(0,0)推导三个[0270]另外，在当前块是基于分割类型2N×N从CU分割的PU并且当前块的宽度和高度分[0273]解码设备可以基于用于当前块的运动矢量和当前块的邻近块的运动矢量推导CP下，解码设备可以使用邻近块(或邻近样本)的多条信息当中的三条运动信息作为预测候当前块的宽度和高度分别是S和S/2并且当前块的左上样本位置的坐标是(xp，yp)的情况标的样本中的至少一个的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是S和S/2并且当前块的左上样本位置的坐标是(xp，yp)的情况yp+S/2-1)坐标的样本中的至少一个的邻近样本组2推导关于CP2的运[0280]在当前块的分割ID是1的情况下，解码设备可以进一步包括当前CU的邻近块的样近样本)的多条运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以是[0283]在CP1的运动矢量v1的情况下，解码设备可以使用邻近块(或邻近样本)的多条运[0284]在CP2的运动矢量v2的情况下，解码设备可以使用邻近块(或邻近样本)的多条运可用性可以根据第三预定义的优先级顺序被顺当前块的宽度和高度分别是S/2和S并且当前块的左上样本位置的坐标是(xp，yp)的情况当前块的宽度和高度分别是S/2和S并且当前块的左上样本位置的坐标是(xp，yp)的情况样本的邻近样本组2推导关于CP2的运动矢量[0288]在当前块的分割ID是1的情况下，解码设备还可以包括当前CU的邻近块的样本作近样本)的多条运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以是yp-1)坐标的样本的运动矢量。在这种情况下，解码设备可以使用A0和A1作为v0的预测候[0291]在CP1的运动矢量v1的情况下，解码设备可以使用邻近块(或邻近样本)的多条运当前块的宽度和高度分别是S/2和S并且当前块的左上样本位置的坐标是(xp，yp)的情况解码设备可以包括邻近样本组2中的(xp-1，yp+S)坐标的样本和(xp-1，yp+S-1)坐标的样当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，且这两个运动信息可以分别由A3和A4表示。在包括当前块的CU的宽度和高度是H并且CU的在这种情况下，解码设备可以进一步使用运动矢量C2和C3中的至少一个作为v2的预测候当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，标的样本中的至少一个的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，标的样本中的至少一个的邻近样本组2推导关于CP2的运动矢量且这两个运动信息可以分别由A3和A4表示。在包括当前块的CU的宽度和高度是W并且CU的块的CU的宽度和高度是W并且CU的左上样本位置的坐标是(xc，yc)的情况下，B2可以表示当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，样本中的至少一个的邻近样本组1推导关于CP1的运当前块的宽度和高度分别是W和H并且当前块的左上样本位置的坐标是(xp，yp)的情况下，标的样本中的至少一个的邻近样本组2推导关于CP2的运动矢量细地说，解码设备可以进一步使用邻近样本的三条运动信息中的至少一条作为预测候选，样本)的多条运动信息当中的两条运动信息作为预测候选，并且两条运动信息可以由B0和样本)的运动信息当中的两条运动信息作为预测候选，并且这两条运动信息可以分别由C0CP0的运动矢量v0的情况下，解码设备可以使用邻近块(或邻近样本)的多条运动信息当中当前块的宽度和高度分别是W和H并