CN116781925B 编码视频数据的方法 （夏普株式会社）

201980055881.82019.08.26WO2018066988A1,2018.04.12JVET-K0115_v4.JointVideoExper提供了一种通过电子装置编码视频数据的择块单元的多个具有运动向量差的合并模式根据所述指示的候选组来指示块单元的多个比特流中。每个候选组包括各自具有多个第一多个MMVD预测参数中的一个或多个是从所指示的候选组的一个或多个第一MMVD候选列表中的测参数中的所述一个或多个之外的MMVD预测参数是从一个或多个第二MMVD候选列表中的多个2选择所述块单元的多个具有运动向量差的合并模式MMVD预测参数以预测所确定集合标志及所述块单元的多个MMVD指示，所述集合标志所述多个候选组中的每个候选组包括一个或多个第一MMVD候选列表第一MMVD候选列表中的每个第一MMVD候选列表包括多个第所述多个MMVD预测参数中的一个或多个是从所指示的候选组的所述一个或多个第一除了所述多个MMVD预测参数中的所述一个或多个之外的MMVD预测参数是从一个或多的每个第二MMVD候选列表不同于所述一个或多个第一MM4.如权利要求3所述的方法，其特征在于，当由所述集合索引指示的所述基础候选索选择所述块单元的多个具有运动向量差的合并模式MMVD预测参数以预测所确定指示了多个候选组中的一个的集合标志，其中所述多个从包括在所指示的候选组中的所述一个或多个第一MMVD候选列表，确单元的所述MMVD预测参数中的一个或多个第一MMVD预从不包括在所述多个候选组中的一个或多个第二MMVD候选列表，确定指是从所指示的候选组的所述一个或多个第一MMVD候选列表中的对应一个内的多个第一是从所述一个或多个第二MMVD候选列表中的对应一个内的多个第二MMVD候选参数中选择，所述一个或多个第二MMVD候选列表中的每个不同于所述一个或多个第一MMV3述运动差异指示和所述预测方向索引中选择的一个或多个指示4[0003]本申请请求于2018年8月28日提交的美国临时申请No.62/723,880的权益及优先卷号为US74791(以下称为US74791申请)。US74791申请的揭露内容在此通过引用完全并入本申请中。[0007]本申请针对一种用于基于多个候选组中的多个候选参数来重建图像帧中的块单合并模式MMVD预测参数以预测所述块单元；确定集合标志及所述块单元的多个MMVD指示，预测参数中的所述一个或多个之外的MMVD预测参数是从一个或多个第二MMVD候选列表中5合并模式MMVD预测参数以预测所述块单元；确定指示了多个候选组中的一个的集合标志，其中所述多个候选组中的每个包括一个或多个第一具有运动向量差的合并模式MMVD候选述集合索引和所述一个或多个MMVD索引到比[0011]图1是根据本申请的示例性实施方式的被配置为对视频数据进行编码和解码的示[0013]图3是根据本申请的示例性实施方式，用于基于多个候选组中的多个候选参数来[0015]图5是根据本申请的示例性实施方式，用于基于多个候选组中的多个MMVD候选参[0016]图6是根据本申请的示例性实施方式，用于基于多个候选组中的多个MMVD候选参[0018]图8是根据本申请的示例性实施方式，用于基于多个候选组中的多个MMVD候选参6方式以固件或硬件或硬件和软件的组合的替代示例性实施方式亦在本申读存储器(ReadOnlyMemory，ROM)、可擦可编程只读存储器(ErasableProgrammableRead_OnlyMemory，EPROM)、电可擦可编程只读存储器(ElectricallyErasable[0025]图1是根据本申请的示例性实施方式的被配置为对视频数据进行编码和解码的示的地装置12可以包括被配置为经由所述通信介质13接收编码的视频数据并且对编码的视[0028]在至少一个实施方式中，所述来源装置11的所述来源模块111可以包括用于撷取新视频的视讯撷取装置、存储先前撷取的视频的视频存档和/或从视频内容提供商接收视7组合。在至少一个实施方式中，视讯撷取装置可以是电荷耦合器件(Charge_CoupledDevice，CCD)图像传感器、互补金属氧化物半导体(ComplementaryMetal–Oxide–编码器或解码器中，它们中的任何一个可以被集成为相应装置中的组合编码器/解码器或遵循现有标准或事实标准。现有标准或事实标准包括但不限于以太网、IEEE802.11或皆可以包括被配置为向所述通信介质13发送和/或存储兼容的视频比特流并且从所述通信述第二接口123可以包括计算机系统接口，该计算机系统接口可以使兼容的视频比特流能示模块121可以包括高清晰度显示器或超高清222表示图1的系统中的目的地装置12的解码器模块122的示例性实施方式。在至少一个实帧内预测处理器(例如：帧内预测单元22221)和帧间预测处理器(例如：帧间预测单元8实施方式中，所述熵解码单元2221可以执行上下文自适应可变长度编码(ContextAdaptiveVariableLengthCoding，CAVLC)、上下文自适应二元算术编码(Context(ProbabilityIntervalPartitioningEntropy，PIPE)编码或另一种熵编码技术来生成息和其他语法信息发送给所述预测处理单元22一个图像块可以包括用于重建多个亮度样本的亮度块以及用于重建多个色度样本的至少所述预测数据包括针对所述多个图像帧中特定的一个的当前图像块的帧内模式或运动向[0036]在至少一个实施方式中，所述帧内预测单元22221可以基于与帧内模式相关的语法元素，对与当前块单元相同的帧中的一个或多个相邻块执行当前块单元的帧内预测编[0037]在至少一个实施方式中，当通过所述预测处理单元2222重建当前块的色度分量时，所述帧内预测单元22221可基于当前块单元的多个亮度分量来重建当前块单元的多个[0038]在至少一个实施方式中，所述帧间预测单元22222可以基于与运动向量有关的语的块。在至少一个实施方式中，所述帧间预测单元22222接收存储在所述解码图片缓冲器[0039]在至少一个实施方式中，所述逆量化/逆变换单元2223可以使用逆量化和逆变换9如离散余弦变换(DiscreteCosineTransform，DCT)、离散正弦变换(DiscreteSine文斯变换(Hypercube_GivensTransform，HyGT)、F信号依赖变换、Karhunen_Loéve变换的视频输出至所述显示模块121或其他视频解码图片缓冲器2226可以由多种存储装置中的任何一种形成，例如动态随机存取存储器(DynamicRandomAccessMemory，DRAM)，包括同步动态随机存取存储器(Synchronous冲器2226可以与所述解码器模块222的其他元件一起在芯片上，或者相对于那些元件在芯[0043]图3示出了根据本申请的示例性实施方式，用于基于多个候选组中的多个候选参并且在解释示例方法时参考了这些图的各种元件。显示在图3的每一框可表示在示例方法的地装置12可以通过所述目的地装置12的所述第二接口123从诸如所述来源装置11的编码222可根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行分割以确定实施方式中，所述预测模式可以是从多个候选模式中选出的具有运动向量差的合并模式进行解码以确定所述块单元的所述多个预测指示，然后解码器模块222可以进一步基于所[0048]在至少一个实施方式中，帧间预测单元22222可以基于相邻运动信息来生成用于其指示包括在预测参数中的所选基础候选。例如，基础候选可以基于诸如高效视频编码以是指示包括在所述多个预测参数中的差异幅度的第一MMVD索引mmvd_distance_idx，并且所述运动方向索引可以是指示包括在所述多个预测参数中的所述差异方向的第二MMVD此，帧间预测单元22222可以基于由所述运动差异索引指示的X坐标差异和Y坐标差异来确[0051]在至少一个实施方式中，帧间预测单元22222可以基于所述预测方向索引从多个于所述第一参考列表L0中的所述多个第一帧候选中的一个和所述第二参考列表L1中的所一帧候选中的一个来预测时，所述块单元是基于所述第一参考列表L0而预测的单向预测块。当所述块单元是基于所述第二参考列表L1中的所述多个第二帧候选中的一个来预测测单元22222可以检查所述基础候选索引和所述预测方向索引之间的关系。当由所述预测方向索引确定的参考列表与由所述基础候选索引确定的参考列表不同时，帧间预测单元22222可以通过将所述基础候选索引所确定的参考列表中的帧候选进行镜像，在由所述预列表L0中的所述第一帧候选镜像到所述第二参考列表L1中，以选择第二帧候选中的一个。另外，帧间预测单元22222可以镜像与由所述基础候选索引确定的所述第一参考列表L0相引代表差异幅度和差异方向时，帧间预测单元22222可以将所述多个候选参数中的所述多个差异距离候选和所述多个差异方向候选与所述多个先前块的所述多个先前模式的所述引代表差异幅度时，帧间预测单元22222可以将所述多个候选参数中的所述多个差异距离候选与所述多个先前块的所述多个先前模式的所述多个差异幅[0055]在至少一个实施方式中，解码器模块222可以根据所述比特流中的分割指示来分域412和位于块单元41的左上方的第三搜索区域413。第一搜索区域411具有第一区域宽度的块单元42的第一搜索区域421的第一区域宽度W1可以等于块单元42的第二搜索区域422[0056]在至少一个实施方式中，图4C中的块单元43的搜寻范围430可以包括与块单元43间块相同，所述多个空间块与块单元41相邻且被帧间预测单元22222用于多个帧间合并候[0058]在至少一个实施方式中，帧间预测单元22222可以确定所述搜寻范围中的所述多个被包括在所述多个先前块中特定一个时，帧间预测单元22222可以确定所述特定子块的子块的所述多个先前模式，并计算基于所述多个候选参数来预测的所述多个子块的数量。帧间预测单元22222可以基于所述多个使用率来安排所述多个候选参数。在所述实施方式中，帧间预测单元22222可以基于所述多个使用率，从最大到最小来安排所述多个候选参[0059]在至少一个实施方式中，帧间预测单元22222可以根据所述多个先前块的所述多个先前模式来针对每个所述多个运动参数安排所述多个候选参数，以生成排序的候选列施方式中，帧间预测单元22222可以根据所述多个先前模式的使用率来针对所述多个运动第一候选组中所述多个组参数中第一个的比特的数目可以小于在比特流中用于所述第一个组参数的数量可以等于零。当帧间预测单元22222确定了视频数据中的第一块是基于具有所述多个先前参数的MMVD模式被预测时，帧间预测单元22222可以将与MMVD模式的所述的先前模式被确定，以添加到所述第一候选组中的所述Nm个组参数中时，帧间预测单元22222可以从所述第一候选组中去除所述多个候选参数中的第一个加入的[0061]在至少一个实施方式中，帧间预测单元22222可以将剩余的候选参数分类到其他个组参数的数量可以等于其他候选组中的所述多个组码器模块222确定所述多个候选组中的所述多个候选参数的分类结果。在至少一个实施方合标志等于零时，帧间预测单元22222可以直接确定块单元的所述特定的候选参数不包括以指示所述块单元的所述特定的候选参数是否包括第一候选组中。在至少一个实施方式中，当集合标志包括在切片标头中时，所述集合标志可以是slice_fpel_mmvd_enabled_[0065]在框34处，解码器模块222可以基于与所述集合索引相对应的所述特定的候选参[0067]在至少一个实施方式中，帧间预测单元22222可以基于集合索引来确定所述多个[0068]在框35，解码器模块222可以基于所述剩余候选组中所述特定的候选参数来确定索引代表的所述多个候选参数可以与针对剩余候选组中的每一个而由组索引代表的候选222可以基于所确定的基础候选(例如，由组索引确定)选择所述多个向量候选中的一个和于四个。帧间预测单元22222可基于所述多个先前块的所述多个预测模式将所述多个候选[0072]在至少一个实施方式中，帧间预测单元22222可以在没有组索引的情况下确定剩余候选组中所述特定的候选参数。帧间预测单元22222可以通过基础候选索引来确定基础[0074]在至少一个实施方式中，帧间预测单元22222可以根据所述多个预测参数为块单述实施方式中，第一加法器2224可以经由熵解码单元2221和逆量化/逆变换单元2223接收[0075]图5是根据本申请的示例性实施方式，用于基于多个候选组中的多个具有运动向量差的合并模式(mergemodewithmotionvectordifference,MMVD)候选参数来重建块示例方法时参考了这些图的各种元件。显示在图5的每一框可表示在示例方法中执行的一的地装置12可以通过所述目的地装置12的所述第二接口123从诸如所述来源装置11的编码222可根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行分割以确定一个实施方式中，解码器模块222可以针对每个所述多个运动参数从所述多个候选参数中[0081]在至少一个实施方式中，帧间预测单元22222可以基于相邻运动信息来生成用于述特定的基础候选可以包括第一参考列表L0中的第一帧候选以及与第一帧候选相对应的[0083]在至少一个实施方式中，帧间预测单元22222可以选择第一参考列表L0和第二参多个第一帧候选中的一个和所述第二参考列表L1中的所述多个第二帧候选中的一个来预表与由所述基础运动确定的参考列表不同时，帧间预测单元22222可以通过由基础运动所择一个或多个第一运动参数的多个第一MMVD候选参数和用于选择一个或多个第二运动参运动参数的数量可以等于每个所述多个候选组中的一个或多个第一MMVD候选列表的数量。码器模块222确定所述多个候选组中的所述多个第一MMVD候选参数的分类结果。在至少一个实施方式中，帧间预测单元22222可以直接确定包括所述多个第一组MMVD候选参数的所指示是否从所述多个候选组中的特定的一个中选择了所述块单元的所述多个预测参数中标志等于零时，帧间预测单元22222可以直接确定未从所述特定的候选组中选择所述块单志可以是slice_fpel_mmvd_enabled[0088]在至少一个实施方式中，所述多个预测指示可以包括MMVD模式的基础候选索引、是指示从所述多个差异距离候选来的差异幅度的第一MMVD索引mmvd_distance_idx，运动方向索引可以是指示从所述多个差异方向候选来的差异方向的第二MMVD索引mmvd_[0091]在至少一个实施方式中，帧间预测单元22222可以基于预测方向索引从多个预测的参考列表与由基础候选索引确定的参考列表不同时，帧间预测单元22222可以通过由基所述多个预测方向候选不包括在所述多个候选所述集合标志等于零时，帧间预测单元22222可以基于组索引直接确定其他候选组中的所述多个预测参数中的至少一个。在至少一个实施方式中，当所述多个候选组的数量等于2[0095]在至少一个实施方式中，当块单元在MMVD模式下预测时，所述多个预测参数是基础候选索引和所述运动差异索引时，帧间预测单元22222可以基于所述集合索引直接确个代表所述运动距离索引时，帧间预测单元22222可以基于所述集合索引来确定所述块单引中的每个代表所述运动距离索引时，帧间预测单元22222可以从所述组索引确定所述块[0098]在至少一个实施方式中，帧间预测单元22222可以根据所述多个预测参数为块单述实施方式中，第一加法器2224可以经由熵解码单元2221和逆量化/逆变换单元2223接收[0099]图6是根据本申请的示例性实施方式，用于基于多个候选组中的多个具有运动向量差的合并模式(mergemodewithmotionvectordifference,MMVD)候选参数来重建块示例方法时参考了这些图的各种元件。显示在图6的每一框可表示在示例方法中执行的一的地装置12可以通过所述目的地装置12的所述第二接口123从诸如所述来源装置11的编码222可根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行分割以确定选组可以包括一个或多个第一具有运动向量差的合并模式(mergemodewithmotionvectordifference,MMVD[0105]在至少一个实施方式中，帧间预测单元22222可以基于相邻运动信息来生成用于[0106]在至少一个实施方式中，所述运动差异还可以包括所述差异幅度和所述差异方[0107]在至少一个实施方式中，帧间预测单元22222可以从多个预测方向候选中选择所元是基于所述第一参考列表L0中的所述多个第一帧候选中的一个和所述第二参考列表L1个所述多个候选组中的两个第一MMVD候选列表中的一个可以包括所述多个差异距离候选，并且每个所述多个候选组中的所述两个第一MMVD候选列表中的另一个可以包括所述多个至少一分类运动参数的数目可等于一。另外，每个所述多个候选组中的一个或多个第一码器模块222确定所述多个候选组中的所述多个第一MMVD候选参数的分类结果。在至少一示是否从所述多个候选组中的特定一个中选择了所述块单元的所述多个预测参数中的至帧间预测单元22222可以直接确定所述块单元的所述多个预测参数中的所述至少一个未从所述特定的候选组中选择。在至少一个实施方式中，所述集合标志可以是fpel_mmvd_enable_flag，以指示所述块单元的所述多个预测参数中的所述至少一个是否从所述特定标志可以是slice_fpel_mmvd_enable所述多个MMVD指示中的对应一个，从所述多个候选参数中选择所述多个预测参数中的一选来的差异幅度的第一MMVD索引mmvd_distance_idx，所述运动方向索引可以是指示从所[0115]在至少一个实施方式中，帧间预测单元22222可以基于所述预测方向索引从多个所述运动差异索引和所述预测方向索引中选择的所述至少一个指示的索引可以不包括在所述运动方向索引和所述预测方向索引中选择的所述至少一个指示的索引可以不包括在[0117]在框64，解码器模块222可以从包括在所选候选组中的所述一个或多个第一MMVD候选列表中选择所述块单元的一个或多个第一MMV式中，帧间预测单元22222可以从所选候选组中的所述一个或多个第一MMVD候选列表中选选组中的所述一个或多个第一MMVD候选列表的数量可以等于一个。因此，帧间预测单元22222可以从选择的候选组中的一个第一MMVD候选列表中选择与一个分类的运动参数相对择的候选组的所述一个第一MMVD候选列表中的所述多个差异距离候选中选择所述块单元22222可以从所选候选组中的所述多个第一MMVD候选列表中选择所述多个第一MMVD预测参一个实施方式中，因为每个所述多个分类运动参数对应到所选候选组中的所述多个第一MMVD候选列表中的一个，帧间预测单元22222可以从所选候选组的所述多个第一MMVD候选列表中的对应一个第一MMVD候选列表中的所述多个第一MMVD候选参数中选择每个所述多[0121]在框65，解码器模块222可以从排除在所述多个候选组外的一个或多个第二MMVD候选列表选择所述块单元的一个或多个第二MMV[0123]在至少一个实施方式中，帧间预测单元22222可以基于所述多个MMVD指示中的一[0124]在框66，解码器模块222可以基于所述一个或多个第一预测参数和所述一个或多[0125]在至少一个实施方式中，帧间预测单元22222可以根据所述一个或多个第一预测参数和所述一个或多个第二预测参数为块单元中的所述多个块分量中的一个生成预测分码单元2221和逆量化/逆变换单元2223接收所述块单元的所述多个残余分量。在所述实施个实施方式中，所述编码器模块712的所述预测处理单元7121还可包括分割处理器(例如：[0127]在至少一个实施方式中，所述编码器模块712可以接收包括多个图像帧的来源视测单元71212可以在与当前块单元相同的帧中相对于一个或多个相邻块执行当前块单元的择方法来选择由所述帧内预测单元71212和所述帧间预测单元71213生成的多个编码结果中的一个。在至少一个实施方式中，模式选择方法可以是率失真优化(Rate_Distortion[0130]在至少一个实施方式中，所述帧内预测单元71212可以对当前块单元进行帧内预单元71212可以使用各种帧内预测模式对当前块单元进行编码，并且所述帧内预测单元71212或所述预测处理单元7121可以从测试模式中选择适当的帧内预测模式。在至少一个实施方式中，所述帧内预测单元71212可以使用交叉分量预测模式来对当前块单元进行编帧内预测单元71212可以基于当前块单元的两个色度分量中的另一个来预测当前块单元的71213可以执行运动估计以估计当前块单元的运动以生成运动向量。运动向量可以指示当中，所述帧间预测单元71213可接收存储在所述解码图片缓冲器7127中的至少一个参考图[0133]在至少一个实施方式中，所述变换/量化单元7123可将变换应用于残值块以产生[0135]在至少一个实施方式中，所述逆量化/逆变换单元7124可以应用逆量化和逆变换考图片存储器存储例如在帧内或帧间编码模式下用于由所述编码器模块712对视频进行编缓冲器7127可以与所述编码器模块712的其他元件一起在芯片上，或者相对于那些元件在测方法用于基于多个候选组中多个具有运动向量差的合并模式(mergemodewithmotion[0141]在至少一个实施方式中，来源装置11的预测处理单元7121可以经由分割单元71211从视频确定块单元，然后编码器模块712可以基于分割单元71211的分割结果将多个择具有运动向量差的合并模式(mergemodewithmotionvectordifference,MMVD)模式[0144]在至少一个实施方式中，当运动差异指示包括运动距离块712可以将集合索引提供到比特流中以指示差[0146]在至少一个实施方式中，帧间预测单元71213可以确定在所述块单元之前被编码个先前模式可以包括从所述多个候选参数中选择的多个先前参数。因此，帧间预测单元71213可确定所述多个先前块的所述多个先前参数，并将与所述多个预测模式的所述多个使用集合索引来表示差异幅度时，帧间预测单元71213将所述多个候选参数中的所述多个差异距离候选与所述多个先前块的所述多个先前模式的所述多个差异幅每个候选组中的所述多个候选参数可以在编码器模块7以将等于一的集合标志提供到比特流中。当编码器模块712确定所述块单元的所述特定的预测候选不包括在所述第一候选组中时，编码器模块712可以将等于零的集合标志提供到[0150]在框34处，编码器模块712可以基于与所述集合索引相对应的所述特定的候选参[0152]在框35，编码器模块712可以基于所述剩余候选组中所述特定的候选参数来确定[0155]在至少一个实施方式中，帧间预测单元71213可以根据所述多个预测参数为块单[0156]图8是根据本申请的示例性实施方式，用于基于