CN113853794B 视频解码方法与相关电子装置 （寰发股份有限公司）

US2018278949A1,2018.09.27WO2018175756A1,2018.09.27WO2018237303A1,2018.12.272021.12.282021.08.24PCT/CN2020/0769932020.02.27WO2020/173485EN2020.09.03提供了实施编解码模式互相排斥组的视频二编解码模式指定不同的方法用于计算该当前2接收将被解码为视频的当前图像的当前块的像通过使用根据启用的编解码模式计算的帧间预测解码广义双向预测是视频解码器执行两个不同方向中两个预测信号加权平均来生成该帧解码器侧运动向量细化是该视频解码器搜索初始运动向量周围细化的运动向量以及组合帧间与帧内预测是该视频解码器将帧间预测信号与帧内预测信号组合来生成该广义双向预测是视频解码器执行两个不同方向中两个预测信号加权平均来生成该帧双向光流是该视频解码器计算运动细化来最小化不同方向的预测样本之间的失真以组合的帧间预测与帧内预测是该视频解码器将帧间预测信号与帧内预测信号组合来接收将被解码为视频的当前图像的当前块的像3通过使用根据启用的编解码模式计算的帧间预测解码包括该第一编解码模式以及该第二编解码模式，以及其中当该第一编解码模式被启用时，广义双向预测是该视频解码器电路执行两个不同方向的两个预测信号的加权平均来解码器侧运动向量细化是该视频解码器电路搜索初始运动向量周围的细化的运动向组合的帧间与帧内预测是该视频解码器电路组合帧间预测信号与帧内预测信号来生广义双向预测是该视频解码器电路执行两个不同方向中两个预测信号的加权平均来双向光流是该视频解码器电路计算运动细化来最小化不同方向的预测样本之间的失组合的帧间与帧内预测是该视频解码器电路组合帧间预测信号与帧内预测信号来生4[0003]高效视频编解码(HEVC)是由视频编解码的联合协作小组(JCT-VC)开发的国际视个较小的CU直到达到预定的最小尺寸。每一CU包含一个或多个预测单元(prediction偿预测。有三个不同的模式，包括跳过(Skip)、合并(Merge)以及帧间高级运动向量预测[0005]当PU在帧间AMVP模式中编解码时，用所传输的运动向量差异(MVD)执行运动补偿模式中决定MVP，高级运动向量预测(AMVP)方案用于在包括两个空间MVP以及一个时间MVP中指定预测方向的帧间预测方向与每一列表的参考帧索引也应该被编码并含四个空间MVP以及一个时间MVP的合并候选集合中选择运动向5[0012]图2概念地示出了使用基于双向匹配(bilateral-matching)的解码器侧运动向量[0013]图3示出了解码器运动向量细化(DecoderMotionVectorRefinement，DMVR)的[0021]图11a概念地示出了通过使用帧内MH模式(MHmodeforintra)来编码或解码一[0025]图14概念地示出了用于在视频编码器实施编解码模式或工具的互相排斥组的进[0027]图16示出了可以实施互相排斥的编解码模式或工具分组的该视频解码器的一部[0028]图17概念地示出了用于在视频解码器实施编解码模式或工具的相互排斥组的一6以在没有细节的情况下在相对高层级进行描述，以避免不必要地混淆本发明的教导的方以及被添加到候选集合(候选列表)中。视频编码器基于率失真优化(RDO)决定在跳过或合[0035]图2概念地示出了使用基于双向匹配的解码器侧运动向量细化来编码或解码当前[0038]由DMVR进程导出的细化的MV用于生成帧间预测样本以及也用于未来图像编解码[0040]如图2所示，包围初始MV的搜索点以及MV偏移服从MV差异镜像原则。换言之，由7[0043]其中MV_offset表示初始MV与参考图像之一中细化的MV之间的细化偏移。在一些数化误差表层等式(parametricerrorsurfaceequation)导出分数样本细化，而不是使在第一次迭代(iteration)或第二次迭代中以中心具有最小SAD结束整数样本搜索阶段时，邻位置的成本被用于适合以下形式的2-D[0052]因为所有成本值是整数以及最小值是E(0,0)，xmin以及ymin的值通常被自动约束8[0058]加权预测(WP)是由H.264/AVC以及HEVC标准支持的编解码工具来有效地编解码具联性将是有效的，以及运动估计可以容易地在时间相邻帧中找到具有类似像素值的类似[0061]在一些实施例中，相邻导出的预测偏移(Neighboring-derivedPrediction及扩展的运动补偿预测子(extendedmotioncompensatedpredictor，EMCP)来导出该偏以及可以根据任何编码参数来决定，如PU或CU尺寸，只要它们对NRP以及EMCP两者是相同于修正帧间预测的结果。LIC是使用当前块以及参考块的相邻样本来生成线性模型的帧间个不同的参考图像获得的两个预测信号与/或使用两个不同的运动向量生成双向预测信9的加权平均仅被应用于具有256或更多亮度样本的CU(即，CU宽度乘以CU高度大于或等于[0082]其中Ω是4x4子块周围的6x6窗口以及na与nb的值被设置为分别等于min(1,bitDepth-11)以及min(4,bitDepth-8)。然后使用交叉以及自动关联术语导出运动细化外的旗标被发信来指示组合的帧间/帧内预测(CIIP)模式是否被应用于当前CU。启用条件[0091]使用被应用于常规合并模式的相同的帧间预测进程来导出CIIP模式Pinter中的者垂直模式)以及块中的样本位置决定权重。从帧内预测参考样本最近部分开始以及在该[0095]用于视频编解码的扩散滤波器是使用扩散滤波器来应用于视频编解码中的预测预测信号来形成扩展预测以及然后所生成的信号在所有方向测信号实现垂直滤波器以及通过使用转置屏蔽hnor=her实现水平滤波器。[0104]I(i,j)以及I(k,l)分别是样本(i与参考样本之间的强度差异作为一个维度上的LUT的索引，以及TU尺寸在另一个维度上作[0113]其中(i)是哈德码频谱中频谱分量的索引，R(i)是对应于索引的重构像素的频谱[0115]对应于DC值的第一频谱分量在没有滤波的情况下被旁路。使用滤波频谱的逆4点[0116]图9示出了哈德码变换域滤波器下的列表进程。如图所示，相等的滤波器形状是[0119]图10示出了沿着CU的两个三角形预测单元之间的对角线边缘应用的适应性加第一加权因子组{7/8,6/8,4/8,2/8,1/8}以及{7/8,4/8,1/8}被分别用于亮度以及色度样件设计更加复杂以及导致更长的管线延迟(pipelinelatency)。通过实施互相排斥的规相排斥的规则用于确保两个或多个工具或编解码模式的某些集合中的工具或编解码模式等的POC距离以及其他；GBI的启用条件包括双向预测以及来自语法的GBI索引(当AMVP)或用)其意味着相等权重被应用来混合来自列表0以及列表1的预测子。又例如，排斥组包括BDOF，因此当使用GBI时(GBI索引指示不相等的权重用于混合来自列表0以及列表1的预用GBI时(GBI索引指示不相等的权重用于混合来自列表0以及列表1的预测)，DMVR不被使用。于BDOF。如果CU_width>CU_height，长宽比被定义为CU_width/CU_height或者如果CU_些实施中，对于一个真正的双向预测合并候选，如果L0MV的镜像(以及随后缩放)MV与L1测子的第二假设可以由来自基于帧间预测模式(合并或跳过模式)的运动候选的运动补偿，式或MH模式帧内或MH帧内或帧间-帧内模式。由CIIP编解码的CU通过使用帧内MH模式来编成时，多假设模式被称为帧间MH模式或MH模式帧间或MH帧间(或也被称为合并的MH模式或具有多假设的每一候选)包含一个运动候选以及一个帧内预测模式，其中该运动候选从候些实施例中，候选列表I等于该当前块的合并候选列表以及帧间MH模式的多假设候选的两[0139]图11a概念地示出了通过使用帧内MH模式来编码或解码像素块。图式示出了当前组合的预测1120然后被用于重构该当前参考帧1102以及1104，通过帧间预测获得第一预测1122。基于至少一个参考帧1106以及一预测模式)生成第一预测1122，该运动候选1142从第一候选列表1132(候选列表I)来选CIIP，或者任何一个帧内MH模式)隐式从候选列表II来选择或者在没有一个额外帧内模式或列表1运动向量。当当前POC(或当前图像的POC)与由列表x(其中x是0或1)运动向量参考的(参考图像的)POC之间的距离(标记为D1)小于当前POC与由列表y(其中y是0或1并且y不动补偿来生成该预测。当该当前编解码的CIIPCU的运动信息被节省用于由后续或接下来个示例，预定规则可以指定CIIP的候选列表再使用TPM的候选列表或者CIIP的该候选列表法也被统一而不是使用两个各自的旗标来决定是否使用CIIP以及是否使用TPM。统一方案设预测模式被应用。当该第一箱(或第一旗标)指示多假设预测模式被应用时(regular_的额外语法来指示CIIP的两个候选)。用于组合的预测模式的该组的启用条件的示例包括频编码器检索一个双向预测的L1信息(候选)，将其改变成单向预测候选，以及然后应用之间的距离(标记为D1)小于当前POC与由列表y(其中y是0或1并且y不等于x)运动向量参考的POC之间的距离(标记为D2)时，然后列表x运动向量被选择用于细化通过应用LIC的帧间预定规则可以像常规合并模式那样在生成候选列表期间忽视双向预测运动候选。用于LIC相邻合并候选的数目大于阈值或者历史FIFO缓冲器中M个记录中的N个使用LIC模式被启[0152]以上所有组合可以用隐式规则或显示规则来决定。隐式规则可以取决于块宽度、[0154]图12标出了可以实施编解码模式或工具的互相排斥组的示例性视频编码器120如图所示，视频编码器1200从视频源1205接收输入视频信号以及将信号编码进比特流偿模块1230以及运动估计模块1235是帧间预测模块12[0155]在一些实施例中，模块1210-1290是由计算装置或电子装置的一个或多个处理单1208计算视频源1205的原始视频像素数据与来自运动补偿模块1230或帧内预测模块1225的已预测像素数据1213之间的差异。变换模块1210将该差异(或残差像素数据或残差信号[0158]帧内图像估计模块1220基于重构像素数据1217执行帧内预测来生成帧内预测数[0159]运动估计模块1235通过生成MV来参考存储于重构图像缓冲器1250中的先前解码帧的像素数据来执行帧间预测。这些MV被提供到运动补偿模块1230来生成已预测像素数[0160]除了在比特流中编码完整实际的MV，视频编码器1200使用MV预测来生成已预测[0161]MV预测模块1275基于参考MV生成已预测MV，参考MV被生成测来计算。当前帧的已预测MV与运动补偿MV(MCMV)之间的差异(残差运动数据)由熵编码下文自适应二进制算术编解码(CABAC)或霍夫曼编码。熵编码器1290将各种标头(header)元素、旗标与已量化系数1212以及残差运动数据编码为语法元素到比特流1295。比特流[0164]环路滤波器1245对重构像素数据1217执行滤波或光滑操作来减少编码伪影用于编码当前块的运动信息以及运动方向以由后续块使用。合并候选可以由MV细化模块[0167]编解码模式(或工具)控制模块1300控制帧内图像预测模块1225、运动补偿模块[0168]编解码模块控制1300可以启用MV细化模式1365来通过搜索细化的MV(如，用于模块1300可以启用帧内预测模块1225以及运动补偿模块1230来实施MH模式帧内(或帧间-像预测模块1225、运动补偿模块1230与/或第二运动补偿模块1330的预测信号来实施如[0169]编解码模式控制模式1300也决定启用与/或禁用哪一编解码模式用于编解码当前GBI以及BDOF的条件都被满足并且GBI索引指示不相等的权重来混合列表0以及列表1的预决定用于启用GBI以及DMVR的条件都被满足并且GBI索引指示不相等的权重来混合列表0以[0173]编解码模式控制1300生成或发信语法元素1390到熵编码器1290来指示一个或多例中，第一语法元素(如第一旗标)用于指示是否应用多假设预测模式以及第二语法元素(如第二旗标)用于指示是否应用CIIP或TPM。该第一以及第二语法元素由熵编码器1290对(其意味着使用不相等的权重来混合来自列表0以及列表1的帧间预测)，而且因为GBI被分CIIP被分配比被禁用工具更高的优先级，如果CIIP旗标等于1，编码器启用CIIP，但禁用[0180]图15标出了可以实施编解码模式或工具的互相排斥组的示例性视频解码器150[0181]在一些实施例中，模块1510-1590是由计算装置的一个或多个处理单元(如处理(或已量化系数)1512。解析器1590通过使用如上下文适应性算术编解码(CABAC)或霍夫曼与来自帧内预测模块1525或运动补偿模块1530的已预测像素数据1513相加来生成已解码数据1517也被存储于线性缓冲器(未示出)用于帧间图像预测以及空间[0186]运动补偿模块1530根据运动补偿MV(MCMV)从存储于解码图像缓冲器1550的已解MV预测模块1575接收的已预测MV相加来解码这些运动补偿M[0187]MV预测模块1575基于参考MV生成已预测MV，参考MV被生成[0188]环路滤波器1545对已解码像素数据1517执行滤波或光滑操作来减少编解码的伪[0191]编解码模式(或工具)控制1600控制帧内图像预测模块1525、运动补偿模块1530、[0192]编解码模式控制1600可以启用MV细化模块1665来通过搜索细化的MV执行MV细化以启用帧内预测模块1525以及运动补偿模块1530来实施MH模式帧内(或帧间-帧内)模式块1525、运动补偿模块1530与/或第二运动补偿模块1630的预测信号以实施如CIIP、TPM、[0193]编解码模式控制模块1600也决定启用与/或禁用哪一编解码模式用于编解码该当解码模式控制1600禁用该当前块的第二编及启用该当前块的该第二编解码模式的第二条件都满足并且该第一编解码模式被启用时，1600决定用于启用GBI以及BDOF的条件都被满足以及GBI索引指示不相等的权重来混合列解码模式控制1600决定启用GBI以及DMVR的条件都被满足以及GBI索引指示不相等的权重[0197]编解码模式控制1600从熵解码器1590接收一语法元素1690来指示一个或多个编频解码器1500还可以禁用一个或多个其他编解码模式。在一些实施例中，第一语法元素指示是否应用CIIP或TPM模式。对应地从该比特流1595中的第一箱以及第二箱来解码该第[0199]解码器接收(在块1710)将被解码为一视频的一当前图像的一当前块的一像素块[0204]许多上述描述的特征以及应用被实施为被指定为记录在计算机可读存储媒介(也被称为计算机可读媒介)上的一组指令的软件进程。当这些指令被一个或多个计算或处理输来由GPU1815执行。GPU1815可以分流由处理单元1810提供的各种计算或实施图像处[0209]只读存储器(ROM)830存储由处理单元1810以及电子系统的其他模块使用的数据磁或光盘以及其对应的硬盘驱动器)作为永久存储装置[0210]其他实施例使用可移除存储装置(如软盘、快速存储装置等以及其对应的硬盘驱1845显示由电子系统生成的图像或其他输出数据。输出装置1845包括打印机以及显示设计算机可读存储媒体、机器可读存储媒体或机器可读存储媒体)形式存储计算机程序指令括用于执行各种操作的指令的集合。计算机程序的示例或计算机代码包括机器代码(如由