CN118433410B 用于视频编码的方法、计算设备、非暂态计算机可读存储介质、计算机程序产品和存储比特流的方法 （北京达佳互联信息技术有限公司）

202080036321.02020.06.0513thMeeting:Marrakech,MA,9–18Jan.BenjaminBross.PairwiseexwithSTMVP.JointVideoExpertsTeamMarrakech,MA,9–18从与空间邻近块相关联的一个或更多个运动矢运动移位矢量从同位图片中的对应子块重建当前编码单元中的多个子块中的相应子块的基于2根据当前编码单元的空间邻近块的运动矢量来确定所述当前编码单元的运动移位矢基于所述运动移位矢量从所述同位图片中的对应子块重建所述当前编码单元中的所其中，所述根据当前编码单元的空间邻近块的运动矢量来在所述空间邻近块的与第一参考图片列表相关的运动矢量使用所述同位图片作为其参考图片的情况下，根据与所述第一参考图片列表相关的运动矢量导出所述运动移位矢在所述空间邻近块的与所述第一参考图片列表相关的运动矢量不使用所述同位图片在所述空间邻近块的与第二参考图片列表相关的运动矢量使用所述同位图片作为其参考图片的情况下，根据与所述第二参考图片列表相关的运动矢量导出所述运动移位矢在所述空间邻近块的与所述第二参考图片列表相关的运动矢量不使用所述同位图片其中，所述基于所述运动移位矢量从所述同位图片中的对应基于所述运动移位矢量，在所述同位图片中的预定义区域内确定与将所述子块的所述基于子块的时间运动矢量设置为基于所述同位子块的一个或两个设置为基于所述同位子块的一个或两个运动矢量导出的一个或两个缩放的运动矢量，包将所述子块的所述基于子块的时间运动矢量设置为：基于所述同所述同位图片与所述同位图片的参考图片之间的第二POC距离导出的一个或两个缩放的运3.根据权利要求1所述的方法，其中基于所述运动移位矢量从所述同位图片中的对应根据确定所述同位子块不存在于所述同位图片中的所述预定4.根据权利要求1所述的方法，其中基于所述运动移位矢量从所述同位图片中的对应3根据确定所述同位子块不存在于所述同位图片中的所述预定将所述同位图片中的所述预定义区域内的可替代子块设置为所可替代子块是所述预定义区域内最接近所述同位5.根据权利要求1所述的方法，其中所述当前编码单元的空间邻近块是编码单元或编6.根据权利要求1所述的方法，其中所述预定义区域具多个程序，存储在所述存储器中，所述多个程序在使所述计算设备执行如权利要求1至7中任一项所述的用9.一种非暂态计算机可读存储介质，所述非暂态个处理器执行时使所述计算设备执行如权利要求1至7中任一项所述的用于视频编码的方法以产生视频比特流并将产生的视频比特流存储在所述非暂态计算机可读存行时实现如权利要求1至7中任一项所述的用于视频11.一种存储比特流的方法，包括将通过如权利要求1至7中任一项所述的用于视频编码的方法产生的比特流存储在非暂态计算机可读4行空间(帧内)预测和/或时间(帧间)预测来减少或移且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或IBC模式对每个CU进行编码。视频帧的帧内编码(I)条带中的视频块使用关于同一视频帧内的邻近块中的参考样点内的邻近块中的参考样点的空间预测或关于其它先前参考视频帧和/或未来参考视频帧中可被量化。最初以二维阵列布置的量化的变换系数可被扫描以产生变换系数的一维向量，以由具有数字视频能力的另一电子设备访问或者有线或无线地直接发送到电子设备。然5[0006]随着数字视频质量从高清变为4K×2K或甚至8K×4K，待编码/解码的视频数据量当前编码单元中的多个子块的子块与所述同位图片中的对应子块之间的空间位置的移位；基于所述运动移位矢量从所述同位图片中的对应子块重建所述当前编码单元中的所述多[0011]被包括以提供对实施方式的进一步理解并且被并入本文并构成说明书的一部分[0015]图4A至图4E是示出根据本公开的一些实施方式的如何将帧递归地分割为不同尺[0016]图5是示出根据本公开的一些实施方式的待编码的当前CU的空间邻近位置和时间[0017]图6A至图6D是示出根据本公开的一些实施方式的用于导出当前块的时间运动矢量预测值或当前块中的子块的子块时间运动矢量预测值[0018]图7示出根据本公开的一些实施方式的用于确定用于导出时间运动矢量预测值和[0019]图8A至图8B示出根据本公开的一些实施方式的示出视频编解码器实施导出子块6[0021]图1是示出根据本公开的一些实施方式的用于并行地对视频块进行编码和解码的16可包括能够将编码视频数据从源设备12移动到目标设备14的任何类型的通信介质或设适合于访问存储在文件服务器上的编码视频数据的任何标准数据连接来访问编码视频数7储设备32上提供的编码视频数据可包括由视频编码器20生成的各种语义元素以供视频解[0028]视频编码器20和视频解码器30可根据专有标准或行业标准(例如，VVC、HEVC、的视频编码器20可被配置为根据这些当前标准或未来标准中的任何标准对视频数据进行[0029]视频编码器20和视频解码器30可分别被实现为各种合适的编码器电路中的任何处理器执行硬件中的指令以执行本公开中所公开的视频编码/解码操作。视频编码器20和的任一者可被集成为相应设备中的组合式编码器/解码器(CODEC)的一[0030]图2是示出根据本申请中描述的一些实施方式的示例性视频编码器20的框图。视8或帧间预测编码模式)在对视频数据进行编码时使用的参考视频数据的缓冲器。视频数据据分割为视频块。此分割还可包括根据与视频数和失真等级)为当前视频块选择多个可行预测编码模式中的一个，诸如多个帧内预测编码预测处理单元46可以与和待编码的当前块在同一帧中的一个或更多个邻近块相关地执行补偿单元44与一个或更多个参考帧中的一个或更多个预测块相关地执行当前视频块的帧视频块的PU相对于与当前帧内正被编码的当前块(或其它编码单元)相关的参考帧内的预元48可以以与由运动估计单元42确定用于帧间预测的运动矢量类似的方式确定用于帧内可对参考帧的四分之一像素位置、八分之一像素位置或其它分数像素位置的值进行内插。[0037]运动估计单元42通过以下来计算针对帧间预测编码帧中的视频块的PU的运动矢[0038]由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动矢9参考帧列表中的一个参考帧列表中定位运动矢量所指向的预测块，从DPB64取回预测块，元素可包括例如定义用于识别预测块的运动矢量的语义元素、指示预测模式的任何标记、编码器20可通过从正被编码的当前视频块的像素值减去预测块的像素值来形成像素差值，[0042]作为如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测或由[0043]在预测处理单元41经由帧间预测或帧内预测确定针对当行量化以进一步减小比特率。量化过程还可减小与系数中的一些或全部相关联的比特深间分割熵(PIPE)编码或另一熵编码方法或技术，将量化的变换系数熵编码成视频比特流。[0046]反量化单元58和逆变换处理单元60分别应用反量化和逆变换以在像素域中重建[0047]加法器62将重建的残差块加到由运动补偿单元44产生的运动补偿预测块来产生元44用作预测块以对后续视频帧中的另一视频块[0048]图3是示出根据本申请的一些实施方式的示例性视频解码器30的框图。视频解码和帧内BC单元85。视频解码器30可执行与上文结合图2关于视频编码器20所描述的编码过[0052]当视频帧被编码为帧内预测编码(I)帧或用于其它类型的帧中的帧内编码预测块先前解码块的参考数据来生成用于当前视频帧的视频块元82基于从熵解码单元80接收的运动矢量和其它语义元素产生针对当前视频帧的视频块元81的帧内BC单元85基于从熵解码单元80接收的块矢量和其它语义元素产生针对当前视频块的预测块。预测块可在由视频编码器20定义的与当前视频块的同一图片的重建区域[0055]运动补偿单元82和/或帧内BC单元85通过解析运动矢量和其它语义元素来确定针视频帧的视频块进行编码的预测模式(例如，帧内预测确定当前视频块是使用帧内BC模式预测的、帧的哪些视频块在重建区域内且应被存储在[0057]运动补偿单元82还可使用如由视频编码器20在视频块的编码期间使用的内插滤[0058]反量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定[0059]在运动补偿单元82或帧内BC单元85基于矢量和其它语义元素生成针对当前视频92或与DPB92分离的存储器设备还可存储解码视频以用于稍后呈现在显示器设备(例如，的一个二维阵列。码树单元(CTU)的集合来生成帧的编码表示。视频帧可包括以光栅扫描顺序从左到右和从中所描绘的CTU400的分割过程的最终结果的四叉树数据结构，四叉树的每个叶节点与范割仅用于说明性目的，并且一个CTU可基于四叉树分割/三叉树分割/二叉树分割而被拆分[0063]在一些实施方式中，视频编码器20可进一步将CU的编码块分割为一个或更多个M可基于除与PU相关联的帧之外的一个或更多个帧的解码样点来生成P预测Cr块之一中的Cr样点与CU的原始Cr编码块中的对应样点之[0067]视频编码器20可将一个或更多个变换应用于TU的亮度变换块以生成针对TU的亮更多个变换应用于TU的Cr变换块以生成针对TU的据的帧进行重建。对视频数据进行重建的过程通常与由视频编码器20执行的编码过程互[0071]但是随着不断改进的视频数据捕获技术和用于保留视频数据中的细节的更精细[0072]代替如上文结合图2所描述的将由运动估计单元42确定的当前CU的实际运动矢量视频解码器30两者需要采用一组规则，以用于使用与当前CU的空间邻近CU和/或时间同位CU相关联的那些潜在候选运动矢量来构建针对当前CU的运动矢量候选列表(也称为“合并运动矢量候选列表内的所选运动矢量预测值的索引足以使视频编码器20和视频解码器30使用运动矢量候选列表内的相同运动矢量预测值来对当前CU进行编码20编码到视频比特流中或被视频解码器30从视频比特流解码的帧间预测CU的最佳运动矢括空间运动矢量候选和时间运动矢量候选的运动[0075]除了从空间邻近CU或时间同位CU得到运动矢量预测值候选之外，还可从所谓的运动矢量预测值，每个运动矢量预测值已用于对同一行的CTU(或有时是同一CTU)中的特定CU进行编码/解码。由于这些CU的空间/时间接近度，HMVP表中的运动矢量预测值之一可再用于对同一行的CTU内的不同CU进行编码/解码的可能性很高。因此，有可能通过在构建运动矢量候选列表的过程中包括HMVP表来实现更高的编码效率。矢量或(ii)重建的运动矢量与HMVP表中的现有运动矢量之一相同。对于第一场景，如果部处并与另一先前帧间编码块相关联的运动信息移出缓冲器，使得重建的运动矢量作为运动矢量作为HMVP表中的最新成员附加到FIFO缓[0078]在针对当前CU的运动矢量的给定候选集合内选择一个MVP候选之后，视频编码器20可生成用于对应MVP候选的一个或更多个语义元素并且将它们编码到视频比特流中，使得视频解码器30可使用语义元素从视频比特流取回MVP候选。取决于用于构建运动矢量候[0079]图5是示出根据本公开的一些实施方式的待编码/解码的当前CU的空间邻近块位空间邻近块位置相关联的运动矢量的可用性以及与时间同位块位置相关联的运动矢量的[0080]在一些实施例中，通过按照以下顺序包括以下五种类型的候选来构建候选列表执行以下步骤来构建针对当前CU的运动矢量预测值([0089]a)从以A0开始并以A1结束的两个左侧空间邻近CU中的一个得到至多一个未被缩[0090]b)如果在前一步骤中没有来自左侧的未被缩放的MVP候选可用，则从以A0开始并B1并以B2结束的三个上方空间邻近CU中的一个得到至多一个被缩[0099]由于在上面构建的AMVP模式MVP候选列表中仅存在两个候选，所以将相关联的语义元素(如二进制标志)编码到比特流中以指示候选列[0100]在一些实施方式中，在跳过或合并模式下的针对当前CU的MVP候选列表可通过按类型的合并候选也被包括到用于跳过或合并模式的MVP候选列表中。通过对两个先前得到的合并模式运动矢量候选的MV求平均来生成成对合并候选。合并MVP候选列表的大小(例值化(TU)来对最佳合并候选的索引进行编码。合并索引的第一二进制位用上下文被编码，选列表或合并MVP候选列表。将先前帧间编码CU的运动信息存储在HMVP表中并且用作针对果HMVP表已满并且表中不存在相关联的运动矢量信息的相同副本)将相关联的运动矢量信IBC模式被视为除帧内预测模式或帧间预测模式之外的第[0104]_IBCAMVP模式：CU的实际块矢量与从CU的块矢量候选中选择的CU的块矢量预测值之间的块矢量差(BVD)以与上文描述的在AMVP模式下对运动矢量差进行编码的相同方式[0106]图6A至图6D是示出根据本公开的一些实施方式的用于导出当前块的时间运动矢量预测值(TMVP)或子块的子块时间运动矢量预测值(SbTMVP)[0107]在一些实施例中，仅将一个时间运动矢量预测值(TMVP)候选添加到合并候选列表，如关于图5所描述的。在图片的序列参数集(SPS)中用信号传送第一标志(sps_temporal_mvp_enabled_flag)并且在条带头中用信号传送第二标志(slice_temporal_进一步发送同位参考索引(co_located_ref_idx)以指示所使用的列表中的哪个图片被选为用于导出时间运动候选的同位图片。时间运动候选的列表0(也称为L0)和列表1(也称为L1)MV根据以下伪代码基于针对同位图片的同位块中的不同列表的MV的预定义顺序被独立放的运动矢量602是使用POC距离tb604和POC距离td606从选择的同位块的运动矢量被缩个用于参考图片列表1)被获得并组合以形成双向预测[0112]一些编解码标准(例如，VVC测试模型1)支持基于子块的时间运动矢量预测[0114]2、当TMVP从同位图片中的同位块(同位块是相对于当前CU的右下方块或中心块)移位是从来自当前CU的空间邻近块之一的运动矢示例假设运动移位被设置为块A1的运动。在实际实施方式中，运动移位可被设置为块A1、[0129]然后，对于每个子CU，同位图片中的子CU的对应块(覆盖中心样点的最小运动网间运动缩放以将时间运动矢量的参考图片与当前CU的参同位CTU右侧的一列运动信息(CTU2'在此示例中是当前CU的同位CTU)可被用于SbTMVP和过使用以下等式将对应N×N块的原始位置裁剪到位于有效区域内而导出的。在以下等式(针对每个子CU的位置裁剪过程)中，CurPicWidthInSamplesY和CurPicHeightInSamplesY是编解码图片的宽度和高度，CTUWidthInSamplesX及CTUWidthInSamplesY是CTU的宽度和中，组合的基于子块的合并列表包括SbTMVP候选和仿射合并候选两者。通过序列参数集模式仅适用于宽度和高度两者均大于或等于8的CU。此外，在当前VVC中，对于由TMVP和问时间运动数据的平均成本(时间或能量)。当前，VVC中[0150]图8A至图8B示出根据本公开的一些实施方式的示出视频编解码器实施导出子块的当前CU601对应于同位图片612中的同位CU601'。[0153]在定位空间邻近块之后，解码器然后确定用于当前编码单元的运动移位矢量如，图6D中的当前CU636)与同位图片(例如，图[0154]为了确定运动移位矢量，解码器顺序地检查包括在空间邻近块的列表0中的每个运动矢量(820)。根据确定列表0中有运动矢量使用同位图片作为该运动矢量的参考图片(825)：解码器将列表0中的该运动矢量设置为运动移位矢量(830)(例如，运动移位矢量[