CN118317107B 使用基于历史的运动向量预测进行视频编码的方法和装置 （北京达佳互联信息技术有限公司）

201980047626.92019.07.16basedMotionVectorPredict使用基于历史的运动向量预测进行视频编前CTU行中的第一个CU进行编码之前，重置基于历史的运动向量预测值HMVP表。对当前CTU行进模式并且至少部分地基于HMVP表中的多个运动基于预测模式和所选运动向量预测值来确定运间模式，运动向量候选列表具有为二的固定长2在对被编码的当前图片的当前CTU行中的第一个CU进行编码之前，重置基于历史的运在所述HMVP表中维持多个运动向量预测值，所述HMVP表中的每个根据预测模式并且至少部分地基于所述HMVP表中的所述多个运动向量预测值来构造至少部分地基于所述预测模式和所选运动向量预测值来确定运将所述HMVP表中的所述多个运动向量预测值与所确定的运动根据所述HMVP表中的所述多个运动向量预测值中的一个运动向量预测值与所确定的从所述HMVP表中移除相同的所述一个运动向量在所述HMVP表中，将被移除的运动向量预测值之后的运动向在来自所述HMVP表的基于历史的运动向量预测值被选择来构造所述运动向量候选列根据确定所述HMVP表中的所述多个运动向量预测值中没有运动向量预测值与所确定将所确定的运动向量作为最新的运动向量预测值添加到所述HM将来自所述当前CU的在空间上相邻的CU和/或在时间上并置的CU的零个或更多个运动3在所述将来自所述HMVP表的多达两个基于历史的运动向量预测值添加到所述运动向在时间上并置的CU的零个或更多个运动向量预测值添加到所述运将来自所述当前CU的所述在空间上相邻的CU的零个或更多个运动向量预测值添加到CU的所述在时间上并置的CU的零个或更多个运动向量预测值添加到所述运动向量候选列零个或更多个运动向量预测值添加到所述运动向量从所述在时间上并置的CU中推导多达一个运动向量预测值候选项。生成包括已编码的所述当前图片的比特流，其中，所述预述一个或多个处理器在执行所述指令时被配置为根据权利要求1至8中任一项所述的方法来生成比特流并将所述比特流存储在所述存10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由具成比特流并将所述比特流存储在所述非暂态计算机可读存储11.一种计算机程序产品，包括用于由具有一个或多个处理器的计算设备执行的多个4要求2018年7月18日提交的美国专利申请第62/700,10括执行空间(帧内)预测和/或时间(帧间)预测以减小的CU，直到达到预设的最小CU大小。每个CU(也称为叶子CU)包含一个或多个变换单元进行编码。视频帧的帧内编码(I)条带中的视频块使用相对于该同一视频帧内的相邻块中对于该同一视频帧内的相邻块中的参考样点的空间预测或相对于其他先前和/或未来参考被具有数字视频能力的另一个电子设备访问，或者直接以有线或无线方式传输到电子设且至少部分地基于从比特流获得的语义元素将数字视频数据从经编码视频比特流重构为5[0006]随着数字视频质量从高清到4K×2K或甚至8K×4K，要编码/解码的视频数据量呈指数增长。在如何保持解码视频数据的图像质量的同时更高效地对视频数据进行编码/解基于历史的运动向量预测进行视频编码和解码期间并行处理视频数据的系统和方法有关码的当前图片的当前CTU行中的第一个CU进行解码之前，计算设备重置基于历史的运动向[0011]被包括在内以提供对实施方式的进一步理解并且并入本文并构成说明书的一部[0015]图4A至图4D是图示了根据本公开的一些实施方式的如何将帧递归地四叉树分区[0016]图5A是图示了根据本公开的一些实施方式的待编码的当前CU的在空间上相邻和6[0017]图5B是图示了根据本公开的一些实施方式的使用波前并行处理对图片的多个CTU[0018]图6是图示了根据本公开的一些实施方式的示例性过程的流程图，视频编码器通过所述示例性过程实施构造运动向量预测值候[0020]图1是图示了根据本公开的一些实施方式的用于并行地对视频块进行编码和解码[0021]在一些实施方式中，目的地设备14可以经由链路16接收待解码的经编码视频数进从源设备12到目的地设备14的通信的任[0022]在一些其他实施方式中，经编码视频数据可以从输出接口22传输到存储设备37提供方接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形适用于视频编码并且可以应用于无线和/或有线应用。存储介质上或存储在文件服务器中的经编码视机发光二极管(OLED)显示器或另一种类型的显视频编码器20可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行编[0028]视频编码器20和视频解码器30各自可以实施为各种适合的编码器电路中的任何备可以将用于软件的指令存储在合适的非暂态计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开中公开的视频编码/解码操作。视频编码器20和视频器中的任一个可以集成为相应设备中的组合编码器/解码器(CODEC)的一部[0029]图2是图示了根据本申请中描述的一些实施方式的示例性视频编码器20的框图。码依赖于时间预测以减少或移除视频序列的相邻视频帧或图片内的视频数据的8真水平)为当前视频块选择多个可能的预测编码模式之一，如多个帧内预测编码模式之一处理单元46可以相对于与待编码的当前块相同的帧中的一个或多个相邻块执行对当前视单元44相对于一个或多个参考帧中的一个或多个预测块执行对当前视频块的帧间预测编内BC单元48可以以与由运动估计单元42确定运动向量以进行帧间预测的方式类似的方式，码器20可以插入参考帧的四分之一像素位置、八分之一像素位置或其他分数像素位置的9[0036]运动估计单元42通过将PU的位置与从第一参考帧列表(列表0)或第二参考帧列表(列表1)中选择的参考帧的预测块的位置进行比较来计算帧间预测编码帧中的视频块的PU[0037]由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动与原始的未编码块(被编码以产生经编码块)之间的失真(或误差)量以及用于产生经编码器20都可以通过从正被编码的当前视频块的像素值中减去预测块的像素值来形成残差视如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变[0045]逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重构一个或多个内插滤波器应用于预测块以计算在运动估计中使用的[0046]加法器62将重构的残差块添加到由运动补偿单元44产生[0047]图3是图示了根据本申请的一些实施方式的示例性视频解码器30的框图。视频解单元84和帧内BC单元85。视频解码器30可以执行通常与上文结合图2相对于视频编码器20[0048]在一些示例中，可以给视频解码器30的单元分配任务以执行本申请的实施方或帧间预测编码模式下)。视频数据存储器79和DPB92可以由多种存储器设备中的任一种数据存储器79和DPB92可以由同一存储器设备或单独的存储器设备提供。在一些示例中，元素的经编码视频比特流。视频解码器30可以在视频帧水平和/或视频块水平接收语义元[0051]当视频帧被编码为帧内预测编码(I)帧或用于其他类型的帧中的帧内编码预测块帧的先前解码块的参考数据来生成当前视频元82基于从熵解码单元80接收到的运动向量和其他语义元素产生当前视频帧的视频块的[0054]运动补偿单元82和/或帧内BC单元85通过解析运动向量和其他语义元素来确定当BC预测视频块的帧内BC预测状态以及用于对当前视频帧中的视频块进[0056]运动补偿单元82还可以使用如由视频编码器20在对视频块进行编码期间使用的元82可以从接收到的语义元素确定由视频编码器20使用的内插滤波器并且使用内插滤波[0057]逆量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定[0058]在运动补偿单元82或帧内BC单元85基于向量和其他语义元素生成当前视频块的92或与DPB92分开的存储器设备还可以存储解码视频以供稍后呈现在如图1的显示设备34编码树单元(CTU)来生成帧的经编码表示。视频帧可以包括从左到右以及从上到下的光栅序列参数集中用信号传输CTU的宽度和高度，使得视频序列中的所有CTU具有相同的大小，的色彩平面的图片中，CTU可以包括单个编码树块和用于对编码树块的样点进行编码的语[0061]为了实现更好的性能，视频编码器20可以对CTU的编码树块递归地执行如二叉树构图示出如图4C中所描绘的CTU400的分区过程的最终结果，四叉树的每个叶子节点对应[0062]在一些实施方式中，视频编码器20可以进一步将CU的编码块分区为一个或多个M20可以基于除与该PU相关联的帧之外的一个或多个帧的解码样点来生成该P该CU的亮度残差块中的每个样点指示该CU的预测亮度块之一中的亮度样点与该CU的原始CU的预测Cr块之一中的Cr样点与该CU的原始Cr编码块中的对[0066]视频编码器20可以将一个或多个变换应用于TU的亮度变换块以生成该TU的亮度个变换应用于TU的Cr变换块以生成该TU的构视频数据的帧。重构视频数据的过程通常与由视频编码器20执行的编码过程是相反的。(或intra_prediction)和帧间预测(inter_framepredict[0070]但是随着不断改进的视频数据捕获技术和用于保留视频数据中的细节的更精细[0071]代替将由如上文结合图2描述的运动估计单元42确定的当前CU的实际运动向量编器20和视频解码器30两者采用一组规则以用于使用与当前CU的在空间上相邻的CU和/或在且然后从运动向量候选列表中选择一个成员作为当前CU的运动向量预测值。通过这样做，选列表内的所选运动向量预测值的索引足以使视频编码器20和视频解码器30使用运动向量候选列表内相同的运动向量预测值来对当前CU进行编码下，可以根据下文描述的算法将一个或多个运动向量候选项添加到运动向量候选列表中。间运动向量候选项。中与重构的运动向量基本上相同的现有运动向量。如果也以FIFO缓冲器的形式维持HMVP[0077]在针对当前CU的给定的运动向量候选集内选择一个MVP候选项之后，视频编码器20可以为对应的MVP候选项生成一个或多个语义元素并且将所述语义元素编码到视频比特[0078]图5A是图示了根据本公开的一些实施方式的待编码/解码的当前CU的在空间上相可用性，并且然后检查HMVP表中的运动向量来构造运动向量预测(MVP)候选列表。在构造将指示所选候选项的对应索引编码到视频比特顺序执行以下步骤来构造当前CU的运动向量预测值(MVP)[0081]a)从以A0开始且以A1结束的两个左侧空间相邻CU之一中推导多达一个非缩放MVP候选项；[0082]b)如果在先前的步骤中没有来自左侧的非缩放MVP候选项可用，则从以A0开始且[0083]c)从以B0开始然后B1并且以B2结束的三个上方空间相邻CU之一中推导多达一个后B1并且以B2结束的三个上方空间相邻CU之一中推导多达一个缩放[0085]2)如果在先前的步骤中找到两个MVP候选项，并且所述两个[0091]由于在上文构造的AMVP模式MVP候选列表中仅存在两个候选项，因此将如二进制标志等相关联语义元素编码到比特流中，以指示候选列表内的两个MVP候选项中的哪一个[0092]在一些实施方式中，跳过或合并模式下的当前CU的MVP候选列表可以通过按顺序先前推导的合并模式运动向量候选项的MV求平均而生成的。合并MVP候选列表的大小(例目中的运动向量信息从其中移除(如果HMVP[0096]_IBCAMVP模式：CU的实际块向量与从该CU的块向量候选项中选择的CU的块向量预测值之间的块向量差(BVD)以与在上文描述的AMVP模式下对运动向量差进行编码的方式表中的块向量候选项中的哪一个用于预测当前块的块向量。IBC合并候选列表由空间候选[0098]提高现有技术的编码标准所采用的编码效率的另一种方法是使用例如多核处理[0099]图5B是图示了根据本公开的一些实施方式的使用波前并行处理(WPP)对图片的多器核心或线程开始对顶部波前进行编码。在视频编码器已经对顶部波前的两个或更多个CTU进行编码之后，视频编码器可以例如使用第二并行编码器核心或线程与对顶部波前进行编码并行地开始对从顶部排第二的(second_to_top)波前进行编码。在视频编码器已经对从顶部排第二的波前的两个或更多个CTU进行编码之后，视频编码器可以例如使用第三并行编码器核心或线程与对更高的波前进行编码并行地开始对从顶部排第三的(third_[0100]视频编码器可以基于上方波前的前两个块的数据以及包括当前波前的第一编码块的条带的条带头部的一个或多个元素来初始化该当前波前的上下文以执行该当前波前的上下文自适应二进制算术编码(CABAC)。视频编码器可以在对后续CTU行上方的CTU行的两个CTU进行编码之后使用上下文状态来执行后续波前(或CTU行)的CABAC初始化。换句话器然后可以在对当前波前上方的波前的至少两个块进行编码之后初始化当前波前的CABAC[0101]因为HMVP表的当前实施方式使用全局运动向量(MV)缓冲器来存储先前重构的运动向量，所以此HMVP表无法在上文结合图5B描述的启用WPP的并行编码方案上实施。具体过)中的哪一种模式，特定波前内当前CTU的MVP候选列表的构造都取决于与处理该特定波相互依赖性，并且与不同波前相关联的运动向量候选列表的构造可以像图5B中描绘的WPP一WPP线程对CTU的另一个波前的编码。在一些情况下，可以在对每个单独CTU编码之前将运动向量被选择为该特定CTU内的当前CU的运动向量的可能性可能视频编码器20或视频解码器30)通过所述示例性过程至少使用HMVP表来实施构造运动向量器30获取(610)包括与多个经编码图片相关联的数据的经编码视频比特流。如图4A和图4C[0104]在对当前CTU行进行解码之前，视频解码器30首先重置(620)当前CTU行的基于历多线程过程(一个线程针对每个CTU行具有其自己的HMVP表)或多核处理器(一个核针对每个CTU行具有其自己的HMVP表)或两者来并行地对当前图片的多个CTU行进行解码。在又一有其自己的HMVP表)或两者来并行地对当前图片的多个CTU行[0105]在对当前CTU行进行解码(630)的同时，视频解码器30维持(630_1)HMVP表中