CN112789850A 用于帧内-帧间混合模式和三角预测单元模式下的帧块内复制的方法和装置 （腾讯美国有限责任公司）

PCT/US2019/05381920WO2020/076537EN2020.04用于帧内-帧间混合模式和三角预测单元模视频比特流中的当前图片中的当前块创建候选模式确定是否将与候选块相关联的矢量添加到2针对当前图片中的当前块创建候选列表，所述当前图片被包括在编码的视频比特流基于所确定的编码模式，确定是否将与所述候选块相关联的矢量添加到所述候选列的一者进行存储，并且将所述运动矢量作为所述L0矢量和所述L1矢量中的另一者进行存针对当前图片中的当前块创建候选列表，所述当前图片被包括在编码的视频比特流基于所确定的编码模式，确定是否将与所述候选块相关联的矢量添加到所述候选列320.一种其中存储有指令的非暂态计算机可读介质，所述指令在由视频解码器中的处针对当前图片中的当前块创建候选列表，所述当前图片被包括在编码的视频比特流基于所确定的编码模式，确定是否将与所述候选块相关联的矢量添加到所述候选列4[0002]本申请要求2019年9月5日提交的美国申请第16/562,013号“METHODANDAPPARATUSFORINTRABLOCKCOPYININTRA_INTERBLENDINGMODEANDTRIANGLE国临时申请第62/743,967号“INTRABLOCKCOPYININTRA_INTERBLENDING2018年10月10日提交的美国临时申请第62/743,933号“INTRABLOCKCOPYINTRIANGLE色度样本。该一系列图片可以具有固定的或可变的图片速率(也被非正式地称为帧速率)，例如每秒60幅图片或60Hz。未压缩的视频具有很高的比特率要求。例如，每样本8位的1080p604:2:0视频(60Hz帧速率处的1920×1080亮度样本分辨率)需要接近1.5Gbit/s带可以帮助降低上述带宽需求或存储空间需求，在一些情况下可以降低两个或更多个数量[0008]在一些视频压缩技术中，可以根据其他MV预测适用于样本数据的5例如根据与样本数据的在空间上相邻于正在重建的区域的另一区域有关并且在解码顺序少的位数来表示。在一些情况下，MV预测可以是根据原始信号(即样本流)得出的信号(即别为102到106)的五个周围样本中的任一样本相关联的MV，根据(按解码次序)最近的参考电路还被配置成使用来自候选列表的至少一6[0023]图10是根据本公开内容的一个实施方式的根据三角预测单元模式的当前块的两[0024]图11是根据本公开内容的一个实施方式的具有空间和时间相邻元素的块的示意[0025]图12是根据本公开内容的一个实施方式的具有应用的加权因数的块的示意性图[0029]图2示出了根据本公开内容的实施方式的通信系统(200)的简化框图。通信系统集的视频图片流)进行编码以经由网络(250)传输到另一终端装置(220)。已编码的视频数终端装置(230)和(240)中的每个终端装置可对视频数据(例如由终端装置采集的视频图片置(230)和(240)中的每个终端装置还可接收由终端装置(230)和(240)中的另一终端装置计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络(250)表示在终端装置(连线的)和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数在下文中有所解释，否则网络(250)的架构和拓扑对于本公开内容的操作来说可能是无关[0032]图3示出了视频编码器和视频解码器在流式传输环境中的放置作为所公开的主题7[0033]流式传输系统可以包括采集子系统(313)，该采集子系统可以包括例如数码摄像(320)处理，该电子装置(320)包括耦接到视频源(301)的视频编码器(303)。视频编码器(303)可以包括硬件、软件或其组合以实现或实施如下文更详细地描述中的客户端子系统(306)和客户端子系统(308)，可以访问流式传输服务器(305)以检索编片流(1)。在一些流式传输系统中，可以根据某些视频编码/压缩标准对编码的视频数据[0034]应注意，电子装置(320)和(330)可以包括其他部件(未示出)。例如，电子(320)可以包括视频解码器(未示出)，并且电子装置(330)还可以包括视频编码器(未示[0035]图4示出了根据本公开内容的实施方式的视频解码器(410)的框图。视频解码器[0036]接收器(431)可以接收要由视频解码器(410)解码的一个或更多个编码的视频序视频解码器(410)的外部可以存在缓冲存储器(未描绘)以例如防止网络抖动，并且此外在8适应性大小，且可至少部分地在操作系统或视频解码器(410)外部的类似元件(未描绘)中[0037]视频解码器(410)可以包括解析器(420)以根据编码的视频序列重建符号(421)。这些符号的类别包括用于管理视频解码器(410)的操作的信息，以及用以控制呈现装置(SupplementalEnhancementInformation，SEI消息)或视频可用性信息(Video编码的视频序列进行解析/熵解码。编码的视频序列的编码可根据视频编码技术或标准进[0038]解析器(420)可以对从缓冲存储器(415)接收的视频序列执行熵解码/解析操作，单元以及涉及方式可以由解析器(420)从编码的视频序列解析的子组控制信息控制。为了[0040]除已经提及的功能块以外，视频解码器(410)可以在概念上细分成如下文所描述[0041]第一单元是缩放器/逆变换单元(451)。缩放器/逆变换单元(451)从解析器(420)小和形状与正在重建的块的大小和形状相同的块。当前图片缓冲器458例如缓冲部分重建预测单元(452)生成的预测信息添加到由缩放器/逆变换单元(459以由聚合器(455)添加到缩放器/逆变换单元(451)的输出(在这种情况下被称作残差样本的地址获取预测样本可以受到运动矢量控制，运动矢量以符号(421)的形式而供运动补偿[0044]聚合器(455)的输出样本可在环路滤波器单元(456)中被各种环路滤波技应于当前图片的编码的图片被完全重建，且编码的图片(通过例如解析器(420))被识别为[0047]视频解码器(410)可以根据诸如ITU_TH.265建议书的标准中的预定视频压缩技大参考图片大小等。在一些情况下，由层级设定的限制可以通过假想参考解码器数据可以是编码的视频序列的一部分。附加的数据可以由视频解码器(410)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可以呈例如时间、空间或信噪比[0050]视频编码器(503)可以从视频源(501)(并非图5示例中的电子装置(520)的一部[0051]视频源(501)可以提供要由视频编码器(503)编码的呈数字视频样本流形式的源[0052]根据一个实施方式，视频编码器(503)可以实时或在由应用所要求的任何其他时器(533)以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在所重建的样本流(样本数据)被输入到参考图片存储器(534)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(534)中的内容在本地编码理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)[0054]“本地”解码器(533)的操作可以与例如已在上文结合图4详细描述的视频解码器器(420)能够无损地将符号编码/解码为编码的视频序列时，包括缓冲存储器(415)和解析码的视频数据可以在视频解码器(图5中未示出)处被解码时，重建的视频序列通常可以是信道(560)进行发送做准备，通信信道可以是通向将存储编码的视频数据的存储装置的硬件/软件链路。发送器(540)可以将来自视频编码器(503)的编码的视频数据与要发送的其他数据例如编码的音频数据和/或辅助数据每个编码的图片分配某个编码的图片类型，但这可能影响可应用于相应的图片的编码技[0063]帧内图片(I图片)，其可以是不将序列中的任何其他图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新[0064]预测性图片(P图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的[0065]双向预测性图片(B图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的图片，帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可以参考一个先前编码的参考图片经由空间预测或经由时域预测进行预测编码。B图片的块可以参考一个或两个先前编码的参考图片经由空间预测或经由时[0067]视频编码器(503)可以根据诸如ITU_TH.265建议书的预定的视频编码技术或标[0068]在实施方式中，发送器(540)可以连同编码的视频一起发送附加数据。源编码器(530)可以包括这样的数据作为编码的视频序列的一部分。附加数据可以包[0069]视频可以被采集为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简使用两个参考图片，例如按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可以通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的预测的预测。例如，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(coding一个亮度CTB和两个色度CTB。还可以将每个CTU以四叉树拆分为一个或多个编码单元且当要以帧间模式或双向预测模式对处理块进行编码时，视频编码器(603)可以分别使用式可以是在不借助于预测值外部的已编码的运动矢量分量的情况下从一个或更多个运动[0075]在图6示例中，视频编码器(603)包括如图6所示的耦接在一起的帧间编码器[0078]通用控制器(621)被配置成确定通用控制数据，并且基于通用控制数据控制视频开关(626)以选择帧间预测结果来供残差计算器(623)使用，并且控制熵编码器(625)以选[0079]残差计算器(623)被配置成计算所接收的块与选自帧内编码器(622)或帧间编码测信息来生成解码块，并且帧内编码器(622)可以基于解码残差数据和帧内预测信息来生(710)被配置成接收作为编码视频序列的一部分的已编码图片，并且对码以生成重建的图片。在示例中，视频解码器(710)用于代替图3示例中的视频解码器[0082]在图7示例中，视频解码器(710)包括如图7所示的耦接在一起的熵解码器(771)、[0083]熵解码器(771)可以被配置成根据已编码图片来重建某些符号，这些符号表示构成已编码图片的语法元素。这样的符号可以包括例如对块进行编码的模式(例如，帧内模码器(772)或帧间解码器(780)使用以进行预测的某些样本或元数据的预测信息(例如，帧[0084]帧间解码器(780)被配置成接收帧间预测信息，并且基于帧间预测信息生成帧间[0085]帧内解码器(772)被配置成接收帧内预测信息，并且基于帧内预测信息生成预测[0086]残差解码器(773)被配置成执行逆量化以提取去量化变换系数，并且处理去量化[0087]重建模块(774)被配置成在空间域中将由残差解码器(773)输出的残差与预测结测值之间的差，其中显式模式在帧间编码中有时被称为(AdvancedMotionVector括已经被编码/解码的一组块区域(即，灰色正方形)以及尚未被编码/解码的一组块区域平均来组合根据帧内模式索引选择的一个帧内预测模式候选和根据合并索引选择的一个时，首先可以将一个CB竖直地或水平地分割成四个等面积区域。每个权重集被表示为(w_=(2,6)。这些权重集可以应用于相应区域，其中(w_intra1,w_inter1)用于最接近于第i个区域的帧间预测部分和帧内预测部分。权重w_inter(i)和w_intra(i)分别对应于使用帧内帧间混合模式时，当前预测模式不指定如何使用运动矢量和块矢量这两者。因[0100]根据本公开内容的实施方式，术语块可以被解释为预测块、编码块或编码单元[0104]在一些实施方式中，当亮度分量和色度分量具有各自的编码树结构(即，双树结方向分割当前块(1010A)(例如，从左上角到右下角进行分割)以创建三角形预测单元单预测候选列表得出的参考帧索引和单预测运动矢量来对CU中的每个三角形预测单元进两个三角形预测单元之间的对角线边以得出针对整个CU的最终预测。加权组的第一示例例如该子块的第一三角形预测单元的加权因数为7/8，并且该子块的第二三角形预测单元[0112](i)如果Mv1和Mv2具有来自不同方向(L0或L1)的运动矢量，则组合Mv1和Mv2以形角形预测单元模式时，使用运动矢量的预测模式不指定如何使用块矢量和运动矢量两者。块的宽度和高度。默认块矢量可以放置在候选列表中在零运动矢量之前或零运动矢量之存储的块矢量是来自第一三角形预测单元的块矢量和来自第二三角形预测单元的块矢量[0129]图14示出了根据本公开内容的实施方式的过程的实施方式。在[0130]图14中所示的过程可以在步骤(S1400)处开始，其中针对当前图片中的当前块创[0131]过程进行到步骤(S1404)，其中基于所确定的编码模式确定是否将与候选块相关更多个计算机中央处理单元(centralprocessingunit，CPU)、图形处理单元(Graphics不应当被解释为具有与计算机系统(1500)的示例性实施方式中示出的部件中的任何一个[0137]输入人机接口装置可以包括以下中的一个或更多个(每者仅绘出一个)：键盘个具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体输出的手段输出二ASIC/PLD的装置(例如安全加密狗(未描口适配器附接至某些通用数据端口或外围总线(1549)(例如，计算机系统(1500)的USB端或到智能电话计算机系统的蜂窝网络接口)而集成到计算机系统(1500)的核中。使用这些[0142]上述人机接口装置、人类可访问存储装置和网络接口可以附接至计算机系统组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM(1545)或RAM(1546)中。过渡数据也可以存储在RAM(1546)中，而永久数据可以存储在例如内部大容量存储装置们可以是计算机软件领域的技术人员公知和可用部大容量存储装置(1547)或ROM(1545)。可以将实现本公开内容的各种实施方式的软件存更多个存储装置或芯片。软件可以使核(1540)——特别是其中的处理器(包括CPU、GPU、FPGA等)——执行本文中描述的特定过程或特定过程的特定部分，包括限定存储在RAM(1546)中的数据结构以及根据由软件限定的过程修改这样的数据结构。另外地或作为替