CN114946183B 用于视频解码的方法和装置 （腾讯美国有限责任公司）

US2017244964A1,2017.08.242022.08.262022.04.29PCT/US2021/0447172021.08.05WO2022/072061EN2022.04.07本公开内容的各方面提供了用于视频编码/经编码的视频比特流对与图片的非矩形分区的2通过在第一方向上对变换单元执行逆变换来确定中间变换单元的通过在第二方向上对所述中间变换单元执行逆变换来确定所述编码块分别对所述变换单元的第二多个列中的每一列执行第二分别对所述中间变换单元的第一多个行中的每一行执行第三逆变换，所述第三点数为所述变换单元中第一多个行的每一行包括的变换系数样本数量；分别对所述中间变换单元的第二多个行中的每一行执行第四逆变换，所述第四点数为所述变换单元中第二多个行的每一行包括的变换系数样本数量，分别对所述变换单元的第二多个行中的每一行执行第二分别对所述中间变换单元的第一多个列中的每一列执行第三分别对所述中间变换单元的第二多个列中的每一列执行第四逆3一多个列和所述第二多个列的加和为所述中通过在第一方向上对变换单元执行逆变换来确定中间变换单元的通过在第二方向上对所述中间变换单元执行逆变换来确定所述编码块分别对所述变换单元的第二多个行中的每一行执行第二分别对所述中间变换单元的第一多个列中的每一列执行第三分别对所述中间变换单元的第二多个列中的每一列执行第四一多个列和所述第二多个列的加和为所述中间分别对所述变换单元的第二多个行中的每一行执行第二分别对所述中间变换单元的第一多个列中的每一列执行第三逆变换操作4分别对所述中间变换单元的第二多个列中的每一列执行第四一多个列和所述第二多个列的加和为所述中间所述处理器用于根据所述程序代码中的指令执行权利要求1-3中任一项所述的视频解5[0002]本申请要求于2021年4月19日提交的美国专利申请第17/234,507号“METHODAND其他方式视为现有技术条件的描述的方面既没有被明确地也没有被隐含地承认为针对本样本。这一系列图片可以具有例如每秒60个图片或60Hz的固定的或可变的图片速率(也被非正式地称为帧速率)。未压缩的视频具有很高的比特率要求。例如，每样本8比特下的1080p604:2:0视频(60Hz帧速率下的1920×1080亮度样本分辨率)需要接近1.5Gbit/s的原始信号与重建信号之间的失真足够小使得重建信号对于预期应用有用。在视频的情况6[0009]传统的帧内编码例如从例如MPEG-2代编码技术中已知的帧内编码不使用帧内预非矩形分区的第二分区并且具有与第一矩形子块二方向上对中间变换单元执行逆变换来确定[0017]在一些示例中，处理电路系统分别对变换单元的第一多个列执行第一逆变换操7[0019]根据本公开内容的方面，处理电路系统可以通过对变换系数执行逆卡洛南-洛伊定包括非矩形分区的矩形单元的第一残差，以及从矩形块的第一残差中选择编码块的残序并且跳过非矩形分区之外的扫描位置来形成用于非置成根据经编码的视频比特流对与图片的非矩形分区的编码块相关联的变换系数进行解被配置成基于所述编码块的残差来重建所述[0024]本公开内容的各方面还提供了一种计算机设备，所述设备包括处理器以及存储在由用于视频解码的计算机执行时使计算机执行8[0045]图18示出了根据本公开内容的一些实施方式的用于L形分区的变换分区的两个示[0056]图1示出了根据本公开内容的实施方式的通信系统(100)的简化框图。通信系统视频数据可以以一个或更多个经编码的视频比特流的形式传输。终端设备(120)可以从网9和(140)中的另一终端设备。终端设备(130)和(140)中的每个终端设备还可以接收由终端连接(有线)和/或无线通信网络。通信网络(150)可以在电路交换信道和/或分组交换信道除非本文在下面有所说明，否则网络(150)的架构和拓扑对于本公开内容的操作来说可能[0059]作为所公开主题的应用的示例，图2示出了在流式环境中视频编码器和视频解码码的视频比特流)进行比较时高的数据量的视频图片流(202)可以由包括耦接至视频源强调在与视频图片流(202)进行比较时较低的数的视频比特流(204))可以被存储在流式服务器(205)上以供将来使用。一个或更多个流式客户端子系统例如图2中的客户端子系统(206)和(208)可以访问流式服务器(205)以检索频比特流)可以根据特定的视频编码/压缩标准进行编码。这些标准的示例包括ITU-T开主题可以在VVC的上下文中使用。[0062]图3示出了根据本公开内容的实施方式的视频解码器(310)的框图。视频解码器[0063]接收器(331)可以接收要由视频解码器(310)解码的一个或更多个经编码的视频码的视频序列的解码独立于其他经编码的视频序列。可以从信道(301)接收经编码的视频序列，信道(301)可以是到存储经编码的视频数据的存储设备的硬件/软件链路。接收器(331)可以接收经编码的视频数据以及其他数据，例如，可以被转发冲存储器(315)可以相对大并且可以有利地具有自适应大小，并且可以至少部分地在视频解码器(310)外部的操作系统或类似元件(未描绘)[0064]视频解码器(310)可以包括解析器(320)，以根据经编码的视频序列重建符号增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未描绘)的形式。解析器(320)可以对接收到的经编码的视频序列进行解析/熵解码。经编码的视频序列的编码可以根据视至少一个参数从经编码的视频序列中提取视频解码器中的像素的子群组中的至少一个子[0065]解析器(320)可以对从缓冲存储器(315)接收到的视频序列执行熵解码/解析操[0066]符号(321)的重建可能涉及多个不同的单元，这取决于经编码的视频图片或其一及如何涉及可以通过由解析器(320)根据经编码的视频序列解析的子群组控制信息来控[0067]除了已经提及的功能块之外，视频解码器(310)可以在概念上被细划分为如下所[0068]第一单元是缩放器/逆变换单元(351)。缩放器/逆变换单元(351)从解析器(320)使用来自先前重建图片的预测信息但可以使用来自当前图片的先前重建部分的预测信息单元(352)使用从当前图片缓冲器(358)提取的周围已经重建的信息来生成与重建中的块已经生成的预测信息添加至由缩放器/逆变换单元(351)提供样本可以由聚合器(355)添加至缩放器/逆变换单元(351)的输出(在这种情况下被称为残包括在子样本精确运动矢量在使用中时从参考图片存储器(357)提取的样本值的内插、运[0071]聚合器(355)的输出样本可以在环路滤波器单元(356)中经受各种环路滤波技序列(也称为经编码的视频比特流)中并且作为来自解析器(320)的符号(321)可用于环路滤波器单元(356)的参数进行控制，但是视频压缩技术还可以响应于在对经编码的图片或[0072]环路滤波器单元(356)的输出可以是样本流，该样本流可以被输出至呈现设备考图片(通过例如解析器(320))，当前图片缓冲器(358)就可以变为参考图片存储器(357)[0074]视频解码器(310)可以根据诸如ITU-TH.265建议书的标准中的预定视频压缩技以及用于在经编码的视频序列中用信号通知可以被包括作为经编码的视频序列的一部分。附加数据可以由视频解码器(310)用来对数[0076]图4示出了根据本公开内容的实施方式的视频编码器(403)的框图。视频编码器[0078]视频源(401)可以提供要由视频编码器(403)编码的呈数字视频样本流形式的源[0079]根据实施方式，视频编码器(403)可以实时地或在应用所需的任何其他时间约束下对源视频序列的图片进行编码并将其压缩为经编码的视频序列(443)。施行适当的编码建样本数据(因为在所公开主题中考虑的视频压缩技术中，符号与经编码的视频比特流之完全相同。该参考图片同步性基本原理(以及在例如由于信道误差而无法保持同步性的情和解析器(320)可以无损地将符号编码/解码为经编码的视频序列时，包括缓冲存储器(315)和解析器(320)的视频解码器(310)的熵解码部分可能无法在本地解码器(433)中被[0082]此时可以观察到，除了存在于解码器中的解析/熵解码之外的任何解码器技术也被选作输入图片的预测参考的参考图片的像素块之间的差异[0084]本地视频解码器(433)可以基于由源编码器(430)创建的符号对可以被指定为参考图片的图片的经编码的视频数据进行解码。编码引擎(432)的操作可以有利地是有损处可以是具有一些误差的源视频序列的副本。本地视频解码器(433)复制可以由视频解码器[0087]所有以上提及的功能单元的输出可以在熵编码器(445)中经受熵编码。熵编码器生成的符号进行无损压缩来将这些符号转换为经编码的视频设备的硬件/软件链路。传输器(440)可以将来自视频编码器(403)的经编码的视频数据与要传输的其他数据例如经编码的音频数据和/或辅助数据流(未示出源)进[0090]帧内图片(I图片)可以是可以在不将序列中的任何其他图片用作预测源的情况下[0091]预测性图片(P图片)可以是可以使用用至多一个运动矢量和参考索引来预测每个块的样本值的帧内预测或帧间预测进行编码和[0092]双向预测性图片(B图片)可以是可以使用用至多两个运动矢量和参考索引来预测以使用多于两个参考图片和相关联的元数据以用于单对I图片的块进行非预测性编码，或者可以参照同一图片的已经编码的块来对这些块进行经由时间预测来对P图片的像素块进行预测性编码。可以参考一个或两个先前经编码的参考图片经由空间预测或经由时间预测来对B图片的块进行预[0094]视频编码器(403)可以根据诸如ITU-TH.265建议书的预定视频编码技术或标准可以包括这样的数据作为经编码的视频序列的一部分。附加数据可以包括时间/空间/SNR[0096]视频可以按时间序列被捕获为多个源图片(视频图片)。帧内图片预测(通常被简两个参考图片，例如在解码顺序上均在视频中的当前图片之前(但在显示顺序上可能分别是过去和将来)的第一参考图片和第二参考图片。可以通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量来对当前图片[0101]在HEVC示例中，视频编码器(503)接收用于处理块例如8×8样本的预测块等的样(503)可以使用帧内预测技术以将处理块编码到经编码的图片中；以及当要以双预测模式对处理块进行编码时，视频编码器(503)可以分别使用帧间预测技术或双预测[0102]在图5示例中，视频编码器(503)包括如图5所示耦接在一起的帧间编码器(530)、图片是基于经编码的视频信息进行解码的经例中，帧内编码器(522)还基于帧内预测信息和同一图片中的参考块来计算帧内预测结果[0105]通用控制器(521)被配置成确定通用控制数据并且基于通用控制数据来控制视频关(526)以选择供残差计算器(523)使用的帧间预测结果，并且控制熵编码器(525)以选择[0106]残差计算器(523)被配置成计算接收到的块与选自帧内编码器(522)或帧间编码置成执行逆变换并生成经解码的残差数据。经解码的残差数据可以合适地由帧内编码器预测信息来生成解码块，并且帧内编码器(522)可以基于经解码的残差数据和帧内预测信且经解码的图片可以在存储器电路(未示出)中缓冲并且用作(610)被配置成接收作为经编码的视频序列的一部分的经编码的图片，并且[0110]熵解码器(671)可以被配置成根据经编码的图片来重建某些符号，这些符号表示标识供帧内解码器(672)或帧间解码器(680)进行预测所使用的某些样本或元数据的预测在示例中，当预测模式是帧间模式或双预测模式时，将帧间预测信息提供至帧间解码器以使用执行软件指令的一个或更多个处理器来实现视频编码器(203)、(403)和(503)以及[0118]图7示出了由开放媒体联盟(AOMedia)在视频编码格式VP9中使用的分区技术的示此外，4路分区树可以从64×64级别开始向下到较小的块，并且最低级别可以是4×4级别[0119]图8示出了在针对通过因特网进行的视频传输而设计的视频编码格式AOMedia一路将128×128块分割为较小的块。AV1不仅将分区树扩展为10路结构，而且将最大尺寸做出关于是使用帧间图片(时间)预测还是帧内图片(空间)预测来对图片区域进行编码的使用称为残差四叉树(RQT)的四叉树结构将每个TU进一步递归地拆分为较(910)首先通过四叉树结构进行分割。四叉树叶节点通过二叉树结构或四叉分割。在二叉树拆分中可以存在两种拆分类型，对称水平拆分(例如，在QTBT块分区结构[0132]在QTBT块分区结构的一个示例中，将CTU大小设置为128×128亮度样本以及两个对应的64×64块色度样本，将MinQTSize设置为16×16，将MaxBTSize设置为64×64，将×128(即CTU大小)。如果叶四叉树节点为128×128，则由于大小超过MaxBTSize(即64×[0144]图13示出了从当前深度的变换大小到下一深度的变换大小的大小映射的表。注[0148]图15示出了用于帧间编码块的变换分区的示例。例如，在第一变换分区深度处，的各方面提供了用于非矩形形状的残差块例如L形残差块等的变换序列级别标记用于指示针对当前序列中的L形分区是否允许进一步拆分。当序列级别标记指示不允许对当前序列进行进一步拆分时，则将变换应用于序列中的整个L形残差块中的[0156]图16示出了根据本公开内容的实施方式的用于L形分区的变换分区的示例。在图[0159]图17示出了根据本公开内容的实施方式的用于L形分区的变换分区的示例。在图[0161]图18示出了根据本公开内容的一些实施方式的用于L形分区的变换分区的两个示例。在图18中，通过由虚线表示的垂直拆分将L形块(1810)分割为两个矩形块(1811)和[0166]图19示出了根据本公开内容的一些实施方式的用于L形分区的变换分区的示例。在图19中，通过由虚线表示的垂直拆分和水平拆分将L形块(1910)分割为三个矩形块[0167]注意，L形编码块的残差可以具有与编码块相同的L形，并且可以被称为L形残差[0168]在实施方式中，当对L形分区的每一行的残差样本(也被称为输入样本)进行水平[0170]在另一实施方式中，当对L分区的每一列的残差样本(也被称为输入样本)进行垂[0174]图22示出了按水平变换和垂直变换的顺序应用二维变换的残差样本。在示例中，可以对前四行ROW1至ROW4中的每一行执行8点变换，以确定前四行ROW1至ROW4中的每一行中的8个变换系数；以及可以对最后四行ROW5至ROW8中的每一行执本，并且COL5至COL8中的每一列包括4个变换系数样本。在示例中，可以对前四列COL1至COL4中的每一列执行8点变换，以确定前四列COL1至COL4中的每一列中的8个最终变换系[0177]图23示出了按垂直变换和水平变换的顺序应用二维变换的残差样本。在示例中，可以对前四列COL1至COL4中的每一列执行8点变换，以确定前四列COL1至COL4中的每一列中的8个变换系数；以及可以对最后四列COL5至COL8中的每一列执[0178]然后，将COL1至COL8的变换系数与顶部对准以形成具有与残差块(2310)相同的L于能量曲线相似性以获得更好的编码效率)到变换系数块中，然后可以将垂直变换应用于[0181]图24示出了按水平变换和垂直变换的顺序应用二维变换的残差样本。在示例中，可以对前四行ROW1至ROW4中的每一行执行8点变换，以确定前四行ROW1至ROW4中的每一行中的8个变换系数；以及可以对最后四行ROW5至ROW8中的每一行执[0184]图25示出了按垂直变换和水平变换的顺序应用二维变换的残差样本。在示例中，可以对前四列COL1至COL4中的每一列执行8点变换，以确定前四列COL1至COL4中的每一列中的8个变换系数；以及可以对最后四列COL5至COL8中的每一列执残差块(2510)不同形状的变换系数块(2520)。然后，将水平变换应用于L形的变换系数块方向上的最大H样本的L分区的变换系数执行熵编码时，首先得出W×H矩形块的扫描顺序。[0187]图26示出了根据本公开内容的实施方式的L形分区(2600)的扫描顺序的示例。在[0188]在一些实施方式中，在L分区上的二维变换中使用不可分离的变换。在实施方式行视频编码器(203)的功能的处理电路系统、执行视频解码器(210)的功能的处理电路系描顺序并且跳过非矩形分区之外的位置来扫描非矩形分区的变换单元中的变换系数。因[0201]根据本公开内容的另一方面，在编码器侧通过对整个非矩形部分进行卡洛南-洛洛南-洛伊变换(KLT)合适地应用于变换系数以确定在第二方向上对所述中间变换单元执行逆变换来确定所述编码分区的矩形单元的扫描顺序并且跳过所述非矩形分区之外的扫描位置来形成用于所述非[0214]上面所描述的技术可以实现为使用计算机可读指令并且物理地存储在一个或更应当被解释为具有与计算机系统(2800)的示例性实施方式中示出的部件中的任何一个部接口设备还可以用于捕获不一定与人类的意识输入直接有关的某些媒体，例如，音频(例实眼镜(未描绘)、全息显示器和烟罐(未描绘))以及打印机(未描绘)的方式输出二维视觉[0221]计算机系统(2800)还可以包括人类可访问的存储设备及用ROM/ASIC/PLD的设备例如安全加密狗常通过如下所述(例如，到PC计算机系统中的以太网接口或到智能电话计算机系统中的蜂窝网络接口)附接至系统总线而集成到计算机系统(2800)的核中。使用这些网络中的任何局域数字网络或广域数字网络到其他计算机系统)。可以在如上面所描述的这些网络和网络接口中的每个网络和网络接口上使用某些协议和[0224]上述人机接口设备、人类可访问的存储设备和网络接口可以附接至计算机系统内部非用户可访问硬盘驱动器、SSD等的内部大容量存储装置(2847)可以通过系统总线(2848)连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线组合起来可以构成上述计算机代码。该计算机代码可以被存储在ROM(2845)或RAM(2846)介质和计算机代码可以具有计算机软件领域的技术人员公知限定被存储在RAM(2846)中的数据结构以及根据由软件限定的处理来修改这样的数据结加速器(2844))中而提供功能，该电路可以替代软件或与软件一起操作以执行本文中描述