CN114786009B 视频编码中限制块尺寸的视频数据处理方法与装置 （寰发股份有限公司）

JichengAnETAL.Qu2022.07.22201780015844.52017.03.10视频编码中限制块尺寸的视频数据处理方当前编码树单元或当前编码树单元中的当前编编码器或解码器将当前编码树单元或当前编码单元分割成多个块，直到每个块不大于阈值为特流中发送当前编码树单元层级语法处理当前2接收与当前图片中的当前块相关联的输入数据，其中该当前图基于该当前块的上左采样的位置、该当前块和该当前图片各自当该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度以及该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该当前块的位置才满加上该当前块的宽度大于该当前图片的宽度且该当前块上左采样的y分量加上该当前块的高度不大于该当前图片的高度，或者该当前块的上左采样的x分量加上该当前块的宽度不大于该当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图通过分别处理该当前块中的每个叶块来对该当前块进行编码或解码块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度且该当前块的上左采样的的y分量加上该当前块的高度不大于该当前图片的高度时，该选择的分割对应于垂直二的上左采样的x分量加上该当前块的宽度不大于当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该选择的分割对应于水平二叉树分7.一种图像或视频编码系统中的块分割装接收与当前图片中的当前块相关联的输入数据，其中该当前图3基于该当前块的上左采样的位置、该当前块和该当前图片各自当该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度以及该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该当前块的位置才满加上该当前块的宽度大于该当前图片的宽度且该当前块上左采样的y分量加上该当前块的高度不大于该当前图片的高度，或者该当前块的上左采样的x分量加上该当前块的宽度不大于该当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图通过分别处理该当前块中的每个叶块来对该当前块进行编码或解码块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度且该当前块的上左采样的的y分量加上该当前块的高度不大于该当前图片的高度时，该选择的分割对应于垂直二的上左采样的x分量加上该当前块的宽度不大于当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该选择的分割对应于水平二叉树分4在2016年10月15日提出的申请号为62/408,724，标题为“Methodsofcodingunitcoding”的美国临时专利申请的优先权，主张在2017年01月12日提出的申请号为62/445,[0004]在高效率视频编码(HighEfficiencyVideoCoding,HEVC)标准中编码的视频图16x16,32x32或64x64，其中较大的尺寸通常能够提供更好的压缩率以简化或平滑纹理区[0005]HEVC支持将编码树单元划分为多个编码单元(codingunit,CU)，以使用四叉树(quadtree)分割处理来适应各种局部特征。对于2Nx2N编码树单元，它可以是单个编码单最小间隔尺寸(granularity)是8划分为变换单元(transformunit,TU)，其类似于用于从最大编码单元获得编码单元的四5PB)和变换块(transformblock,TB)被定义为分别指定与编码单元、预测单元和变换单元相关的亮度分量或色度分量的采样数组。四叉树分割过程通常同时应用于亮度和色度分[0009]视频解码系统的实施例接收与当前图像中的当前编码树单元相关联的视频比特[0010]用于确定当前编码树单元或当前编码单元是否需要进一[0011]编码树单元层级语法的一些实施例是用于例如采样自适应偏移(SAO)，自适应环路滤波(ALF)和去块滤波之类的环路滤波处理的各种语法，并且如果相应的环路滤波处理6单元层级语法与相同编码树单元组中的其他编码树单元共享。编码树单元组的示例包括叉树分割来分割当前编码树单元或图像边界处的当码树单元或当前编码单元隐含地分割成多个块，然后视频编码或解码系统依据分割决定，[0016]本公开的一方面进一步提供用于视频编码系统的装置和用于视频解码系统的装环路滤波(ALF)和去块滤波的编码树单元层级语法被发送，以用于当前编码树单元或包括其他方面和特征对于本技术领域技术人员来说[0020]图2A示出了依据四叉7详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表本发明的选定实施树结构组合，称为四叉树_二进制树(Quad_Tree_Binary_Tree,以下简称为QTBT)结构。与8叶四叉树块可以具有从16x16到128x128的尺寸。如果叶四叉树块是128x128，则由于二进制树结构的尺寸超过允许的最大二叉树根节点尺寸64x64，所以不能被二进制树结构进[0034]为了有效地编码和解码高分辨率视频数据，例如使用8000像素x40具有用于预测和变换处理的统一块分割的视频数据和具有用于变换和逆变换的限制块尺[0035]第一实施例是一个编码器，其仅限制调节编码器以产生具有支持尺寸的变换单四叉树分割，二进制树分割或QTBT分割的分割方法来执行速率和失真优化(rate_支持的变换单元尺寸，例如在序列参数集(SequenceParameterSet,SPS)、图像参数集(PictureParameterSet,PPS)或切片头(sliceheader)中发送的最大支持的变换单元尺9码单元或预测单元的尺寸不大于阈值，变换单元的尺寸与编码单元或预测单元的尺寸相度N大于阈值并且使用二叉树分割，则通过水平分割将当前编码单元或预测单元分成两个的编码单元或预测单元时，它检查当前编码单元或预测单元的尺寸MxN，如果尺寸大于阈元拆分标志被推断为1,将当前编码单元或预测单元分为两[0038]图3示出了结合本发明的第一或第二实施例的示例性视频编解码系统的流程图。阈值、宽度或高度的尺寸的多个块。在步骤S35中通过变换或逆变换处理从当前块分割的些示例包括为例如采样自适应偏移(sampleadaptiveoffset,SAO)，自适应环路滤波前编码树单元或编码单元分割的示例依据四叉树分割将当前编码树单元或编码单元分成码树单元或编码单元分割的示例依据水平分割将当前编码树单元或编码单元分割成两个块。视频编码器通过执行RDO来确定是否进一步分割当前编码树单元或编码单元或较小的[0040]图4示出了依据本发明第三实施例的用于处理具有受限块尺寸的视频数据的示例并且在步骤S42中确定用于发送一个或多个编码树单元层级语法的当前编码树单元的尺中视频编码系统确定编码树单元层级语法并将其应用于当前编码树单元，并在步骤S48对当前编码树单元进行编码以形成视频比特流并在视频比特流中发送编码树[0043]图5示出了依据本发明的第四实施例的包含具有受限块尺寸的视频数据处理方法特流，并且在步骤S52中从视频比特流解析当前图像中的当前编码树单元的编码树单元层分割决定进一步分割当前编码树单元或编码单元。步骤S57还包括通过预测和逆变换处理[0044]第五实施例与一个或多个其他编码树单元共享当前编码树单元的一个或多个编常相似，为了进一步减少比特流携带的位，第五实施例引入了称为编码树单元组(CTUgroup)的概念。同一编码树单元组中的编码树单元共享一些或所有编码树单元层级语法，一编码树单元组的编码树单元中的所有编码单元或变换单元重[0045]第六实施例提供了一种HEVC中的块分割方法的替代解决方案以用于在图像边界界条件确定将四叉树分割或二叉树分割应用于当前编码树单元或当前编码单元。也就是编码树单元或当前编码单元的上左采样的亮度位置，cuWidth和cuHeight指定当前编码树为四个相同尺寸cuWidth/2xcuHeight/2的码树单元或当前编码单元被分割为两个子编码单元，并且两个子编码单元的尺寸为当前图像的图像边界处的当前编码树单元或当前编码单元。图6示出了依据第六实施例的部靠右边界处的块606使用四叉树分割进行[0048]图7示出了实现本发明实施例的视频编码器700的示例性系统框图。帧内预测710基于当前图像的已重构视频数据提供帧内预测，而运动预测712执行运动估计(ME)和运动块可以由帧内预测710或运动预测712来预测。由运动预测712处理的块选择由帧间预测7122以帧间模式进行编码，或由合并预测7124以合并模式进行编码。开关714从帧内预测710和运动预测712中选择一个输出，并将所选择的预估器提供给加法器716以形成预测误内处理去块滤波(DF)728和采样自适应偏移(SAO)730被应用于已重建的视频数据的每个编的信息相关联的语法是编码树单元层级语法，并且被提供给熵编码器734以合并到编码视码过程类似于编码器700处的重建环路，除了解码器800仅需要运动预测814中的运动补偿或当前编码单元可以依据与从视频比特流解码的与分割决定相关联的信息而被进一步分割。当前编码树单元中的每个块或当前编码单元通过帧内预测812或运动预测814进行解测814的帧间预测子。通过逆量化(IQ)820和逆变换(IT)822来恢复与每个块相关联的已变[0051]图7和图8中的视频编码器700和视频解码器800的各种组件可以由硬件组件实被配置为执行存储在存储器中的程序指令的一个或多个处理器，或硬件和处理器的组合。[0052]用于视频编码系统的块分割方法的实施例可以在集成到视频压缩芯片中的电路[0053]在不脱离本发明的精神或基本特征的情况下，本发明