CN113924777B 视频解码方法、视频编码方法以及提供包含视频数据的比特流的方法 （现代自动车株式会社）

2021.11.11PCT/KR2020/0034452020.03.12WO2020/185004KO2020.09.17WO2018037723A1,2018.03.01SantiagoDeLuxánHerforVersatileVideo18Jan.2019.2019,第3.3.5,3.4.4,3.7.2.5公开了用于将预测单元划分为子单元并在据本发明的实施方案的影像解码方法包括以下量以及从水平划分和竖直划分中划分当前块的分方向和子块的数量而划分的多个子块来重构2Marrakech,MA,9–18Jan.2019.2019,第1,3在当前块分割为多个子块时，基于从比特流解码的分割信息来确定利用帧内预测，通过顺序地重构根据分割方向和子块的数量指定的子块来重构当前在水平方向和竖直方向上以规则间隔设置N个样本的网格，并且在当前块的子块之间基于当前块的宽度和高度、当前块的面积以及对变换系数进行其中，在当前块的宽度和高度大于最大变换大小时，分割标志不从目标子块周围的先前重构的像素，预测子块中当前要重构的目标子块基于目标子块在当前块中的位置和子块的数量，从比特流中对指4在子块标志指示出非零变换系数存在于目标子块中时，从比特流中通过从比特流中对当前块的帧内预测模式信息解通过利用当前块的帧内预测模式信息，从帧内预测模式候选中确定当其中，根据分割方向是水平分割方向还是竖直分割方向，以确定目标子块的运动矢量，并且通过利用运动矢量来生成目标子块的帧间预测子块；基于当前块的宽度和高度、当前块的面积以及对变换系数进行变换大小和最大变换大小，将指示当前块是否分割为多个子块的分割标志编码到比特流在当前块分割为多个子块时，确定当前块在水平分割方向与竖直分在水平方向和竖直方向上以规则间隔设置N个样本的网格，并且在当前块的重构的子5基于当前块的宽度和高度、当前块的面积以及对变换系数进行变换大小和最大变换大小，将指示当前块是否分割为多个子块的分割标志编码到比特流在当前块分割为多个子块时，确定当前块在水平分割方向与竖直分在水平方向和竖直方向上以规则间隔设置N个样本的网格，并且在当前块的重构的子6数据通常伴随着通过利用编码器对其进行压缩。现有的视频压缩技术包括H.264/AVC和高效率视频编码(HighEfficiencyVideoCoding，HEVC)，所述高效率视频编码(HEVC)使数据量的增加需要一种与现有的压缩技术相比具有更好的编码效率改善和更高的影像质[0009]本发明的至少一个方面提供了一种用于利用帧内预测来重构当前块的视频解码则间隔设置N个样本的网格，并且在当前块的子块之间的边界中对与网格的边界重合的边7[0010]本发明的另一个方面提供了一种用于利用帧内预测来重构当前块的视频解码装平和竖直方向上以规则间隔设置N个样本的网格，并且在当前块中的子块之间的边界中对[0016]图5a至图5c是示出根据本发明的至少一个实施方案，在当前块被帧内预测编码[0017]图6是示出根据本发明的至少一个实施方案的视频编码装置中帧内预测单元的示[0018]图7是根据本发明的至少一个实施方案的由视频编码装置执行的用于对视频的当[0019]图8是示出根据本发明的至少一个实施方案的视频解码装置中的帧内预测单元的[0020]图9是根据本发明的至少一个实施方案的由视频解码装置执行的用于从编码视频[0021]图10a和图10b是示出在生成子块的预测子块时以子块为单位顺序地进行重构的8可以被定义为瓦片组。每个瓦片或/和切片分割为一个或更多个编码树单元(codingtree用于各个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编[0028]图像分割单元110将构成视频的每个图像分割为具有预定大小的多个编码树单元[0029]树结构可以是四叉树(QuadTree，QT)、二叉树(BinaryTree，BT)、三叉树节点分割为两个下层节点，所述三叉树(TT)即上层节点以1:2:1的大小比率分割为三个下以使用四叉树加二叉树三叉树(QuadTreeplusBinaryTreeTernaryTree，QTBTTT)结构。构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)由熵编码单元对指示分割方向(竖直或水平)的另一标志进行编码和/或对指示分区或分割类型(二叉或割标志(split_cu_flag)值指示出没有执行分割时，相应节点的块成为分割树结构中的叶9输至视频解码装置的是指示BT结构的每个节点是否被分割为下层的块的分割标志(split_割为两个非对称形成的块。非对称形式可以包括相关节点的块分割为具有1:3的大小比率[0034]预测单元120对当前块进行预测以生成预测块。预测单元120包括帧内预测单元预测技术或帧间预测技术来执行，其中帧内预测技术使用来自包含当前块的图像的数据，[0036]帧内预测单元122通过利用位于当前图像中的当前块周围的相邻像素(参考像素)内预测模式可以包括2种非方向模式(其包含平面(planar)模式、DC模式)以及65种方向模时，可以使用角度为-135度或更大的宽角度帧内预测模式(编号-1至-14处的帧内预测模帧内预测单元122可以通过利用若干帧内预测模式来对当前块编码，并且从测试的模式中测模式的率失真(rate-distortion)分析来计算率失真值，并且在测试的模式中选择具有[0039]帧内预测单元122从多个帧内预测模式中选择一个帧内预测模式，并且通过利用根据选择的帧内预测模式和计算公式确定的至少一个相邻像素(参考像素)来预测当前块。关于选择的帧内预测模式的信息由熵编码单元155编码并传输至视度分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码单元155对包括关于参考图像的信息和关于用于预测当前块的运动矢量的信息的[0041]减法器130通过将当前块减去由帧内预测单元122或帧间预测单元124生成的预测[0042]变换单元140将空域中具有像素值的残差块中的残差信号变换为频域中的变换系sbt_flag)、方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_150可以通过锯齿形扫描(zig-zagscan)或对角线扫描(diagonalscan)从DC系数扫描向[0046]熵编码单元155通过利用诸如基于上下文的自适应二进制算术编码(Context-各种编码方法来对从重排单元150输出的一维量化的变换系数的序列进行编码，从而编码信息)或帧间预测信息(即，关于参考图像和运动矢量的信息)来对关于预测类型的信息编[0049]加法单元170将重构的残差块和由预测单元120生成的预测块相加，以重构当前生的块伪影(blockingartifacts)、振铃伪影(ringingartifacts)、模糊伪影(blurringartifacts)等。滤波单元180可以包括去块滤波器182和采样自适应偏移[0052]重构的块通过去块滤波器182和SAO滤波器184进行滤波，并且存储在存储器190[0056]熵解码单元410对由视频编码装置生成的比特流解码并提取关于块分区的信息以[0057]熵解码单元410从序列参数集(sequenceparameterset，SPS)或图像参数集[0058]例如，当通过利用QTBTTT结构来分割CTU时，首先提取与QT分割相关的第一标志的叶节点下方的各个节点被递归地分割为BT或TT的叶节点相对应的节点，熵解码单元410提取指示该节点是否进一步分割为BT的分割标志[0061]此外，当熵解码单元410通过树结构分割来确定要解码的当前块时，熵解码单元410提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码单元410提取用于当前块的帧内预测信息(帧内预测模式)的语[0062]此外，熵解码单元410提取关于当前块的量化的变换系数的信息作为关于残差信430提取指示仅变换块的子块已进行变换的标志(cu_sbt_flag)、子块的方向性(竖直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)，并且将子[0066]预测单元440可以包括帧内预测单元442和帧间预测单元444。在当前块的预测类[0068]帧间预测单元444利用由熵解码单元410提取的用于帧内预测模式的语法元素来[0069]加法器450将从逆变换单元输出的残差块与从帧间预测单元或帧内预测单元输出[0070]滤波单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的[0073]下面描述的帧内编码工具涉及根据CU的大小将其在竖直方向或水平方向上分割构的样本值(或预测的样本值)可用于预测下一个子块，所述每个子块的重构的样本值(或的样本可以用于预测相同的当前块(CU)[0074]本发明提供的帧内编码工具的一个优点在于，与在帧内[0076]图5a至图5c是示出根据本发明的至少一个实施方案，在当前块是帧内预测编码将当前块分割为多个子块并对每个子块执行帧内预测的本发明的编码工具不会应用于当流解码的分割信息和当前块的宽度和高度来确定分区24[0093]视频解码装置可以通过从比特流中对当前块的帧内预测模式信息解码来确定当[0094]可以根据分割方向为水平的还是为竖直的，以不同的方式选择帧内预测模式候[0096]视频解码装置通过利用对当前块所确定的帧内预测模式顺序地重构多个子块来滤波参数(例如，用于确定滤波器的强度的参数和用于像素变化的裁剪值)执行计算的单数(或滤波器系数)。作为另一个示例，本发明响应于当前子块的边界是否与CU(或CTU或且基于QP值和QP预测值来确定当前块的德尔塔量化参数(deltaquantizationparameter，[0118]图6是示出根据本发明的至少一个实施方案的视频编码装置中帧内预测单元的示610可以通过利用各种帧内预测模式对当前块编码，并且从测试的模式中选择要使用的适块的顶部的块和位于当前块左侧的块)的帧内预测模式设置为MPM候选。当不能找到两个选择器610可以用平面模式替换相邻块的帧内预测模式。当包括在MPM候选列表中的MPM候前插入的MPM候选不同的默认模式和与先前插入的MPM候选类似的方[0121]指示当前块的帧内预测模式是否与MPM候选的任意一个相同的信息(例如，MPM标志)可以通过比特流用信号通知。在当前块的帧内预测模式与MPM候选的任意一个相同时，[0122]模式选择器610可以选择以子块为单位顺序预测当前块的本发明的帧内编码工[0123]当在当前块不分割为多个子块的情况下预测当前块时，模式选择器610可以将分定的帧内预测模式候选(即，MPM列表)中的预测模式的方向性来确定分割方向为水平的还是为竖直的。这可以免除比特流将指示关于子块分区的形状和/或数量的信息的一个或更[0130]参考样本构建单元620可以检查可用的相邻样本，并且利用可用的样本来构建参[0131]参考样本滤波单元630可以确定是否执行滤波。可以基于关于当前块的大小、深[0132]预测信号生成单元640可以通过根据子块周围的先前重构的像素预测多个子块中测下一个子块时，预测信号生成单元640可以利用先前子块的重构的像素和先前重构的CU[0133]图7是根据本发明的至少一个实施方案的由视频编码装置执行的用于对视频的当多个子块之后是否要被预测的语法元素编码。视频编码装置可以利用最可能模式(MPM)处割为多个子块之后是否被预测的分割标志用信号通本发明可以省略在比特流中用信号通知指示是否使用本发明的帧内编码工具的分以利用诸如1位标志的一个或更多个语法元素来将诸如子块分区的方向和/或数量的分割[0140]视频编码装置可以显式地将指示子块分区的方向(例如，方向为水平的还是为竖直的)的标志用信号通知。替选地或补充地，可以基于当前块的宽度与高度的比率来确定装置可以通过对量化的变换系数应用逆量化/逆变换处理来重构残差子块，并且可以将重间隔设置N个样本的网格，并且在当前块中的多个子块之间的边界中对与网格边界重合的[0144]图8是示出根据本发明的至少一个实施方案的视频解码装置中的帧内预测单元的[0145]模式确定单元810可以通过从比特流中对当前块的帧内预测模式信息解码来确定[0146]模式确定单元810还可以确定是否将帧内预测编码的当前块分割为多个子块。具内预测模式相同的帧内预测模式来确定是否对各个从而节省了将当前块分割为多个子块并且对各个子块进行帧内预测[0150]当本发明的编码工具应用于当前块时，模式确定单元810可以确定子块分区的方括在对当前块确定的帧内预测模式候选(即，MPM列表)中的预测模式的方向性来确定分割方向为水平的还是为竖直的。这可以免除比特流将指示关于子块分区的形状和/或数量的[0155]参考样本构建单元820可以检查可用的相邻样本，并且利用可用的样本来构建要[0157]预测信号生成单元840可以通过根据子块周围的先前重构的像素预测多个子块中[0158]图9是根据本发明的至少一个实施方案的由视频解码装置执行的用于从编码视频[0159]在步骤S910，视频解码装置确定是否将帧内预测编码的当前块划分为多个子测模式相同的帧内预测模式来确定是否对各个子比特流中解码的分割信息和当前块的宽度和高度来确定当前块在水平分割方向与竖直分像素可以