CN119420944A 用于帧间预测的方法和用于发送比特流的方法 （Sk电信有限公司）

201980047008.42019.06.05用于帧间预测的方法和用于发送比特流的公开了用于帧间预测的方法和用于发送比部区域对应的区域获取第一参考块当中的位于参考图片外的外部区域的参考样本通过使用运2通过使用所述运动矢量来获取第一参考块的参考样本，其中，所位于参考图片外的外部区域的参考样本是从所述参考图片内的与所述外部区域对应的对其中，通过将所述外部区域中的样本位置朝向所述参考图信息确定的偏移量来确定所述参考图片内的所述对在导出所述运动矢量之后，将所述运动矢量调节为指二参考块就关于所述参考图片的垂直方向的方向关系在关于所述参考图片的所述垂直方向与布置所述外部区域的所述参考样本的方向相其中，当所述外部区域位于所述参考图片的右侧外时，通过通过使用所述运动矢量来获取第一参考块的参考样本，其中，所3位于参考图片外的外部区域的参考样本是从所述参考图片内的与所述外部区域对应的对其中，通过将所述外部区域中的样本位置朝向所述参考图片获取第一参考块的参考样本，其中，所述第一参考块当中的位域的参考样本是从所述参考图片内的与所述外部区域相对应的对应区域的参考样本获取其中，通过将所述外部区域中的样本位置朝向所述参考图片4[0001]本申请是原案申请号为201980047008.4的发明专利申请(国际申请号：PCT/情况下存储或发送视频数据需要包括存储器在[0007]被设计为满足这样的需求的本公开的目的是提供一种改进的视频编码和解码技于参考图片外的外部区域的参考样本是从所述参考图片内的与外部区域对应的对应区域5[0023]图10至图12是示出了基于参考块之间的方向关系来获取参考样本的本公开的各[0028]视频编码装置的每个元件都可以以硬件或软件、或者硬件和软件的组合来实的集合，并且应用至构成一个图片的所有块的信息被编码在图片参数集(PPS)或图片标题SPS共同参考的信息被编码在视频参数集(6是否将QT结构的每个节点分割为更低层的四个节点的第一标记(QT_split_flag)由编码器150编码并用信号发送至视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块叉树)的标记由编码器150编码并用信号发送到视割标记(split_cu_flag)和指示分割类型是否是QT分割的QT分割标记(split_qt_flag)有示MTT分割方向(垂直或水平)的标记(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉树或三叉树)的标记(mtt_split_cu_binary_f分割)。指示BT结构的每个节点是否被分割为更低层的块的分割标记(split_flag)和指示分割类型的分割类型信息由编码器150编码并发送到视频解码装置。可以存在将节点的块分割为两个非对称块的附加类型。非对称分割类型可以包括以1:3的大小比率将块分割成[0037]预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测7技术基于来自在包含当前块的图片之前编码的图片的数据执行)来执行。帧间预测包括单[0039]帧内预测器122使用包括当前块的当前图片中的位于当前块周围的像素(参考像[0040]帧内预测器122可以确定将在对当前块进行编码时使用的帧内预测模式。在一些[0041]帧内预测器122从多个帧内预测模式当中选择一种帧内预测模式，并使用相邻像模式有关的信息由编码器150编码并且发送到视[0042]帧间预测器124通过运动补偿处理生成针对当前块的预测块。帧间预测器在比当息和与运动矢量有关的信息的运动信息由编码器150编码并发送到[0043]减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块[0044]变换器140将在空间域中具有像素值的残差块中的残差信号变换为频域中的变换小比率为1:1的两个矩形块之一。在这种情况下，指示仅子块已经被变换的标记(cu_sbt_flag)、方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_区域子块的大小可以具有1:3的大小比率。在这种情况下，用于区分分割的标记(cu_sbt_quad_flag)由编码器150另外编码并用信号发送到视[0046]编码器150通过使用诸如基于上下文的自适应二进制算术码(CABAC)的编码方法对量化后的变换系数进行编码来生成比特流。编码器150对与块分割有关的诸如CTU大小、[0047]此外，编码器150对与指示当前块是通过帧内预测编码还是通过帧间预测编码的8[0048]逆量化器160对从量化器145输出的量化后的变换系数进行逆量化以生成变换系[0050]滤波器单元180对重构像素进行滤波以减少由于基于块的预测和变换/量化而产理器可以被实现为执行与每个元件相对应的软件[0056]解码器410通过对从视频编码装置接收的比特流进行解码并提取与块分割有关的[0058]例如，当使用QTBTTT结构分割CTU时，首先提取与QT分割有关的第一标记(QT_的节点，提取与MTT分割有关的第二标记(MTT_split_flag)以及与分割方向(垂直/水平)型不是QT而是MTT时，将另外提取指示MTT分割方向(垂直或水平)的标记(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉树或三叉树)的标记(mt9示节点是否进一步被BT分割的split[0061]在通过树结构分割确定要解码的当前块时，解码器410提取与指示当前块是经受410针对当前块提取用于帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示[0062]解码器410提取与当前块的量化变换系数有关的信息作为与残差信号有关的信[0063]逆量化器420对量化变换系数进行逆量化，并且将逆量化变换系数从频域逆变换换块的子块已被变换的标记(cu_sbt_flag)和与子块有关的方向信息(垂直/水平)(cu_[0065]预测器440可以包括帧内预测器442和帧间预测器444。当当前块的预测类型是帧[0068]加法器450通过将从逆变换器输出的残差块与从帧间预测器或帧内预测器输出的[0069]滤波器单元460可以包括解块滤波器462和SAO滤波器464。解块滤波器462对重构[0070]图5是能够实现本公开的技术的帧间预测器444的示例性框图，图6是示出由帧间预测器444预测当前块的方法的流程图，并且图7是示出帧间预测器444预测当前块的本公[0076]在跳过模式和合并模式下，可以通过由merge_idx的信号值指示的与相邻块有关与相邻块有关的运动信息获得的运动矢量预测器(M[0078]例如，在传统方法中，当当前块的水平轴位置(x坐标)和运动矢量的水平值(x坐过将k抽头插值滤波器所需的相邻整数像素(i)的相对位置与xIntL求和而获得的最终整数i表示在k抽头插值滤波器所需的xIntL周围沿着水平轴布置的整数像素将k抽头插值滤波器所需的相邻整数像素(i)的相对位置与yIntL求和而获得的最终整数样L表示在k抽头插值滤波器所需的yIntL周围沿着垂直轴布置的整数像素[0090]如上所述操作的这种传统方法需要将参考图片的区域扩展到外部区域的额外存[0091]基于360度图像的3D结构，投影到2D图像上的360度图像的边界可能彼此接触(彼360度图像的这种特性，本公开提出了一种用于在参考图片外的外部区域的更高效的帧间[0092]本公开中提及的当前图片和参考图片可以是通过将3D结构的360度图像变换成各具有与将在下面与视频解码装置相关地描述的第一参考块740、外部区域742和对应区域[0097]在跳过模式或合并模式的情况下，运动导出器510可以基于与相邻块的运动信息候选之一的索引值相对应的merge_idx的值来导出当前块720的运动矢量(由图7中的实线取的运动矢量预测器(MVP)与由解码器410解码(并且从视频编码装置发送)的运动矢量差前块720的位置/大小获得的整数样本偏离参考图片时，样本获取器520从参考图片中的适[0099]关于第一参考块740的位置，第一参考块740的仅一部分可以位于参考图片730外[0100]如图7的(A)的(b)和(c)所示，当第一参考块740的仅一部分位于参考图片730外边界接触，样本获取器520可以被配置为从参考图片730内的另一区域获取与外部区域742的参考样本，并且从对应区域752(其是参考图片730中的与外部区域742相对应的区域)获区域752之间的对应关系可以意味着外部区域742与对应区域752是相同获取与内部区域744相对应的参考样本，并且可以从参考图片730的左部获取与外部区域[0103]如图7的(B)的(b)和(c)中所示，当第一参考块740的整体位[0104]在这种情况下，样本获取器520可以从参考图片730内的对应区域752获取与外部考样本的对应区域752和/或内部区域744可以是通过由图8中的实线表示的区域在水平方向扩展k(向左k/2和向右k/2)并且在垂直方向扩展k(向上k/2和向下k/2)形成的区域(由虚[0106]在从内部区域744获取参考样本时，样本获取器520可以在通过将图8中所示的内[0107]可以通过运动矢量的分辨率来确定是否扩展内部区域744和[0108]从内部区域744或对应区域752获取参考样本的以下描述应被理解为包括从内部区域744或对应区域752获取参考样本，以及从通过将内部区域744或对应区域752扩展k形[0109]通过将第一参考块740向左或向右移动ERP宽度或参考图片730的宽度，并且选择i表示通过将k抽头插值滤波器所需的相邻整数像素(i)的相对位置与xIntL求执行与式3中表示的运动矢量值的16倍相<0)，可以通过将picWidth与整数样本的水平轴坐标相加来选择相应的最终整数样本xAi。当由运动矢量指示的整数样本位于参考图片730的右侧外(xIntL+i>picWidth_1)时，可以通过从整数样本的水平轴坐标减去picWidth来选择对应的最终整数[0115]在这种情况下，可以通过将第一参考块740向左移位w而不是已填充的参考图片730的宽度(w+α)并且选择属于在移位位置处的第二参考块750并且位于参考图片730内的[0118]视频解码装置可以从比特流获取与原始图片有关的宽度w信息或偏移量信息，并且基于与原始图片有关的宽度w信息或偏移量信息来得出或导出原始图片的宽度w或偏移行器530就可以基于所获取的参考样本来预测当前块720(可以生成用于当前块的预测块)[0120]如上所述，本公开被配置为从与外部区域742相同的区域(对应区域)而不是近似于外部区域742的区域获取外部区域742的参考样本，因此当前块720的预测准确度可以被够通过调节运动矢量来更高效地实现对对应区域752的搜索的本公开的技术[0123]帧间预测器444可以被配置为进一步执行调节运动矢量(MV包卷(MVwrapping))分辨率可以与重构图片的分辨率相同或者与包括特定已填充区域的重构图片的分辨率相量值mvLX[0]为四分之一(1/4)像素时，可以执行与运动矢量值的4倍相对应的运算(mvLX运动矢量的x坐标移位picWidth((mvLX[0]]>>4)_picWidth)以将运动矢量调节为指向参考[0129]在下文中，为了区分用于导出第一参考块740的运动矢量和通过MV包卷过程调节[0131]如图9的(A)所示，由于第一参考块740的整体位于参考图片730外(第一参考块仅[0132]样本获取器520从第二参考块750获取与第一参考块740相对应的参考样本相同的区域对应的对应区域752替换位于参考图片730外的外视频解码装置可以通过上述MV包卷过程获取指向参考图片730内的运动矢量(第二运动矢自具有预定大小的区域的内部区域744和外部区域[0136]运动调节器540可以通过执行上述MV包卷过程，将第一运动矢量调节为指向参考[0137]从360度图像的角度来看，由第一运动矢量指向的参考图片730的外部点(第一参考块的特定点)和由第二运动矢量指向的参考图片730的内部点(第二参考点的特定点)是[0138]当第一参考块740由各自具有特定面积的外部区域742和内部区域744组成(图9的(B))时，第二参考块750由各自具有特定面积的对应区域752和剩余区域754[0139]在这种状态下，样本获取器520从第二参考块750的对应区域752获取与外部区域部区域742相同的区域的对应区域752替换位于参考图片730外的外的非对应区域754获取与第一参考块740的内部区域744对矢量调节的单个处理来指示对应区域752的位置，并且因此可以进一步改进帧间预测所需[0143]在上述实施方式中，已经描述了仅当第一运动矢量指向参考图片730外时才执行及指示第一参考块740和第二参考块750之间的方向关系以及基于所指示的方向关系获取[0145]第二参考块750中的与第一参考块740中的参考样本(第一参考样本)相对应的参考样本(第二参考样本)可以沿着与第一参考样本不参考块750之间的方向关系是指与第一参考样本的布置相比布置第二参考线像素1至3的行y3以及虚线像素1至3的行4组成，行y1中的虚线像素5至7和行y2中的实线布置方向关于参考图片730的垂直方向与包括在对应区域752中的参考样本的布置方向相须在与第一参考块740的方向相反的方向上获取参考样本(布置包括在外部区域中的参考[0151]图11的(A)示出第一参考块740的一部分(外部区域)位于参考图片730的上端外的情况，并且图11的(B)示出第一参考块740的整体(外部区域)位于参考图片730的上端外的示器550可以指示使用调节后的运动矢量(第二运动矢量)导出的第二参考块750和第一参据关系指示器550指示的方向关系，样本获取器520可以在关于参考图片730的垂直方向与布置外部区域742的参考样本的方向相反的方向上从对应区结构中的第一参考块740和对应于与第一参考块740相同的区域的第二参考块750之间的方向关系，并且样本获取器520可以被配置为从对应区域752获取与外部区域742对应的参考[0155]图12的(A)示出第一参考块740的一部分(外部区域)位于参考图片730的下端外的情况，并且图12的(B)示出第一参考块740的整体(外部区域)位于参考图片730的下端外的据关系指示器550指示的方向关系，样本获取器520可以在关于参考图片730的垂直方向与布置外部区域742的参考样本的方向相反的方向上从对应区域75[0158]在不执行MV包卷过程的上述实施方式中，关系指示器550可以被配置为指示第一参考块740与第二参考块750之间的方向关系，并且样本获取器520可以被配置为从对应区指向对应于与第一参考块740相同的区域[0164]样本获取器520从内部区域744获取与第一参考块740的