CN114424543B 用于发送视频编解码信息的方法和装置 （阿里巴巴集团控股有限公司）

2022.03.11PCT/US2020/0471392020.08.20WO2021/050234EN2021.03.18US2013077696A1,2013.03.28Meeting:Gothenburg,SE.2019,第1页第本公开提供了用于控制用于视频数据的编23解码所述位流的序列参数集(SPS)中的多个第所述第二标志分别指示多个编码模式在低于序列层级的较低级别上是否被启用或禁关联的控制标志启用或者禁用所述低于序列层级的较低级别的P解码所述位流的序列参数集(SPS)中的多个第基于多个所述第三标志的值分别在所述低于序列层级的较低级别启用或禁用多个编4.根据权利要求1所述的计算机实现的解码方法，其中所述低于序列层级的较低级别解码所述位流的序列参数集(SPS)中的多个第所述第二标志分别指示多个编码模式在低于序列层级的较低级别上是否被启用或禁其中一个或多个所述处理器还被配置为执行所述指令关联的控制标志启用或者禁用所述低于序列层级的较低级别的P9.根据权利要求7所述的解码装置，其中一个或多个所述处理器还被配置为执行所述4解码所述位流的序列参数集(SPS)中的多个第基于多个所述第三标志的值分别在所述低于序列层级的较低级别启用或禁用多个编13.一种存储与视频序列相关联的位流的非暂时性计算机可读介质，所述非暂时性计解码所述位流的序列参数集(SPS)中的多个第所述第二标志分别指示多个编码模式在低于序列层级的较低级别上是否被启用或禁解码所述位流的序列参数集(SPS)中的多个第基于多个所述第三标志的值分别在所述低于序列层级的较低级别启用或禁用多个编15.根据权利要求13所述的非暂时性计算机可读介质，其中所述低于序列层级的较低16.根据权利要求13所述的非暂时性计算机可读介质，其中所述位流的序列参数集17.根据权利要求13所述的非暂时性计算机可读介质，其中所述位流的序列参数集对与视频序列相关联的位流的序列参数集(SPS)中的多个第一标志多个所述第二标志分别指示多个编码模式在低于序列层级的较低级别上是否被启用5在所述位流的序列参数集(SPS)中对多个第多个所述第三标志分别指示多个所述编码模式对于所述视频序列是否被启用或者禁6的级别启用对第一编码模式或第二编码模式中的至少或禁用对所述第一编码模式或所述第二编码模式中的至少一个的定是否在低于序列级别的级别启用或禁用对所述编码模式的7级别的级别启用对所述第一编码模式或所述第二编码模式中的至少[0015]图2B示出了与本公开实施例一致的混合视频编码系统的另一示例编码过程的示[0017]图3B示出了与本公开实施例一致的混合视频编码系统的另一示例解码过程的示[0018]图4示出了根据本公开的一些实施例的用于对视频进行编码或解码的示例装置的[0019]图5是示出根据本公开的一些实施例的解码器侧运动矢量细化(DMVR)的示例过程[0021]图7是图示根据本公开的一些实施例的用于DMVR整数亮度样本搜索的示例模式的[0022]图8是示出根据本公开的一些实施例的用于DMVR整数亮度样本搜索中的整数样本[0023]图9是图示根据本公开的一些实施例的用于估计DMVR参数误差面的示例模式的示[0024]图10是根据本公开的一些实施例的在双向光流(BDOF)中使用的扩展编码单元[0025]图11是根据本公开的一些实施例的基于子块的仿射运动和基于样本的仿射运动8光流预测修正(PROF)的slice级别控制标志的SPS的示例[0032]图16示出了表5，表5示出了根据本公开的一些实施例的实现用于DMVR、BDOF和PROF的单独序列级控制标志的SPS的示[0033]图17示出了表6，表6示出了根据本公开的一些实施例的实现用于DMVR、BDOF和PROF的联合控制标志的slicehead的示[0034]图18示出了表7，表7示出了根据本公开的一些实施例的实现用于DMVR、BDOF和PROF的单独控制标志的slicehead的示[0035]图19示出了表8，表8示出了根据本公开的一些实施例的实现用于DMVR、BDOF和PROF的混合控制标志的slicehead的示[0036]图20示出了表9，表9示出了根据本公开的一些实施例的实现用于DMVR、BDOF和PROF的混合序列级控制标志的SPS的示PROF的混合控制标志的slicehead的另一个示PROF的单独控制标志的slicehead的另一个示[0040]图24示出了根据本公开的一些实施例的控制视频解码模式的另一示例过程的流[0042]图26示出了根据本公开的一些实施例的控制视频编码模式的另一示例过程的流9[0044]ITU-T视频编码专家组(ITU-TVCEG)和ISO/IEC运动图像专家组(ISO/IECMPEG)[0051]没有参考另一张图像而编码的图像(即，它是它自己的参考图像)被称为“I-图[0052]图1图示了根据本公开的一些实施例的示例视频序列100的结构。视频序列100可以是实况视频或已被采集和存档的视频。视频100可以是真实的视频、计算机生成的视频本处理单元执行的任何操作都可以对其每个亮度和色度分量该决定。编码器可以将基本处理单元拆分为多个基本处理子单元(例如，H.265/HEVC或[0058]又例如，在预测阶段(其示例在图2A-2B中示出)，编码器可以在基本处理子单元[0064]在图2A中，编码器可以将视频序列202的原始图像的基本处理单元(称为“原始残差BPU222添加到预测BPU208以生成预测参考224，其用于过程200A的下一次迭代的预确保编码器和解码器都使用相同的参考数据[0065]编码器可以迭代地执行过程200A以对原始图像的每个原始BPU(在前向路径中)进[0066]参考过程200A，编码器可以接收由视频采集设备(例如，相机)生成的视频序列预测操作以生成预测数据206和预测BPU208。预测参考224可以从过程200A的先前迭代的可用于从预测数据206和预测参考224中将原始BPU重建为预测BPU模式可以具有相同的大小(例如，残差BPU210的大小)。每个基本模式可以代表残余BPU[0070]不同的变换算法可以使用不同的基本模式。在变换阶段212可以使用各种变换算210的像素，逆变换可以是将基本模式的对应像素的值乘以各自的相关系数并且将乘积相残差BPU222。编码器可以将重建残差BPU222添加到预测BPU208以生成将在过程200A的[0075]应该注意，可以在编码视频序列202中采用过程200A的其他变形。在一些实施例段204分为空间预测阶段2042和时间预测阶段2044。过程200B的重建路径额外包括环路滤的原始BPU，预测参考224可以包括在同一图像中已经被编码(在前向路径中)和重建(在重建路径中)的一个或多个相邻BPU。编码器可以通过对相邻BPU插值的方式生成预测BPU于原始BPU或与原始BPU具有不同的形状)。因为参考图像和当前图像在时间轴上是时间分像的匹配区域的像素值分配了权重，编码器可以将移动的匹配区域的像素值的加权和相[0083]仍然参考过程200B的前向路径，在空间预测阶段2042和时间模式的比特率和重建参考图像在候选预测模式下的失真来选择预测模式以最小化成本函参考224提供到空间预测阶段2042供以后使用(例如，用于当前图像的下一个BPU的插值)。部分解码成预测数据206和量化变换系数216。解码器可以将量化的变换系数216提供到逆中的解码图像缓冲区)。解码器可以将预测参考224提供到预测阶段204以在过程300A的下[0087]解码器可以迭代地执行过程300A以对编码图像的每个编码BPU进行解码并且生成预测参考224用于对编码图像的下一个编码BPU进行解码。在对编码图像的所有编码BPU进[0091]基于预测模式指示符，解码器可以决定是在空间预测阶段2042执行空间预测(例[0092]在过程300B中，解码器可以将预测参考224提供到空间预测阶段2042或时间预测存储器中的解码图像缓冲区)中以供以后使用(例如，用作视频位流228的未来编码图像的[0093]图4是与本公开的实施例一致的用于对视频进行编码或解码的示例装置400的框成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型[0095]总线410可以是在装置400内部的组件之间传输数据的通信设备，诸如内部总线[0096]为了便于解释而不引起歧义，在本公开中将处理器402和其他数据处理电路统称数据处理电路可以是单个独立模块，或者可以完全或部分组合到装置400的任何其他组件一些或所有阶段，可以被实现为装置400的一个或多个软件模块，例如可以加载到存储器组的粒度发送的增量QP值在本地级别为每个C和列表L1中两个候选块之间的失真。图5图示了根据本公开的一些实施例的解码侧运动矢第一参考图像504中的第一初始参考块512的第一初始MV508，从当前块510指向第二参考图像506中的第二初始参考块516的第二初始MV514。过程500可以执行基于BM的DMVR以确定第一参考图像504中的第一候选参考块518、第二参考图像506中的第二候选参考块520、连接当前块510和第一候选参考块518的第一候选MV522，以及连接当前块510和第二候选始MV508或第二初始MV514)周围的每个MV候选(例如，第一候选MV522或第二候选MV524)计算第一初始参考块518和第二初始参考块520之间的绝对差之和(SAD)。第一候选MV522和第二候选MV524中具有最低SAD的一个可以成为修正的MV以用于生成双向并模式处于具有双向预测MV的CU级别；(2)使用具有相等权重的双向预测MV来预测块(例[0103]由DMVR过程(例如，过程500)得出的修正MV可用于生成帧间预测样本和用于未来[0108]图6图示了根据本公开的一些实施例的示例DMVR搜索过程6阶段604的分数样本修正可以使用参数误差曲面等式而不是执行涉及SAD比较的额外搜索[0110]图7图示了根据本公开的一些实施例的用于DMVR整数亮度样本搜索的示例模式迭代中计算的SAD可以在第二次迭代中重新使用，因此，可以只需要进一步计算附加点的初始MV802周围的九个点之一(如框804所示)，则用于分数样本修正的阶段可以被调用来确定修正的MV作为DMVR整数亮度样本搜索的输出。如果SAD最小的位置不是初始MV802周围的九个点中的任何一个，则可以直接将SAD最小的位置作为DMVR整数亮度样本搜索的输[0112]图9是图示根据本公开的一些实施例的用于估计DMVR参数误差面的示例模式900心点904周围四个相邻点906-912的SAD成本之和可以用于拟合二维抛物线误差曲面等式。间的差异来确定两个预测信号的在k＝0,1水平和垂直梯度和如等式(8)值[0141]在一些实施例中，可以选择等式(8)到(23)中的值使得BDOF过程中的乘数不超过(i,j)。图10是根据本公开的一些实施例的在BDOF中使用的扩展编码单元(CU)区域1000的预测样本的计算复杂度，可以通过直接在附近整数位置获取参考样本(对坐标使用地板操作)而不进行插值来生成扩展区域1006(由白色框表示)内的预测样本，并且可以使用普通运动矢量到从仿射模型参数导出的基于样本的[0147]图11是根据本公开的一些实施例的基于子块的平移运动和基于样本的仿射运动SB是基于子块的运动矢量，并且ΔV(i,j)(表示为虚线箭头)是V(i,j)和VS成最终的预测I':BDOF的控制标志的序列参数集(SPS)的示例语法结构。如图12的表1所示，sps_bdof_此SPS的整个视频序列中禁用BDOF或DMVR。当sps_bdof_enabled_flag和sps_dmvr_发信号通知另一个标志sps_bdof_dmvr_slice_present_flag，以指示BDOF和DMVR的slice制标志的slice头的示例语法结构。如表2所示，当表1中设置的sps_bdof_dmvr_slice_现图2A-2B中的过程200A或200B的编码器)可以使用slice级标志slice_disable_bdof_dmvr_flag来打开或关闭各个slice的DMVR和BDOF。该slice级别自适应可以有两个好处：(1)当DMVR或BDOF中的至少一个对当前slice无用时，将其(或它们)关闭可以提高编码性示启用的工具是否被控制在较低级别。较低级别可以是slice级别或图像级别。如果启用像级别禁用标志以指示用于当前slice或图像的启的实现用于DMVR、BDOF和PROF的slice级别控制标志的序列参数集(SPS)的示例语法结构。像级别控制标志的SPS的示例语法结构。如表3A-3B所示，重点以斜体显示，sps_bdof_sps_affine_prof_slice_present_flag可以进一步发出信号，分别指示是否启用BDOF、DMVR和PROF的slice级别控制。如果BDOF、DMVR或PROF被启用，如表3B所示，sps_bdof_picture_present_flag、sps_dmvr_picture_present_flag或sps_affine_prof_picture_PROF的控制标志的slice头的示例语法结构。如表4A中以斜体突出显示所示，如果表3A中sps_bdof_slice_present_flag、sps_dmvr_slice_present_flag或sps_affine_prof_slice_present_flag中的任何一个设置为真，则slice_disable_bdof_flag、slice_disable_dmvr_flag或slice_disable_affine_prof_flag可以分别用信号通知，以指示体突出显示所示，如果表3B中sps_bdof_picture_present_flag、sps_dmvr_picture_present_flag或sps_affine_prof_picture_present_flag中的任何一个设置的为真，则ph_disable_bdof_flag、ph_disable_dmvr_flag或ph_disable_affine_prof_flag可以分[0157]图16图示了表5，表5示出了根据本公开的一些实施例的实现用于DMVR、BDOF和显示，三个独立的标志sps_bdof_enabled_flag、sps_dmvr_enabled_flag和sps_affine_DMVR、BDOF或PROF中的至少一个，则可以用信号发送slice控制启用标志sps_bdof_dmvr_[0158]图17示出了表6，表6示出了根据本公开的一些实施例的实现用于DMVR、BDOF和affine_prof_flag以指示在序列级别启用的DMVR、BDOF或PROF中的至少一个是否为当前为当前slice禁用前述的启用之一。例如，如果表5中的sps_bdof_enabled_flag和sps_bdof_dmvr_affine_prof_slice_present_flag设置为真，则可以用信号通知表7中的sps_dmvr_enabled_flag和sps_bdof_dmvr_affine_prof_slice_present_flag被设置为真，则可以用信号通知表7中的slice_disable_dmvr_flag以指示是否针对当前slice禁用DMVR。在又一示例中，如果表5中的sps_affine_prof_enabled_flag和sps_bdof_dmvr_affine_prof_slice_present_flag被设置为真，则可以用信号通知表7中的slice_[0160]考虑到BDOF和PROF都使用光流来修正帧间预测器这一事实，在一些实施例中，所示，如果在表5中slice级别控制被启用(例如，sps_bdof_dmvr_affine_prof_slice_present_flag为真)，则可以用信号发送两个slice级别禁用标志以指示是否为当前sliceenabled_flag中的至少一个被设置为真，并且表5中的sps_bdof_dmvr_affine_prof_以用信号通知以指示对当前slice是否禁用在序列级别启用的BDOF或PROF中的至少一个。在另一个示例中，如果表5中的sps_dmvr_enabled_flag和sps_bdof_dmvr_affine_prof_施例的实现用于DMVR、BDOF和PROF的混合序列级控制标志的序列参数集(SPS)的示例语法flag和sps_affine_prof_enabled_flag可以在SPS中发出信号以分别指示是否启用DMVR、志sps_dmvr_slice_present_flag以指示DMVR是否在slice级别中被控制。如果sps_bdof_enabled_flag或sps_affine_prof_enabled_flag中的至少一个为真，则可以用信号发送slice级别控制启用标志sps_bdof_affine_prof_slice_present_flag以指示BDOF或PROF中的至少一个是否在slice级别中受到[0161]图21示出了表10，其示出了根据本公开的一些实施例的实现用于DMVR、BDOF和如果表9中的sps_dmvr_slice_present_flag设置为真，则可以发信号通知slice级禁用标affine_prof_slice_present_flag设置为真，则可以发送slice级别禁用标志slice_disable_bdof_affine_prof_flag以指示是否可以为当前片禁用在序列级(如表8中所述)中启用的BDOF或PROF中的至少一个.在表9的语法结构中，BDOF和PROF可以在slice级别联表9中的sps_dmvr_enabled_flag设置为真，则可以发信号通知slice级别禁用标志slice_disable_dmvr_flag以指示是否为当前slice禁用DMVR。如果表9中的sps_bdof_enabled_别禁用标志slice_disable_bdof_flag以指示是否为当前slice禁用BDOF。如果表9中的sps_affine_prof_enabled_flag和sps_bdof_affine_prof_slice_present_flag设置为真，则可以发信号通知slice级别禁用标志slice_disable_affine_prof_flag以指示是否[0163]图23-26示出了根据本公开的一些实施例的控制视频编解码模式的示例过程[0164]图23示出了根据本公开的一些实施例的控制视频解码模式的示例过程2300的流(BDOF)模式、光流预测修正(PROF)模式或解码器侧运动矢量修正(DMVR)模式中的至少一dmvr_enabled_flag或标志sps_affine_prof_en在一些实施例中，编解码器可以响应于为视频序列启用编码模式而检测视频序列的SPS中dmvr_slice_present_flag，标志sps_bdof_slice_present_flag，标志sps_dmvr_slice_present_flag，标志sps_affine_prof_slice_present_flag，标志sps_bdof_picture_present_flag，标志sps_dmvr_picture_present_flag，标志sps_affine_prof_picture_affine_prof_slice_p13、15A-15B、17-19或21-22描述的标志slice_disable_bdof_dmvr_flag，标志slice_prof_flag，标志slice_disable_bdof_dmvr_affine_prof_flag，或标志slice_disable_[0168]图24示出了根据本公开的一些实施例的控制视频解码模式的另一示例过程2400[0170]在一些实施例中，编解码器可以检测视频序列的序列参数集(SPS)中的第一和第enabled_flag、标志sps_dmvr_enabled_flag和标志sps_affine_prof_enabled_flag中选标志和第二标志可以分别是图12、14A-14B、16或20中所描述的标志sps_bdof_enabled_flag和标记sps_affine_prof_enable标志sps_bdof_slice_present_flag，标志sps_dmvr_slice_present_flag，标志sps_affine__slice_present_flag，标志sps_bdof_picture_present_flag，标志sps_dmvr_picture_present_flag，标志sps_affine_prof_picture_present_flag，标志sps_bdof_一标志(例如，如图20中描述的sps_bdof_enabled_flag)和指示在低于序列级别的级别上启用第一编码模式或第二编码模式中的至少一个(例如，PROF)的控制的第三标志(如图20四标志(例如，如图22中描述的slice_disable_bdof_flag)为目标较低级别区域启用或禁级别是目标slice，在一些实施例中，编解码器可以检测目标slice的slice头中的第四标的第四标志。例如，第四标志可以是如图13、15A-15B、17-19或21-22描述的标志slice_disable_bdof_dmvr_flag，标志slice_disable_bdof_flag，标志slice_disable_dmvr_flag，标志slice_disable_affine_prof_flag，标志ph_disable_bdof_flag，标志ph_disable_dmvr_flag，标志ph_disable_affine_prof_flag，标志slice_disable_bdof_所示的slice_disable_bdof_affine_prof_flag)为目标较低级别区域启用或禁用第一编sps_bdof_affine_prof_slice_present_flag)可以指示第一编码模式或第二编码模式中21中描述的标志slice_disable_bdof_affine_prof_flag，第二标志可以是如图20中描述的标志sps_dmvr_enabled_flag，第五标志可以是如图20中描述的标志sps_dmvr_slice_[0176]图25示出了根据本公开的一些实施例的控制视频编码模式的示例过程2500的流16或20所述的标志sps_bdof_dmvr_slice_present_flag，标志sps_bdof_slice_present_或标志sps_bdof_dmvr_affine_prof_slice_prese[0179]图26示出了根据本公开的一些实施例的控制视频编码模式的另一示例过程2600标志sps_dmvr_enabled_flag和标志sps_affine_prof_enabled_flag中选择。作为另一示例，第三标志可以是如图12、14A-14B、16或20中所描述的标志sps_bdof_dmvr_slice_sps_dmvr_picture_present_flag，标志sps_affine_prof_picture_present_flag，标志sps_bdof_affine_prof_slice_present_flag，或标志sps_bdof_dmvr_affine_prof_[0180]在步骤2604，编解码器可以基于第一标志为视频位流(例如，图2A-2B中的过程矢量修正(DMVR)模式中选择。例如，第一编码模式和第二编码模式可以分别是双向光流一编码模式或第二编码模式中的至少一个的控制。低于序列级别的级别可以包括slice级[0188]2、根据条款1所述的计算机实施方法，其中低于所述序列级别的所述级别包括流中的第三标志启用或禁用用于一目标低级别区[0192]检测目标slice的slice头中的所述第三标志，其中所述目标slice为所述目标低[0201]响应启用用于所述视频序列所述编码模式，检测所述视频序列的SPS中的所述第[0207]9、根据条款8所述的计算机实施方法，其中低于所述序列级别的所述级别包括[0209]响应于在低于所述序列级别的所述级别启用对所述第一编码模式或所述第二编[0211]检测目标slice的slice头中的第四标志，其中所述目标slice为所述目标低级别[0212]检测目标图像的图像头中的第四标志，其中所述目标图像为所述目标低级别区[0214]基于所述位流中的所述第二标志，启用或禁用用于所述视频序列的第三编码模[0220]响应于启用指示用于视频序列的第一编码模式的第一标志和指示在低于所述序列级别的所述级别启用对所述第一编码模式或所述第二编码模式中至少一个的控制的第所述第二编码模式分别是双向光流(BDOF)模式和光流预测修正(PR[0229]响应于对所述视频序列启用所述第一编码模式或所述第二编码模式中的至少一所述第三标志启用或禁用用于一目标低级别区域的所[0256]响应于基于所述第一标志启用对所述视频位流的所述第一编码模式的控制并且基于所述第三标志在低于所述序列级别的所述级别启用对所述第一编码模式或所述第二[0259]响应于在低于所述序列级别的所述级别启用或禁用对所述第一编码模式或所述[0261]将所述第四标志存储在目标slice的slice头中，其中所述目标slice为所述目标所述第六标志启用或禁用用于所述目标低级别区域的所述第述第二编码模式分别是双向光流(BDOF)模式和光流预测修正(PR[0279]响应于对所述视频位流启用所述第一编码模式或所述第二编码模式中的至少一流中的第三标志启用或禁用用于一目标低级[0288]检测目标slice的slice头中的所述第三标志，其中所述目标slice为所述目标低[0289]检测目标图像的图像头中的所述第三标志，其中所述目标图像为目标低级别区[0297]响应于对所述视频序列启用所述编码模式，检测所述视频序列的SPS中的所述第[0305]响应于在低于所述序列级别的所述级别启用对所述第一编码模式或所述第二编[0307]检测目标slice的slice头中的所述第四标志，其中所述目标slice为所述目标低[0316]响应于指示启用用于所述视频序列的所述第一编码模式的所述第一标志和指示在低于所述序列级别的所述级别启用对所述第一编码模式或所述第二编码模式中的至少模式和所述第二编码模式分别是双向光流(BDOF)模式和光流预测修正(PR[0325]响应于启用用于所述视频序列的所述第一编码模式或所述第二编码模式中的至[0352]响应于基于所述第一标志启用用于所述视频位流的所述第一编码模式的控制并且基于所述第三标志在低于所述序列级别的所述级别启用对所述第一编码模式或所述第[0355]响应于在低于所述序列级别的所述级别启用或禁用对所述第一编码模式或所述[0357]将所述第四标志存储在目标slice的slice头中，其中所述目标slice为所述目标置的所述至少一个处理器执行的指令集使所所述第六标志启用或禁用用于所述目标低级别区域的所述第模式和所述第二编码模式分别是双向光流(BDOF)模式和光流预测修正(PR[0375]响应于启用用于所述视频位流的所述第一编码模式或所述第二编码模式中的至流中的第三标志启用或禁用用于一目标低级[0386]检测目标slice的slice头中的所述第三标志，其中所述目标slice为所述目标低[0387]检测目标图像的图像头中的所述第三标志，其中所述目标图像为目标低级别区[0395]响应于对所述视频序列启用所述编码模式，检测所述视频序列的SPS中的所述第[0405]响应于在低于所述序列级别的所述级别启用对所述第一编码模式或所述第二编[0407]检测目标slice的slice头中的所述第四标志，其中所述目标slice为所述目标低六标志启用或禁用用于所述目标低级别区域的[0416]响应于指示启用用于所述视频序列的所述第一编码模式的所述第一标志和指示在低