CN114788273B 视频编解码的方法和装置 （弗劳恩霍夫应用研究促进协会）

2022.06.20PCT/EP2020/0874932020.12.21WO2021/123439EN2021.06.24使用插值滤波器以获得参考样本阵列内的子样本值来使用运动补偿预测将视频编码到数据流中以及对具有编码到其中的视频的数据流进行依赖于：当前图片在水平和/或垂直维度上是否与参考样本阵列在图片分辨率上相等，和/或数2基于在数据流(420)中传送的处于半采样分辨率的运动向量差(4测从数据流(420)中解码视频(450)以从参考其中第一参考图片(421)具有与用所述第一参考图片所预测的各个当前图片相同的图片分辨率，并且第二参考图片(422)具有与用所述第二参考图片所预测的各个当前图片不使用插值滤波器(431、432)来获得由各个参考图片形成的参考样本阵列内的子样本选择插值滤波器以获得参考样本阵列内的半采样值，所述参考样本阵列向量由参考图片形成，所述插值滤波器从第一插值滤波器版本(431)和第二插值滤波器版在不使用所述插值滤波器的情况下获得所述参考样本阵通过使用具有比所述第一插值滤波器版本更高的边缘保持特性的另外的插值滤波器如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片在水6.根据权利要求1所述的视频解码器，其中所述第二插值滤波器版本具有比所述第一3通过在数据流(520)中的传送来指示处于半采其中第一参考图片(521)具有与用所述第一参考图片所预测的各个当前图片相同的图片分辨率，且第二参考图片(522)具有与用所述第二参考图片所预测的各个当前图片不同使用插值滤波器(531、532)来获得由各个参考图片形成的参考样本阵列内的子样本选择插值滤波器以获得参考样本阵列内的半采样值，所述参考样本阵列向量由参考图片形成，所述插值滤波器选自第一插值滤波器版本(531)和第二插值滤波器在不使用所述插值滤波器的情况下获得所述参考样本阵通过使用比所述第一插值滤波器版本具有更高的边缘保持特性的另外的插值滤波器如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片在水4基于在数据流中传送的处于半采样分辨率的运动向量差，使用其中第一参考图片具有与用所述第一参考图片所预测的各个当前图片相同的图片分选择插值滤波器以获得参考样本阵列内的半采样值，所述参考样本阵列向量由参考图片形成，所述插值滤波器选自第一插值滤波器版本和第二插值滤波器版本，其中通过如下方式，所述第一插值滤波器版本是具有系数3,9,20,20,9,3的6抽头滤波器，并且所述第二插值滤波器版本是具有系数-1,4,-11,40,40,-11,4,-在不使用所述插值滤波器的情况下获得所述参考样本阵通过使用比所述第一插值滤波器版本具有更高的边缘保持特性的另外的插值滤波器其中，如果所述当前图片在图片分辨率上与所述参考图片其中，如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片在水22.根据权利要求17所述的用于解码视频的方法，其中所述第二插值滤波器版本具有其中,所述数据流包括指示时间性连续图片是否具有相同或不同的水平和/或垂直图使用运动补偿预测将视频编码到数据流中以从参考图片中5通过在数据流中的传送来指示处于半采样分辨率的运动其中第一参考图片具有与用所述第一参考图片所预测的各个当前图片相同的图片分选择插值滤波器以获得参考样本阵列内的半采样值，所述参考样本阵列向量由参考图片形成，所述插值滤波器选自第一插值滤波器版本和第二插值滤波器版本，其中通过如下方式，所述第一插值滤波器版本是具有系数3,9,20,20,9,3的6抽头滤波器，并且所述第二插值滤波器版本是具有系数-1,4,-11,40,40,-11,4,-在不使用所述插值滤波器的情况下获得所述参考样本阵通过使用比所述第一插值滤波器版本具有更高的边缘保持特性的另外的插值滤波器如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片如果所述当前图片在图片分辨率上与所述参考图片在水30.根据权利要求25所述的用于编码视频的方法，其中所述第二插值滤波器版本具有其中,所述数据流包括指示时间性连续图片是否具有相同或不同的水平和/或垂直图用于当在处理设备上运行所述计算机程序时执行根据权利要求17至32中任一项所述的方6部分被配置成当在处理设备上运行所述计算机程序时执行根据权利要求17至32中任一项7[0002]诸如多功能视频译码(VVC)的当前视频译码标准允许依赖于运动向量(MV)分辨率来切换用于运动补偿的插值滤波器，运动向量(MV)分辨率可以在块级别上被发信号通知。[0003]另一个新特征是参考图片重采样，其允许在具有不同于当前图片的分辨率/大小考的图片中对应的4x4块需要被上采样到16x16，这可能涉及针对特定分数位置/相位的不该滤波器应用于该平滑滤波器在参考图片上采样中与之相关联的相位，而锐化[0012]图4b说明了具有相同分辨率和以半像素分辨率限定的运动向量的参考图片和当[0014]图4d说明了对于参考图片中的不同类型的样本(即在相位上不同的样本)的插值8[0016]图6示出了用于具有变化吞吐量的视频会议的参考图片重采样码率自适应的示[0019]图9示出了用于自适应运动向量分辨率的平滑滤波器的示例，其中运动向量差是[0020]图10示出了用于使用等于1的syntaxamvr_flag和等于0的amvr_precision_idx[0021]以下对附图的描述以对基于块的预测编解码器的编码器和解码器的描述的呈现的实施例的描述连同关于如何能够使这些概念分别构建到图1和图2的编码器和解码器中2的编码器和解码器(诸如在一个图片内没有与帧间编码块竞争的帧内编码块，和/或诸如没有基于变换的残余译码等)的基础的译码框架操[0022]图1示出了一种用于示例性地使用基于变换的残差译码将图片12预测性地译码成成也使用基于变换的残差解码对来自数据流14的图片12'进行预测性解码的装置20，其中撇号已用于指示由解码器20重构的图片12'在由预测残差信号的量化引入的译码损失方面[0023]编码器10被配置成对预测残差信号进行空间到频谱(spatial-to-spectral)变编码器10包括的量化器32对频谱域预测残差信号24'进行量化。因此量化的预测残差信号9配给相应的帧内译码分段内的所有样本)，和/或平面帧内译码模式(根据该平面帧内译码这意味着，除了由数据流14包括的残差信号译码(诸如表示量化的频谱域预测残差信号24”以及可选的其他参数(诸如用于控制和发信号通知分别将图片12和12'细分到分段中的参[0027]图3说明了一方面的重构信号(即重构图片12')与另一方面的如在数据流14中发组合可以是相加。预测信号26在图3中被说明为将图片区域细分为使用阴影而说明性地指图片区域规则地细分为正方形块或非正方形块的行和列，或者将图片12从树根块多叉树是可扩展编码器和解码器的情况下的另一视图或在分层上更低层成行和列)的结果、图片区域的递归多叉树细分的结果、或其组合或任何其他类型的块化以导致图片12'。行图片12的基于块的编码，并且与图1的编码器的不同之处诸如例如在于其不支持帧内预例的解码器可以使用下面进一步概述的译码概念对来自数据流14的图片12'执行基于块的关于图3所描述的方式来将图片12'分成块和/或其例如不在变换域中而是在空间域中从数前图片和参考图片之间需要使用的扩展比率(scalingratio)的PPS中的扩展窗口偏移(例[0046]在已经描述了可将本申请的实施例内置于其中的编码器和解码器框架的可能实[0047]在VVC中，考虑PPSS中为当前图片(PicOutputWidthL)和参考图片(fRefWidth)定[0048]RefPicScale[i][j][0]＝((fRefWidth<<14)+(PicOutputWidthL>>1))/[0049]RefPicScale[i][j][1]＝((fRefHeight<<14)+(PicOutputHeightL>>1))/CurrPicScalWinWidth和CurrPicScalWi[0051]扩展比率<1-即RefPicScale值<(1<<14)-表示当前图片比参考图片大，以及扩展比率>1-即RefPicScale值>([0059]用于其中不使用仿射模式、或不存在RPR(扩展比率＝1)或扩展比率小于或等于[0063]当使用自适应运动向量分辨率并且运动向量差值处于半采样分辨率时，使用该62)。变量hpelIfIdx等于1指示是否对半采样位置使用6抽头平滑滤波器(突出显示的)。当是在位流中使用等于1的语法amvr_flag和等于0的语法amvr_precision_idx而发信号通知0..sbWidth-1+brdExtSize，yL＝0..sbHeight-1+brdExtSize)，对应的预测亮度样本值[0068]–设(refxSbL,refySbL)和(refxL,refyL)是以1/16样本单位给出的运动向量[0069]refxSbL＝(((xSb-scaling_win_left_offset)<<4)+refMvLX[0])·[0072]refyL＝((Sign(refySbL[0073]其中，scaling_win_left_offset可以计算为SubWidthCxpps_scaling_win_(d)图片的样本的叉号和表示当前图片的样本的块圈在空间上叠加示出参考[0078]图4c示出了根据本发明的视频解码器。视频解码器410使用运动补偿预测从数据[0080]运动补偿在相等图片分辨率的第一图片421和不同图片分辨率的第二图片422之[0081]视频解码器410例如在选择部分430中从第一插值滤波器版本431和第二插值滤波[0082]该插值滤波器的选择正依赖于所述预定第一运动向量所属的当前图片在图片分动向量(即以半像素以外的分辨率在数据流中传送的运动向量)的帧间预测块的移位样本[0085]此外，解码器可以通过使用另外的插值滤波器(例如使用具有比第一插值滤波器之一像素位置。它是从参考图片样本(图4d中的左上叉号)向右离开整个样本间距的第12/当前图片和参考样本阵列在水平图片分辨率上不相等，则可以选择第二插值滤波器(即具有更高边缘保持特性的滤波器)来进行水平插值。这是在表中hpelifidx＝0的行中定义的片和参考样本阵列在水平和垂直图片分辨率上不相等，则可以选择第二插值滤波器(即具有更高边缘保持特性的滤波器)进行水平和垂直插值。对于不使用第二插值滤波器的任何[0087]在两个半像素位置插值滤波器中选择哪个滤波器自然可以解释为对所有运动向分辨率的偏差一致，并且自适应运动向量分辨率精度可以由索引amvr_precision_idx指[0089]解码器和编码器可以将半像素分辨率从运动向量分辨率的可发信号通知的语法元素的字母表映射到不包括半采样分辨率的第一组向量分辨率上(否则，将执行到包[0090]·约束信息指示具有更低的边缘保持特性的滤波器版本例如针对当前图片被禁用，这可以例如在图片或切片标头中指示，并且可以例如通过约束等于1的ph_disable_hpel_smoothing_filter或sh_disable_hpel_smoothing_[0091]·预定第一运动向量所属的当前图片和预定第一运动向量相关的参考样本阵列[0094]还注意到，数据流可以包括时间性连续图片是否具有相同或不同的水平和/或垂执行该运动预测。编码器510以通过在数据流520中传送第一运动向量523和第二运动向量[0100]使用插值滤波器531和532在具有相等的图片分辨率的第一图片521和具有不同图片分辨率的第二图片522之间执行运动补偿，[0101]视频编码器510例如在选择部分530中从第一插值滤波器版本531和第二插值滤波[0102]所述插值滤波器的选择依赖于所述预定第一运动向量所属的当前图片在水平和/[0105]此外，编码器可以通过使用另外的插值滤波器(例如使用具有比第一插值滤波器版本更高的边缘保持特性的滤波器)来获得非半采样子第二插值滤波器(即具有更高边缘保持特性的滤波择第二插值滤波器(即具有更高边缘保持特性的滤波器)进选择第二插值滤波器(即具有更高边缘保持特性的滤波器)进行水平和垂[0113]·约束信息指示具有更低的边缘保持特性的滤波器版本例如针对当前图片被禁用，这可以例如在图片或切片标头中指示，并且可以例如通过约束等于1的ph_disable_hpel_smoothing_filter或sh_disable_hpel_smoothing_[0114]·预定第一运动向量所属的当前图片和预定第一运动向量相关的参考样本阵列[0117]还注意到，数据流可以包括时间性连续图片是否具有相同或不同的水平和/或垂[0125]如果AmvrShift等于3并且sps_ref_picture_resample_enable_flag0，则[0129]·ph_disable_hpel_smoothing_filter或sh_disable_hpel_smoothing_filter＝＝[0133]因此，水平和垂直半采样插值滤波器索引hpelHorIfIdx和hpelVerIfIdx导出如[0136]尽管已在装置的情境下描述一些方面，但显然这些方面也表示对应的方法的描[0139]根据本发明的一些实施例包括数据载体，该数据载体具[0141]其它实施例包括存储于机器可读载体上的用于实行本文中所描述的方法之一的于当计算机程序在计算机上运行时实行本文中所描述的方[0143]因此，本发明的方法的另外的实施例是一种数据载体(或数字存储介质或计算机可读介质)，该数