CN114616829B 视频和影像编解码方法与相关装置 （寰发股份有限公司）

US2015296224A1,2015.10.15节.2022.06.102019.11.042019.11.042019.12.092019.12.272020.01.062020.01.082020.03.272020.11.022022.04.28PCT/CN2020/12642920WO2021/088855EN2021.05.14提供一种在影像与视频编解码中对高阶信标头包括一组一或多个切片信息语法元素在该切片信息语法元素来重构该当前画面的该等切2接收来自一比特流的数据以解码作为一视频剖析该当前画面的一画面标头，该画面标头包括通过使用该组一或多个切片信息语法元素来重构该当前画面对画面标头语法元素进行旁路而不加以剖析，该画面标头切片信息语法元素所识别出的当前画面中的一或多接收原始像素数据以编码作为一视频的一当前画面进入发信该当前画面的一画面标头，该画面标头包括在该画通过使用该组一或多个切片信息语法元素来编码该当前画面接收来自一比特流的数据以解码作为一视频剖析该当前画面的一画面标头，该画面标头包括3通过使用该组一或多个切片信息语法元素来重构该当前画面4[0006]在HEVC中，一编码的画面被分割成以相关联的编码树单元(codingtreeunit，CTU)来表示的非重迭的方形块区域。一个经过编码的画面可以通过一些切片的集合来表来解码，其使用最多两个运动向量与参考索引来预测每一块的样本值。一预测[0007]使用递回的四叉树(QT)结构，一CTU可被分割成多个非重迭的被分割来代表相关联的预测残差信号。RQT结构的树叶节点(leafnodes)对应于转换单元换块(TB)或是数个亮度样本(大小为4x4)的四个转换块，以及数个彩度样本(chroma样本，数水平的数值会与其他边信息一起熵编解码于比特流中。图2示出一块分割(左方)与其相5法元素指示出多于一种切片类型的切片是被允许时，该当前画面的画面标头包括该多-切6[0015]图1概念性绘示出一编码视频的一部分，其中在画面标头的语法元素被用来指示[0017]图3概念性绘示出一程序来发信在一画面标头的一或多个语法元素以指示出可能[0019]图5概念性绘示出一程序来使用在一画面标头的一或多个语法元素以指示出可能[0020]图6概念性地绘示出本揭示的一些实施例可以于其中加以施行实作的一电子系[0023]本揭示的一些实施例对用于编解码影像与视频数据的高阶信息发信(signaling所述当前HLS组中的语法元素是关于与相关联数据结构中所存在的任何切片类型不相关联的一或多个语法元素，来指示出通过该当前SPS所参考的相关联编解码视频序列中可能存片是在当前编解码画面中唯一存在的切片类型时，一视频编解码器可以对与I切片不相关7该画面标头中发信一语法元素ph_slice_types。表格1与2提供二个示例性表格来解释ph_[0032]在一些实施例中，一视频编解码器于该画面标头中发信信息，以推导出变数phPicType来指示出可能存在于当前画面中的切片类型。表格3与4提供二个示例性表格来8[0037]表格4是从表格3加以延伸用以解释在一访问单元分隔符(accessunit被约束为对每一访问单元(accessunit)总是发信。对信息加以发信用以推导出变数AUD中的phPicType等于0时，一视频编解码器可以跳过而不编码或解码用来推导在当前画[0038]在一些实施例中，一视频编解码器可以有多于一个高阶语法组(包括多个语法元素)用来对切片类型加以发信，而前述切片类型是可能存在于具有相同语法元素数值解释联的数据结构中可能存在的切片类型加以发信，可以进一步用语法元素intra_only_语法元素以指示出可能存在于当前画面中的网络抽象层(networkabstractionlayer，9码或解码：关于与相关联数据结构中所存在的NAL单元类型不相关联的编解码器工具的画面标头语法元素。例如，当该画面标头指示出即时解码刷新(instantaneousdecoding[0041]在一些实施例中，一视频编解码器可以在一或多个高阶语法(HLS)组(例如VPS、SPS、PPS、与/或画面标头)中，发信一或多个关于使用逐渐解码刷新(gradualdecoding面所参考的高阶语法组中GDR-相关的语法元素的数值的条件下，关于GDR的语法元素被发parameter_set_id在指明当前画面是否为一GDR画面的语法元素gdr_pic_flag之前被发在时会被推论等于0。下面表格5显示一画面标头的一示例性语法表格来显示关于GDR的语的编解码：与相关联数据结构中所存在的任何切片类型不相关联的编解码工具的相关HLS的语法元素指示出I切片是在相关联编解码画面中唯一存在的切片类型时，一视频编解码器可以对与I切片不相关的所有PPS语法元素跳过而不编解码(例如，帧间预测工具以及于表示的一语法元素。pps_pic_type的数值的解释可以依据上面表格1-4通过其中示例性映[0045]在一些实施例中，在通过当前画面标头所参考的高阶语法组中的相关信息(当存在时)的条件下，一视频编解码器可以编码或解码画面标头语法元素以指示出可能存在于论[0046]ph_slice_I_present_flag等于1、ph_slice_B_present_flag与ph_slice_P_可以进一步跳过当前画面标头中关于帧间预测的语法元素而不加以编码或解码。备选地，[0048]在一些实施例中，视频编解码器可以于一或多个HLS组(例如SPS与PPS)发信一或一种切片类型以用于参考上述一或多个HLS组的所有相关联画面；以及进一步跳过在画面以编码或解码。视频编解码器可以进一步于上述一或多个HLS组发信另一个或多个语法元个语法元素是在用来指示出每一相关联画面是否可存在有多于一种切片类型的前述一或或多个HLS组的每一相关联画面包含只有一个切片时，视频编解码器可以推论在相关联画[0049]在一些实施例中，一视频编解码器可以于一画面标头或其他HLS组中发信或推导每一画面是否有相同的nal_unit_type数值。在一些实施例中，语法元素mixed_nalu_nalu_types_in_pic_flag是关于以长方形切片分割模式来使用次画面分割，对语法元素[0058]在一PPS中的语法元素pps_mixed_slice_types_in_pic_flag指示出在一画面中存在有多于一种切片类型以用于参考该PPS的所有画面是否被允许。在一当前画面标头中的语法元素ph_mixed_slice_types_in_pic_flag指示出在一当前画面中是否存在有多于时，在切片标头中的语法元素slice_type的数值不被编解码而且被推论等于ph_slice_面中可能的切片类型是通过表示为ph_slice_B_present_flag、ph_slice_P_present_在一画面中存在有多于一种切片类型以用于参考该PPS的所有画面是否被允许。当pps_mixed_slice_types_in_pic_flag等于0时，语法元素ph_slice_type指明在当前标头中只具的语法元素的数值被进一步跳过。在切片标头中语法元素slice_type的数值可以从ph_slice_type的编解码数值加以推论。表格9-11分别显示使用pps_mixed_slice_types_in_明参考该PPS的每一画面具有多于一个VCLNAL单元，以及VCLNAL单元没有与nal_unit_于0指明参考该PPS的每一画面具有一或多个VCLNAL单元，以及参考该PPS的每一画面的flag的数值被推论等于0。当no_mixed_nalu_types_in_pic_constraint_flag等于1时，mixed_nalu_types_in_pic_flag的数值必须等[0071]对具有一nal_unit_type数值nalUnitTypeA在IDR_W_RADL到CRA_NUT的范围(包含)的每一切片，在也包含具有另一nal_unit_type数值的一或多个切片的一画面picA中[0072]–切片必须属于一次画面subpicA，其中相对应subpic_treated_as_pic_flag[i][0073]–切片不可以属于picA的一次画面，其中该次画面包含具有不等于nalUnitTypeA[0074]–对在CLVS中按解码顺序的后续所有PU，在subpicA中任一切片的参考画面清单RefPicList[0]或RefPicList[1]都不可以包括在当前条目(activeentry)中解码顺序早[0075]mixed_slice_types_in_pic_flag的数值等于1指明参考该PPS的每一画面可存在[0076]在画面标头RBSP(如表格10所示)中，当mixed_slice_types_in_pic_flag等于0[0079]在一些实施例中，视频编解码器指示出帧间切片类型(B或P)与帧内切片类型(I)于画面标头中，以指示出在一当前画面中是否可存在有多于一种切片类型。当ph_mixed_slice_types_in_pic_flag等于1时，一语法元素ph_intra_slice_present_flag被进一步发信，以指示出切片类型I是否可存在于该当前画面中。变数InterSlicePresent与IntraSlicePresent分别指示出在一当前画面中是否存在有任何帧间切片(切片类型B或P)与任何帧内切片(切片类型I)。变数InterSlicePresent与IntraSlicePresent可以从ph_pic_flag与IntraSlicePresent的数值。下面表格12与13分别显示一画面标头与一切片标[0087]ph_mixed_slice_types_in_pic_flag的数值为1指明在当前画面中可存在有多于一种的切片类型。ph_mixed_slice_types_in_pic_flag的数值为0指明在一当前画面中的所有切片必须有相同slice_type的数值。当ph_mixed_slice_types_in_pic_flag不存在[0088]ph_intra_slice_present_flag的数值为1指示出切片类型I可存在于一当前画面[0090]–如果ph_mixed_slice_types_in_pic_flag等于1时，InterSlicePresent被设定等于1而且IntraSlicePresent被设定等于ph_intra_slice_＝＝[0095]当ph_mixed_slice_types_in_pic_flag等于1而且IntraSlicePresent等于0时，语法元素P_slice_flag为1指明slice_type的数值等于P。当ph_mixed_slice_types_in_ISlicePresent可以从ph_mixed_slice_types_in_pic_flag、ph_slice_type、与ph_[0105]ph_mixed_slice_types_in_pic_flag的数值为等于1指明在当前画面中可存在有多于一种的切片类型。ph_mixed_slice_types_in_pic_flag的数值为等于0指明在一当前[0106]当ph_mixed_slice_types_in_pic_flag等于1时，语法元素ph_present_slice_types指示出可存在于一当前画面的切片类型。当ph_mixed_slice_types_in_pic_flag等[0108]–如果ph_mixed_slice_types_in_pic_flag等于1，BSlicePresent被设定等于(ph_slice_type＝＝B)、PSlicePresent被设定等于(ph_slice_type＝＝P)、而且ISlicePresent被设定等于(ph_slic[0109]–否则，BSlicePresent被设定等于(ph__present_slice__types＝0)、PSlicePresent被设定等于(ph_present_slice_types＝1)、而且ISlicePresent被设定等[0110]依据下面表格23，语法元素slice_type指明切片的编解码类型。当语法元素于(slice_type_flag>＝ph_present_slice_types？slice_type_flag+1:slice_type_[0113]当ph_mixed_slice_types_in_pic_flag等于1而且ph_present_slice_types的数[0114]在一些实施例中，语法元素ph_inter_slice_allowed_flag与ph_intra_slice_intra_slice_allowed_flag等于0，仅关于帧间编解码工具的语法元素不被发信。当ph_码切片中是否可存在有多于一种的切片类型。ph_multiple_slice_types_in_pic_flag的数值等于1指明在画面中的编解码切片可以有不同的slice_type数值。ph_multiple_slice_types_in_pic_flag的数值等于0指明画面中所有编解码切片都有相同的slice_allowed_flag被进一步发信以指示出切片类型I是否可被允许于该当前画面中。当ph_分别指示出帧间切片类型(切片类型B或P)与帧内切片类型(切片类型I)是否被允许于该画面中。变数InterSliceAllowed与IntraSliceAllowed的数值可以从ph_multiple_slice_关于仅适用于无使用的(unused)切片类型的编解码工具的PH语法元素的数值不被编解码。当no_pic_partition_flag等于1或rect_slice_flag等于1而且num_slices_in_pic_minus1等于1时，ph_multiple_slice_types_in_pic_flag被推论等于0而且不被显性地编pic_flag被推论为等于0而且不被编码进比特流中。下面表格16与17显示一画面标头与一[0123]ph_multiple_slice_types_in_pic_flag的数值为1指明在画面中编解码切片可面中所有编解码切片都有相同的slice_type数值。当ph_multiple_slice_types_in_pic_[0124]ph_intra_slice_allowed_flag的数值等于0指明在画面中所有编解码切片都具或可能没有一或多个slice_type等于2的编解码切片。当ph_multiple_slice_types_in_定等于1而且IntraSliceAllowed被设定等于ph_intra_slice_p[0127]–否则，InterSliceAllowed被设定等于(ph_slice_type＝I)而且＝＝[0128]在一些实施例中，对于支援基于次画面比特流合并(subpicture-basedbitstreammerging)而不需要改变PHNAL单元的比特流，编码器设定InterSliceAllowed与I)是否可存在于该编解码画面中。在一些实施例中，一语法元素ph_multiple_slice_types_in_pic_flag被进一步加入于画面标头中，以指示出该画面的编解码切片中是否可出在画面中的编解码切片可以有不同的slice_type数值。语法元素ph_multiple_slice_types_in_pic_flag等于0指示出画面中所有编解码切片[0131]当ph_multiple_slice_types_in_pic_flag等于1时，一语法元素ph_allowed_slice_types_idc被进一步发信用以推导出用于画面切片中所允许的切片类型。当ph_指明用于画面中所有切片的slice_type数值。变数BSliceAllowed、PSliceAllowed、与ISliceAllowed的数值分别指示出切片类型B、P、与I是否可被允许于该画面中。变数使用的(unused)切片类型的编解码工具的PH语法元素的数值不被编解码。当no_pic_partition_flag等于1或rect_slice_flag等于1而且num_slices_in_pic_minus1等于1时，ph_multiple_slice_types_in_pic_flag被推论等于0而且不被显性地编解码于比特流于PPS中，来指示出在参考该PPS的每一画面中是否存在有多于一种切片类型。当pps_multiple_slice_types_in_pic_flag的数值等于0时，语法元素ph_multiple_slice_[0144]当pps_weighted_bipred_flag与wp_info_in_ph_flag二者皆等于1时，语法元素num_l1_weights指明thenumberofweights发信用于参考画面列表1中栏位(entries)的[0150]在上面表格18所示的画面标头中，语法元素ph_multiple_slice_types_in_pic_flag等于1指示出画面中的编解码切片可以有不同的slice_type数值。ph_multiple_slice_types_in_pic_flag的数值等于0指明在画面中所有编解码切片都有相同的slice_types_idc指明用于画面中编解码切片所被允许的slice_type数值。下面表格21显示通过ph_allowed_slice_types_idc所指明被允许的slice_type。(切片的编解码类型依据下面用于画面中所有切片标头的slice_type数值。变数BSliceAllowed、PSliceAllowed、与于(ph_slice_type＝＝B)，PSliceAllowed被设定等于(ph_slice_type＝＝P)而且ISliceAllowed被设定等于(ph_slic[0155]–否则，BSliceAllowed被设定等于(ph_allowed_slice_types__idc＝0)、PSliceAllowed被设定等于(ph_allowed_slice_types_idc＝1)而且ISliceAllowed被设定[0156]在一些实施例中，对于支援基于次画面比特流合并(subpicture-basedbitstreammerging)而不需要改变PHNAL单元的比特流，编码器设定ph_inter_slice_allowed_flag与ph_intra_slice_allowed_fla[0158]在一些实施例中，当ph_inter_slice_allowed_flag等于1而且ph_intra_slice_1以及在PH中的ph_intra_slice_allowed的条件，视频编解码器对信息加以发信用以推导特流可以被避免(avoided)。下面表格22显示基于PH信息的条件对切片类型加以发信的一012不存在时)被推论等于2，否则被推论等于P_slice_flag。P_slice_flag等于1指明当ph_值等于P。P_slice_flag等于0指明当ph_inter_slice_allowed_flag等于1而且ph_intra_[0167]–如果ph_multiple_slice_types_in_pic_flag等于1，slice_type的数值被设定等于(slice_type_flag>＝ph_allowed_slice_types_idc？slice_type_flag+1:slice_[0169]当ph_multiple_slice_types_in_pic_flag等于1而且ph_allowed_slice_types_括分别与视频画面111-114相关联的画面标头121-124。每一视频画面111-114包括一或多图1与上面表格12所示)。在一些实施例中，这些切片信息语法元素可以包括ph_slice_B_[0173]此外，切片信息语法元素包括数个语法元素以指示出(i)一第一切片类型是否存ph_intra_slice_present_flag可以被用来决定帧内切片与/或帧间切片是否被允许于视频画面114中(通过决定变数IntraSliceAllowed与Int标头语法元素与存在于通过一或多个切片信息语法元素所识别出的当前画面中的一或多[0175]在一些实施例中，一画面标头的切片信息语法元素包括一多-切片-类型语法元多-切片-类型语法元素ph_mixed_slice_types_in_pic_flag被使用来决定语法元素[0176]PPS105包括一PPS语法元素来指示出不同切片类型的切片是否被允许(例如，pps_mixed_slice_types_in_pic_flag)。当该PPS语法元素指示出多于一种切片类型的切片是被允许时，画面标头140对该多-切片-类型语法元素ph_mixed_slice_types_in_pic_议方法可以于一编码器的一高阶语法编码模组与/或解码器的一高阶语法解码模组中加以解码器的高阶语法解码模组中加以施行实作。任何前述所提议方法也可以于影像编码器与/或解码器中加以施行实作，其中所产生的比特流相对应于仅使用帧内画面预测的一个[0180]在一些实施例中，模组210-290是由计算设备或电子装置的一个或多个处理单元208计算视频源205的原始视频像素数据与来自于运动补偿模组230或者帧内-预测模组225的已预测像素数据213之间的差。转换模组210将此差(或残差像素数据或残差信号209)转换模组215对转换系数执行逆转换以产生已重构残差219。已重构残差219与已预测像素数[0184]运动估计模组235通过提供MV给存储在已重构画面缓冲器250中的先前已解码视并且将用于运动补偿的MV与已预测MV之间的差被编码为残差运动数据并被存储在比特流[0186]MV预测模组275基于参考MV来产生已预测MV，所述参考MV是在编码先前视频帧所自先前视频帧的参考MV。视频编码器200将所产生以用于当前视频帧的MV存储在MV缓冲器[0187]MV预测模组275使用参考MV来创建已预测MV。已预测MV可以由空间MV预测或时间MV预测来加以计算。当前视频帧(残差运动数据)的已预测MV与运动补偿MV(MCMV)之间的[0188]熵编码器290透过使用诸如上下文适应性二进制算术编码(Context-basedAdaptiveBinaryArithmeticCoding，CABAC)或霍夫曼编码(Huffmanencoding)的熵编流295被存储于存储装置中或透过诸如网络的通信介质被传输至[0189]回路滤波器245对已重构像素数据217进行滤波运算或平滑操作运算以减少编解移(SampleAdaptiveOffset，SAO)。在一些实施例中，滤波操作包括自适应回路滤波器[0190]在一些实施例中，熵编码器290将切片信息语法元素发信或编码进入比特流295[0191]图3概念性绘示出一程序300来发信在一画面标头的一或多个语法元素以指示出[0192]编码器接收(于区块310)原始像素数据以被编码作为一视频的一当前画面进入一[0193]该组切片信息语法元素可以指示出一特定类型的切片是否存在于该当前画面中信息语法元素可以包括一或多个语法元素，用以指示出(i)一第一切片类型是否存在于该[0195]编码器通过使用该组切片信息语法元素来编码(于区块330)该当前画面的切片。面是否包括多于一种切片类型的切片(例如，ph_mixed_slice_types_in_pic_flag指示出一PPS语法元素来指示出不同切片类型的切片是否被允许于该当前画面中(例如，pps_mixed_slice_types_in_pic_flag)。当该PPS语法元素指示出多于一种切片类型的切片是化数据(或已量化系数)412。剖析器490通过使用诸如上下文适应性二进制算术编码[0200]逆量化模组411对已量化数据(或已量化系数)412进行去量化(de-quantize)以获得转换系数，并且逆转换模组410对转换系数416执行逆转换运算以产生已重构残差信号419。已重构残差信号419与来自于帧内-预测模组425或运动补偿模组430的已预测像素数像素数据417也被存储在用于帧内-画面预测和空间MV预测的一线缓冲器(出已解码画面缓冲器450的内容以进行显示，或将已解码画面缓冲器的内容取回到一显示缓冲器。在一些实施例中，显示装置透过一像素传输从已解码画面缓冲器450来接收像素[0203]运动补偿模组430根据运动补偿MV(MCMV)，从存储在已解码画面缓冲器450中的已解码像素数据417来产生已预测像素数据413。这些运动补偿MV透过将自比特流495接收[0204]MV预测模组475基于参考MV来产生已预测MV，所述参考MV是在解码先前视频帧所前视频帧的参考MV。视频解码器400将产生用来解码当前视频帧的运动补偿MV存储在MV缓(SampleAdaptiveOffset，SAO)。在一些实施例中，滤波操作包括自适应回路滤波器[0206]在一些实施例中，熵解码器490将切片信息语法元素剖析或解码进入比特流495[0207]图5概念性绘示出一程序500来使用在一画面标头的一或多个语法元素以指示出[0208]解码器接收(于区块510)来自一比特流的数据以被解码作为一视频的一当前画信息语法元素在该画面标头，以指示出存在于该当前画面中的一或多个切片类型的存在。该组切片信息语法元素可以指示出一特定类型的切片是否存在于该当前画面中(例如ph_元素可以包括一或多个语法元素，用以指示出(i)一第一切片类型是否存在于该当前画面[0210]视频解码器通过使用该组切片信息语法元素来重构(于区块530)该当前画面的切