CN114208202B 用于画布尺寸可伸缩的视频编码的方法和装置 （杜比实验室特许公司）

US2017085917A1,2017.03.23Meeting:Gothernburg,SE,3–12J2022.03.182022.02.07PCT/US2020/0450432020.08.05WO2021/026255EN2021.02.11用于画布尺寸可伸缩的视频编码的方法和本公开涉及用于画布尺寸可伸缩的视频编特流的相同或不同比特流层的画布尺寸可伸缩参考感兴趣区域(ROI)和当前层中的当前ROI的重采样单元用于基于当前ROI和参考ROI生成输2processmodificationconsiderin3接收包括无符号整数值的当前图片宽度和当接收确定所述当前图片上的矩形区域的第一偏移参数，其中，基于所述当前图片宽度、所述当前图片高度和所述第一偏移参数针对参考区域，访问参考区域宽度、参考区域高度、参考基于所述当前区域宽度和所述参考区域宽度来计算水平伸缩因子，其基于所述当前区域高度和所述参考区域高度来计算垂直伸缩因子，fCurLeftOffset表示所述左偏移调整，fCurTopOffset表示所述顶偏移调整，(refxSbL,refySbL)和(refxL,refyL)是以1/16样点为单位给出的运动矢量(refMvLX[0],4接收确定所述参考图片上的矩形区域的第二偏移参数，其中，基于所述参考图片宽度、所述参考图片高度和所述第二偏移参数6.如权利要求5所述的方法，进一步包括基于所述第二偏移参数计算所述参考区域左片宽度、参考图片高度或感兴趣区域偏移参数中的一个或多个来计算所述参考区域宽度、9.一种非暂态计算机可读存储介质，其上存储有行指令用于用一个或多个处理器执行如权利要求1至8中任一项10.一种用于解码具有可伸缩画布尺寸的编码的比特流的装置，所述装置包括处理器5月19日提交的序列号62/902,818和于2019年12月10日提交的序列号62/945,931的优先权的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-的分布被许多回放设备的性能限制在4K分辨率(例如，4096×2160或3840×2160等)和60分布和回放。期望未来的内容类型将与现有的回放设备兼容，以简化HDR回放内容生态系分布与现有HDR设备(如HDR10或杜比视界)兼容的内容的特殊版本。如发明人在此所理解6[0013]基于一致性窗口的偏移参数来计算第一层中的编码区域的第一图片宽度和第一[0014]基于第一图片宽度、第一图片高度和第一层中的第一ROI的偏移参数来计算第一[0015]基于参考图片宽度、参考图片高度和参考层中的第二ROI的偏移参数来计算参考[0018]基于水平伸缩因子和垂直伸缩因子对参考ROI进行伸缩，以生成参数将第一ROI的偏移参数与第一层中的一致性窗口[0024]接收参考层中的第二ROI的调整后的偏移参数，其中，调整后的偏移参数将第二ROI的偏移参数与参考层中的一致性窗口[0025]基于第一层中的第一ROI的调整后的偏移参数来计算第一层中的当前ROI的第一[0026]基于参考层中的第二ROI的调整后的偏移参数来计算参考层中分参考ROI的第二[0029]基于水平伸缩因子和垂直伸缩因子对参考ROI进行伸缩，以生成[0033]图2A描绘了用于根据目标显示器的分辨率来定义输入内容观看区域的图片子区7[0034]针对图2A的图片区域，图2B描绘了根据实施例的图块表示中的跨边界限制的示[0038]图5描绘了根据实施例的基本层图片和增强层图片以及对应的一致性窗口的示[0040]本文描述了涉及用于视频编码的画布尺寸可伸缩性的示例实施例。在以下说明[0043]制作流的视频数据(112)然后在块(115)处被提供给处理器以进行后期制作编块(115)后期制作编辑可以包括调节或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整种情况下，显示管理块(135)可以用于通过生成显示映射信号(137)来将已解码信号(132)8[0049]图2A中示出了示例，其中各个区域涵盖其他区域和/或被其他区域涵盖。作为示束图块(MCTS)进行编码器侧约束，并且需要对时间运动约束图块集的补充增强信息(SEI)并且在4K内进行跨边界预测(帧内/帧间)和熵编码。8K的图块允许从2K和4K并且在8K内进9[0058]sps_canvas_tile_enabled_flag等于1指定在当前CVS中启用画布图块。sps_canvas_tile_enabled_flag等于0指[0059]在PPS(表2)中，新的layer_id信息参数tile_layer_id[i]指定了第i个画布图块分辨率的附加比特流也应该是自包含的，并且其NAL单元必须具有相同的nuh_layer_id值[0073]VVC(参考文献[2])将仅包含在单个NAL单元中的整数个“图片中的块”定义为条可以添加slice_address转换信息来指定在4K情况下将slice_address修改为1。为了简化[0078]vps_layer_slice_info_present_flag等于1指定中。vps_layer_slice_info_present_flag等于0指定条带信息不存在于VPS()语法结构[0079]num_slices_in_layer_minus1[i]指定加1指定第i层中的条带数。num_slices_in_layer_minus1[i]的值等于第i[0080]layer_slice_address[i][j][k]指定第j层中的第k个条带的目标第i层条带地[0086]当使用块/图块/条带/子图片来实施画布可伸缩性时，潜在问题是环路滤波(例块/条带/子图片等实施)对全图片进行编码时，跨独立编码区域的环路滤波会导致漂移和ALF或其他滤波器中的一者或多者。去块可以是用于去除ROI边界伪像的最重要的滤波器。[0092]deblocking_enabled_flag等于1指定可以将去块过程应用于重建图片的独立ROI[0093]sao_enabled_flag等于1指定可以将样点自适应偏移(SAO)过程应用于重建图片[0094]alf_enabled_flag等于1指定可以将自适应环路滤波器过程(ALF)应用于重建图[0095]user_defined_filter_enabled_flag等于1指定可以将用户定义的滤波器过程应指定不可以将用户定义的滤波器过程应用于重建图片的独立R[0096]在实施例中，表4中的SEI消息传递可以通过去除一个或多个所提出的标志来简化。如果所有标志都被去除，则仅存在的SEI消息independent_ROI_across_boundary_[0098]VVC的最新规范(参考文献[2])描述了使用参考图片重采样(RPR)和参考图片选择(RPS)的组合的空间可伸缩性、质量可伸缩性和视图可伸缩性(如参考文献[3]中更详细讨了根据RPS/RPR框架的空间可伸缩性RPS/RPR框架来支持画布尺寸可伸缩性的比特流的示[0105]实现ROI可伸缩性支持在SHVC与针对VVC提出的实施例之间的关键区别在于，在[0106]VVC的编码树只允许对全编码单元(CU)进行编码。虽然大多数标准格式以四个像的，所述一致性窗口指定了被认为符合图片输出的图片区域。一致性窗口也被添加到VVCwinbottomoffset”按照以图片坐标指定的用于输出的矩形区域指定从解码过程输出的CVS中的图片样点。当conformance_window_flag等于0时，推断conf_win_left_offset、offset到pic_width_in_luma_samples-(SubWidthC*conf_win_right片坐标和从SubHeightC*conf_win_top_offset到pic_height_in_luma_samples-(SubHeightC*conf_win_bottom_offs[0109]SubWidthC*(conf_win_left_offset+conf_win_right_offset)的值应该小于pic_width_in_luma_samples，并且SubHeightC*(conf_win_top_offset+conf_win_bottom_offset)的值应该小于pic_height_in_lu[0114]SubHeightC*(conf_win_bottom_offset+conf_win_top_offset)”[0115]在第一实施例中，将新定义的ROI偏移与一致性窗口的现有偏移组合以得到伸缩[0121]注意，BL图片(520)的宽度(522)和高度(532)可以使用上述等式(7-43)和(7-44)[0127]注意，EL图片(502)的宽度(512)和高度(514)可以使用上述等式(7-43)和(7-44)[0128]作为示例，表5示出了如何修改参考文献[2]的第7.3.2.4节中定义的pic_parameter_set_rbsp()(编辑内容以灰色高亮显示)以支持新的语法[0131]num_ref_loc_offsets指定PPS中存在的参考层位置偏移的数量。num_ref_loc_offsets的值应该在0至vps_max_l[0132]ref_loc_offset_layer_id[i]指定了针对其指定第i个参考层位置偏移参数的[0134]第i个参考层位置偏移参数由第i个已伸缩参考层偏移参数和第i个参考区域偏移[0135]scaled_ref_layer_offset_present_flag[i]等于1指定第i个已伸缩参考层偏移[0136]第i个已伸缩参考层偏移参数指定参考该PPS的图片相对于nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中的参考区域[0137]scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]加conf_win_left_offset指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的左上角亮度样点并置的当前图片中样点与当前图片中左上角亮度样点之间的以subWC亮度样点为单位的水平偏移，其中，subWC等于参考该PPS的图片的SubWidthC。scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]加conf_win_left_left_offset[ref_loc_offset_layer_[0138]scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]加conf_win_top_offset指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的左上角亮度样点并置的当前图片中样点与当前图片中左上角亮度样点之间的以subHC亮度样点为单位的垂直偏移，其中，subHC等于参考该PPS的图片的SubHeightC。scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]加conf_win_top_offset的值应该在-214至214-1的范围内(包括端点)。当不存在时，推offset[ref_loc_offset_layer_[0139]scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]加conf_win_right_offset指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的右下角亮度样点并置的当前图片中样点与当前图片中右下角亮度样点之间的以subWC亮度样点为单位的水平偏移，其中，subWC等于参考该PPS的图片的SubWidthC。scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]加conf_win_right_right_offset[ref_loc_offset_layer_id[i]][0140]scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]加conf_win_bottom_offset指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的右下角亮度样点并置的当前图片中样点与当前图片中右下角亮度样点之间的以subHC亮度样点为单位的垂直偏移，其中，subHC等于参考该PPS的图片的SubHeightC。scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]加conf_win_bottom_bottom_offset[ref_loc_offset_layer_id[0141]令currTopLeftSample、currBotRightSample、colRefRegionTopLeftSample和的已解码图片中参考区域的右下角亮度样点并置的当前图[0142]当(scaled_ref_layer_left_offs当(scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]+conf_win_left_[0143]当(scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]+conf_win_top_offset)的值大于0时，colRefRegionTopLeftSample位于currTopLeftSample的下方。当(scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]+conf_win_top_[0144]当(scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]+conf_right_offset)的值小于0时，colRefRegionTopLeftSample位于currBotRightSample的右[0145]当(scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]+conf_win_bottom_offset)的值大于0时，colRefRegionBotRightSample位于currBotRightSample的上方。当(scaled_ref_layer_bottom_offset[ref_loc_offset_currBotRightSample的下[0146]ref_region_offset_present_flag[i]等于1指定第i个参考区域偏移参数存在于[0147]第i个参考区域偏移参数指定nuh_layer_id等于ref_loc_offset_layer_id[i]的loc_offset_layer_id[i]]、refConfRightOffset[ref_loc_offset_layer_id[i]]和refConfBottomOffset[ref_loc_offset_layer_id[i]]分别为nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片的conf_win_left_offset、conf_win_top_offset、conf_win_right_offset和conf_win_bottom[0149]ref_region_left_offset[ref_loc_offset_layer_id[i]]加refConfLeftOffset[ref_loc_offset_layer_id[i]]指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的左上角亮度样点与同一已解码图片的左上角亮度样点之间的加refConfLeftOffset[ref_loc_offset_layer_id[i]]的值应该在-214至214-1的范围内[0150]ref_region_top_offset[ref_loc_offset_layer_id[i]]加refConfTopOffset[ref_loc_offset_layer_id[i]]指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的左上角亮度样点与同一已解码图片的左上角亮度样点之间的加refConfTopOffset[ref_loc_offset_layer_id[i]]的值应该在-214至214-1的范围内(包refConfRightOffset[ref_loc_offset_layer_id[i]]指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的右下角亮度样点与同一已解码图片的右offset_layer_id[i]]加refConfRightOffset[ref_loc_offset_layer_id[i]]的值应该在-214至214-1的范围内(包括端点)。当不存在时，推断ref_region_right_offset[ref_loc_offset_layer_id[i[0152]ref__region_bottom__offset[ref_loc__offset_layer_id[i]]加refConfBottomOffset[ref_loc_offset_layer_id[i]]指定同nuh_layer_id等于ref_loc_offset_layer_id[i]的已解码图片中参考区域的右下角亮度样点与同一已解码图片的右等于ref_loc_offset_layer_id[i]的层的SubHeightC。ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]加refConfBottomOffset[ref_loc_offset_layer_id[i]]的值应该在-214至214-1的范围内(包括端点)。当不存在时，推断ref_region_bottom_offset[ref_loc_offset_layer_id[i]][0153]令refPicTopLeftSample、refPicBotRightSample、refRegionTopLeftSample和refRegionBotRightSample分别为nuh_layer_id等于ref_loc_offset_layer_id[i]的已解[ref_loc_offset_layer_id[i]]+refConfLeftOffset[ref_loc_offset_layer_id[i]])的[0155]当(ref_region_top_offset[ref_l[ref__loc_offset__layer__id[i]])的值大于0时，refRegionTopLeftSample位于refPicTopLeftSample的下方。当(ref_region_top_offset[ref_loc_offset_layer_id[i]]+refConfTopOffset[ref_loc__offset_layer_id[i]])的值小于0时，refRegionTopLeftSample位于refPicTopLeftS[0156]当(ref__region_right__offset[ref_loc__offset_layer_id[i]]+refRegionBotRightSample位于refPicBotRightSample的左侧。当(ref_region_right_offset[ref_loc_offset_layer_id[i]]+refConfRightOffset[ref_loc_offset_layer_id[0157]当(ref__region_bottom_offset[ref_loc_offset_layer_id[i]]+refConfBottomOffset[ref_loc_offset_layer_id[i]])的值大于0时，refRegionBotRightSample位于refPicBotRightSample的上方。当(ref_region_bottom_offset[ref_loc_offset_layer_id[i]]+refConfBottomOffset[ref_loc_offset_layer_[0158]给定所提出的语法元素，在实施例中且非限制性地，对应的VVC章节可以修改如下。标记为(7-xx)和(8-xx)的等式表示需要被插入VVC规范并将根据需要重新编号的新等[0167]变量refConfWinLeftOffset被设置为等于亮度样点中参考图片的[0172]hori__scale_fp＝((fRefWidth＜＜14)+(PicOutputWidthL＞＞1))/[0174]vert_scale_fp＝((fRefHeight＜＜14)+(PicOutputHeightL＞＞1))/[0180]refxL＝((Sign(refxSbL)*((Abs(refxSbL)+128)8)+xL*((hori_scale_fp+8)>>4))+32)6(8-756)[0182]refyL＝((Sign(refySbL)*((Abs(r>>4))+32)6(8-758)[0184]-令(refxSbC，refySbC)和(refxC，refyC)为以1/32样点为单位给出的运动矢量[0190]refyC＝((Sign(refySbC)*((Abs(refySb>>4))+16)5(8-766)[0206]-令(refxSbL，refySbL)和(refxL，refyL)为以1/16样点为单位给出的运动矢量[0210]-令(refxSbC，refySbC)和(refxC，refyC)为以1/32样点为单位给出的运动矢量以接收与一致性窗口(例如，conf_win_xxx_offset，其中，xxx为left、top、right或度(例如，fRefWidth和fRefHeight)，方法是从参考层图片的PicOutputWidthL和RefLayerRegionLeftOffset和RefLayerRegionRightOffset)以及顶偏移和底偏移(例如，RefLayerRegionTopOffset和RefLayerRegi度(例如，fCurWidth和fCurHeight)，方法是从当前层图片的PicOutputWidthL和PicOutputHeightL中减去左偏移值和右偏移值(例如，ScaledRefLayerLeftOffset和ScaledRefLayerRightOffset)以及顶偏移和底偏移(例如，ScaledRefLayerTopOffset和[0217]在第二实施例中，可以重新定义ref_region_xxx_offset[]和scaled_ref_region_xxx_offset[]偏移的定义以(例如通过将这些偏移加在一起)组合一致性窗口偏[0218]scaled_ref_layer_left_offset_sum[]＝scaled_ref_layer_left_offset[]+[0219]scaled_ref_layer_top_offs