CN114731431B 用于编解码360度虚拟现实视频序列的方法和装置 （寰发股份有限公司）

2022.05.11PCT/CN2020/12857220WO2021/093837EN2021.05.20US2017085917A1,2017.03.23BenjaminBross.VersatileVi用于编解码360度虚拟现实视频序列的方法编解码VR360视频序列的方法和装置被公根据所述方法，与VR360视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧动补偿信息有关的一个或多个PPS语法。基于环绕运动补偿信息，VR360视频序列在编码器侧被21.一种用于编解码360度虚拟现实视频序列的方法，环绕运动补偿作为编解码工具被在编码器侧生成或在解码器侧接收与所述360度虚拟现实视频序列的编码数据相对应使用所述环绕运动补偿信息，在所述编码器侧编码或在所述解码器侧解码所述360度述当前图像和所述参考图像之间的PicOutputWidthL，PicOutputHeightL和所述图像大小和所述参考图像之间的PicOutputWidthL和PicOutputHeightL都分别相同时，所述环绕运动补偿信息中仅水平环绕运动补偿被支持，其中PicOutputWidthL表示应用缩放窗口后所2.如权利要求1所述的用于编解码360度虚述图像参数集合标志指示所述环绕运动补偿是否3.如权利要求2所述的用于编解码360度第一图像参数集合语法被指定为pps_ref_wraparound_e4.如权利要求2所述的用于编解码360度虚拟现实视频序列5.如权利要求4所述的用于编解码360度6.如权利要求4所述的用于编解码360度虚拟现第二图像参数集合语法被指定为pps_ref_wraparound_off7.如权利要求1所述的用于编解码360度比特流包括在序列参数集合中与所述环绕运动补偿信息相关联的一个或多个序列参数集8.如权利要求7所述的用于编解码360度虚拟述序列参数集合标志指示所述环绕运动补偿是否用于目标序列。9.如权利要求8所述的用于编解码360度虚拟现第一序列参数集合语法被指定为sps_ref_wraparound_e在编码器侧生成或在解码器侧接收与所述360度虚拟现实视频序列的编码数据相对应3使用所述环绕运动补偿信息，在所述编码器侧编码或在所述解码器侧解码所述360度述当前图像和所述参考图像之间的PicOutputWidthL，PicOutputHeightL和所述图像大小和所述参考图像之间的PicOutputWidthL和PicOutputHeightL都分别相同时，所述环绕运动补偿信息中仅水平环绕运动补偿被支持，其中PicOutputWidthL表示应用缩放窗口后所11.如权利要求10所述的用于编解码360度虚拟现实视频序列的装置,所述一个或多个述第一图像参数集合语法被指定为pps_ref_wraparound_enabl述第二图像参数集合语法表示所述环绕运动补偿偏述第二图像参数集合语法被指定为pps_ref_wraparound_offset_述比特流包括在序列参数集合中与所述环绕运动补偿信息相关联的一个或多个序列参数述一个或多个序列参数集合语法包括对应于序列参数集合标志的第一序列参数集合语法，所述序列参数集合标志指示所述环绕运动补偿是否用于目标序列。述第一序列参数集合语法被指定为sps_ref_wraparound_enabl4[0002]本申请要求分别在2019年11月15日递交的申请号为62/935,665的美国临时申请[0006]360度虚拟现实(virtualreality，简称VR)图像可使用360度球面全景相机来获(例如，等角矩形投影(EquiRectangularProjection，简称ERP)和立方体投影(CubMapERP和CMP投影格式外，还有许多其他VR投影格式，例如八面体投影(OctaHedraon[0008]高效率视频编解码(HighEfficiencyVideoCoding，HEVC)标准是在ITU-T视频编解码专家组(VideoCodingExpertsGroup，VCEG)和ISO/IEC运动图像专家组(MovingPictureExpertsGroup,MPEG)标准化组织的联合视频项目下开发的，尤其是与被称为视频编解码联合协作小组(JointCollaborativeTeamonVideoCoding,JCT-VC)的合作而Coding，简称VVC)”的新兴的视频编解码标准开发(emergingvideocodingstandard5偏好，而且还可以消除由I图像引起的跳动效果。图1中显示了带有参考图像重采样(ReferencePictureResampling，简称RPR)的适应性分辨率更改(AdaptiveResolution为了将参考图像Ref0用作参考，Ref0必须被放大到与当前图像相同的分辨率。参考图像被称为适应性分辨率更改(AdaptiveResolutionChange，简称ARC))的方法已经被研究，[0013]水平环绕运动补偿已经被提出包括在VTM7中(J.Chen,etal.,AlgorithmdescriptionforVersatileVideoCodingandTestModel7(VTM7),JointVideoExpertsTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG1116th越界样本的值。对于360度视频，这种重复填充的方法不适合，并且可能在重构的视口常规2D图像，则参考块220覆盖帧边界224外部的区域222。该外部参考区域将被视为不可6[0015]水平环绕运动补偿过程的示例在图3中被描述。当参考块的一部分在投影域中的此工具不仅在速率失真性能方面提高了压缩性能，还在减少接缝伪像和改善重构的360度[0018]对VR360视频序列进行编码的方法和装置被公开，环绕运动补偿作为编解码工具绕运动补偿是否用于目标图像。例如，第一PPS语法可被指定为pps_ref_wraparound_环绕运动补偿偏移量的值减1。例如，第二PPS语法可被指定为pps_ref_wraparound_中的环绕运动补偿信息有关的一个或多个SPS语法。SPS语法可包括与SPS标志相对应的第为sps_ref_wraparound_en7[0025]图4示出根据本发明的实施例的引入发送环绕运动补偿信息的系统的示例性框[0032]如前所述，VVC草案7使用环绕运动补偿来处理参考图像边界之外的参考图像区[0034]在VVC草案7中，水平环绕运动补偿信息的发送在序列参数集合(Sequence8问题的一种方法是将水平环绕运动补偿信息的发送从SPS移动到图像参数集合(Picture应在图像报头(PictureHeade考图像的高度，以及图像大小为上文所述pic_width_in_luma_samples和pic_height_in_[0041]1.在一实施例中，仅在当前图像和参考图像之间[0044]4.在一实施例中，仅在当前图像和参考图像之间的PicOutputWidthL和//sps_ref_wraparound_enab//if(sps_ref_wraparound_enabl//sps_ref_wraparound_offse标志(即sps_ref_wraparound_enabled_flag)和环绕偏移信息(即sps_ref_wraparound_9wraparound_enabled_flag)和环绕偏移信息(即pps_ref_wraparound_offset_minus1)被[0058]pps_ref_wraparound_enabled_flag等于1表示在帧间预测中水平环绕运动补偿被应用。pps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值大于或等于(pic_width_in_luma_samples/MinCbSizeY-1)[0059]pps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSize[0064]根据另一实施例，用于SPS中的环绕信息的示例语法设计在下表被示出。在下表中，SPS语法sps_ref_wraparound_enabled_flag被发送。如果ref_pic_resampling_enabled_flag未被设置且sps_ref_wraparound_enabled_flag已被设置，则语法sps_ref_wraparound_offset_minus1被ref_wraparound_enabled_present_flag的值为1时，语法sps_ref_wraparound_enabled_pps_ref_wraparound_opps_ref_wraparound_o[0073]遵循表3a和表4a的语法设计，环绕信息可以在图像报头(PictureHeader，简称[0077]sps_ref_wraparound_enabled_present_flag等于1表示SPS中存在sps_ref_不存在sps_ref_wraparound_en[0078]sps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于帧间预测中。sps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值小于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，其中pic_width_in_luma_samples是参考SPS的任一PPS中的pic_width_in_luma_[0079]ref_pic_resampling_enabled_flag等于1表示当解码编解码层视频序列(codedlayervideosequence，简称CLVS)中参考SPS的编码图像时，参考图像重采样可被应用。ref_pic_resampling_enabled_flag等于0表示解码CLVS中参考SPS的图像时参考图像重采样不被应用。[0080]sps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1到(pic_width_in_luma_samples/MinCbSizeYpic_width_in_luma_samples是引用SPS的任一PPS中pic_width_in_luma_sample[0082]pps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于参考PPS[0083]当sps_ref_wraparound_enabled_flag等于0或sps_ref_wraparound_enabled_[0084]pps_ref_wraparound_present_flag等于1表示水平环绕运动补偿应用于参考PPSMinCbSizeY-1)时，pps_ref_wraparound_present_flag的值应等于0。当ref_pic_[0085]pps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSize[0087]ph_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于参考PH的图像的帧间预测中。ph_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不应[0088]ph_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1至(pic_width_in_luma_samples/MinCbSize[0089]根据方法4的实施可使用新的语法设计或通过修改现有VVC工作草案的语法设计[0093]根据另一实施例，inter_layer_ref_pics_present_flag的值被忽略以发送环绕[0098]sps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于帧间预测中。sps_ref_wraparound_enabled_flag等于0表示水平环绕运动补偿不被应用。当(CtbSizeY/MinCbSizeY+1)的值小于或等于(pic_width_in_luma_samples/MinCbSizeY-1)时，其中pic_width_in_luma_samples是在引用SPS的任一PPS中的pic_width_in_luma_samples的值。如果sps_ref_wraparound_enabled_flag不存在，则sps_ref_wraparound_[0099]ref_pic_resampling_enabled_flag等于1表示当解码CLVS中参考SPS的编码图像[0100]sps_ref_wraparound_offset_minus1加1表示用于以MinCbSizeY亮度样本为单位计算水平环绕位置的偏移量。ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1到(pic_width_in_luma_samples/MinCbSizeYpic_width_in_luma_samples是引用SPS的任一PPS中pic_width_in_luma_sample[0101]inter_layer_ref_pics_present_flag等于0表示没有ILRP用于CLVS中任一编码码图像的帧间预测。当sps_video_parameter_set_id等于0时，inter_layer_ref_pics_present_flag的值被推断为等于0。当vps_independent_layer_flag[GeneralLayerIdx[0104]sps_ref_wraparound_enabled_flag等于1表示水平环绕运动补偿应用于帧间预测中。sps_ref_wraparoun