CN114303381B 视频编码方法及相关的视频解码方法 （联发科技股份有限公司）

2021.12.03PCT/CN2020/0998632020.07.02WO2021/000904EN2021.01.07WO2018218028A1,2018.11.29立方体的投影，球体的360度内容的至少一部分少一个语法元素与该基于立方体的投影采用的映射函数相关联以确定用于多个投影面中的每2的360度内容的至少一部分被映射到多个投影面，以及所述基于投影的帧具有被打包在基通过所述比特流发送至少一个语法元素，其中所述至少一个语法元素其中，所述映射函数是所述基于立方体的投影所采用的参数第一轴的所述参数化映射函数的输出通过联合考虑所述第一轴的位置值和所述第二轴的化映射函数的所述输出通过仅考虑所述第一轴的所述位置值和所述第二轴的所述位置值第四语法元素，被布置为指示所述第二轴的所述参数化映射函数化映射函数的输出通过联合考虑所述第二轴的所述位置值和所述第一轴的所述位置值来射函数的所述输出通过仅考虑所述第一轴的所述位置值和所述第二轴的所述位置值中的所述参数化映射函数被表示为：其中所述参数化映射v和bv由通过所述比特流发送的所述多个语法元素指定。3对比特流的一部分进行解码以产生解码帧，其中所述解码帧是基于投从所述比特流中解析至少一个语法元素，其中所述至少一个语法元素与其中，所述映射函数是所述基于立方体的投影所采用的参数第一轴的所述参数化映射函数的输出通过联合考虑所述第一轴的位置值和所述第二轴的化映射函数的所述输出通过仅考虑所述第一轴的所述位置值和所述第二轴的所述位置值第四语法元素，被布置为指示所述第二轴的所述参数化映射函数化映射函数的输出通过联合考虑所述第二轴的所述位置值和所述第一轴的所述位置值来射函数的所述输出通过仅考虑所述第一轴的所述位置值和所述第二轴的所述位置值中的y所述参数化映射函数被表示为：其中所述参数化映射v和bv由通过所述比特流发送的所述多个语法元素指定。4[0002]本发明的权利要求要求如下申请的优先权：在2019年7月2日递交的申请号为62/号为62/903,056的全部内容以引[0004]具有头戴式显示器(Head_mounteddisplay,简称HMD)的虚拟现实(virtualreality,简称VR)与各种应用相关联。向用户显示宽视野内容的能力可被用于提供沉浸式快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重[0005]通常，与球体相对应的全向视频被转换成具有由以360度虚拟现实(360_degree到的帧被编码成比特流进行传输。假设常规立方体贴图投影(cubemapprojection，简称[0006]所要求保护的发明的目的之一是提供一种具有语法元素的视频编码方法以及相球体的360度内容的至少一部分被映射到多个投影面，并且基于投影的帧具有被打包在基5该些和其他目的无疑对于本领域的普通技术人员将变[0012]图3示出根据本发明实施例的3D空间中的立方体的正方形投影面和2D平面上的正影的帧IMG(其具有打包在360VR投影布局L_VR中的多个投影面)进行编码以生成比特流BS[0015]目标电子设备104可以是头戴式显示器(head_mounteddisplay，简称HMD)设解码器122是从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS的解码VR。换句话说，解码帧IMG'也是具有打包在360VR投影布局L_VR中的投影面的基于投影的帧。图形渲染电路124被布置为驱动显示设备126以显示由用户选择的视口区域的图像内6[0017]关于源电子设备102的转换电路114，基于立方体的投影被采用以在三维(three_基于立方体的投影的图。球体200上的整个360度内容被投影到立方体201的六个正方形面 [0021]图3示出根据本发明的实施例的在3D空间中的立方体的正方形投影面与在2D平面需要编码的基于投影的帧IMG必须是矩形的。例如，基于投影的帧IMG可具有布置在紧凑的7yy使用的3D至2D映射函数可采用参数化的映射函数其中xyuuv和bvxv和 编码器116可采用所提出的语法发送方法之一来发送一个或多个语法元素SE，该一个或多一个或多个语法元素SE'，该一个或多个语法元素SE'由视频编码器116采用的一种提议的语法发送方法来发送，以及视频解码器122可向图形渲染电路124(特别是转换电路125)提供已解析的一个或多个语法元素SE'，使得图形渲染电路124(尤其是转换电路125)被告知编码器116编码到比特流BS中的一个或多个语法元素SE与由视频解码器122从比特流BS中8使用比特的不带符号(unsigned)的整数。描述符ce(v)表示上下文自适应的可变长度熵编语法元素，其左比特优先。语法元素ue(v)表示不带符号(unsigned)的整数Exp_Golomb_[0031]语法元素syntaxelementgcmp_mapping_function_type被设置为指定用于调整立方体贴图投影的样本位置的映射函数。gcmp_mapping_function_type的值应在0到2(包IEC23008_2andRec.ITU_TH.264|ISO/IEC14496_10中的立方体贴图投影补充增强信息在gcmp_mapping_function_type0的情况下，未具有采样分布调整的传统立方体贴图9[0033]如果语法元素gcmp_mapping_function_type等于1，它表示等角映射函数用于调具有采样分布调整的等角立方体贴图(equi_angularcubemap，简称EAC)投影采用的映射[0034]如果语法元素gcmp_mapping_function_type等于2，则表示上述参数化映射函数投影布局中位于面位置索引i上的投影面)的样本位置的参数化映射函数的系数由语法元素gcmp_function_coeff_u[i]，gcmp_function_u_affected_by_v_flag[i]，gcmp_面被分配面索引gcmp_face_index[i]4，并且左面被分配面索引gcmp_face_index[i]==5。[0035]语法元素gcmp_function_coeff_u[i]指定第i个投影面的u轴的参数化映射函数[0036]如果语法元素gcmp_function_u_affected_by_v_flag[i]等于1，则表示u轴的参数化映射函数引用了样本位置的v位置。如果语法元素gcmp_function_u_affected_by_v_function_u_affected_by_v[0037]语法元素gcmp_function_coeff_v[i]被设置为指定第i个投影面的v轴的参数化[0038]如果语法元素gcmp_function_v_affected_by_u_flag[i]等于1，则表示v轴的参数化映射函数引用了样本位置的u位置。如果语法元素gcmp_function_v_affected_by_u_function_v_affected_by_u投影面的宽度faceWidth和高度faceHeight，并且还进一步包括2D平面上投影面的样本位[0052]hPos”＝hPos'÷[1+coeffU[n]*(1_gcmp_function_u_af[0053]vPos”＝vPos'÷[1+coeffV[n]*(1_gcmp_function_v_af指定采样在u轴上没有改变。如果语法元素gcmp_u_axis_adjustment_function_enabled_个投影面的u轴的参数化映射函数的系数由语法元素gcmp_function_coeff_u[i]和gcmp_function_u_affected_by_v_flag指定在v轴上采样不被改变。如果语法元素gcmp_v_axis_adjustment_function_enabled_第i个投影面的v轴的参数化映射函数的系数由语法元素gcmp_function_coeff_v[i]和gcmp_function_v_affected_by_u_fl数可从包括不具有采样分布调整的常规CMP映射函数，具有采样分布调整的EAC映射函数，[0066]由于本领域的普通技术人员在阅读了上述对第一映射功能设计和第二映射功能计为仅支持具有固定设置的预定义映射功能。因此，语法元素gcmp_mapping_function_[0070]由语法元素gcmp