CN113963094B 深度图及视频处理、重建方法、装置、设备及存储介质 （阿里巴巴集团控股有限公司）

2获取并基于与所述估计深度图视角对应的量化参数数据，对获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离采用如下量化公式对估计深度图中的对应像素的深度值进行其中，M为所述估计深度图对应像素的量化比特位，rang视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距将所述帧同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图获取并基于所述量化深度图对应视角的估计深度图的量化参数数基于同步的多个视角的纹理图以及对应视角的估计深度图，其中，所述获取并基于所述量化深度图对应视角的估计深度获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离3采用如下反量化公式对所述量化深度图中的量化深度值进行反量化其中，M为所述量化深度图对应像素的量化比特位，rang视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为对所述对应视角的估计深度图进行升采样，得到用于重建所述虚拟视点获取所述估计深度图中像素的深度值，作为所述第二深度图中对应的偶数对于所述第二深度图中偶数行奇数列的像素的深度值，确定对对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中根据所述虚拟视点的位置信息，以及所述拼接图像对应的摄像机参获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图4获取并基于所述量化深度图对应视角的估计深度图的量化参数数获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离采用如下反量化公式对所述量化深度图中的量化深度值进行反量化其中，M为所述量化深度图对应像素的量化比特位，rang视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为基于同步的多个视角的纹理图以及对应视角的估计深度图，所述基于同步的多个视角的纹理图以及对应视角的估计深度图，根视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的获取基于所述虚拟渲染目标对象的增强现实特效输入数据所将所述虚拟信息图像与所述虚拟视点的图像进行合成5根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中估计深度图获取单元，适于获取基于多个帧同步的纹理图生量化处理单元，适于基于与所述估计深度图视角对应的量化参获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离采用如下量化公式对估计深度图中的对应像素的深度值进行其中，M为所述估计深度图对应像素的量化比特位，rang视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距第一视频获取单元，适于获取自由视点视频，所述自由视点视频第一深度图反量化处理单元，适于基于与所述量化深度图视角对应的量化参数数据，6其中，M为所述量化深度图对应像素的量化比特位，rang视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为第一图像重建单元，适于基于多个视角的纹理图以及对应视角第二视频获取单元，适于获取自由视点视频，所述自由视点视频第二深度图反量化处理单元，适于获取并基于所述量化深度获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离采用如下反量化公式对所述量化深度图中的量化深度值进行反量化7其中，M为所述量化深度图对应像素的量化比特位，rang视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为第二图像重建单元，适于基于同步的多个视角的纹理图以及对应视角的估计深度图，所述处理器，适于执行权利要求3至6任一项或权利要求7至11任一项所述的方法的步8[0003]在大范围的场景中，比如体育比赛，通过基于深度图的图像绘制(DepthImageBasedRendering，DIBR)技术来实现高自由度的观看是一种具有很大潜力和可行性的方计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度[0012]获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度[0013]基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处9对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小[0020]将所述帧同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度[0026]可选地，所述获取并基于所述量化深度图对应视角的估计深度图的量化参数数[0027]获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度[0028]基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度[0056]获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图[0061]响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对及具体应用场景对自由视点视频的实现方式实际采集情境中的多个采集设备采集到的图像生成的多角度自由视角数据进行图像重建空间分布关系设置多角度自由视角的范围以及设备基于自由获取的自由视点视频可以进行自由视点图像值范围在0-255之间的8比特二进制的对应像素的量化深度值，depth_range_near为预设的视场中距离光心的深度距离最小值，depth_range_far为预设的视场中距离光心的深度距CN之间空间关系可以直观看出，物体R与各采集设备的光心之间的距离最小值和距离最大值不同，因此基于采集设备P1～PN采集到的纹理图估计得到的估计深度图的距离光心的深度距离最小值和距离光心的深度距离最大值[0137]参照图6所示的深度图处理方法的流程图，本说明书实施例具体可以包括如下量对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小像机内外参计算(CameraParameterEstimation)，以及深度图计算(DepthMap接图像中进行边缘保护的方式，对应视角的量化参数元数据，以及其它元数据(Other与视角N的量化深度图是像素点一一对应的，将所述拼接图像压缩后传输到终端进行解码深度图与其对应，从而整体拼接图像的分辨率是纹理图集合的两倍，由于终端(如移动终端)的视频解码分辨率一般是有限的，因此上述自由视点视频数据的表达方法只能通过降以对所述量化深度图中的像素点每隔一个像素点抽取一个像素点，得到所述第一深度图，[0162]为使本领域技术人员更好地理解和实施本说明书实施例对经过上述深度图处理后终端侧的自由视点视频重建方法进行[0172]获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度[0173]基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小[0182](1)获取所述估计深度图中像素的深度值，作为所述第二深度图中对应的偶数行[0183](2)对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对的左侧像素的亮度通道值和右侧像素的亮度通道值之的上方像素的亮度通道值和下方像素的亮度通[0186]a1.若对应纹理图中中间像素的亮度通度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值之差的[0187]a2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值之差的[0188]a3.否则，选取所述左侧像素和右侧像[0189](3)对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素方像素的亮度通道值和下方像素的亮度通道值之[0190]b1.若对应纹理图中中间像素的亮度通度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值的绝对[0191]b2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的[0192]b3.否则，选取所述上方像素和下方像[0201]在上述公式中，pix_C为第二深度图中深度值对应位置的纹理图中中间像素的亮二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_L为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_D为第二深度图中深度值对应位置的纹理图中中间像素的下方像素对应的深度值，Dep_U为第二深度纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得[0204]其中，对于所述第二深度图中与所述估计深度图中的像素不存在对应关系的像对应的估计深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像[0209]具体而言，可以将所述纹理图中的相应像素与所述相应述纹理图中的相应像素在所述第二深度图中对应像素同步的多个视角的纹理图和对应视角的估计深度图中，选择多个目标纹理图和目标深度云端)预先设定相应视频帧对应的虚拟视点的位置信息，并在所述自由视点视频的头文件述同步的多个视角的纹理图和对应视角的估计深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和估计深度图作为所述目标纹理图和目样处理)，也可以先对拼接图像中的所有反量化处理后得到的估计深度图进行预处理(例息图像可以基于所述目标对象的增强现实特效输入数据生成。在确定虚拟渲染目标对象后，可以获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图[0256]在本说明书实施例中，所述虚拟渲染目标对象对应的虚拟信息图像可以预先生含特效展示标识I1等多个特效展示标识，视频帧P2中通过指向目标对象的倒三角符号表[0269]如图16至图20所示，终端用户可以继续点击视频帧中展[0272]所述估计深度图获取单元211，适于获取基于多个帧同步的纹理图生成的估计深[0274]量化参数数据获取单元213，适于获取与所述估计深度图视角对应的量化参数数距离光心的深度距离最小值和距离光心的深度距离最大值；相应地，所述量化处理单元214，可以基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处[0277]所述量化处理单元214的具体量化原理以及可以采用的具体量化公式等均可以参[0280]拼接单元216，适于将所述同步的多个视角的纹理图和对应视角的第一深度图按[0284]所述第一量化参数数据获取单元223，适于获取与所述量化深度图视角对应的量[0285]所述第一深度图反量化处理单元224，适于基于与所述量化深度图视角对应的量[0286]所述第一图像重建单元225，适于基于多个视角的纹理图以及对应视角的估计深[0288]在本说明书一些实施例中，所述第一深度图反量化处理单元224所采用的具体反第二深度图反量化处理单元233、虚拟视点位置确定单元234和第二图像重建单元235，其[0291]所述第二量化深度值获取单元232，适于获取所述量化深度图中像素的量化深度[0292]所述第二深度图反量化处理单元233，适于获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，[0294]所述第二图像重建单元235，适于基于同步的多个视角的纹理图以及对应视角的[0295]本说明书实施例中自由视点视频处理装置的具体实现可以参见前述自由视点视电子设备240可以包括存储器241和处理器242