CN113892128B 点云编解码方法、装置和电子设备 （腾讯美国有限责任公司）

2021.11.24PCT/US2020/0546002020.10.07WO2021/112953EN2021.06.10CA3098586A1,2019.11.14CA3096452A1,2019.10.24WO2019140510A1,2019.07.25ProbabilityModel-AdaptiveCodiPointCloudswithOctreeDecompos.ISO/IECJTC1/SO29/WG11.码流中接收点云的八叉树结构中的节点的已编码的解码无需等待第二节点的第二占用码的解2从点云的已编码码流中接收所述点云的八叉树结构中的节点的已编码从所述已编码数据中解码出所述节点的占用码，其中，至少第一节点的子基于所述点云的所述已编码码流中的信号，确定用于改变编解码次序的指定节点大对于所述节点中的较大节点，使用第一编解码次序来解码对于所述节点中的较小节点，使用不同于所述第一编解码次序的第二解码第一子八叉树中的第一组节点的第一组占用码，所述第一节点是解码第二子八叉树中的第二组节点的第二组占用码，所述第二节点是解码所述第一子八叉树中的所述第一组节点的所述第一组占用代码，与解使用第一编解码模式解码所述第一子八叉树中的所述第一组节点的所述第一组占用使用第二编解码模式解码所述第二子八叉树中的所述第二组节点的所述第二组占用从所述已编码码流中解码出指示所述第一子八叉树的所述第一编解码模式的第一索从所述已编码码流中解码出指示所述第二子八叉树的所述第二编解码模式的第二索3从所述点云的所述已编码码流中解码出控制信号，所述控制信号指示编解码次序改接收单元，用于从点云的已编码码流中接收所述点云的八叉树结12.一种计算机可读存储介质，其上存储有指令，所述指令在由点云解码计算机执行4[0002]本申请要求于2020年10月5日提交的申请号为17/063,411的美国专利申请“点云专利申请要求于2019年12月2日提交的申请号为62/942,549的美国临时专利申请“点云编进行遍历以进行编解码的方案在编解码效率方面仍有待[0008]在一些实施例中，处理电路解码第一子八叉树中的第一第一节点是第一子八叉树的根；以及解码第二子八叉树中的第二组节点的第二组占用码，5其中，至少第一节点的子节点的第一占用码的解码无需等待第二节点的第二占用码的解6[0021]图4示出了根据一些实施例的用于对与点云帧相对应的压缩码流进行解码的解码[0025]图8示出了根据一些实施例的用于对与点云帧相对应的压缩码流进行解码的解码[0027]图10示出了根据本申请一些实施例的八叉树划分和与八叉树划分相对应的八叉格(图像)的像素。V-PCC方案可以利用通用视频编解码器进行点云压缩。运动图片专家组(MPEG)正在研究分别使用G-PCC方案和V-PCC方案的G-PCC标准和V-[0037]本申请的各方面提供了用于可以在PCC(例如，G-PCC方案和V-PCC方案)中使用的点云可以用于将对象或场景重建为这些点的组合。这些点可以在各种设置中使用多个相7用于在自主驾驶和文化遗产应用等动态映射上下文中进行无损[0041]根据本申请的一个方面，V-PCC背后的主要理念是利用现有的视频编解码器将动[0042]图1示出了根据本申请实施例的通信系统(100)的简化框图。通信系统(100)包括可以经由例如网络(150)彼此通信的多个终端装置。例如，通信系统(100)包括经由网络[0043]在图1的示例中，终端装置(110)和终端装置(120)可能图示为服务器和个人计算(110)和终端装置(120)之间传输压缩点云的任意数量的网络。网络(150)[0044]图2图示了根据实施例的流式传输系统(200)的简化框图。图2的示例是将本申请[0045]流式传输系统(200)可以包括采集子系统(213)。采集子系统(213)可以包括点云本(207)和副本(209)。客户端子系统(206)可以包括例如在电子装置(230)中的解码器8[0048]图3示出了根据一些实施例的用于编码点云帧的V-PCC编码器(300)的框图。在一[0050]在图3的示例中，V-PCC编码器(300)包括面片生成模块(306)、面片打包模块片打包可以通过使未使用的空间最小化或确保时间一致性[0055]几何图像生成模块(310)可以生成与在给定面片位置处的点云的几何结构相关联的2D几何图像。纹理图像生成模块(312)可以生成与点云在给定面片位置处的纹理相关联9[0057]占用地图模块(314)生成的占用地图可以使用无损编码或有损编码来压缩。当使[0058]请注意，面片打包模块(308)可以在打包在图像帧中的2D面片之间留下一些空白[0063]图4示出了根据一些实施例的用于解码与点云帧相对应的压缩码流的V-PCC解码[0069]几何重建模块(444)可以接收解压缩的几何图像，并基于解压缩的占用地图和解[0070]平滑模块(446)可以对面片边缘处的不一致进行平滑。平滑过程旨在减轻可能由[0071]纹理重建模块(448)能够基于解压缩的纹理图像和平滑后的几何结构来确定点云[0072]颜色平滑模块(452)可以对着色的不一致进行平滑。3D空间中的非相邻面片通常[0073]图5示出了根据本申请实施例的视频解码器(510)的框图。视频解码器(510)可以用于V-PCC解码器(400)中。例如，视频解压缩模块(434)和(436)、占用地图解压缩模块可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码具有或不具有上下文灵敏度的算术编码等等。解析器(520)可基于对应于群组的至少一个宏块、编码单元(CodingUnit，CU)、块、变换单元(TransformUnit，TU)、预测单元[0076]取决于已编码视频图片或已编码视频图片部分的类型(例如：帧间图片和帧内图以及涉及方式可由解析器(520)从已编码视频序列解析的子群控制信息控制。为了简洁起[0077]除已经提及的功能块以外，视频解码器(510)可在概念上细分成如下文所描述的[0078]第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)预测信息添加到由缩放器/逆变换单元(551)提供的输出样聚合器(555)添加到缩放器/逆变换单元(551)的输出(在这种情况下被称作残差样本或残址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(521)的形式而供运动[0081]聚合器(555)的输出样本可在环路滤波器单元(556)中被各种环路滤波技术采用于环路滤波器单元(556)，但是还可响应于在解码已编码图片或已编码视频序列的先前[0082]环路滤波器单元(556)的输出可以是样本流，所述样本流可输出到显示装置以及旦对应于当前图片的已编码图片被完全重建，且已编码图片(通过例如解析器(520))被识[0084]视频解码器(510)可根据例如ITU-TH.265建议书等标准中的预定视频压缩技术片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical[0085]图6示出了根据本申请实施例的视频编码器(603)的框图。视频编码器(603)能够频压缩模块(332)与编码器(603)以类似类似于(远程)解码器创建样本数据的方式重建符号，以创建样本数据(因为在本申请所公已重建样本流(样本数据)输入到参考图片存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(634)中的内容在本地编码器步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一(520)能够无损地将符号编码/解码到已编解码视频序列时，包括解析器(52可在视频解码器(图6中未示)处解码时，已重建视频序列通常可以是带有一些误差的源视器(603)可在本地存储已重建参考图片的副本，所述副本与将由远端视频解码器获得的已测器(635)可在参考图片存储器(634)中搜索可作为所述新图片的适当预测参考的样本数得的搜索结果，可确定输入图片可具有从参考图片存储器(634)中存储的多个参考图片取[0097]帧内图片(I图片)，其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新[0098]预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图[0099]双向预测性图片(B图片)，其可以是可使用帧内预测或帧间预测进行编码和解码用于块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测[0101]视频编码器(603)可根据例如ITU-TH.265建议书的预定视频编码技术或标准执[0102]视频可呈时间序列的多个源图片(图像)的形式。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测则利用图片之间的(时间或其它)相去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行为单位。举例来说，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(coding将CU拆分为一个或多个预测单元(predictionunit，PU)。通常，每个PU包括亮度预测块[0107]如图7所示，可以在编码器(700)处接收输入点云(701)。将点云(701)的位置(例[0108]属性传递模块(720)被配置为接收输入点云的属性，并且当多个属性值与各个体输出的重新排序后的点执行属性传递过程。将传递操作之后的属性提供给属性预测模块[0109]属性预测模块(750)根据来自LOD生成模块(740)的LOD信息所指示的基于LOD的顺[0114]如图8所示，可以在算术解码模块(810)处接收压缩的码流(801)。算术解码模块(810)被配置为对压缩的码流(801)进行解码，以获得点云的量化残差(如果生成)和占用当前点的属性预测。属性预测模块(850)可将属性预测与各个已重建残差相组合以生成当[0116]在一个示例中，从属性预测模块(850)生成的已重建属性序列与从八叉树解码模器(800)可以用诸如一个或多个集成电路(IC)的处理电路来实现，处理电路在使用或不使[0118]请注意，被配置为实施本文中所揭示的属性预测技术的属性预测模块(750)或或具有进一步划分的节点。节点处的划分可将节点所表示的三维空间划分成八个八分体。于节点)的划分图示。该划分可以将3D立方体(900)分割成8个更小的大小相等的立方体0-[0128]图10示出了根据本申请一些实施例的八叉树划分(1010)和与八叉树划分(1010)一子立方体框(由节点N0-0表示)划分成编号为0至7的8个更小的子立方体框。节点N0-0的为一个8位的整数S，S中的每个比特位指示当前节点的子节点的占用状态。在一个实施例的占用码S中的八个二进制数(bin)进行编码。S中的每个二进制数通过参照当前码的相邻[0133]在对当前节点的占用码进行逐字节编码的实施例中，占用码S(一个字节)可以通中的阴影节点为对应于非空立方体空间的节点。八叉树结构(1200)可以与八叉树结构(1210)和第二子八叉树结构(1220)，这两个节点可分别称为这两个子八叉树结构的根节[0142]在图12的示例中，在一些实现方式中，可以在并行处理中对第一子八叉树结构tt≤M-1)用于指定将广度优先次序应用于大小为M-1至dt的[0152]图13示出根据本申请一些实施例的几何参数集的语法示例(1300)。如(1310)所示，在几何参数集中指定gps_depth_first_node_size_log2_minus_1。可以基于gps_[0156]图14示出了根据本申请一些实施例的几何参数集的另一语法示例(1400)。如(1410)所示，使用由gps_hybrid_coding_order_flag表示的控制标志。当控制标志gps_案。当gps_hybrid_coding_order_flag为“真”时(例如，值为1)，可以基于gps_depth_[0160]图15示出了根据本申请一些实施例的用于八叉树编解码的伪码示例(1500)。如[0161]图16示出了根据本申请一些实施例的用于深度优先编解码次序的伪码示例(1600)。伪码“geometry_node_depth_first”是递归函数。在递归函数中，首先调用“geometry_node”函数获得当前八叉树节点的占用码，然后调用伪码“geometry_node_MaxGeometryOctreeDepth-1时。[0165]在一个实施例中，子节点在第一子八叉树中的第一组节点第一组节点的第一组占用码和第二组节点的第二组占用码可以被分别解码。在一个示例[0167]在另一实施例中，第一节点和第二节点具有用于改变编解码次序的特定节点大[0171]上文所描述的技术可使用计算机可读指令实施为计算机软件且以物理方式存储置解释为对计算机系统(1800)的示范性实施例中所示的组件中的任一个组件或组件组合觉反馈，但还可存在不充当输入装置的触觉反馈装置)、音频输出装置(例如：扬声器[0180]计算机系统(1800)还可包括到一个或多个通信网络的接口。网络可例如是无线到如下文所描述的系统总线而集成到计算机系统(1800)的核心中(例如，通过以太网接口络接口中的每一个上使用某些协议和协议栈。[0182]核心(1840)可包括一