CN113892235B 用于点云解码的方法和装置 （腾讯美国有限责任公司）

WO2020057530A1,2020.03.26US2017347122A1,2017.11.302022.01.042021.11.23PCT/US2021/02404420WO2021/202220EN2021.10.07提供了一种在点云解码器中进行点云几何中的一组点的点云的编码比特流接收第一信令第二信令信息指示3D空间中的所述一组点的分2从包括三维3D空间中的一组点的点云的编码比特流接收第一信令信息基于所述第一信令信息的第一值来从所述点云的编码比特流基于所述第二信令信息来确定所述3D空间中的所述一基于所述第三信令信息的第一值来确定所述3D空间的沿x、y和z方向的用信号表示的基于所述第二信令信息指示第二值来确定所述分割模式为预定义的四叉树和二叉树基于所述第二信令信息指示所述第一值，接收针对所述分割模式中4.根据权利要求3所述的方法，其特征在于，所述3比特信基于所述第一信令信息指示第二值来确定所述分割模式，所述分割式中的多个分割级别中的每个分割级别中包括相应从包括三维3D空间中的一组点的点云的编码比特流接收第一信令信息基于所述第一信令信息来确定所述3D空间中的所述一组点的分从所述点云的编码比特流接收第二信令信息，当所述第二信令信息基于所述第二信令信息指示所述第一值来确定所述3D空间的沿x、y和z方向的用信号基于所述第一信令信息指示第一值，接收针对所述分割模式中的多8.根据权利要求7所述的方法，其特征在于，所述3基于所述第一信令信息指示第二值来确定所述分割模式，所述分割式中的多个分割级别中的每个分割级别中包括相应当所述第二信令信息为第二值时，所述第二信令信息指示所述3D空间为对称的长方基于所述第一信令信息指示所述第二值并且所述第二信令信息指所述分割模式在所述分割模式的多个分割级别中的第一分割级别中的每一个中包括相应根据以下条件确定所述分割模式的多个分割级别中的最后一个分割级别中的分割类,基于所述第一信令信息指示第一值来确定第二信令信息，当所述置成使所述装置执行根据权利要求6至12一个或多个计算机可读的非暂态存储介质，所述一个或多个计算一个或多个计算机处理器，所述一个或多个计算机处理序代码并按照由所述计算机程序代码所指示的进行操作，以执行权利要求1至12中任一项计算机程序，所述计算机程序被配置成使一个或多个计算机处理器执行权利要求1至12中45[0002]本申请要求于2021年3月16日提交的美国专利申请第17/203,155号“METHODAND要求于2020年4月2日提交的美国临时申请第63/004,304号“METHODANDAPPARATUSFORFLEXIBLEQUAD-TREEANDBINARY-TREEPARTITIONINGFORGEOMETRYCODING”的优先权其他方式视为提交日前的现有技术的描述的各方面既不被明确地也不被隐含地承认为是容的一个方面，提供了进行点云几何解码的方法。在该方法中，可以从包括三维(three-6式可以在分割模式中的多个分割级别中的每个分割级别中包括相应从包括三维(three-dimensional，3D)空间中的一组点的点云的编码比特流接收第一信令模式中的多个分割级别中的每个分割级别中包括相应的八叉树分[0017]在一些实施方式中，基于第一信号信息指示第二值并且第二信号信息指示第一,7[0028]图4示出了根据一些实施方式的用于对与点云帧相对应的压缩比特流进行解码的[0031]图7示出了根据一些实施方式的用于对与点云帧相对应的压缩比特流进行解码的[0033]图9示出了根据本公开内容的一些实施方式的示出基于八叉树分割技术对立方体[0034]图10示出了根据本公开内容的一些实施方式的八叉树分割和与该八叉树分割相[0035]图11示出了根据本公开内容的一些实施方式的在z方向上具有较短包围盒[0036]图12示出了根据本公开内容的一些实施方式的示出基于八叉树分割技术沿x-y、8点云可以用于在自主驾驶中进行对象检测和定位。3D点云还可以用于在地理信息系统[0043]压缩技术可以减少表示点云所需的数据量以用于更快的间推移捕获的点云序列的编码以及对点云的[0044]图1示出了根据本公开内容的实施方式的通信系统(100)的简化框图。通信系统以例如以比特流的形式经由网络(150)被传输至另一个终端装置(120)。终端装置(120)可以从网络(150)接收经压缩的点云、对比特流进行解压缩以重建点云以及适当地显示经重可以包括例如线缆(有线)和/或无线通信网络。网络(150)可以在电路交换信道和/或分组9[0046]图2示出了根据实施方式的流传输系统(200)的简化框图。图2的示例是所公开的[0047]流传输系统(200)可以包括捕获子系统(213)。捕获子系统(213)可以包括点云源仪、以软件方式生成未压缩的点云的图形生成部件以及生成例如未压缩的点云(202)的类(204)可以由电子装置(220)生成，该电子装置(220)包括耦接至点云源(201)的编码器公开的主题的各方面。被描绘为细线以强调与点云(202)的流相比时的较低数据量的经压缩的点云(204)(或经压缩的点云(204)的比特[0049]在一些流传输系统中，可以根据某些标准对经压缩的点云(204)、(207)和(209)[0050]图3示出了根据一些实施方式的用于对点云帧进行编码的V-PCC编码器(300)的框离小于阈值量的表面法线向量的点。块生成模块(306)将点云划分为可以交叠或不交叠的生成模块(306)旨在将点云分解为最小数量的具有平滑边界的块，同时还使重建误差最小可以被封装到图像帧中，并且然后由辅助块信息压缩模块(338)编码以生成经压缩的辅助的块封装可以通过使未使用的空间最小化或确保时[0057]几何图像生成模块(310)可以生成与给定的块位置处的点云的几何形状相关联的2D几何图像。纹理图像生成模块(312)可以生成与给定的块位置处的点云的纹理相关联的括二进制图，该二进制图针对网格的每个单元指示该单元是属于空白空间还是属于点云。占用图使用针对每个像素区块描述该像素区块是否被填充[0059]可以使用无损编码或有损编码来压缩由占用图模块(314)生成的占用图。当使用无损编码时，使用熵压缩模块(334)压缩占用图。当使用有损编码时，使用视频压缩模块[0063]在一些实施方式中，组扩展(320)被配置成用冗余的低频内容填充对象边界周围[0065]图4示出了根据一些实施方式的用于对与点云帧相对应的经压缩的比特流进行解图像进行解码并输出经解压缩的纹理图像；并且视频解压缩模块(436)对经压缩的几何图[0071]几何形状重建模块(444)可以接收解经压缩的几何图像，并且基于经解压缩的占[0072]平滑模块(446)可以对块的边缘处的不一致进行平滑。平滑过程旨在减轻由于压[0073]纹理重建模块(448)可以基于经解压缩的纹理图像和平滑几何形状来确定点云中[0074]颜色平滑模块(452)可以对着色的不一致进行平滑。3D空间中的非相邻的块在2D[0075]图5示出了根据本公开内容的实施方式的视频解码器(510)的框图。视频解码器重建符号(521)。这些符号的类别包括用于管理视频解码器(510)的操作的信息。解析器[0077]解析器(520)可以对从缓冲存储器接收的视频序列执行熵解码/解析操作以创建单元以及涉及方式可以通过由解析器(520)从编码视频序列解析的子群控制信息来控制。[0079]除已经提及的功能块以外，视频解码器(510)可以在概念上被细分成如下文所描[0080]第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)化因子、量化缩放矩阵等。缩放器/逆变换单元(551)可以输出包括可以被输入到聚合器[0081]在一些情况下，缩放器/逆变换单元(551)的输出样本可以属于经帧内编码的区样本，将帧内预测单元(552)已经生成的预测信息添加至如由缩放器/逆变换单元(551)提运动补偿的区块。在这样的情况下，运动补偿预测单元(553)可以访问参考图片存储器取预测样本的参考图片存储器(557)内的地址可以通过运动矢量控制，并且可供运动补偿动补偿还可以包括如在使用子样本精确运动矢量时从参考图片存储器(557)提取的样本值[0083]聚合器(555)的输出样本可以在环路滤波器单元(556)中经受各种环路滤波技用于环路滤波器单元(556)，但是视频压缩技术还可以响应于在对编码图片或编码视频序[0084]环路滤波器单元(556)的输出可以是样本流，所述样本流可以被输出至渲染装置并被存储在参考图片存储器(557)中以用于将来对应于当前图片的编码图片被完全重建并且该编码图片(通过例如解析器(520))已经被识以在开始重建后续的编码图片之前重新分配新的当[0086]视频解码器(510)可以根据诸如ITU-TH.265建议书的标准中的预定视频压缩技[0087]图6示出了根据本公开内容的实施方式的视频编码器(603)的框图。视频编码器[0089]根据实施方式，视频编码器(603)可以实时地或在由应用所要求的任何其它时间索范围等。控制器(650)可以被配置成具有其它合适的涉及针对特定系统设计而优化的视码器(633)以类似于(远程)解码器也将创建样本数据的方式重建符号以创建样本数据(因产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(634)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。也就是说，编码器的预测部分种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。[0091]“本地”解码器(633)的操作可以与例如已在上文结合图5详细描述的视频解码器析器(520)能够无损地将符号编码/解码为编码视频序列时，包括缓冲存储器和解析器编码视频数据可以在视频解码器(图6中未示出)处被解码时，重建的视频序列通常可以是具有一些误差的源视频序列的副本。本地视频解码器(633)针对参考图片重复可以由视频测器(635)可以在参考图片存储器(634)中搜索可以作为所述新图片的适当预测参考的样每个编码图片指定特定的编码图片类型，这可能影响可以应用于相应的图片的编码技术。[0099]帧内图片(I图片)，其可以是可以在不将序列中的任何其他图片用作预测源的情[0100]预测性图片(P图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的[0101]双向预测性图片(B图片)，其可以是可以使用帧内预测或帧间预测进行编码和解片的区块进行非预测性编码，或者可以参考同一图片的已编码区块对I图片的区块进行预时间预测对P图片的像素区块进行预测性编码。可以参考一个或两个先前编码的参考图片经由空间预测或经由时间预测对B图片的区块进行[0103]视频编码器(603)可以根据例如ITU-TH.265建议书的预定视频编码技术或标准[0104]视频可以是时间序列中的多个源图片(图像)的形式。帧内图片预测(通常简写为帧内预测)利用给定图片中的空间相关性，而帧间图片预测利用图片之间的(时间或其它)使用两个参考图片，例如按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)的第一参考图片和第二参考图片。可以通过指向第一参考图片中的第一参考区块的第一运动矢量和指向第二参考图片中的第二参考区块的第二运动矢量对当前图树区块是一个亮度CTB和两个色度CTB。还可以将每个CTU以四叉树递归地拆分为一个或多为一个或更多个预测单元(predictionunit，PU)。通常，每个PU包括亮度预测区块[0109]图7示出了根据实施方式的在G-PCC分解处理期间应用的G-PCC解码器(800)的框图。解码器(800)可以被配置成接收经压缩的比特流并且执行点云数据解压缩来解压缩该比特流以生成经解码的点云数据。在实施方式中，解码器(800)可以包括算术解码模块块(810)被配置成对经压缩的比特流(801)进行解码，以获得点云的经量化的预测残差(如[0111]LOD生成模块(840)被配置成基于重建的位置将点重新组织成不同的LOD，并确定基于LOD的次序。逆量化模块(820)被配置成基于从算术解码模块(810)接收的经量化的预以基于从逆量化模块(820)接收的重建的预测残差和从LOD生成模块(840)接收的基于LOD接收点云数据并且压缩该点云数据以生成携载经压缩的点云数据的比特流。在实施方式中，编码器(700)可以包括位置量化模块(710)、重复点去除模块(712)、八叉树编码模块3D坐标)提供至量化模块(710)。量化模块(710)被配置成对坐标进行量化以生成经量化的位置。重复点去除模块(712)被配置成接收经量化的位置并且执行滤波处理以识别和去除[0115]属性转换模块(720)被配置成接收输入点云的属性，以及在多个属性值与相应体素相关联时执行属性转换处理以确定每个体素的属性值。可以对从八叉树编码模块(730)进行操作，并且将这些点重新组织成不同的LOD。LOD信息被提供至基于插值的预测模块[0116]基于插值的预测模块(750)根据由来自LOD生成模块(740)的LOD信息指示的基于化模块(760)被配置成从基于插值的预测模块(750)接收预测残差并且执行量化以生成经模块(760)的经量化的预测残差以及其他信息并且执行熵编码以进一步压缩所接收的值或[0117]注意，被配置成实现本文所公开的属性预测技术的基于插值的预测模块(750)和基于逆插值的预测模块(860)可以被包括在其他解码器或编码器中，所述其他解码器或编码器(800)可以用诸如在有软件或没有软件的情况下操作的一个或更多个集成电路一个或更多个处理器的处理电路执行时，所述指令使处理电路执行编码器(300)、解码器生八个子立方体，这在点云压缩(pointcloudcompression，PCC)中被称为八叉树树分割技术可以将3D立方体(900)分割成八个较小的相等尺寸的立体细分为8个子立方体。迭代地细分k(k≤d)次之后的子立方体的大小可以是(2[0122]解码处理可以通过从比特流读取包围盒B的尺寸开始。然后可以通过根据已解码的占用码对包围盒B进行细分来构建相同的八叉树结构。两级OT分割和对应占用码的示例[0123]图10示出了根据本公开内容的一些实施方式的八叉树分割(1010)和与八叉树分割(1010)相对应的八叉树结构(1020)的示例。图10示出了八叉树分割(1010)中的两级分表示)和第五较小子立方体盒(由节点N0-0-4表示)包括点云中的点，而其他较小子立方体度都具有相同大小的立方体，并且因此可以在每个节点处针对所有子立方体执行OT分割，点在3D场景(或3D空间)中非均匀分布[0127]一种极端情况可以是3D空间中的2D平面，其中所有点可以位于3D空间中的x-y平可以将3D立方体1302分割成2个子立方体0和2。可以将3D立方体1303分割成2个子立方体0参数K(0≤K≤max(dx,dy,dz)-min(dx,dy,dz))可以限定可z＜dx＝dy(或隐式QtBt分割)可以总是在前(至多)K个级别之后强制执行八叉树分解，直至当前QtBt可以是隐式QtBt分割的特殊情况，可以通过设置K＝0&M＝0将该分割方法应用于具有高度对称包围盒标志(例如，asymmetric_bbox_enabled_flag)以使得能够使用非对称的包围(也称为第二值)并且针对高度非对称的包围盒数据将非对称包围盒标志设置为诸如1的值[0148]第二分割方法可以包括以下特征：(1)可以引入显式QtBt启用标志(例如，送拆分决定的显式信令。与在当前QtBt分割中使用固定的隐式规则(例如，表I和表II)相式QtBt启用标志(例如，implicit_qtbt_enabled_flag)以启用/禁用显式拆分决定信令。(2)仅在显式QtBt启用标识为诸如1的值(或第一值)时才可以另外用信号表示非对称包围可以在八叉树级别(或八叉树分割级别)中的每个八叉树级别中发送3比特信号，以指示是施方式中，可以应用其他拆分规则来确定针对八叉树级别中的每个八叉树级别的3比特信将QtBt分割的类型作为显式或隐式的附加信令来在QtBt分割的使用中提供更大的灵活性。来代替TMC13中的QtBt分割中的隐式QtBt启用标志，以更灵活(2)在QtBt启用标志被设置为诸如1的值的情况下，可以另外用信号表示QtBt类如，qtbt_type_flag)。(3)如果QtBt类型标志被设置为诸如0的值，则可以应用当前隐式QtBt方案(例如，表I和表II)。另外，可以另外用信号表示非对称包围盒标志(例如，针对八叉树级别中的每个八叉树级别的3比特信号。所述其他拆分规则可以有利于八叉树[0155]应该注意，由于在第四分割方法中在显式QtBt启用标志被设置为诸如1的值的情[0157]图14和图15示出了概述根据本公开内容的实施方式的处理(1400)和处理(1500)器(203)和/或解码器(201)的功能的处理电路，执行编码器(300)、解码器(400)、编码器模式可以在分割模式中的多个分割级别中的每个分割级别中包括相应的八叉树分模式中的多个分割级别中的每个分割级别中包括相应的八叉树分,多个计算机中央处理单元(centralprocessingunit，CPU)、图形处理单元(Graphics应当被解释为具有与计算机系统(1800)的示例性实施方式中示出的部件中的任何一个部(未示出)、全息显示器和发烟器(未示出)的方式输出二维视觉输出或多于三维输出)和打硬盘驱动器或固态驱动器(1823)、传统磁性介质(例如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的装置(例如安全加密狗(未示出网络通常通过如下所述附接至系统总线(例如，至PC计算机系统的以太网接口或至智能电话计算机系统的蜂窝网络接口)而集成到计算机系统(1800)的核中。计算机系统(1800)可使用局域数字网络或广