CN111095362B 用于编码点云的方法和设备 （交互数字Vc控股公司）

2020.03.03PCT/EP2018/068494201WO2019/011834EN2019.01.17Y.奥利维尔用于编码表示三维(3D)对象的点云的方法像在所述一组或多组中的每个图片中以相同的述了相应的用于解码包括表示编码图片的数据2所述至少一组时域连续图片中的每个图片包括图像的集合，所述在所述至少一组时域连续图片中的每个图片2.一种适于编码表示三维对象的点云的装置，所述装置包括与处理器相关联的存储所述至少一组时域连续图片中的每个图片包括图像的集合，所述在所述至少一组时域连续图片中的每个图片3.根据权利要求1所述的方法或根据权利要求25.根据权利要求1所述的方法或根据权利要求6.根据权利要求1所述的方法或根据权利-获得所述至少一个比特流，所述至少一个比特流包括所述点云的至少一组时域连续所述至少一组时域连续图片中的每个图片包括图像的集合，所述在所述至少一组时域连续图片中的每个图片-解码表示投影的集合的第一信息，所述投影的集合与所述至少一组时域连续图片时域连续图片相关联，所述投影的集合中的不同投影与所述图像的集合中的每个图像相关38.一种适于解码表示三维对象的点云的装置，所述装置包括与处理器相关联的存储-获得至少一个比特流，所述至少一个比特流包括所述点云的至少一组时域连续图片所述至少一组时域连续图片中的每个图片包括图像的集合，所述在所述至少一组时域连续图片中的每个图片-解码表示投影的集合的第一信息，所述投影的集合与所述至少一组时域连续图片时域连续图片相关联，所述投影的集合中的不同投影与所述图像的集合中的每个图像相关9.根据权利要求7所述的方法或根据权利要求8所述的11.根据权利要求7所述的方法或根据权利要求8所述的装置，其中将所述第一信息附14.根据权利要求13所述的计算机可读介质，还携带与所述至少一个图片相关联的第二信息，所述第二信息标识用于从所述点云获得属性的所述投影的集合中的至少一个投15.一种非暂时性处理器可读介质，其中存储有用于使处理器执行根据权利要求1或94[0002]本节旨在向读者介绍可与下文描述和/或要求保护的本公开的各个方面相关的技[0010]只有当比特流的尺寸足够小以允许向最终用户的实际存储/传输时，点云压缩才5[0012]公知的方法是将表示3D对象的外表面的彩色点云投影在包围3D对象的立方体表为了获得高压缩效率，可以实施从其他已经编码的图片预测纹理(或颜色)和/或深度的时6[0038]-获得所述至少一个比特流，所述至少一个比特流包括所述点云的至少一组时域[0041]-解码表示投影的第二集合的第一信息，所述投影的第二集合与所述至少一组时及[0044]-获得所述至少一个比特流，所述至少一个比特流包括所述点云的至少一组时域[0047]-解码表示投影的第二集合的第一信息，所述投影的第二集合与所述至少一组时及[0050]-用于获得所述至少一个比特流的部件，所述至少一个比特流包括所述点云的至7[0053]-用于解码表示投影的第二集合的第一信息的部件，所述投影的第二集合与所述[0060]图2示出了根据非限制性实施例的用于对图1方案的点云进行编码的处理的第一[0061]图3示出了根据非限制性实施例的用于对图1方案的点云进行编码的处理的第二[0067]图9示出了根据非限制性实施例的用于生成例如与图4A的图片相关联的参考图片[0068]图10示出了根据非限制性实施例的用于对图1方案的点云进行编码的处理的第三[0070]图12示出了根据非限制性实施例的用于解码比特流以获得图1的解码点云的处理[0071]图13示出了根据非限制性实施例的用于解码比特流以获得图1的解码点云的处理[0072]图14示出了根据非限制性实施例的用于解码比特流以获得图1的解码点云的处理8[0074]图16示出了根据非限制性实施例的用于实现图1的编码/解码方案的至少一部分[0075]图17示出了根据非限制性实施例的通过通信网络通信的两个远程设备(诸如图16[0076]图18示出了根据非限制性实施例的传输通过图1的方案获得的比特流的信号的语[0077]图19示出了根据非限制性实施例的用于表示图1的点云的至少一部分的八叉树的指定与图像(或视频)的像素值相关的所有信息、以及由显示器和/或任何其他设备使用以[0083]描述了用于对表示三维(3D)对象的点云进行编码的方法(和所配置的装置)的实该一组或多组中的每个图片包括图像的第一集合，这些图像在空间上以相同的方式(即具[0084]还将描述从包括表示点云的图片的编码数据的比特流中解码点云的相应方法(和9[0086]虽然参考点云的单个图片进行描述，本实施例也以相同的方式适用于图片的序[0088]通过在模块M11中实现的编码处理11，将点云111编码成比特流112形式的编码数[0089]点云111对应于表示对象(例如对象的外表面或外部形状)的大量点的集合。点云的深度/距离)和一个或多个分量。分量的示例是可以在不同颜色空间中表示的颜色分量，[0095]编码处理11例如可以实现图片内编码和/或图片间编码。图片内编码基于利用空像上的点云的所述部分的点的属性。属性(以及因此获得的第一属性)可以对应于纹理(或[0100]·AVC，也称为MPEG-4AVC或h264。在UIT-TH.264和ISO/CEIMPEG-[0102]·3D-HEVC(HEVC的扩展，其规范见ITU网站T推荐H系列h265，http：//www.ITU.int/rec/T-rec-H.265-20161个第一图像解投影(即执行第一投影的逆操作，例如基于包含第一投影的参数的元数据)。对第一图像的解码的第一属性的解投影使得能够获得在图片201中表示的点云或其部分的差异例如由于编码操作20和/或解码操作21所致。差异也可能是由于在从点云生成第一图[0111]在由模块M23实现的操作23中，从在操作22处获得的点云的3D编码表示中获得第个特定的第二投影不同于与图片201的第一图像相关9的描述提供了获得参考图片的处理的示例[0114]对已经用数据(即从数据(即相关联图片的第一属性)获得的第二属性)完成的参考图片的使用使得能够增加参考所获得的参考图片而选择点云的更多图片的帧间编码模[0116]图3示出了根据另一特定且非限制性实施例的用于编码点云111的操作。图3的实叉树O包括与节点相关联的至少一个立方体Cj的集合{Cj}。叶立方体是与八叉树的叶节点定处理也可以根据其深度确定每个深度的子立方体的不同数量、和/或相同深度的立方体[0120]与八叉树O的叶节点相关联的叶立方体则可以包括或不包括表示点云111的至少一部分(优选地位于叶立方体的中心)的点。可以将颜色值附加到包括在八叉树O的叶立方[0123]-第二标志集合，其指示与叶节点相关联的叶立方体中心处的点的存在(或不存[0127]图4A和4B每个示出了根据特定和非限制性实施例的点云111的图片，例如图片[0129]形成图片40的图像集合例如可以包括一个或多个第一图像和可能的一个或多个[0132]面501例如用于形成图像401，面502用于形成图像402，并且面503用于形成图像[0134]图4B图示了点云的点的图片41的第二示例，例如，点云的GOP的图片，例如图片[0136]图6图示了根据非限制性实施例的对形成图片41的图像集合的第一图像的获得。[0137]与点云的一个给定3D部分相关联的2D参数化对应于点云的给定3D部分的2维浏[0138]-将点云的3D部分的点线性透视投影到与视点相关联的平面上，表示线性透视投[0139]-将点云的3D部分的点正交投影到表面上，表示正交投影的参数包括投影表面的[0140]-与降维的数学运算相对应的LLE(Locally-LinearEmbeddi[0141]每个第一图像(和第二图像)有利地具有矩形形状，以简化在图片41上的打包处[0143]I图片是独立于所有其他图片进行编码的图片。每个帧内周期都以这种类型的图[0144]P图片包括相对于先前解码的图片的运动补偿差信息。在诸如MPEG-1、H.262/[0145]B图片包括相对于先前解码的图片的运动补偿差信息。在诸如MPEG-1和H.262/[0147]图片80和81分别对应于在不同时间t1和t2处的点云的两个图片，例如t2大于t[0148]在每个图片80和81中，填充有灰色阴影的图像(即针对图片80的图像801，802，[0150]在每个图片80和81中，没有填充的图像(即白色图像，例如，针对图片80的图像[0157]根据获得GOP的图片中的图像的排列的第一示例的变型，从多个图片中选择具有是使用兼容图片的集合S。所选择的确定的图片例如是GOP的第一图片或与GOP的其他图片[0159]获得图像的相同排列使得能够提供GOP或多个GOP或帧内周期的图片之间的时域[0160]图9示出了根据非限制性实施例的生成参考图片(例如，图2的参考图片202)的处[0162]图片90和91各自表示与包括要编码的图片81的GOP(或帧内周期)的图片相关联的的第一图像902和912来编码通过投影B获得的第一图像812的数据，因为已经直接从GOP的投影的元数据(所述深度信息与所考虑的第一图像的像素相关联)执行逆投影(相对于用于分配给通过解投影获得的点云的重构点。为了获得图像905的数据(即深度和/或纹理信[0165]图10示出了根据特定且非限制性实施例的用于编码点云111的操作。该操作可以个图片中以相同方式空间排列的图像的第一集合组成。投影与第一集合的每个图像相关所述投影点的属性作为所考虑的一个或多个第一图像的数据来获得一个或多个第一图像[0168]一组或多组时域连续图片例如是从存储设备(例如，装置16的存储设备或诸如服一信息存储在比特流1001中和/或在比特流1001中发送编码的第一信息。第一信息包括例[0171]将立方体Cj附加到基于八叉树的结构的每个节点。索引j是指所述投影的基于八[0172]可以通过递归地划分与根节点相关联并包围点云111的初始立方体来获得投影的[0173]在图19所示的示例中，与根节点(深度0)相关联的立方体被划分为8个子立方体[0187]可以根据表示与立方体Cj的面Fi，j相关联的投影(纹理和/或深度)图像的能力的度量Q(Fi，j)来执行投影的选择，以有效地将包括在立方体Cj中的点云111的点的投影压缩获得的图像集合形成图片(具有纹理信息的图片或具有深度信息的图片或包括纹理和深度[0194]-表示投影集合和图像集合之间的映射的信息，将该集合的一个投影分配给该集信息与第一信息一起存储在比特流1001中，和/或可以与第一信息一起在比特流1001中发[0200]图12示出了根据特定且非限制性实施例的用于从比特流112解码点云111的编码[0201]在操作121中，由解码器DEC2从接收到的比特流112解码点云的一个或多个图片一属性可以对应于纹理(或颜色)信息和/或深度(或到视点的距离)信息。图片的图像集合还可以包括一个或多个第二图像，该第二图像不包括从点云的点的投影产生的任何属性。[0207]在由模块M122(可以与图2的模块M22相同)实现的操作122中，根据与每个第一图得在图片中表示的点云或其一部分的三维(个特定的第二投影和与图片的第一图像相关联的第一[0209]可以通过将从操作121获得的解码的第一属性与从操作12中的每个参考图片是从表示点云的特定图片的解码数据中获得的，比特流112的数据的解[0221]图13示出了根据另一特定且非限制性实施例的用于从比特流112解码点云111的在操作122期间获得的点云的3D表示与补充点云1310或与点云的补充部分融合。点云的补(深度1)，并且然后将深度1的两个子立方体划分为8个子立方体(最后深度＝最大深度=[0226]与八叉树O的叶节点相关联的叶立方体则可以包括或不包括表示点云111的至少[0227]可以将颜色值附加到包括在八叉树O的叶立方体中的每个点。颜色值可以在与八点的颜色相关联。可以通过八叉树O的叶节点的预定扫描顺序和图像OI的像素的预定扫描[0234]图14示出了根据另一特定且非限制性实施例的用于从比特流1001解码点云111的[0235]在第一操作141中，从一个或多个接收到的比特流1001中解码一个或多个时域连所述投影点的属性作为所考虑的一个或多个第一图像的数据可以获得一个或多个第一图考像素的图片列和图片行的索引，该参考像素例如是每个图像的左上角像素或右下角像[0239]将立方体Cj附加到基于八叉树的结构的每个节点。索引j是指所述投影的基于八[0240]可以通过递归地划分与根节点相关联并包围点云111的初始立方体来获得投影的[0241]在图19所示的示例中，与根节点(深度0)相关联的立方体被划分为8个子立方体[0246]在第三操作143中，通过使用在操作141中获得的图片的解码数据对点云进行解[0247]图15示出了根据另一非限制性实施例的从比特流1001对编码点云进行解码的示[0248]在第一操作151中，对包括在比特流1001中的编码数据进行解码以获得形成一个个图片包括图像集合。操作152的解码基于例如在包括比特流1001的信号中接收的第一信投影列表的一部分。解投影还使用与每个投影相关联并且包括在第一信息中的投影参数/[0251]图16示出了根据非限制性实施例的用于实现图1的编码/解码方案的至少一部分的装置16的架构的示例。装置16可以例如被配置为实现关于图2至图15描述的操作的至少[0267]根据解码或解码器的示例，将解码的点云或点云的重构的3D表示发送到目的广域网接口、局域网络接口，HDMI(高清晰度多媒体接口)接口)、或无线接口(诸如IEEE16类型的)之间的传输上下文中，设备171包括被配置为实现如关于图2至图11描述的用于对数据进行编码的方法的部件，并且设备172包括被配置为实现如关于图12至图15描述的设备广播具有相关联的音频信息的静态图片或视[0295]意图由设备171发送的信号携带可能具有第一和/或第二