CN112789804A 用于点云的二进制熵编解码的方法和设备 （黑莓有限公司）

PCT/EP2019/076710201WO2020/070191EN2020.04.使用熵编解码来对表示体积的子体积的占用模于对占用模式进行熵编解码的相应熵编解码器的概率可以基于当前子体积的多个邻近子体积2针对与被拆分成其他子体积的子体积相关联的当前节选择与用于对所述占用模式进行熵编码的相应熵编解码器相关联的一种或多种概率，其中所述选择基于所述当前节点的多个邻近节点的占用数据和所述多个邻近节点中的至2.一种对压缩后的点云数据的比特流进行解码以产针对与被拆分成其他子体积的子体积相关联的当前节选择与用于对占用模式进行熵解码的相应熵编解所述选择基于所述当前节点的多个邻近节点的占用数据和所述多个邻近节点中的至少一3.根据权利要求1或2所述的方法，其中4.根据权利要求3所述的方法，其中如果所述当前节点的邻近节点的占用数据指示所被视为出于确定所述邻近配置的目的而被占5.根据权利要求3或4所述的方法，其中如被视为出于确定所述邻近配置的目的而未被占用。6.根据权利要求3至5中任一项所述的方法，其中如编解码，那么所述当前节点的所述邻近节点被视为出于确定所述邻近配置的目的而被占8.根据权利要求4或当从属于权利要求4时3与所述当前节点邻近的子节点是在所述树形结构中比所述当前节点低一个深度的那些节9.根据前述权利要求中任一项所述的方法，其中所码的相应熵编解码器相关联的所述一种或多种概率应该基于所述当前节点的所述多个邻近节点的所述占用数据和所述多个邻近节点中的至少一个邻近节点的所述子节点的所述所述处理器执行根据权利要求1或当从属于权利要求1时的权利要求3至10中任一项所述的所述处理器执行根据权利要求2或当从属于权利要求2时的权利要求3至11中任一项所述的处理器执行时使所述处理器执行根据权利要15.一种包含程序指令的计算机可读信号，所述程序指令在被计算机执行时使所述计4赖于呈环境的3D扫描的形式的点云传感器数据，该3D扫描诸如来自LiDAR(激光雷达)扫描需要管理过量的上下文的情况下使用上下文自适[0016]图11以图表方式示出了使用依赖于于父模式的上下文的点云熵编码的进程的一[0018]图13以流程图形式示出了用于对压缩后的点云数据的比特流进行解码的一种示5[0027]图22以流程图方式示出了用于使用二进制编解码在基于树的点云编解码器[0031]图26以流程图形式示出了使用组合上下文约简来对占用模式进行二进制编解码[0035]图30以流程图形式示出了至少部分地基于多个邻近节点中的至少一个邻近节点[0036]图31以流程图形式示出了至少部分地基于多个邻近节点中的至少一个邻近节点[0041]本申请描述了对点云进行编码和解码的方法和用于对点云进行编码和解码的编邻近子体积中的至少一个邻近子体积的子子体积的占用数据来选择与用于对占用模式进6示体积空间的几何形状，该体积空间的几何形状被递归地拆分成子体积并且包含点云的对应于当前节点的子节点；基于子节点的占用状态来确定用于当前节点确定的占用模式。该邻近节点可以被视为出于确定邻近配置的目的而被占邻近节点可以被视为出于确定邻近配置的目的而未被占用。这可以对应于(故意地/人为能用于将邻近节点视为出于确定邻近配置的目的而被占用或未被占该邻近节点可以被视为出于确定邻近配置的目的7对占用模式进行熵编码的相应熵编解码器相关联的一种或多种概率已经基于当前节点的多个邻近节点的占用数据和多个邻近节点中的至少一个邻近节点的子节点的占用数据而对占用模式进行熵解码的相应熵编解码器相关联的一种或多种概率应该基于当前节点的多个邻近节点的占用数据和多个邻近节点中的至少一个邻近节点的子节点的占用数据而占用状态和比特序列的至少一个先前编解码的比特，从约简的上下文集合中选择上下文，并且其表示体积空间的几何形状，该体积空间被递归地拆分成子体积并且包含点云的点，占用状态和比特序列的至少一个先前编解码的比特，从约简的上下文集合中选择上下文，8择上下文可以包括基于比特序列中的先前编解码的[0064]在再一方面，本申请描述了存储计算机可执行程序指令的非瞬态计算机可读介质，该计算机可执行程序指令在被执行时使一个或多个处理器执行所描述的编码和/或解[0067]本申请还描述对点云进行编码和解码的方法和用于对点云进行编码和解码的编元包括用于将复用数据分离成编解码的点数据和其他编解码数据的解复用单元和用于对少一个编码单元(或编码器)和用于将编解码的点云数据和其他编解码数据组合成复用数[0068]本领域的普通技术人员将通过结合附图对示例的以下描述进行回顾来理解本申[0069]也可以相对于一个或多个其他方面/实施例来使用相对于本发明的一个方面或实9含点云的最大有界空间。出于构建互连节点的树形结构以对点云数据进行编解码的目的，[0073]点云是三维坐标系中的点集合。这些点通常旨在表示一个或多个物体的外部表[0077]用于对点云数据进行编解码的更普遍的机制中的一种机制是通过使用基于树的子体积可以具有其他形状。体积并不一定要被分成两个子体积(KD树)或八个子体积(八叉包含点云的体积空间的几何形状并指示来自该几何形状中的[0091]不管使用上述进程中的哪个进程来构建树，都可以按预定义顺序(宽度优先或深码器。在一些实施方式中，二进制算术编码器可以采用上下文自适应二进制算术编解码标记(例如占用标记)视为28_1比特数(例如具有在1与255之间的值的整数，这是由于对于[0095]在图2中示出了对应于编码器10的示例点云解码器50的框图。点云解码器50包括[0097]在子体积100的右侧示出了树102的结构。在树102的右侧示出了以预定义的宽度[0098]在图4中示出了采用占用≡拆分条件的另一示例。图4图示了八叉树150的递归拆体积相关联的占用标记的序列的整数来指定模式。在八叉树的情况下，模式是在范围[1,[0099]熵编码器然后基于由上下文模型指定的概率来使用非二进制算术编码器对该模的先前编解码的节点的一些占用信息来在用于对特定节点的占用模式进行编解码的可用示例中，方法200涉及对占用节点(子体积)的递归拆分和用于编解码的树的宽度优先的遍自附近的先前编解码的节点(即，作为当前节点的邻居的至少一个节点)的一些占用信息。分布来对当前节点的占用模式进行熵编码。编码器然后基于占用模式来在操作208中更新[0110]在操作204中的概率分布选择将基于附近的先前编解码的节点的占用数据。这允其以图表方式图示了包括当前节点302的部分八叉树300。当前节点302是占用节点并且正选择合适的概率分布以对当前节点的占用模式性，以便选择更合适的(多个)上下文并且使用更准确的概率以用于对当前节点302的占用302共享面的邻近节点的占用状态可以是对当前节点302是否有可能会被隔离的更准确的率分布选择可以基于作为父节点306的同率分布选择可以着眼于父节点的邻居节点或祖父节[0118]可以在一些实施方式中组合地使用用于评估局部占用状态的上述准则中的任何定要使用的概率分布的选择准则的情况下，将存在分别涉及255种概率的255种概率分布。使用非二进制熵编码器406对当前节点的占用模式404进行编码。非二进制熵编码器406使用从六种可能概率分布408中的一种可能概率分布中选择的概率分布。该选择基于父模[0122]对概率分布的选择可以是决策树，该决策树评估了模式是否对应于整个节点(例[0123]图12示出了使用依赖于邻居配置的上下文的点云熵编码的进程500的说明性实施如以避免使用在深度优先的扫描中引入附加依赖性的邻居或仅引入对特定轴的依赖性以指示了单个子节点被占用并且使用3个比特对节点的索引进行编解码。如果一个以上的子[0127]在操作602中，解码器基于来自当前节点附近的一个或多个节点的占用信息来选点可以包括同级节点中的一些同级节点。在一些实施方式中可以使用其他或附加占用信[0133]作为示例，考虑了分别表示拐角邻居模式的对称性的八种拐角模式NC∈[21,22,[0137]备选实施例考虑模式本身的置换而非分布，从而允许分别在熵编码/解码之前或例置换函数允许将NC＝22的分布用于NC＝41的分布。可以由解码器使用置换函数，以使用ci=lpn/2'mod2从编码的模式编号中导出子节点的[0138]用于导出所需置换的方法可以基于邻居配置的旋转对称性或可以基于沿着特定如，当将NC＝22置换为NC＝41时，对称轴中的位置可能不会被置换，从而产生了映射[0139]在下文中针对具有与当前立方体共享公共面的六个邻居的八叉树的特殊情况提[0141]图17示出了在沿着Z轴的旋转2102的一次或数次迭代下的邻居配置的不变性类[0143]在图16中示出了沿着Z轴的反射2108。图18中所描绘的垂直配置2302和2304在反射2108下属于相同类别的不变性。在反射2108下存在三种类别的不变性(在类别集合2306[0144]如果人们假设了在旋转2102和反射2108两者下的不变性，那么存在由两个集合且还可以基于多个(相同层级)邻近节点中的至少一个(可能地所有)邻近节点的子节点的点的邻居可以是其相关联的体积与当前体积共享面的那些节点(在树的相同层级或深度及4050)都被占用的示例性当前体积。邻居4010的占用子体积是子体积4011、4012以及被占用。[0154]已经被编解码的占用邻居的占用子体积的知识可以用于在邻居占用配置的运算视为被占用。的多个邻近节点的占用数据和多个邻近节点中的至少一个邻近节点(可能地邻近节点中的所有邻近节点)的子节点的占用数据。在操作4130中，使用相关联的一个或多个熵编解码况下，在方法4100的操作4120中选择一种或多种概率可以对应于或涉及选择概率分布(和相关联的非二进制熵编解码器)用于对占用模式进行熵编解码。更新一种或多种所选择的相关联的熵编解码器)。选择该概率可以基于当前节点的多个邻近节点的占用数据和多个点(可能地所有邻近节点)的子节点的占用数据来选择用于对占用模式进行熵编解码的上4210中，选择与用于对占用模式进行熵解码的相应熵编解码器相关联的一种或多种概率。该选择基于当前节点的多个邻近节点的占用数据和多个邻近节点中的至少一个邻近节点况下，在方法4200的操作4210中选择一种或多种概率可以对应于或涉及选择概率分布(和相关联的非二进制熵编解码器)用于对占用模式进行熵编解码。更新一种或多种所选择的数据和多个邻近节点中的至少一个邻近节点(可能地所有邻近节点)的子节点的占用数据。少一个邻近节点(可能地所有邻近节点)的子节点的占用数据来选择用于对占用模式进行点的子节点的占用数据可以用于确定是否应该将给定邻近节点视为出于计算邻居配置的[0163]现在参考图32，其以流程图形式示出了用于决定邻居配置的运算中的邻居(邻近4380中依赖于在操作4340中或在操作4360中决定的邻居的相应占用(例如占用比特)来计的占用确定的(修改后的)邻居配置可以分别用于选择在方法4100的操作4120中和方法情况下相对于直接确定邻居配置在点云的几何形状上提供[0166]应理解，在上文中所描述的方法不限于与当前体积共享面的邻居(或邻居的子体然后，将必须通过检查邻居是否具有与当前体积共享面或边缘的占用子体积来替换方法检查邻居是否具有与当前体积共享面、边缘或顶点的占用子体积来替换方法4300的操作的占用子体积来替换方法4300的操作4370中的判据。换言之，应理解，可以将方法4100、当已经被编解码的占用邻居的占用子节点中的至少一个子节点具有相关联的体积(其与当前体积具有非空交集)时，才在邻居占用配置的运算中将已经被编解码的占用邻居视为被占用。[0168]现在参考图33，其示出了与当前体积4000共享边缘的邻近体积4070。在图33(a)[0169]现在参考图34，其示出了与当前体积4000共享顶点的邻近体积4080。在图34(a)当前体积的邻居的占用的适应的激活(标记值1)或去激活(标记值0)的标记添加到比特流[0173]在欧洲专利申请第18305037.6号中详述了使用邻居占用信息来对树占用进行编[0179]图21图示了将八比特模式或序列拆分成八个单独比特以用于进行二进制熵编解下文中选择的上下文来对最终比特b7进行熵编码：作为来自N的10与来自由先前编码的比件/依赖性的可能组合)是所定义的邻居配置的数目(在此示例中为10个，基于将64个邻居配置分组为类别)与来自n_1个先前编码的比特的有序序列(由2n_1给定的)的可能的部分模文和/或算法条件的查找表时先验地应用上下文约简，然后通过编码器或解码器在选择合以确定要从哪个查询表中进行选择或如何从该查询表中进行索引/选择以获得所选择的上用模式表示节点/体积的子节点(子体积)的占用状态。在八叉树的情况下，存在八个子节如正在对比特序列中的哪个比特(例如索引值)进行编解码，评估上下文约简是否为可能如果用于对比特进行编解码的上下文的初始数目高于Bo，那么应用上下文约简(否则不应成就上下文的数目而言的上溢的情况下对点云进行编码和/或解码。预先知道界限Bo还允约简操作将可用上下文集合中的可用上下文的数目约简为包含更少的总上下文的更小集解码期间使用和/或选择约简的上下文集合可以基于评估一个或多个条件，该评估一个或编码器和/或解码器可以首先确定是否满足该邻居配置条件，然后如果满足该邻居配置条应体积被分成子节点并且循环通过保留点云的几何形状的FIFO缓冲器3104时获得占用模五子体积位于体积3200的在四个先前编解[0197]在该示例中，编解码包括：基于邻居配置来确定上下文。示出了10个邻居配置行指示。邻居配置3202基于与体积3200相邻并且与该体积3200共享面的体积的占用状态。在可以合并6体积配置的现有5体积邻居配置(已经消除了一个5元素)，这意味着即使移除子体积3204相关联的占用比特进行编解码的上下文确定将已经考虑到其正上方的四个先[0200]通过先前编解码的子体积在对与第五子体积3204对应的占用比特进行编解码时以解决不同的屏蔽情况。基于通过先前编解码的子体积进行的屏蔽/筛选的上下文约简操体积邻近的体积的占用模式)和可归因于当前体积中的先前编解码的子体积的占用的部分些点具有的方向性并不强到足以将追踪同级子体积中的不同占用模式的单独上下文适当进行编解码的上下文基于先前编解码的比特，但并不基于先前编解码的比特的有序模式，以以确定与先前编解码的子体积相关联的较早比[0216]3.针对所有未重新分组的上下文重[0218]可以将用于将上下文集合映射到更小的上下文集合的蛮力约简函数存储在存储与上文所描述的上下文约简操作中的任何一[0221]图26以流程图形式示出了涉及组合上下文约简的占用模式二进制编解码的方法器开始应用蛮力上下文约简函数BRi，以通过将由邻居配置和先前编解码的比特的部分模[0223]所以函数都可以被实施为用于约简上下文集合的大小的查找表(LUT)。在一种实文视为输入并且提供约简的上下文作为输出。在该示例实施例中，上下文的总数已经从[0225]先前所描述的上下文约简操作中的每个上下文约简操作可以在具有静态(固定)给定符号，应用一个或多个约简操作以确定用于对符号进行编码或解码的上下文概率模[0227]使用10个邻居配置和非二进制编解码通过用于点云编解码的MPEG测试模型的当置的上文所建议的使用引起了压缩效率的甚至更佳的改进。即使在使用上下文约简时(诸以通过包含用于配置一个或多个处理器以进行本文中所描述的功能的指令的软件来实施。[0231]应理解，可以使用标准计算机编程技术和语言来实现本文中所描述的解码器和/或非易失性存储器中的计算机可执行代码的一部分，作为专用集成芯片(ASIC)的一部分