CN112740277A 图像处理装置和图像处理方法 （索尼公司）

PCT/JP2019/03603120WO2020/066680JA2020.04.本公开内容涉及允许以各种处理顺序对八叉树的编码数据进行解码的图像处理装置和图2编码单元，所述编码单元在针对与点云数据相对应的八叉树的每层初始化上下文之所述编码单元使用高一级的层的第一节点的概率表对所述八叉树的每层的第一节点所述编码单元使用先前帧的预定节点的概率表对所述八叉树的每层的第一节点进行所述编码单元使用以下中的至少两个来对所使用先前帧的预定节点的概率表对处理目标针对所述八叉树的一些层，在针对每层初始化上下针对所述八叉树的其他层，利用前一次处理的节所述编码单元选择包括以下中的至少一个的使用高一级的层的第一节点的概率表对所述八叉树的每层的第一节点进行编码的方使用先前帧的预定节点的概率表对所述八叉树的每所述编码单元生成包含表示所选择的至少一个方法的信息和所述八叉树的编码数据在针对与点云数据相对应的八叉树的每层初始化上下文之后，对所述八叉树进行编3解码单元，所述解码单元选择宽度优先顺序所述解码单元基于对所述编码数据的解码处理的负荷来选所述解码单元基于所述解码处理的速度来选所述解码单元基于所述解码处理要使用的存储器的容量来选当所述编码数据中的所述八叉树还没有通过以下之一或至少两个的组合进行编码时，使用高一级的层的第一节点的概率表对所述八叉树的每层的第一节点进行编码的方使用先前帧的预定节点的概率表对所述八叉树的每所述解码单元基于表示在所述编码数据中对所述八叉树进选择宽度优先顺序或深度优先顺序作为与点云数据相对应的八叉树的编码数据的解4针对与点云数据相对应的八叉树的每层初始化上下文之择宽度优先顺序或深度优先顺序作为与点云数据相对应的八叉树的编码数据的解码顺序，56[0049]以下是用于执行本公开内容的模式的描述(这些模式在下文中将被称为实施方[0058]非专利文献2：OhjiNakagami,PhilChou,MajaKrivokuca,KhaledMammou,RobertCohen,VladyslavZakharchenko,andGaelleMartin_Cocher,“SecondWorkingDraftforPCCCategories1,3”,ISO/IECJTC1/SC29/WG11,MPEG2018/N17533,April[0059]非专利文献3：TELECOMMUNICATIONSTANDARDIZATIONSECTOROFITU(InternationalTelecommunicationUnion),“Advancedvideocodingforgeneric[0060]非专利文献4：TELECOMMUNICATIONSTANDARDIZATIONSECTOROFITUJillBoyce,“AlgorithmDescriptionofJointExplorationTestModel4”,JVET_G1001_v1,JointVideoExplorationTeam(JVET)ofITU_TSG16WP3andISO/IECJTC[0062]也就是说，上面列出的非专利文献中公开的内容也是用于确定支持要求的是说，点云的数据(也被称为点云数据)由关于该点组中的各个点的位置信息和属性信息7[0080]对八叉树的数据进行编码，使得可以进一步防止信息量的增加(通常可以减少信8[0084]此外，在解码中还需要关于父节点(该节点(也称为当前节点)所属的高一级的节的节点(也称为第一节点)时必须保存关于高一级[0090]尽管它取决于八叉树的结构(分支的数目或LoD的数目(层的数目))，但八叉树通[0091]图8示出了在宽度优先顺序的情况与深度优先顺序的情况之间的解码时要使用的9存储器容量的比较的示例。图8所示的图表比较了当解码具有5百万个点和20个LoD(深度)的中间的条集合表示在解码从顶部开始的15个LoD(15层)的数据的情况下的存储器的容量单元在针对与点云数据相对应的八叉树的每层初始化(重置)上下文之后对八叉树进行编[0100]以这种方式，可以允许解码器以各种各样的处理顺序来解码八叉树的编对应的八叉树的每层初始化上下文之后对八叉树进行编码的方法可以是彼此独立地编码相同的顺序执行算术编码，并且进一步，在每个LoD的第一节点处初始化算术编码(上下[0107]在这种类型1的情况下，可以如以上参照图4和图5描述的宽度优先顺序的情况那以这种方式并行地对各个LoD进行算术编码来以[0109]此外，由于如上所述彼此独立地对各个LoD执行算术编码(在每个LoD的第一节点叉树的每层初始化上下文之后对八叉树进行编码的方法可以是通过使用其父节点的概率过以这种方式并行地对各个LoD进行算术编码来以叉树的每层初始化上下文之后对八叉树进行编码的方法可以是通过使用先前帧的预定节[0124]例如，如图13所示的示例中那样，可以复制(拷贝)帧0中与处理目标节点相同的[0125]也就是说，在该示例的情况下，按以下顺序对帧1的各个节点的数据执行算术编够并行处理多个处理的情况下，编码器能够通过以这种方式并行地对各个LoD进行算术编[0132]注意，要参考其概率表的节点(要参考的节点)是先前帧中的任何节点(任何期望效率的降低，并且可以在下层的解码中以各种各样的处理顺序来解码八叉树的编码数据。[0146]由于类型2具有比类型1更高的编码效率，因此与在所有层中使用类型1的情况相得各个切片中的节点的数目变得更均匀。由于以这种方式使得各个切片的处理量更均匀，[0153]替选地，编码器可以形成每个切片，使得例如在解码各个切片时的资源使用(例方法；使用高一级的层的第一节点的概率表对八叉树的每层的第一节点进行编码的方法；Header)或者作为关于每个LoD的报头信息的LoD报头(LoDHeader)中发送(用信号发送)关(SliceNum)和偏移(Offset)的信息。类型(Type)是表示应用于帧的编码类型的标识信息。[0161]偏移(Offset)是表示帧的比特流中包含在帧中的每个切片的数据的位置的(Offset)可以仅在形成多个切片的情况下或者在执行类型1的编码的情况(Type＝1或4的[0163]大小(Size)是表示LoD的编码数据(比特流)的大小(代码量)的信息。通过参考该置的实施方式的编码装置的示例配置的框图。图20所示的编码装置300是使用体素和八叉在在图20中未示出为箭头等的处理或数据流。这也适用于用于说明编码装置300中的处理户操作输入或从外部装置等提供。无损编码单元313利用由该编码参数指定的类型对八叉器可以以各种各样的处理顺序来解码八叉树的编码数据。除此之外，当无损编码单元313码单元313准备多种类型——包括通过针对每个八叉树层初始化上下文来执行编码的类单元322还将八叉树数据提供给从类型0编码单元323至类型3编码单元326的处理单元中的322可以选择要应用于八叉树数据的每个LoD的编码类型(或者针对每个LoD切换八叉树数[0182]例如，类型0编码单元323执行与如以上参照图4、图5所述的类型0编码相关的处0编码单元323获取从类型选择单元322提供的八叉树数据。类型0编码单元323还对八叉树叉树数据的每个节点的数据进行编码。类型0编码单元323将通过类型0编码生成的编码数树层进行编码。类型1编码单元324将通过类型1编码生成的编码数据提供给比特流生成单获取从类型0编码单元323至类型3编码单元326的编码单元提供的八叉树的编码数据。此313(编码装置300)可以实现如以上在<1.八叉树编码和解码顺序>中描述的各个类型的效出的示例中，无损编码单元313包括类型0编码单元323至类型3编码单元326的四个编码单[0197]在步骤S303中，无损编码单元313的编码控制单元321接收从编码装置300的外部[0198]在步骤S304中，无损编码单元313从在步骤S302中构造的八叉树中选择一个处理目标LoD。无损编码单元313的编码控制单元321以从最高层到最低层的顺序在每一层中选[0209]在步骤S324中，无损编码单元313的编码控制单元321确定是否已经处理了所有且适当地对处理目标LoD执行步骤S305至[0210]如上所述，适当地对每个LoD执行步骤S304至S324中的处理，并且，如果在步骤[0213]在步骤S327中，比特流生成单元327生成包含八叉树数据的编码数据和报头信息[0216]接下来，参照图24中示出的流程图来描述要在图22的步骤S306中执行的类型0编对处理目标LoD的第一节点执行算术编码。当步骤S344中的处理完成时，处理行进到步骤[0224]在步骤S347中，类型0编码单元323确定处理目标节点是否是处理目标LoD的最后[0225]如果已经对处理目标LoD的每个节点执行了步骤S345至步骤S347中的各个处理，并且在步骤S347中确定处理目标节点是处理目标LoD的最后节点，或者已经处理了处理目[0230]接下来，参照图25中示出的流程图来描述要在图22的步骤S308中执行的类型1编[0235]在步骤S365中，类型1编码单元324确定处理目标节点是否是处理目标LoD的最后[0236]如果已经对处理目标LoD的每个节点执行了步骤S363至步骤S365中的各个处理，并且在步骤S365中确定处理目标节点是处理目标LoD的最后节点，或者已经处理了处理目[0241]接下来，参照图26中示出的流程图来描述要在图23的步骤S322中执行的类型2编[0246]在步骤S384中，类型2编码单元325从作为处理目标节点的处理目标LoD的第一节[0252]在步骤S390中，类型2编码单元325确定处理目标节点是否是处理目标LoD的最后[0253]如果已经对处理目标LoD的每个节点执行了步骤S388至步骤S390中的各个处理，并且在步骤S390中确定处理目标节点是处理目标LoD的最后节点，或者已经处理了处理目[0258]接下来，参照图27中示出的流程图来描述要在图23的步骤S323中执行的类型3编之前处理的帧(也被称为先前帧)的预定节[0264]在步骤S416中，类型3编码单元326确定处理目标节点是否是处理目标LoD的最后[0265]如果已经对处理目标LoD的每个节点执行了步骤S414至步骤S416中的各个处理，并且在步骤S416中确定处理目标节点是处理目标LoD的最后节点，或者已经处理了处理目[0273]图28是示出作为应用了本技术的图像处理装置的实施方式的解码装置的示例配在图20中未由箭头等表示的处理或数据流。这也适用于用于说明解码装置500中的处理单[0280]如上所述，无损解码单元511与多个解码顺序(宽度优先顺序和深度优先顺序)兼码单元511可以以与针对八叉树的每层初始化上下文之后执行编码的类型相对应的类型来于报头信息控制类型选择单元523至类型3解码单元527的各个处理单元，并且以解码参数所指定的解码顺序(宽度优先顺序或深度优先顺序)对八叉树的每个节点的编码数据进行还分析获取的比特流中包含的报头，并且将报头信息(特别是如以上参照图19所述的关于523还将比特流提供给类型0解码单元524至类型3解码单元527的处理单元中的与应用的编型0解码相关的处理，以及执行在<1.八叉树编码和解码顺序>中的<宽度优先类型1解码相关的处理，以及执行在<1.八叉树编码和解码顺序>中的<类型1>中的其他处他分级层(LoD)的节点对处理目标节点的比特流进行算术解码。类型1解码单元525将通过这样的解码获得的八叉树数据提供给八叉树解码单元512。在解码控制单元521的控制下，类型2解码相关的处理，以及执行在<1.八叉树编码和解码顺序>中的<类型2>中的其他处LoD的第一节点的情况下，类型2解码单元526通过使用父节点的概率表来对处理目标节点其他分级层(LoD)的节点对处理目标节点执行算术解码。类型2解码单元526将通过这样的类型3解码相关的处理，以及执行在<1.八叉树编码和解码顺序>中的<类型3>中的其他处LoD的第一节点的情况下，类型3解码单元527通过使用先前帧的预定节点的概率表来对处过这样的解码获得的八叉树数据提供给八叉树解码单元512。在解码控制单元521的控制[0291]注意，这些处理单元(解码控制单元521至类型3解码单元527)具有任何适当的配地，例如，解码控制单元521可以基于要在解码处理中使用的存储器的容量来选择解码顺报头中包含的类型，解码控制单元521可以确定在针对八叉树的每层初始化上下文之后是择单元523将提取的处理目标节点的比特流提供给类型0解码单元524至类型3解码单元527[0301]也就是说，解码装置500可以针对节点的编码类型以适当类型对每个节点的比特出的示例中，无损解码单元511包括类型0解码单元524至类型3解码单元527的四个解码单[0310]在步骤S503中，解码控制单元521基于在步骤S502中获取的解码参数来确定是否[0311]在步骤S504中，解码控制单元521基于在步骤S501中分析的报头来确定比特流是[0314]在步骤S507中，八叉树解码单元512以深度优先顺序从通过步骤S506中的处理生[0318]在步骤S510中，八叉树解码单元512以宽度优先顺序从通过步骤S508中的处理生他节点(或子节点)不属于的终端节点)。如果确定处理目标节点具有子节点并且处理目标[0325]在步骤S525中，无损解码单元511至体素解码单元513的解码单[0327]通过如上所述执行各个处理，解码装置500可以以各种各样的处理顺序对八叉树RAM903还根据需要存储CPU901执行各种处理等所[0336]例如，要由计算机(CPU901)执行的程序可以被记录在作为要使用的封装介质等描述的本技术的部分或全部可以与在实施方式中的另一实施方式中描述的本技术的部分[0363]所述编码单元使用高一级的层的第一节点的概率表对所述八叉树的每层的第一[0365]所述编码单元使用先前帧的预定节点的概率表对所述八叉树的每层的第一节点[0373]使用高一级的层的第一节点的概率表对处理目标层的[0382]使用高一级的层的第一节点的概率表对所述八叉树的每层的第一节点进行编码[0383]使用先前帧的预定节点的概率表对所述八叉树的每层的第一节点进行编码的方[0385]所述编码单元生成包含表示所选择的至少一个方法的信息和所述八叉树的编码[0401]当所述编码数据中的所述八叉树还没有通过以下之一或至少两个的组合进行编[0403]使用高一级的层的第一节点的概率表对所述八叉树的每层的第一节点进行编码[0404]使用先前帧的预定节点的概率表对所述八叉树的每层的第一节点进行编码的方[0406]所述解码单元基于表示在所述编码数据中对所述八叉树进行[0408]选择宽度优先顺序或深度优先顺序作为与点云数据相对应的八叉树的编码数据