CN119422171A 解码方法、编码方法、解码装置以及编码装置 （松下电器（美国）知识产权公司）

2024.12.24PCT/JP2023/0217112023.06.12WO2024/014205JA2024.01.18置解码方法接收各自具有第一属性信息和第二属性信息的多个三维点被编码而成的比特流息与被参照的第二属性信息是相同的三维点所被参照的第二属性信息是不同的三维点所具有2多个三维点的编码属性信息，所述多个三维点各自具有第一属性信息和第二属性信被预测的所述第一属性信息与被参照的所述第二属性信息是相同的三被预测的所述第一属性信息与被参照的所述第二属性信息是不同的三所述第一属性信息以及所述第二属性信息分别被存储于第一分量以用于所述第一属性信息的第一量化步长大于用所述第一属性信息以及所述第二属性信息分别通过对第一编码属性信息以及第二编所述第一分量以及所述第二分量的每一个包含第一维度要素参照所述第二分量的所述第一维度要素来预测所述第一分参照所述第二分量的所述第二维度要素来预测所述第一分所述第一残差值为所述第一属性信息的第三残差值与所述第二属性信息的第二残差所述第三残差值为所述第一属性信息的第一值与所述第一属性信息的第一预测值的3所述第二残差值为所述第二属性信息的第二值与所述第二属性信息的第二预测值的所述第一残差值为所述第一属性信息的第一值与所述第二属性信息的第二值的所述第一残差值为所述第一属性信息的第一值与所述第二属性信息的第二预测值的所述比特流包含表示在所述第一属性信息的预测中是否能够参照所述第二属性信息所述比特流包含用于计算所述第一属性信息的第一预测所述比特流包含存储有进行了参照其他属性信息的预测的属性信息的第一数据单元、45数据通过激光测距仪等距离传感器、立体摄像机或多个单目摄像机的组合等各种方法取[0004]另外，关于点云的压缩，由进行点云关联的处理的公开的库(PointCloud[0011]本公开的目的在于提供一种能够削减编码数据的数据量的解码方法、编码方法、[0013]本公开的一个方式的解码方法接收各自具有第一属性信息和第二属性信息的多6信息的多个三维点被编码而成的比特流，参照所述第二属性信息来预测所述第一属性信7信息的第二量化步长。通过对被其他属性信息参照的第二属性信息使用较小的量化步长，度要素，所述第一分量的所述第一维度要素参照所述第二分量的所述第一维度要素来预8过对第一属性信息的残差与第二属性信息的残差的差分进行编属性信息的值与第二属性信息的值的差分进行编码9[0073]三维数据例如是三维点群数据(也称为点群数据)。点群是多个三维点聚集而成[0079]在本实施方式中，三维数据编码装置在对多种不同的属性信息进行编码的情况的处理部。三维数据编码装置100也可以具备对位置信息进行编码的位置信息编码部等其息进行预测来计算预测值。属性信息编码部101使用预测值对第二属性信息进行编码。例[0091]另外，属性信息编码部101将表示第二属性信息是第一属性信息的从属的依赖关200通过对比特流所包含的编码属性信息以及依赖关系信息进行解码来生成多个属性信息仅记载了关于属性信息的解码的处理部。三维数据解码装置200也可以具备对位置信息进信息解码部201通过参照第一属性信息的解码信息进行预测来计算预测值。属性信息解码过将所取得的预测残差与预测值相加来复原第第一属性信息的解码信息也可以是用于第一明属性信息编码部101是使用LoD进行编码的编码部(LoDbasedattributeencoder)的情[0098]LoD生成部111使用多个三维点的位置(geometry)信息生成LoD层级。邻接搜索部112使用LoD的生成结果和三维点间的距离信息，搜索处理对象的对象点的邻近的三维点照属性信息的编码信息来生成对象点的从属属性信息的预测值。残差计算部114生成属性照属性信息的预测值的差分生成为参照属性信息的预测残差。残差计算部114生成从属属性信息与从属属性信息的预测值的差分作为从属属性信息的[0101]存储器118存储作为编码以及解码的多个三维点的属性信息(解码值)的编码信[0103]在对从属分量(从属属性信息)进行编码的情况和对参照分量(参照属性信息)进明属性信息解码部201是使用LoD进行解码的解码部(LoDbasedattributedecoder)的情照属性信息的编码信息来生成对象点的从属属[0108]算术解码部214通过对比特流所包含的编码属性信息进行算术解码来生成预测残差(量化后的预测残差)。逆量化部215BN)的情况下，分量B的点N的预测值使用预测系数(coeffia(R)、coeffia(G)、测值为对分量A的属性值乘以预测系数而得到的值。另外，预测系数使用规定的方法来导所包含的多个维度要素中的代表的维度要素BN[0130]从属分量的预测残差(resi(RBNBis间预测和在分量间的各维度要素的相关性高的情况下能够减小的预测残差的分量间预测，从属属性信息的预测值。另外，参照属性信息的预测值使用基于预测模式的预测而导出。[0149]在预测模式＝1的情况下，三维数据编码装置将第一邻接点的属[0154]在将由pred_mode决定的参照分量的预测值设为(pred(RAN)、pred(GAN)、pred[0163]另外，三维数据解码装置使用由解码的pred_mode表示的预测模式来计算参照分[0174]即使在这种情况下，也不需要对表示相对于从属分量的预测模式的信息(pred_算基于预测模式的第一预测值，计算参照分量的属性信息与第一预测值的差分即第一残[0210]SPS(SequenceParameterSet：序列参数集)是多个帧共通的元数据(参数集)。APS(AttributeParameterSet：属性参数集)是[0211]GDU是位置信息的编码数据的数据单元(几何数据单元)。ADU是属性信息(参照属性信息)的编码数据的数据单元(属性数据单元)。[0213]具体地，普通属性分量的编码数据包含属性数据单元的头(attribute_data_数据单元而参照对应的几何数据单元进行编码(dependent_attribute_data_unit_header())以及从属属性数据单元(dependent_header())以及几何数据单元(geometry_data_unit_data())。TLV单元的type被表示为[0218]另外，第一颜色信息以及第二颜色信息分别作为一个属性分量，使用LoDbasedattribute(基于LoD的属性)或Transformbasedattribute(基于变换的属性)等任意的属[0220]Transformbasedattribute例如是RAHT(RegionAdaptiveHierarchical与第二属性信息的相关性，也可以是(2)通过对(RAHT或Haar)而得到的多个第一编码系数与通过对多个三维点的多个第二属性信息进行码系数进行帧间或帧内预测而生成的第一预测残差与通过对多个第二编码系数进行帧间[0226]SPS包含表示第一属性分量以及第二属性分量分别为颜色信息的属性识别符(attribute_type＝color)、第一属性分量以及第二属性分量的属性分量识别符(attr_[0227]接下来，说明SPS所包含的attribute__parameter的句法例。图14是表示attribute_parameter(i将表示是否能够以该属性分量单体来复原作为基础的属性信息的标[0231]另外，num_attribute_parameter包含在SPS中，表示该SPS所包含的attribute_[0233]在attr_id＝1的属性分量是使attr_id＝0的属性分量作为参照分量的从属分量的情况下，attr_id＝1的attribute_parameter包含attr_param_type＝4和参照目标的分[0235]图15是表示从属属性数据单元头(dependent_attribute_data_unit_header)的attr_id、inter_attribute_pred_enabled、predmode_reference_flag和inter_[0237]reference_attr_id与attribute_parameter的reference_attr_id相同，表示参[0240]在inter_attribute_pred_enabled为1的情况下，从属属性数据单元头包含num_dimension表示属性分量所包含的维度[0242]注意，可以在多个LoD层中使预测系数共通，可以在多个子分量中使预测系数共[0243]此外，也可以使用表示预测系数的差分的inter_attribute_pred_coeff_diff来代替inter_attribute_pred_coeff。例如，LoD的开头的inter_attribute_pred_coeff_diff表示预先决定的的初始值与处理对象的预测系数的差分。从LoD的开头起的第二个inter_attribute_pred_coeff_diff表示LoD的开头的预测系数与处理对象(第二个)的预测处理的第一例或第二例的情况下的从属属性数据单元(dependent_attribute_data_从属属性数据单元代替resi而包含表示0连续的点的数量的zero_run_len[0251]图17是表示使用图10所示的预测处理的第三例或第四例的情况下的从属属性数要素生成的resi。resi表示使用参照的pred_mode或该从属属性数据单元所包含的pred_要素生成的resi2。resi2是使用参照的pred_mode或该从属属性数据单元所包含的pred_mode生成的预测值与处理对象的子分量的残差和参照从属属性数据单元代替resi而包含表示0连续的点的数量的zero_run_len组合为一个数据的方式对多个子分量的多个resi进行变形的基础上进行算术编码。此外，算术编码变得有利是指例如削减算术编码后的数据量。另外，pred_mode和特定子分量的先，三维数据解码装置从比特流所包含的元数据取得(解码点的参照属性信息的总和。三维数据编码装置也可以使用多个预测系数的候选值的每一[0274]另外，也可以对全部属性分量指定共通的变换信息。例如，可以在attribute_[0275]另外，也可以定义用于部分解码的SEI。图21是表示该SEI(angle_partial_维数据解码装置解析视点信息，取得想要解码的视点的属性信息的属性分量识别符(ID)的三维数据编码装置300的构成的框图。三维数据编码装置300通过对多个属性信息(第一~第二属性信息)进行编码来生成编码属性信息以及编码合并信息。该三维数据编码装置的处理部。三维数据编码装置300也可以具备对位置信息进行编码的位置信息编码部等其[0287]属性信息编码部302通过将合并属性信息作为一个属性分量进行编码，来生成编24所示的例子中，属性信息编码部302生成表示通过结合颜色信息和反射率信息来生成合[0289]图25是表示本实施方式的三维数据解码装置400的构成的框图。三维数据解码装置400通过对比特流进行解码来生成多个属性信息(第一～第二属性信息)。该三维数据解的解码的处理部。三维数据解码装置400也可以具备对位置信息进行解码的位置信息解码[0290]属性信息解码部401通过对比特流所包含的编码属性信息进行解码来生成合并属[0295]例如，也可以在SPS所包含的表示属性信息的类别的attribute_type中定义并前的多个属性信息中的某一个属性类别的attribute_type存储于SPS。子分量的类别以及顺序的sub_component_type，将sub_component_type存储于SPS或[0298]表示属性分量的维度数的num_dimension表示将合并前的多个分量各自的维度数而得到的属性分量被编码为维度数为m+n的分量，编码数据被存储于attribute_data_维数据解码装置能够参照SPS或attribute_param()中存储的合并目标分量识别符(integrated_attr_id[i])来掌握合并源的属性分量识别符，因此能够将合并的属性分量[0309]另外，若将三维数据解码装置中的点N处的解码的合并属性信息的预测残差设为NNN))，将由预测模式决定的预测值设为(pred(RN)、mode为1，与之相对，对于颜色信息那样的维度数为3的属性信息，一个点处的每一维的属性来增加维度数，在一个点处的每一维的pred_mode的数量减少，因此能够提高pred_[0317]图26、图27以及图28是示出子分量间预测中的参照关系(依赖关系)的例子的N[0364]另一方面，三维数据编码装置在判定为不合并多个属性信息的情况下(S301中的对由第一属性信息的剩余的m_x维的子分量构成的第四属性信息和n+x维的第三属性信息也可以使用在实施方式1中说明的分量间预测，将同装置接收各自有第一属性信息和第二属性信息的多个三维点被编码而成的比特流(S401)，一属性信息的第一残差与第一预测值相加来[0377]例如，预测的第一属性信息与被参照的第二属性信息是相同的三维点所具有[0380]例如，用于第一属性信息的第一量化步长大于用于第二属性信息的第二量化步[0385]例如，比特流不包含关于应用于第一分量的第一预测模式的信息(例如，pred_过对第一属性信息的值与第二属性信息的值的差分进行编在第一属性信息的预测中是否能够参照第二属性信息，因此能够适当地对比特流进行解特流包含多个三维点的编码属性信息和表示参照第二属性信息来预测第一属性信息的元[0400]例如，预测的第一属性信息与被参照的第二属性信息是相同的三维点所具有[0401]例如，预测的第一属性信息与被参照的第二属性信息是不同的三维点所具有[0403]例如，用于第一属性信息的第一量化步长大于用于第二属性信息的第二量化步[0408]例如，比特流不包含关于应用于第一分量的第一预测模式的信息(例如，pred_过对第一属性信息的值与第二属性信息的值的差分进行编预测中是否能够参照第二属性信息的标志信息(例如inter_attribute_pred_enabled)存[0419]另外，实施方式2的解码装置(三维数据解码装置)是对三维点的编码属性信息进[0423]例如，所述分量的第一维度要素的预测值参照所述分量的第二维度要素而计[0425]例如，所述分量包含反射率值和RGB值，所述反射率值用于预测所述RGB值中的G[0427]另外，实施方式2的编码装置(三维数据编码装置)是对三维点的属性信息进行编所述三维点的属性信息的分量中包含多个子分量的元信[0431]例如，所述分量的第一维度要素的预测值参照所述分量的第二维度要素而计[0433]例如，所述分量包含反射率值和RGB值，所述反射率值用于预测所述RGB值中的G够在LSI制造后进行编程的FPGA(FieldProgrammableGateArray：现场可编程门阵列)、