CN112805751B 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 （松下电器（美国）知识产权公司）

2021.04.08PCT/JP2019/0403302019.10.11WO2020/075861JA2020.04.16JP2013077165A,2013.04.25patternsinTMC3.MPEGMEETING.2三维数据编码方法对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第12三维点的八叉树结构所包含的第2对象节点的用与在第2信息的编码中使用的第2编码样式共2对以N叉树结构来表现的点群信息所包含的对象节点在所述编码中，使用相邻样式对所述对象节点进行编码，所述在所述N为2或者4的情况下的所述相邻样式以与所述N为8的情况下的所述相邻样式共所述点群信息包括包含第1对象节点且以二叉树或四叉树来表现的第1基于表示与所述第1对象节点在空间上相邻的多个相邻节点的占有状态的第1相邻样基于表示与所述第2对象节点在空间上相邻的多个相邻节点的占有状态的第2相邻样所述第1相邻样式包括由第1比特样式和第2比特样式构成的6比特的第3比特样式，所述第1比特样式由1个以上的比特构成，所述1个以上的比特表示在多个方向中的规定的方向上与所述第1对象节点在空间上相邻的1个以上的第1相邻节点，且表示各自未被点群占方向以外的方向上与所述第1对象节点在空间上相邻的多个第所述第2相邻样式包括6比特的第4比特样式，所述第4比特样式由多个个比特表示在所述多个方向上与所述第2对象节点在空间上相邻的多个第所述点群信息包括包含第1对象节点且以二叉树或四叉树来表现的第1基于表示与所述第1对象节点在空间上相邻的多个相邻节点的占有状态的第1相邻样式选择第1上下文的组合，使用所选择的第1上下文的组合，对所述第1对象节点进行熵编基于表示与所述第2对象节点在空间上相邻的多个相邻节点的占有状态的第2相邻样式选择第2上下文的组合，使用所选择的第2上下文的组合，对所述第2对象节点进行熵编所述第1相邻样式和所述第2相邻样式以共同的格在所述N为2或4的情况下的所述相邻样式下，从所述对象节点起位于规定的轴方向上进一步生成包含表示所述编码的对象是所述第1对象节点还是所述第2对象节点的识3所述第2点群信息是配置在所述平面的周围对以N叉树结构来表现的点群信息所包含的对象节点在所述解码中，使用相邻样式对所述对象节点进行解码，所述在所述N为2或者4的情况下的所述相邻样式以与所述N为8的情况下的所述相邻样式共所述点群信息包括包含第1对象节点且以二叉树或四叉树来表现的第1基于表示与所述第1对象节点在空间上相邻的多个相邻节点的占有状态的第1相邻样基于表示与所述第2对象节点在空间上相邻的多个相邻节点的占有状态的第2相邻样所述第1相邻样式包括由第1比特样式和第2比特样式构成的6比特的第3比特样式，所述第1比特样式由1个以上的比特构成，所述1个以上的比特表示在多个方向中的规定的方向上与所述第1对象节点在空间上相邻的1个以上的第1相邻节点，且表示各自未被点群占方向以外的方向上与所述第1对象节点在空间上相邻的多个第所述第2相邻样式包括6比特的第4比特样式，所述第4比特样式由多个个比特表示在所述多个方向上与所述第2对象节点在空间上相邻的多个第所述点群信息包括包含第1对象节点且以二叉树或四叉树来表现的第1基于表示与所述第1对象节点在空间上相邻的多个相邻节点的占有状态的第1相邻样式选择第1上下文的组合，使用所选择的第1上下文的组合，对所述第1对象节点进行熵解基于表示与所述第2对象节点在空间上相邻的多个相邻节点的占有状态的第2相邻样式选择第2上下文的组合，使用所选择的第2上下文的组合，对所述第2对象节点进行熵解所述第1相邻样式和所述第2相邻样式以共同的格在所述N为2或4的情况下的所述相邻样式下，从所述对象节点起位于规定的轴方向上4取得包含表示编码对象是所述第1对象节点还是所述第2对象节点的识别信息的比特在所述识别信息表示是所述第1对象节点的情况下，对所述比特所述第2点群信息是配置在所述平面的周围对以N叉树结构来表现的点群信息所包含的对象节点在所述编码中，使用相邻样式对所述对象节点进行编码，所述在所述N为2或者4的情况下的所述相邻样式以与所述N为8的情况下的所述相邻样式共对以N叉树结构来表现的点群信息所包含的对象节点在所述解码中，使用相邻样式对所述对象节点进行解码，所述在所述N为2或者4的情况下的所述相邻样式以与所述N为8的情况下的所述相邻样式共5[0013]本公开的一个形态的三维数据编码方法对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第1对象节点的第1信息、或者第2三维点群的多个第2三维点的的编码中使用的第2编码样式共同的第1编码样式对所述第1信息进[0014]本公开的一个形态的三维数据解码方法对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第1对象节点的第1信息、或者第2三维点群的多个第2三维点的息的解码中使用的第2解码样式共同的第1解码样式对所述第1信息进6[0018]图2是表示属于实施方式1所涉及的GOS的最下层的SPC间的预测结构的一个例子7[0082]图66是由实施方式8所涉及的三维数据编码装置进行的三维数据编码处理的流程[0083]图67是由实施方式8所涉及的三维数据解码装置进行的三维数据解码处理的流程89[0128]图112是用于说明将实施方式11所涉及的倾斜检测出的平面变换为X-Y平面的变[0133]图117是表示将实施方式11所涉及的二维空间中的4个子空间应用于三维空间中[0134]图118是表示实施方式11所涉及的配置在平面上的第1三维点群的三维点的相邻[0135]图119是表示实施方式11所涉及的配置在三维空间上的三维点群的三维点的相邻[0137]图121是表示实施方式11所涉及的使用第1方法的四叉树编码部的详细结构的框[0138]图122是表示实施方式11所涉及的使用第2方法的四叉树编码部的详细结构的框[0140]图124是表示实施方式11所涉及的使用第1方法的四叉树解码部的详细结构的框[0141]图125是表示实施方式11所涉及的使用第2方法的四叉树解码部的详细结构的框[0148]本公开的一个形态的三维数据编码方法对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第1对象节点的第1信息、或者第2三维点群的多个第2三维点的的编码中使用的第2编码样式共同的第1编码样式对所述第1信息进邻节点的第1相邻信息生成所述第1编码样式，根据在所述多个方向上与所述第2对象节点在空间上相邻的多个第2相邻节点的第2相邻信息生成所由1个以上的比特构成，所述1个以上的比特表示在多个方向中的规定的方向上与所述第1多个比特表示在所述多个方向上与所述第2对象节点在空间上相邻的多个第3构成的第3比特串的比特流，所述第1信息表示对所述第1对象节点进行N分割而得到的N个第1子空间的每一个中是否包含所述第1三维点，所述第3比特串由第1比特串和无效的第2[0156]本公开的一个方式所涉及的三维数据解码方法对第1三维点群的多个第1三维点述第2信息的解码中使用的第2解码样式共同的第1解码样式对所述第1信息邻节点的第1相邻信息生成所述第1解码样式，根据在所述多个方向上与所述第2对象节点在空间上相邻的多个第2相邻节点的第2相邻信息生成所由1个以上的比特构成，所述1个以上的比特表示在多个方向中的规定的方向上与所述第1比特构成，所述多个比特表示在所述多个方向上与所述第2对象节点在空间上相邻的多个述第3比特串由N比特构成的第1比特串和由(8-N)比特构成的无效的第2比特串构成，从所进行N分割而得到的N个第1子空间的每一个中是否包含所述第的第1对象节点的第1信息、或者第2三维点群的多个第2三维点的八叉树结构所包含的第2样式共同的第1编码样式对所述第1信息进使用所述存储器，对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第1[0172]在本实施方式中，三维空间被分割为相当于动态图像的编码中的图片的空间及能够双向参照的双向空间(B-SPC)。并[0178]并且，如图1所示，作为包括多个空间的处理单位，有作为随机存取单位的GOS[0179]世界空间所占的空间区域通过GPS或纬度以及经度信息等，与地球上的绝对位置含的三维数据例如包括三维坐标等空间位置与颜色信息码的GOS。在开放式GOS中，在GOS内，比开头I-SPC的显示时刻早的一部分SPC参照不同的[0191]并且，编码装置或解码装置也可以是以解码装置大致掌握GOS并能够逐渐提高分[0206]在此，世界空间的三维空间与GPS、或纬度以及经度等地理上的绝对坐标一一对在对象的密度越高的情况下，就越将GOS的大小设定为小、将GOS内的I-SPC的间隔设定为[0209]接着，对本实施方式所涉及的三维数据编码装置的构成以及动作的流程进行说[0210]图6所示的三维数据编码装置100通过对三维数据111进行编码，来生成编码三维[0213]接着，分割部103将编码对象的区域中包含的点群数据分割为各个处理单位。在第2处理单位(SPC)的每一个进行编码。并且，三维数据编码装置100在各个第2处理单位装置100不参照与处理对象的第1处理单位(GOS)不同的第1处理单位(GOS)中包含的第2处1处理单位(GOS)中包含的处理对象的第2处理单位(SPC)，参照处理对象的第1处理单位理单位(GOS)中包含的第2处理单位(SPC)进行照其他的第2处理单位(SPC)的第1类型(I-SPC)、参照其他的一个第2处理单位(SPC)的第2[0221]接着，对本实施方式所涉及的三维数据解码装置的构成以及动作的流程进行说[0222]图8所示的三维数据解码装置200通过对编码三维数据211进行解码，来生成解码码装置200通过对分别与三维坐标对应的第1处理单位(GOS)的编码三维数据211的每一个进行解码，来生成作为随机存取单位的第1处理单位(GOS)的解码三维数据212。更具体而言，三维数据解码装置200在各个第1处理单位(GOS)对多个第2处理单位(SPC)的每一个进个要素与GOS的索引编号建立了对应的表。而且，将GOS的索引编号与成为GOS的开头的I-[0234]这样，三维数据编码装置100生成第1信息，该第1信息示出多个第1处理单位[0241]并且，元信息也可以包括点云的生成中所使用的距离传感器或摄像机等识别信[0244]编码装置或解码装置可以对彼此不同的2个以上的SPC或GOS并行进行编码或解码装置或解码装置也可以使离自身位置或行走路径远的空间的优先级比近的空间的优先[0249]并且，在汽车或机器人的自动走行时所进行的自身位置估计或物体识别等用途[0250]并且，编码装置也可以对表现室内和室外的空间形状的点云分别独立地进行编如，在动态对象的出现频度或比例超过阈值的情况下，动态对象与静态对象混在的SPC或个处理完毕的空间来编码或解码的P-SPC、参照任意的两个处理完毕的空间来编码或解码[0263]动态对象按每个对象来编码或解码，与仅包含静态对象的一个以上的空间对码装置以使I-SPC的劣化减少的方式(解码后，原本的三维数据能够更忠实地被再现)来进[0265]编码装置可以按照世界空间内的对象的疎密程度或数值(数量)，改变利用I-SPC[0271]编码装置以及解码装置参照处理完毕的GOS内的空间，对处理对象的GOS内的P空比该SPC下层的层中包含的SPC来进行编[0276]并且，编码装置以及解码装置对彼此不同的两个以上的空间或GOS并行进行编码编码数据进行解码的三维数据解码方法以及三维数[0285]将具有一定以上的特征量的体素(VXL)定义为特征体素(FVXL)，将以FVXL构成的世界空间(WLD)定义为稀疏世界空间(SWLD)。图11是表示稀疏世界空间以及世界空间的构[0287]作为三维特征量，采用SHOT特征量(SignatureofHistogramsofOrienTations：方位直方图特征)、PFH特征量(PointFeatureHistograms：点特征直方[0288]SHOT特征量通过对VXL周边进行分割，并对基准点与被分割的区域的法线向量的(Scale-InvariantFeatureTransform：尺度不变特征转换)、SURF(SpeededUpRobust[0293]SWLD可以按照每个特征量来生成。例如基于SHOT特征量的SWLD1和基于SIFT特征也可以将算出的各FVXL的特征量作为特征量信息来保[0294]接着，对稀疏世界空间(SWLD)的利用方法进行说明。由于SWLD仅包含特征体素估计用的地图数据的获取需求(S301)。服务器按照该获取需求将SWLD发送给客户端1[0297]如图13所示，在作为车载装置的客户端2需要作为三维地图等地图描绘的用途的[0298]如以上所示，服务器在主要需要自身位置估计这种各VXL的特征量的用途中，将[0300]接着，将要说明的是对稀疏世界空间(SWLD)与世界空间(WLD)的收发进行切换的[0301]可以按照网络带宽来对WLD或SWLD的接收进行切换。图14是表示这种情况下的动的动作例的图。例如，在客户端高速移动的情况下(S331)，客户端从服务器接收SWLD(标志或类型等)来区別。[0310]如图17所示，首先，获得部401获得作为三维空间内的点群数据的输入三维数据数据411提取特征量为阈值以上的提取三维包含WLD的流的信息附加到编码三维数据413的414是包含SWLD的流的信息附加到编码三[0316]作为被赋予到编码三维数据413以及414的头部的信息例如被定义为“world_[0317]并且，WLD编码部404对WLD进行编码时使用的编码方法可以与SWLD编码部405对[0320]并且，SWLD编码部405以SWLD的编码三维数据414的数据大小比WLD的编码三维数[0321]例如，SWLD提取部403再次生成提取的特征点的数量减少了[0322]并且，SWLD编码部405在不能将SWLD的编码三维数据414的数据大小比WLD的编码解码装置500进行三维数据解码处理的流[0328]并且，与编码装置同样，WLD解码部503在对WLD进行解码时使用的解码方法、与止的障碍物的检测的对WLD进行了下采样的下采样世界空间(SubWLD)，并可以将SWLD与与具有预先规定的属性的物体对应的数据作为提取三维数据41位层(例如车道(lane)世界空间)而等交通信息是否重要等信息。并且，属性中也可以包括车道信息(GDF：GeographicDataFiles等)中的与Feature(交叉点或道路等)的对加特征量信息的情况下，客户端也能够在接收SWLD时来算出FVXL的特征量。另外，此时，[0345]如以上所述，三维数据编码装置400从输入三维数据411(第1三维数据)提取特征[0346]据此，三维数据编码装置400生成对特征量为阈值以上的数据进行编码而得到的[0350]据此，三维数据编码装置400能够针对输入三维数据411与提取三维数据412分别[0352]据此，三维数据编码装置400能够针对相邻的数据间的相关容易变低的提取三维[0356]据此，解码装置能够容易地判断获取的编码三维数据是编码三维数据413还是编[0357]并且，三维数据编码装置400以编码三维数据414的数据量比编码三维数据413的[0358]据此，三维数据编码装置400能够使编码三维数据414的数据量比编码三维数据[0360]据此，三维数据编码装置400能够生成包括解码装置所需要的数据的编码三维数[0363]并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速[0368]据此，三维数据解码装置500针对特征量为阈值以上的数据被编码而得到的编码数据411与提取三维数据412分别采用维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411中的一部分进行编码而得到的编码三维数据。三维数据解码装置500参照该标识[0374]据此，三维数据解码装置500能够容易地判断获得的编码三维数据是编码三维数[0377]并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速[0378]并且，三维数据解码装置500进一步向服务器请求编码三维数据413以及414的一[0382]图24是示出自身车辆600与周边车辆601之间的三维数据607的收发的状态的示意在自身车辆600的传感器检测范围602内，但是会出现不能制作三维数据的区域(以后将此[0384]自身车辆600的传感器检测范围602包括能够获得三维数据的区域603以及遮挡区车辆600的传感器检测范围602中没有包括的的传感器检测范围602以外的区域606的三维数据607。自身车辆600利用周边车辆601获得[0386]车辆或机器人的自律动作中的三维数据的用途为自身位置估计、周边状况的检直接指定用于将三维数据607传输到自身车辆600的周挡区域604或传感器检测范围602以外的[0390]以下对传输三维数据607的是前方行驶车辆的情况下的动作例进行说明。图25是[0391]如图25所示，从前方行驶车辆传输的三维数据607例如是点云的稀疏世界空间据(点云)，通过从WLD的三维数据提取特征量为阈值以上的数据，来制作SWLD的三维数据[0394]从周边车辆601传输的SWLD可以是自身车辆600的传感器检测范围602外、且周边[0395]并且，周边车辆601可以按照基于自身车辆600与周边车辆601的速度差的可通信[0399]前方行驶车辆的前方的区域或后方行驶车辆的后方的区域等容易成为遮挡区域[0401]在前方行驶车辆为了进行传输而制作的SWLD内，包括以自身车辆600能够获得点[0402]接着，对作为本实施方式所涉及的三维数据接收装置的三维数据制作装置620的[0403]图26是本实施方式所涉及的三维数据制作装置620的框图。该三维数据制作装置[0405]首先，三维数据制作部621利用由自身车辆600具备的传感器检测的传感器信息624从周边车辆601接收作为请求范围的编码流的编码三维数据634(S624)。另外，搜索部623可以针对确定的范围中存在的所有的车辆无差别地发出请求，从有应答的对方接收编[0407]接着，通过解码部625对接收的编码三维数据634进行解码，而获得第2三维数据[0409]三维数据发送装置640例如包括在上述的周边车辆601中，将周边车辆601制作的第5三维数据652加工为自身车辆600所请求的第6三维数据654，并通过对第6三维数据654[0411]首先，三维数据制作部641利用由周边车辆601具备的传感器检测的传感器信息[0415]图31是由三维数据制作装置620A进行自身车辆600的周边状况检测处理的流程[0417]接着，检测区域决定部627决定作为想要检测周边状况的空间区域的检测对象范维数据635是通过从第4三维数据(WLD)提取特征量为阈值以上的数据，而被生成的三维数[0426]接着，自律动作控制部629根据由周边状况检测部628进制作了周边状况检测时所需要的所有的空间区域的信息的情况下，周边状况检测部628利用周边状况检测时所需要的空间区域的点云即第1三维数据632，来检测自身车辆600的周[0428]并且，在被接收的发送数据638中不包括编码三维数据634的情况下(S667的[0429]接着，对将发送数据638发送向上述的三维数据制作装置620A的三维数据发送装[0430]图32所示的三维数据发送装置640A除了图28所示的三维数据发送装置640的构成为点云的第5三维数据652取出请求范围的点云，制作包括取出的点云的SWLD即第6三维数通过从第7三维数据(WLD)提取特征量为阈值以上的数据，来制作第5三维数据652(SWLD)。以仅包括由周边车辆601进行的请求范围的周边状况检测结果639、以及周边车辆601的制[0437]于是，发送部645将包括编码三维数据634的发送数据638发送到自身车辆600将包括由周边车辆601进行的请求范围的周边状况检测结果639、以及周边车辆601的制动[0440]例如，从周边车辆601传输的信息也可以不是周边车辆制作的三维数据或周边状辆601的特征点信息，来校正自身车辆600所获得的点云内的前方行驶车辆的特征点信息。利用制作的点云的SWLD、与三维地图的SWLD通过迭代最近点算法(IterativeClosest结果提示给驾驶人的情况下，以自身车辆600所检测的信息与接收的检测结果能够由用户635被编码而得到的编码三维数据634。解码部625通过对接收的编码三维数据634进行解作密度比第1三维数据632以及第2三维数据635高的第3三的一部分进行提取，从而制作第6三维数据654。编码部644通过对第6三维数据654进行编据(例如WLD)，通过从第7三维数据提取特征量为阈值以上的数据，从而制作第5三维数据[0472]自身位置估计是通过对三维地图、与搭载于自身车辆的测距仪(LIDAR等)或立体相机等传感器所获得的自身车辆周边的三维信息(以后称为自身车辆检测三维数据)进行[0481]以下将要说明的是为了对应三维地图或自身车辆检测三维数据中的异常情况的了超声波或激光的一维数据的传感器等用于检测自身车辆周边的结构物体或移动物体的获得的三维地图711以及自身车辆检测三维数据712的至少一方第1三维位置信息包括多个随机存取单位，多个随机存取单位的每一个为一个以上的部分[0492]三维信息处理装置700在判断第1三维位置信息或第2三维位置信息为异常的情况[0493]据此，三维信息处理装置700能够检测第1三维位置信息或第2三维位置信息的异[0494]以下对异常情况1即经由通信不能获得三维地图711的情况下的应对动作进行说[0495]在进行自身位置估计时需要三维地图711，但是在车辆没有事先获得与到达目的[0496]异常情况判断部703确认到达目的地的路径上的所有的区间、或从当前位置的规可以在自身车辆的存储器或HDD等记录部中能够保持的上限大小内，按每个随机存取单位车辆是否将会进入通信状态差的区域。三维信息处理装置700在预测到车辆将会进入通信维信息处理装置700在经由信道不能获得三维地图711(第1三维位置信息)的情况下，可以经由信道获得比第1三维位置信息的范围窄的第车辆周边行驶的其他车辆等移动体获得三维地图711，此时的其他车辆等为已经获得了到经由道路与车辆间的Wi-Fi(注册商标)或毫米波通信、或者车与车之间的通信等其他的信[0511]在采用了二维地图和自身车辆检测三维数据712的自身位置估计的方法中例如有[0515]在二维地图将道路内的白线、护栏以及建筑物等距离地上的高度不同的(不在同[0520]自动驾驶是否能够继续进行会受到如下的影响，即车辆行驶中的道路是市区地的车辆的驾驶信息并利用该信息进行的自动驾[0527]异常情况判断部703对属于以下的(1)和(2)的哪一种情况进行确认，在属于其中维地图711中的绝对坐标或相对坐标等位置信息来指定毁坏部位，也可以通过构成毁坏部[0533]接着，对异常情况3即自身车辆的传感器由于故障或不好的天气而不能生成自身[0534]异常情况判断部703确认自身车辆检测三维数据712的生成误差是否在允许范围[0535]作为自身车辆检测三维数据712的生成误差是否为允许范围内的确认方法，能够[0536]根据测距仪或立体相机等自身车辆的三维传感器中的深度方向以及扫描方向的[0538]车辆在开始行驶前或行驶中生成的自身车辆检测三维数据712与三维地图711的得针对行驶开始前等测试模式的自身车辆检测三维数据712，根据形状误差是否为允许范导致的异常通知给用户。[0541]并且，车辆在判断为异常情况3的情况下，对如下三种应对动作的任一个进行选检测三维数据712的数据的生成精确度不是基准值以上的情况下，根据与通常的传感器不[0562]接着，车辆利用自身车辆检测三维数据712和二维地图，进行自身位置估计(S717)。接着，车辆利用自身车辆检测三维数据712和三维地图711，进行自身位置估计送给后方车辆等的三维数据的对象空间的例[0568]车辆801在车辆或人从外部进入到空间802等，从而过去发送完毕的空间802中包[0576]数据接收部811从交通云监控或前方车辆接收三维数据831。三维数据831例如包[0577]通信部812与交通云监控或前方车辆进行通信，将数据发送请求等发送到交通云[0579]格式变换部814通过对数据接收部811接收的三维数据831进行格式变换等来生成[0580]多个传感器815是LIDAR、可见光相机或红外线相机等获得车辆801的外部的信息根据自身车辆的传感器信息833而制作的三维数据834，从而能够构筑自身车辆的传感器815不能检测的前方车辆的前方的空间也包括在内的三维[0584]通信部819与交通云监控或后方车辆进行通信，将数据发送请求等发送到交通云部820通过根据三维数据构筑信息来判断能够发送的空间或已发送空间的更新有无等，从[0587]格式变换部821通过将被蓄积在三维数据蓄积部818的三维数据835中的发送区域[0588]数据发送部822将三维数据837发送到交通云监控或后方车辆。该三维数据837例的区域的三维数据831，并通过对三维数据831与基于自身车辆的传感器815检测到的传感生成自身车辆的传感器815不能检测的范[0591]并且，三维数据制作装置810能够按照来自交通云监控或后方车辆的数据发送请图39是示出通过三维数据制作装置810向交通云监控或后方车辆发送三维数据的顺序的一[0593]首先，三维数据制作装置810生成并更新包括自身车辆801的前方道路上的空间辆等制作的三维数据831，合成到基于自身车辆801的传感器信息833制作的三维数据834，通过进行这种合成，来构筑自身车辆的传感器815不能检测的前方车辆的前方的空间也包[0595]在由于车辆或人从外部进入到已发送的空间等而该空间中包含的三维数据835发[0596]另外，三维数据制作装置810虽然可以按照以规定的间隔来发送三维数据的发送定时，来发送发生了变化的空间的三维数据，不过也可以在检测到变化后立即进行发送。发生了变化的空间的三维数据来发送，也可以仅发送三维数据的差异(例如出现或消失的[0598]并且，也可以是，三维数据制作装置810在发送发生了变化的空间的三维数据之骤S803之后，三维数据制作装置810将自身车辆801的前方距离L上的规定的形状的空间中[0603]首先，三维数据制作装置810生成并更新包括自身车辆801的前方道路上的空间[0604]接着，三维数据制作装置810判断生成的空间802的三维数据835中是否有与三维作装置810也可以将表示空间802中没有更新的信息发送到交通云监控[0609]如以上所示，本实施方式所涉及的三维数据制作装置810被搭载于具备传感器815、以及将三维数据与外部进行收发的通信部(数据接收部811或数据发送部822等)的移将作为三维数据835的一部分的三维数据837[0610]据此，三维数据制作装置810能够生成自身车辆不能检测的范围的三维数据。并且，三维数据制作装置810能够将其他的车辆等不能检测的范围的三维数据发送到该其他定的间隔反复进行。三维数据837是位于从当前的车辆801的位置到车辆801的移动方向前方的规定距离L上的具有规定的大小的小空间80[0612]据此，由于被发送的三维数据837的范围被限制，因此能够减少发送的三维数据将该小空间802的三维数据837发送到[0615]并且，三维数据制作装置810判断已发送的三维数据837所对应的小空间802的三810也可以将示出小空间802的三维数据837、与小空间802的三维数据831之间没有差异的通过服务器或其他车辆的通信而得到的三维地图以及从搭载在自身车辆的传感器获得的装置也可以根据上述的条件，来对在三维周边信息的生成时所使用的数据的种类(WLD、[0647]例如，保存装置优先保存上班的路径或自家周边等经常通过的地域的三维地[0661]在利用平视显示器将周边状况检测结果或点群数据重叠到透过图42所示的挡风到达目的地的方式来决定路径并按照决定的路径[0670]在实施方式5将要说明的例子是，车辆等客户端装置将三维数据发送到其他的车[0674]客户端装置902向服务器901发送由客户端装置902获得的传感器信息。传感器信行驶时想要进行自身位置估计的情况下，客户端装置902将三维地图的发送请求发送到服握到客户端装置902的移动路径以及移动速度的情况下，可以根据掌握到的移动路径和移动速度，来预测客户端装置902从客户端装置902所保持的三维地图示出的空间出来的时刻。[0680]在客户端装置902根据传感器信息制作的三维数据与三维地图的位置对照时的误客户端装置902的周边的三维地图有发生变化的可能性，并将这一判断结果和传感器信息端装置902接收GPS等客户端装置902的位置信息。服务器901根据客户端装置902的位置信息，在判断为客户端装置902接近到服务器901所管理的三维地图中信息少的空间的情况[0684]图46是示出客户端装置902的构成例的框图。客户端装置902从服务器901接收以[0689]格式变换部1014通过对数据接收部1011所接收的三维地图1[0691]三维数据制作部1016根据传感器信息1033，制作自身车辆的周边的三维数据1019可以对按照发送范围的指定来发送的数据[0695]通信部1020与服务器901进行通信，从服务器901接收数据发送请求(传感器信息[0697]数据发送部1022将传感器信息1037发送到服务器901。传感器信息1037例如包括[0699]服务器901具备：数据接收部1111、通信部1112、接收控制部1113、格式变换部[0700]数据接收部1111从客户端装置902接收传感器信息1037。传感器信息1037例如包[0704]三维数据制作部1116根据传感器信息1132，制作客户端装置902的周边的三维数[0705]三维数据合成部1117将基于传感器信息1132而制作的三维数据1134，与服务器[0708]通信部1120与客户端装置902进行通信，从客户端装置902接收数据发送请求(三户端装置902从服务器901接收传感器信息的发送请求(S1011)。接收了发送请求的客户端的获得时的动作的流程图。首先，服务器901向客户端装置902请求传感器信息的发送(S1021)。接着，服务器901接收按照该请求而从客户端装置902发送的传感器信息1037[0717]图51是示出服务器901进行的三维地图的发送时的动作的流程图。首先，服务器901从客户端装置902接收三维地图的发送请求(S1031)。接收了三维地图的发送请求的服[0719]服务器901利用从客户端装置902接收的传感器信息1037，来制作客户端装置902901在差分为预先决定的阈值以上的情况下，判断在客户端装置902的周边发生了某种异[0721]服务器901也可以向存在于某个空间的多个客户端装置902同时发出传感器信息接收的多个传感器信息中选择高精确度的传感器信息(类别1)，利用选择的传感器信息来[0723]例如，客户端装置902C向附近存在的客户端装置902A发出传感器信息的发送请[0725]并且也可以是，客户端装置902C向附近存在的多个客户端装置902(客户端装置902A以及客户端装置902B)发出传感器信息的发送请求。在客户端装置902A或客户端装置[0726]图53是示出服务器901以及客户端装置902的功能构成的框图。服务器901例如具[0727]客户端装置902具备：三维地图解码处理部1211、以及传感器信息压缩处理部处理部(装置或LSI)保持在内部，而不必将用于对三维地图(点云等)的三维数据进行压缩接收三维地图1031。客户端装置902在自身位置的估计中，利用三维数据1034和三维地图[0733]并且，客户端装置902对传感器信息1033进行编码或压缩，在传感器信息的发送[0734]例如，客户端装置902具备处理器以及存储器，处理器利用存储器进行上述的处数据1134的制作中使用的传感器信息1037。据此，服务器901能够提高三维数据1134的品1300通过对三维数据进行编码，从而生成作为编码信号的编码比特流(以下也简单记作比[0748]分割部1301将三维数据中包含的各空间(SPC)分割为作为编码单位的多个体积八叉树化所需要的信息(深度信息等)附加到比特流的三维数据编码装置1300也可以将深度信息附加到对所有时间的世界空间进行管理的头部[0757]并且，变换部1303也可以不利用一维的正交变换而可以利用二维以上的正交变[0758]例如，变换部1303将预测残差的扫描顺序与体积内的八叉树中的扫描顺序(宽度优先或深度优先等)吻合。据此，由于不必将示出预测残差的扫描顺序的信息附加到比特三维数据编码装置1300可以将是否跳过变换部1303的处理的信息(标志)置1300可以将表示各频率成分的权重的参数附三维数据编码装置1300也可以将示出是否跳过量化部1304的处理的信息(标志)附加到比对某个时刻T_Cur的空间(SPC)，使用不同时刻T_LX的已编码空间来进行编码(帧间预测)。在这种情况下，帧间预测部1311针对不同时刻T_LX的已编码空间适用旋转以及平移处理，理有关的RT信息附加到比特流。不同时刻T_LX例如是在所述某个时刻T_Cur之前的时刻T_据编码装置1300可以将与适用了时刻T_L1的空间的旋转以及平移处理有关的RT信息RT_L1移有关的RT信息RT_L0以及RT_L1这双编码装置1300将参照的多个已编码空间，通过两个参照列表(L0列表以及L1列表)来管理。可以将示出是否按照每个参照空间毎适用旋转以及平移的信息(RT适用标志等)附加到比数据编码装置1300在ICP错误值为预先规定的一定值以下的情况下，判断为不需要进行旋[0779]MaxRefSpc_l1示出参照列表L1内包含的参照空间数。RT_flag_l1[i]是参照列表[0781]帧间预测部1311利用被存放在参照空间存储器1310的已[0783]并且，帧间预测部1311在从ICP的结果得到的ICP错误值比预先规定的第1阈值小[0788]预测控制部1312对采用帧内预测以及帧间预测的哪一个来编码编码对象体积进说明。图65是本实施方式所涉及的三维数据解码装置1400的框图。该三维数据解码装置放到参照体积存储器1405或参照空间存储[0795]帧内预测部1406利用参照体积存储器1405内的参照体积以及被附加到比特流的[0796]帧间预测部1408利用参照空间存储器1407内的参照空间以及被附加到比特流的是三维数据编码装置1300进行的帧间预刻的参照三维数据(例如参照空间)中包含的三维点的位置信息，来生成预测位置信息(例包含的编码对象体积与位置信息的差为最小的体积，将得到的体积作为预测体积来使用。[0804]并且可以是，三维数据编码装置1300对参照三维数据中包含的三维点的位置信到的三维点的位置信息，以比第1单位细小的第2单位(例如体积)来适用第2旋转以及平移的参照三维数据(例如参照空间)中包含的三维点的位置信息，生成预测位置信息(例如预1400针对参照三维数据中包含的三维点的位置信息不适用旋转以及平[0822]另外，三维数据解码装置1400可以以第1单位(例如空间)来进行旋转以及平移处得到的三维点的位置信息，以比第1单位细小的第2单位(例如体积)来适用第2旋转以及平[0833]有关本实施方式的三维数据编码装置将八叉树的8比特的占用率编码进行熵编否包含三维点(occupiedornon－occupied)的信息来计算对象节点的周边的几何学上的对象节点不同的时间的相同位置或其空间上的周围后的形状。因此，三维数据编码装置判断为这些几何样式的几何类似性(geometry[0840]图72是表示图71所示的(1)～(4)的几何样式中的对象节点的占用率编码和在熵[0842]接着，对使用树结构的结构信息(structureinformation)的自适应的熵[0847]使用三维点的属性信息，能够将具有类似的几何学上的配置的三维点进行分例如，作为三维点所具有的共同的属性信息，可以使用表示各三维点的方向的法线向量[0855]三维数据编码装置使用对象节点的几何信息、结构信息维数据解码装置能够使用附加在头部中的编码表的信息将占用[0858]如图77所示的编码表那样，也可以对多个占用率编码应用相同的上下文模型(上码中包含的每1个比特表示与该1个比特对应的上下文模型及上[0864]具体而言，占用率编码的各比特与将对应于对象节点的空间块分割后的子块对[0874]三维数据编码装置使用对象节点的几何信息、结构信息解码装置在结束了单位长度的处理的情况下，将边界框的位置作为三维点和位置来保存。[0908]三维数据编码装置也可以作为几何信息而使用例如树结构的几何组的信息来切维数据编码装置选择编码表0(S1962)。在由几何信息表示的几何组是几何组1的情况下 信息表示的几何组是几何组2的情况下使用编码表2等，根据几何组的值进一步切换编码[0912]另外，三维数据解码装置中的使用几何信息的编码表的选择处理(S1915)也与上[0914]三维数据编码装置也可以作为结构信息而使用例如树结构的层的信息来切换在编码表1(S1974)。在其以外的情况下(S1973的“否”)，三维数据编码装置选择编码表2[0917]此外，三维数据解码装置中的使用结构信息的编码表的选择处理(S1935)也与上[0919]三维数据编码装置也可以作为属性信息而使用例如对象节点所属的对象物的信三维数据编码装置选择编码表0(S1982)。在对象节点的法线向量属于法线向量群1的情况编码装置使用从多个编码表中选择的编码表将表示三维数据中包含的多个三维点的N(N为置在熵编码中，使用在所选择的编码表中对该比特设置的上下文将N比特的信息的各比特但是，不参照与父节点同一层的其他的节点(以下，父相邻节点)内的各节点的编码信息。[0953]在此，CodingTable表示对象节点的占用率编码用的编码表，表示值0～7的任一数据编码装置也可以使用父节点的占用率编码中所示[0959]编码表选择部2103使用由几何信息计算部2102算出的相选择对象节点的占用率编码的熵编码中使用的编码表。熵编码部2104使用所选择的编码[0962]几何信息计算部2112获得表示对象节点的相邻参照节点是否为占有的占有信[0963]编码表选择部2113使用由几何信息计算部2112算出的相[0964]比特流中包含的占用率编码(8比特)的各比特表示在8个小空间A(节点A0～节点进行编码这样的处理直至节点不能分割(S2107)。即，递归地反复步骤S2102～S2106的处对象节点的父节点的占用率编码算出(获得)对象节点的相邻参照节点的占有信息码装置通过参照octree_scan_order，能够知道比特流以宽度优先以及深度优先的哪一个据解码装置能够从比特流的头部获得表示是否禁止[0985]此时，假如相邻节点是例如图107的相邻节点X0那样为不能参照(禁止参照)的情编码装置许可参照多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的子节[0989]三维数据编码装置也可以通过例如下式算出对对象节点2的占用率编码进行熵编[0990]CodingTable＝(FlagX1<<5)+(FlagX2<<4)+(FlagX3<<3)+(FlagX4<<2)+(Fl[0992]此外，三维数据编码装置也可以根据父节点内的对象节点2的节点位置来变更编点的N(N为2以上的整数)叉树结构中包含的对象节点的信息(例如占用率编码)进行编码。邻的多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的信息(例如占有信据编码装置由于不参照多个相邻节点中的、父节点与对象节点的父节点不同的第2节点的[0996]例如，三维数据编码装置进一步决定是否禁止参照第2节点的信息，在上述编码占有信息)，第2节点的信息是表示在第2节点是否存在三维点的信息(第2节点的占有信的N(N为2以上的整数)叉树结构中包含的对象节点的信息(例如占用率编码)进行解码。如据解码装置由于不参照多个相邻节点中的、父节点与对象节点的父节点不同的第2节点的[1007]例如，三维数据解码装置进一步从比特流获得表示是否禁止参照第2节点的信息占有信息)，第2节点的信息是表示在第2节点是否存在三维点的信息(第2节点的占有信[1018]三维点群的一部分的第1三维点群配置在1个以上的平面上，另一部分的第2三维的位于地面等平面上或者接近地面(高度为阈值以下)的位置的第1三维点群，对四叉树结[1024]使用由LiDAR得到的点群数据检测出的平面如图112的(a)所示，有时相对于具备[1029]三维数据编码装置例如通过RANSAC(RandomSampleConsensus：随机抽样一致)[1032]第2方法是选择平面上的三维点的方法。在该方法中，对X坐标以及Y坐标进行编[1035]图114是表示第1方法中的、从三维点群检测出的平面与平面的周围的点群(平面[1038]四叉树结构的第1三维点群也可以不使用用于对由四叉树结构表现的三维点群进[1040]图116是表示将二维空间分割为4个子空间的例子的图。图117是表示将二维空间码装置通过使用三维空间的分割结果来表现二维空间的分割结果，从而将图116所示那样的表示二维空间的占有状态的4比特的占用率编码进行编码变换为表示如图117所示的表[1043]在八叉树结构的三维点群的编码中使用与相邻的子空间的依赖关系进行编码的情况下，通过将第1三维点群从二维空间中的四叉树的表现变换为三维空间中的八叉树的维点群变更为八叉树的表现的情况下，变换为八叉树结构的三维点群成为1个轴即Z轴无结构的三维点群的编码中，三维数据编码装置将在Z轴方向上与编码对象节点相邻的相邻[1047]检测部5901通过RANSAC(RandomSampleConsensus)法等根据三维点群的位置信行使用平面参数ω使位于该平面上的第1三维[1050]四叉树编码部5903用四叉树表现平面上的第1三维点群，生成用四叉树表现的四结构换言之是八叉树结构和四叉树结构混合存在的编[1051]这样，四叉树编码部5903对四叉树结构所包含的第1对象节点的第1信息进行编是用于选择在第1信息的编码中使用的编码表的编码样式，第2编码样式是用于选择在第2特构成，所述多个比特表示在多个方向中的规定的方向以外的方向上与第1对象节点在空码样式的计算方法与用于对后述的八叉树结构的三维点群进行编码的第2编码样式的计算定的方向上与对象节点在空间上相邻的1个以上的相邻节点的1个以上的比特分别未被点[1054]八叉树编码部5904用八叉树表现第2三维点群，对由八叉树表现的八叉树结构的个方向上与第2对象节点在空间上相邻的多个第2相邻节点的第2相邻信息生成第2编码样[1056]复用部5905通过将由四叉树编码部5903对八叉树结构的第1三维点群进行了编码的第1比特流和由八叉树编码部5904对八叉树结构的第2三维点群进行了编码的第2比特流特串的比特流，所述第1信息表示对第1对象节点进行4分割而得到的4个第1子空间的每一[1062]距离编码部5913对表示计算出的到各第1三维点的平面的距离的距离信息进行编[1067]四叉树分割部5911A将包含第1三维点群的二维空间分割为4个子空间，对各子空分割部5911A反复进行将各子空间4分割并对各子空间的占用率编码进行编码这样的处理，[1070]三维数据解码装置5920具备逆复用部5921、四叉树解码部5922、八叉树解码部[1071]逆复用部5921将编码流逆复用为与编码后的八叉树结构的第1三维点群、编码后第1三维点群所包含的四叉树结构的第1三维点群进行解码，而对四叉树结构的第1三维点[1073]第1解码样式是用于选择在第1信息的解码中使用的解码表的解码样式，第2解码据在多个方向上与第1对象节点在空间上相邻的多个第1相邻节点的第1相邻信息生成第1特构成，所述多个比特表示在多个方向中的规定的方向以外的方向上与第1对象节点在空码样式的计算方法与用于对后述的八叉树结构的三维点群进行解码的第2解码样式的计算树解码部5923根据在多个方向上与第2对象节点在空间上相邻的多个第2相邻节点的第2相向上与第2对象节点在空间上相邻的多个第3将第1信息(占用率编码)进行解码，所述第3比特串由第1比特串和无效的第2比特串构成，[1080]逆复用部5931将编码四叉树位置信息逆复用为编码后的占用率编码和编码后的[1083]复原部5934通过使用占用率编码以及距离信息来计算Z轴方向的值，从而复原各[1086]四叉树分割部5932A将包含第1三维点群的二维空间分割为4个子空间，对各子空[1090]接着，三维数据编码装置判定三维点群的各三维点是否为平面上的点(S5902)。[1091]三维数据编码装置使用被判定为是平面上的点的第1三维点群，生成由四叉树表[1092]三维数据编码装置使用被判定为不是平面上的点的第2三维点群，生成由八叉树表现的八叉树结构的第2三维点群，对所生成的八叉树结构的第2三维点群进行编码[1096]三维数据解码装置将比特流分割为平面的数据即编码后的第1三维点群和非平面也可以生成包含表示编码对象是第1信息还是第2信息的识别信息的比特流。在该情况下，三维数据解码装置能够使用附加于头部的识别信息来判断是作为八叉树进行解码还是作片的头部附加表示平面参数或是否用四叉树编[1102]三维数据编码装置或三维数据解码装置将取得的三维点群分割为位于多个平面[1104]三维数据编码装置或者三维数据解码装置也可以分别以四叉树表现以及八叉树[1106]三维数据编码装置设定包含所确定的第1三维点群的二维空间的边界框(S5921[1107]三维数据编码装置使用所选择的编码表，对二维空间的占用率编码进行编码[1109]三维数据编码装置更新表示二维空间中的对象节点相邻的相邻节点的二维相邻数据编码装置将如图118所示的4比特的二维相邻信息变换为图119所示的6比特的三维相邻信息。变换后的三维相邻信息是追加了表示在Z轴方向上与对象节点相邻的虚拟的相邻在Z轴方向上与对象节点在空间上相邻的2个第1相邻节点表示0的6比特的信息。在该情况可以使用根据4相邻的编码样式生成的假想6相邻的第1编码样式，用与6相邻的第2编码样[1120]在未到达叶节点的情况下(S5927的“否”)，或者在未分割所有节点的情况下[1123]三维数据编码装置使用所选择的编码表，对三维空间的占用率编码进行编码[1125]三维数据编码装置更新表示三维间的对象节点相邻的相邻节点的三维相邻信息[1133]在未到达叶节点的情况下(S5936的“否”)，或者在未分割所有节点的情况下[1136]三维数据解码装置设定包含所确定的第1三维点群的二维空间的边界框(S5941[1139]三维数据解码装置更新表示二维空间中的对象节点相邻的相邻节点的二维相邻数据解码装置将图118所示的4比特的二维相邻信息变换为图119所示的6比特的三维相邻信息。变换后的三维相邻信息是追加了表示与对象节点在Z轴方向上相邻的虚拟的相邻节在Z轴方向上与对象节点在空间上相邻的2个第1相邻节点表示0的6比特的信息。在该情况如图118所示的4相邻的解码样式生成图119所示那样的假想的6相邻的第1解码样式，使用可以使用根据4相邻的解码样式生成的假想6相邻的第1解码样式，用与6相邻的第2解码样式对应的解码表进行解码。另外，与4相邻的解码样式对应的解码表由16模式的解码表构[1150]在未到达叶节点的情况下(S5947的“否”)，或者在未分割所有节点的情况下[1153]三维数据解码装置使用所选择的解码表对从比特流到三维空间的占用率编码进[1155]三维数据解码装置更新表示三维间的对象节点相邻的相邻节点的三维相邻信息[1163]在未到达叶节点的情况下(S5956的“否”)，或者在未分割所有节点的情况下数据编码装置对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第1对象解码装置对第1三维点群的多个第1三维点的N(N为2或者4)叉树结构所包含的第1对象节点的第1信息、或者第2三维点群的多个第2三维点的八叉树结构所包含的第2对象节点的第2以利用在LSI制造后可编程的FPGA(FieldProgrammableGateArray：现场可编程门阵过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质的软件程序并执类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时间[1178]以上基于实施方式对一个或多个形态所涉及的三维数据编码装置以及三维数据