CN114359487B 三维数据制作方法以及三维数据制作装置 （松下电器（美国）知识产权公司）

201780054551.82017.08.23US8886387B1,2014.11.11本发明提供三维数据制作方法以及三维数与外部收发三维数据的通信部的移动体中的三到的三维数据和所述通信部接收到的第1三维数的一部分的第3三维数据发送到外部，判定已发送的所述第3三维数据所对应的所述第2三维数作为发生了变化的该第2三维数据的至少一部分2通过装置以无线方式接收第1数据，所述装置被搭载于沿着行进基于由被搭载于所述第1移动体上的传感器进行的检测来生成第2数据，所述第2数据将第3数据以无线方式发送到在所述行进方向上跟在所述第1移动体之后的第2移动体及交通监控系统中的至少一方，所述第3数据表示基于所述第1数据和所述第2数据而生成将所更新的所述第3数据以无线方式重新发送到所接收的所述第1数据是从在所述行进方向上处于所述第1移动体之前的第3移动体发所述第1数据表示所述第3移动体周围的多所述第3数据是所述第1数据和所述第2数据的合并数据的一由所述第3数据表示的所述多个三维位置至少包括从所述第2移动体来看成为死角的所述行进方向上的所述第1移动体与所述空间之间的第1距离根据所述第1移动体的移来生成第2数据，所述第2数据表示在所述行进方向上处于所述第1移动体前方的空间中的所述通信电路构成为，将第3数据以无线方式发送到在所述行动体之后的第2移动体及交通监控系统中的至少一方，所述第3数据表示基于所述第1数据将所更新的所述第3数据以无线方式重新发送到3[0008]非专利文献1“Octree-BasedProgressiveGeometryCodingofPoint部分的第3三维数据发送到外部，判定已发送的所述第3三维数据所对应的所述第2三维数456态对象的编码数据与仅包括静态对象的第二处理7含标识符，该标识别符示出该编码三维数据是通过对所述第1三维数据进行编码而得到的[0105]据此，该三维数据编码方法能够生成包括解码装置所需要的数据的第1编码三维8方法不同的第2解码方法，对通过编码所述第1三维数据而得到的第2编码三维数据进行解括标识符，该标识符示出该编码三维数据是通过对所述第1三维数据进行编码而得到的编[0118]据此，该三维数据解码方法能够容易地判断获得的编码三维数据是第1编码三维9从所述服务器发送的所述第1编码三维数据以及所述第2编码三维数据码方法对第1编码三维数据进行解码，该第1编码三维数据是通过对从第1三维数据提取的方法不同的第2解码方法，对通过编码所述第1三维数据而得到的第2编码三维数据进行解[0127]据此，该三维数据解码装置针对特征量为阈值以上的数据被编码而得到的第1编[0139]据此，该三维数据发送方法不仅能够将自身制作的三维[0147]据此，该三维数据发送装置不仅能够将自身制作的三维述第1三维位置信息或所述第2三维位置信息为异常的情况下，决定针对该异常的应对工[0149]据此，该三维信息处理方法能够检测第1三维位置信息或第2三维位置信息的异置信息的情况下，通过所述信道获得比所述第1三维位置信息的范围窄的第3三维位置信维位置信息进行的所述移动体的所述自身位置估计的结果的所述移动所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情[0177]据此，该三维信息处理装置能够检测第1三维位置信息或第2三维位置信息的异发生了变化的该第2三维数据的至少一部分的第4三维数据发[0187]据此，该三维数据制作方法能够将发生了变化的空间的第4三维数据发送到其他[0189]据此，由于该三维数据制作方法能够将发生了变化的空间的第4三维数据优先发述小空间的所述第1三维数据之间没有差异的信息发送动体等不能检测的范围的三维数据发送到该其他[0203]在本实施方式中，三维空间被划分为相当于动态图像的编码中的图片的空间及能够双向参照的双向空间(B-SPC)。并[0209]并且，如图1所示，作为包括多个空间的处理单位，有作为随机存取单位的GOS[0210]世界空间所占的空间区域通过GPS或纬度以及经度信息等，与地球上的绝对位置含的三维数据例如包括三维坐标等空间位置与颜色信息码的GOS。在开放式GOS中，在GOS内，比开头I-SPC的显示时刻早的一部分SPC参照不同的[0222]并且，编码装置或解码装置也可以是以解码装置大致掌握GOS并能够逐渐提高分[0237]在此，世界空间的三维空间与GPS、或纬度以及经度等地理上的绝对坐标一一对在对象的密度越高的情况下，就越将GOS的大小设定为小、将GOS内的I-SPC的间隔设定为[0240]接着，对本实施方式所涉及的三维数据编码装置的构成以及工作的流程进行说[0241]图6所示的三维数据编码装置100通过对三维数据111进行编码，来生成编码三维[0244]接着，划分部103将编码对象的区域中包含的点群数据划分为各个处理单位。在[0248]接着，三维数据编码装置100通过对多个第一处理单位(GO[0249]例如，三维数据编码装置100在处理对象的第一处理单位(GOS)为封闭式GOS的情据编码装置100不参照与处理对象的第一处理单位(GOS)不同的第一处理单位(GOS)中包含位(GOS)中包含的其他的第二处理单位(SPC)、或与处理对象的第一处理单位(GOS)不同的第一处理单位(GOS)中包含的第二处理单位(照其他的第二处理单位(SPC)的第一类型(I-SPC)、参照其他的一个第二处理单位(SPC)的[0252]接着，对本实施方式所涉及的三维数据解码装置的构成以及工作的流程进行说[0253]图8所示的三维数据解码装置200通过对编码三维数据211进行解码，来生成解码码装置200通过对分别与三维坐标对应的第一处理单位(GOS)的编码三维数据211的每一个言，三维数据解码装置200在各个第一处理单位(GOS)对多个第二处理单位(SPC)的每一个进行解码。并且，三维数据解码装置200在各个第二处理单位(SPC)对多个第三处理单位个要素与GOS的索引编号建立了对应的表。而且，将GOS的索引编号与成为GOS的开头的I-[0265]这样，三维数据编码装置100生成第一信息，该第一信息示出多个第一处理单位[0275]编码装置或解码装置可以对彼此不同的2个以上的SPC或GOS并行进行编码或解码装置或解码装置也可以使离自身位置或行走路径远的空间的优先级比近的空间的优先[0280]并且，在汽车或机器人的自动走行时所进行的自身位置估计或物体识别等用途如，在动态对象的出现频度或比例超过阈值的情况下，动态对象与静态对象混在的SPC或个处理完毕的空间来编码或解码的P-SPC、参照任意的两个处理完毕的空间来编码或解码[0294]动态对象按每个对象来编码或解码，与仅包含静态对象的一个以上的空间对码装置以使I-SPC的劣化减少的方式(解码后，原本的三维数据能够更忠实地被再现)来进[0296]编码装置可以按照世界空间内的对象的疎密程度或数值(数量)，改变利用I-SPC[0302]编码装置以及解码装置参照处理完毕的GOS内的空间，对处理对象的GOS内的P空比该SPC下层的层中包含的SPC来进行编[0307]并且，编码装置以及解码装置对彼此不同的两个以上的空间或GOS并行进行编码对该编码数据进行解码的三维数据解码方法以及三维数[0316]将具有一定以上的特征量的体素(VXL)定义为特征体素(FVXL)，将以FVXL构成的世界空间(WLD)定义为稀疏世界空间(SWLD)。图11示出了稀疏世界空间以及世界空间的构[0318]作为三维特征量，采用SHOT特征量(SignatureofHistogramsofOrienTations：方位直方图特征)、PFH特征量(PointFeatureHistograms：点特征直方[0319]SHOT特征量通过对VXL周边进行划分，并对基准点与被划分的区域的法线向量的(Scale-InvariantFeatureTransform：尺度不变特征转换)、SURF(SpeededUpRobust[0324]SWLD可以按照每个特征量来生成。例如基于SHOT特征量的SWLD1和基于SIFT特征也可以将算出的各FVXL的特征量作为特征量信息来保[0325]接着，对稀疏世界空间(SWLD)的利用方法进行说明。由于SWLD仅包含特征体素[0328]如图13所示，在作为车载装置的客户端2需要作为三维地图等地图描绘的用途的[0329]如以上所示，服务器在主要需要自身位置估计这种各VXL的特征量的用途中，将[0331]接着，将要说明的是对稀疏世界空间(SWLD)与世界空间(WLD)的收发进行切换的[0332]可以按照网络带宽来对WLD或SWLD的接收进行切换。图14示出了这种情况下的工(标志或类型等)来区別。[0341]如图17所示，首先，获得部401获得作为三维空间内的点群数据的输入三维数据数据411提取特征量为阈值以上的提取三维包含WLD的流的信息附加到编码三维数据413的414是包含SWLD的流的信息附加到编码三[0347]作为被赋予到编码三维数据413以及414的头部的信息例如被定义为“world_[0348]并且，WLD编码部404对WLD进行编码时使用的编码方法可以与SWLD编码部405对[0351]并且，SWLD编码部405以SWLD的编码三维数据414的数据大小比WLD的编码三维数[0352]例如，SWLD提取部403再次生成提取的特征点的数量减少了[0353]并且，SWLD编码部405在不能将SWLD的编码三维数据414的数据大小比WLD的编码[0359]并且，与编码装置同样，WLD解码部503在对WLD进行解码时使用的解码方法、与止的障碍物的检测的对WLD进行了下采样的下采样世界空间(subWLD)，并可以将SWLD与等交通信息是否重要等信息。并且，属性中也可以包括车道信息(GDF：GeographicDataFiles等)中的与Feature(交叉点或道路等)的对加特征量信息的情况下，客户端也能够在接收SWLD时来算出FVXL的特征量。另外，此时，[0376]如以上所述，三维数据编码装置400从输入三维数据411(第1三维数据)提取特征[0377]据此，三维数据编码装置400生成对特征量为阈值以上的数据进行编码而得到的[0381]据此，三维数据编码装置400能够针对输入三维数据411与提取三维数据412分别[0383]据此，三维数据编码装置400能够针对邻接的数据间的相关容易变低的提取三维[0387]据此，解码装置能够容易地判断获取的编码三维数据是编码三维数据413还是编[0388]并且，三维数据编码装置400以编码三维数据414的数据量比编码三维数据413的[0389]据此，三维数据编码装置400能够使编码三维数据414的数据量比编码三维数据[0391]据此，三维数据编码装置400能够生成包括解码装置所需要的数据的编码三维数[0394]并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速[0399]据此，三维数据解码装置500针对特征量为阈值以上的数据被编码而得到的编码维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411中的一部分进行编码而得到的编码三维数据。三维数据解码装置500参照该标识[0405]据此，三维数据解码装置500能够容易地判断获得的编码三维数据是编码三维数[0408]并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速[0409]并且，三维数据解码装置500进一步向服务器请求编码三维数据413以及414的一[0413]图24是示出自身车辆600与周围车辆601之间的三维数据607的收发的状态的模式在自身车辆600的传感器检测范围602内，但是会出现不能制作三维数据的区域(以后将此[0415]自身车辆600的传感器检测范围602包括能够获得三维数据的区域603以及遮挡区车辆600的传感器检测范围602中没有包括的的传感器检测范围602以外的区域606的三维数据607。自身车辆600利用周围车辆601获得[0417]车辆或机器人的自律动作中的三维数据的用途为自身位置估计、周围状况的检直接指定用于将三维数据607传输到自身车辆600的周挡区域604或传感器检测范围602以外的[0421]以下对传输三维数据607的是前方行驶车辆的情况下的工作例子进行说明。图25[0422]如图25所示，从前方行驶车辆传输的三维数据607例如是点云数据的稀疏世界空[0425]从周围车辆601传输的SWLD可以是自身车辆600的传感器检测范围602外、且周围[0426]并且，周围车辆601可以按照基于自身车辆600与周围车辆601的速度差的可通信[0430]前方行驶车辆的前方的区域或后方行驶车辆的后方的区域等容易成为遮挡区域[0432]在前方行驶车辆为了进行传输而制作的SWLD内，包括以自身车辆600能够获得点[0433]接着，对作为本实施方式所涉及的三维数据接收装置的三维数据制作装置620的[0434]图26是本实施方式所涉及的三维数据制作装置620的方框图。该三维数据制作装[0436]首先，三维数据制作部621利用由自身车辆600具备的传感器检测的传感器信息624从周围车辆601接收作为请求范围的编码流的编码三维数据634(S624)。另外，搜索部623可以针对确定的范围中存在的所有的车辆无差别地发出请求，从有应答的对方接收编[0438]接着，通过解码部625对接收的编码三维数据634进行解码，而获得第2三维数据[0440]三维数据发送装置640例如包括在上述的周围车辆601中，将周围车辆601制作的第5三维数据652加工为自身车辆600所请求的第6三维数据654，并通过对第6三维数据654[0442]首先，三维数据制作部641利用由周围车辆601具备的传感器检测的传感器信息[0446]图31是由三维数据制作装置620A进行自身车辆600的周围状况检测处理的流程[0448]接着，检测区域决定部627决定作为想要检测周围状况的空间区域的检测对象范维数据635是通过从第4三维数据(WLD)提取特征量为阈值以上的数据，而被生成的三维数[0456]接着，周围状况检测部628利用周围状况检测时所需要的空间区域的点云数据即[0457]接着，自律动作控制部629根据由周围状况检测部628进制作了周围状况检测时所需要的所有的空间区域的信息的情况下，周围状况检测部628利用周围状况检测时所需要的空间区域的点云数据即第1三维数据632，来检测自身车辆600[0459]并且，在被接收的发送数据638中不包括编码三维数据634的情况下(S667的[0460]接着，对将发送数据638发送向上述的三维数据制作装置620A的三维数据发送装[0461]图32所示的三维数据发送装置640A除了图28所示的三维数据发送装置640的构成通过从第7三维数据(WLD)提取特征量为阈值以上的数据，来制作第5三维数据652(SWLD)。以仅包括由周围车辆601进行的请求范围的周围状况检测结果639、以及周围车辆601的制[0468]于是，发送部645将包括编码三维数据634的发送数据638发送到自身车辆600将包括由周围车辆601进行的请求范围的周围状况检测结果639、以及周围车辆601的制动[0471]例如，从周围车辆601传输的信息也可以不是周围车辆制作的三维数据或周围状结果提示给驾驶人的情况下，以自身车辆600所检测的信息与接收的检测结果能够由用户635被编码而得到的编码三维数据634。解码部625通过对接收的编码三维数据634进行解的一部分进行提取，从而制作第6三维数据654。编码部644通过对第6三维数据654进行编据(例如WLD)，通过从第7三维数据提取特征量为阈值以上的数据，从而制作第5三维数据[0503]自身位置估计是通过对三维地图、与搭载于自身车辆的测距仪(LiDAR等)或立体相机等传感器所获得的自身车辆周边的三维信息(以后称为自身车辆检测三维数据)进行[0512]以下将要说明的是为了对应三维地图或自身车辆检测三维数据中的异常情况的了超声波或激光的一维数据的传感器等用于检测自身车辆周边的结构物体或移动物体的获得的三维地图711以及自身车辆检测三维数据712的至少一方第1三维位置信息包括多个随机存取单位，多个随机存取单位的每一个为一个以上的部分[0523]三维信息处理装置700在判断第1三维位置信息或第2三维位置信息为异常的情况[0524]据此，三维信息处理装置700能够检测第1三维位置信息或第2三维位置信息的异[0525]以下对异常情况1即经由通信不能获得三维地图711的情况下的应对工作进行说[0526]在进行自身位置估计时需要三维地图711，但是在车辆没有事先获得与到达目的[0527]异常情况判断部703确认到达目的地的路径上的所有的区间、或从当前位置的规可以在自身车辆的存储器或HDD等记录部中能够保持的上限大小内，按每个随机存取单位车辆是否将会进入通信状态差的区域。三维信息处理装置700在预测到车辆将会进入通信维信息处理装置700在经由信道不能获得三维地图711(第1三维位置信息)的情况下，可以车辆周边行驶的其他车辆等移动体获得三维地图711，此时的其他车辆等为已经获得了到经由道路与车辆间的Wi-Fi(注册商标)或毫米波通信、或者车与车之间的通信等其他的信[0542]在采用了二维地图和自身车辆检测三维数据712的自身位置估计的方法中例如有[0546]在二维地图将道路内的白线、护栏以及建筑物等距离地上的高度不同的(不在同[0551]自动驾驶是否能够继续进行会受到如下的影响，即车辆行驶中的道路是市区地(模式)的切换例如是指，对速度进行限制、增加驾驶人的操作量(降低自动驾驶的自动级的车辆的驾驶信息并利用该信息进行的自动驾[0558]异常情况判断部703对属于以下的(1)和(2)的哪一种情况进行确认，在在属于其图711的一部分或全部发生损坏。即，异常情况判断部703判断三维地图711的数据是否完维地图711中的绝对坐标或相对坐标等位置信息来指定毁坏部位，也可以通过构成毁坏部[0564]接着，对异常情况3即自身车辆的传感器由于故障或不好的天气而不能生成自身[0565]异常情况判断部703确认自身车辆检测三维数据712的生成误差是否在允许范围[0566]作为自身车辆检测三维数据712的生成误差是否为允许范围内的确认方法，能够[0567]根据测距仪或立体相机等自身车辆的三维传感器中的深度方向以及扫描方向的[0569]车辆在开始行驶前或行驶中生成的自身车辆检测三维数据712与三维地图711的针对行驶开始前等测试模式的自身车辆检测三维数据712，根据形状误差是否为允许范围导致的异常通知给用户。[0572]并且，车辆在判断为异常情况3的情况下，对如下三种应对工作的任一个进行选检测三维数据712的数据的生成精度不是基准值以上的情况下，根据与通常的传感器不同[0593]接着，车辆利用自身车辆检测三维数据712和二维地图，进行自身位置估计(S717)。接着，车辆利用自身车辆检测三维数据712和三维地图711，进行自身位置估计[0599]车辆801在车辆或人从外部进入到空间802等，从而过去发送完毕的空间802中包[0607]数据接收部811从交通云监控或前方车辆接收三维数据831。三维数据831例如包括含有自身车辆的传感器815不能检测的区域的信息，该信息例如是点云数据、可见光影[0608]通信部812与交通云监控或前方车辆进行通信，将数据发送请求等发送到交通云[0610]格式转换部814通过对数据接收部811接收的三维数据831进行格式转换等来生成[0611]多个传感器815是LIDAR、可见光相机或红外线相机等获得车辆801的外部的信息根据自身车辆的传感器信息833而制作的三维数据834，从而能够构筑自身车辆的传感器815不能检测的前方车辆的前方的空间也包括在内的三维[0615]通信部819与交通云监控或后方车辆进行通信，将数据发送请求等发送到交通云部820通过根据三维数据构筑信息来判断能够发送的空间或已发送空间的更新有无等，从[0618]格式转换部821通过将被蓄积在三维数据蓄积部818的三维数据835中的发送区域[0619]数据发送部822将三维数据837发送到交通云监控或后方车辆。该三维数据837例的区域的三维数据831，并通过对三维数据831与基于自身车辆的传感器815检测到的传感生成自身车辆的传感器815不能检测的范[0622]并且，三维数据制作装置810能够按照来自交通云监控或后方车辆的数据发送请图39是示出通过三维数据制作装置810向交通云监控或后方车辆发送三维数据的顺序的一[0624]首先，三维数据制作装置810生成并更新包括自身车辆801的前方道路上的空间辆等制作的三维数据831，合成到基于自身车辆801的传感器信息833制作的三维数据834，通过进行这种合成，来构筑自身车辆的传感器815不能检测的前方车辆的前方的空间也包[0626]在由于车辆或人从外部进入到已发送的空间等而该空间中包含的三维数据835发[0627]另外，三维数据制作装置810虽然可以按照以规定的间隔来发送三维数据的发送定时，来发送发生了变化的空间的三维数据，不过也可以在检测到变化后立即进行发送。发生了变化的空间的三维数据来发送，也可以仅发送三维数据的差分(例如出现或消失的[0629]并且，也可以是，三维数据制作装置810在发送发生了变化的空间的三维数据之骤S803之后，三维数据制作装置810将自身车辆801的前方距离L上的规定的形状的空间中[0634]首先，三维数据制作装置810生成并更新包括自身车辆801的前方道路上的空间[0635]接着，三维数据制作装置810判断生成的空间802的三维数据835中是否有与三维作装置810也可以将表示空间802中没有更新的信息发送到交通云监控[0640]如以上所示，本实施方式所涉及的三维数据制作装置810被搭载于具备传感器815、以及将三维数据与外部进行收发的通信部(数据接收部811或数据发送部822等)的移将作为三维数据835的一部分的三维数据837[0641]据此，三维数据制作装置810能够生成自身车辆不能检测的范围的三维数据。并且，三维数据制作装置810能够将其他的车辆等不能检测的范围的三维数据发送到该其他定的间隔反复进行。三维数据837是位于从当前的车辆801的位置到车辆801的移动方向前方的规定距离L上的具有规定的大小的小空间80[0643]据此，由于被发送的三维数据837的范围被限制，因此能够减少发送的三维数据将该小空间802的三维数据837发送到小空间802的三维数据837发送到后方[0646]并且，三维数据制作装置810判断已发送的三维数据837所对应的小空间802的三810也可以将示出小空间802的三维数据837、与小空间802的三维数据831之间没有差异的以利用在LSI制造后可编程的FPGA(FieldProgrammableGateArray：现场可编程门阵过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质的软件程序并执有类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时素进行组合而得到的形态均包含在一个或多个