CN115336250B 摄影方法及摄影装置 （松下知识产权经营株式会社）

2022.09.21PCT/JP2021/0121562021.03.24WO2021/200432JA2021.10.07US2019253614A1,2019.08.15于对被摄体进行摄影而得到的多个图像各自的位置及姿态中的至少一方以摄影用于生成被指示摄影位置及姿态中的至少一方以生成易于生2针对难以生成比所述第1三维位置信息详细的所述对象空间的第2三维位置信息的第2所述第2三维位置信息包括比所述第1三维点群密集的第2三所述对象空间的第3区域以外的区域判定为所述第所述摄影方法进而使用已摄影的多个第2图像、所述多个第2图像各自的第2摄影位置姿态的坐标系与多个所述第2摄影位置及姿将表示所述第2区域或者所述第3区域的信息重叠在所述多个第1图像中的某一个上显在所述对象空间的地图上，重叠表示所述第2区域或者所述第3区域的信息并进行显针对难以生成比所述第1三维位置信息详细的所述对象空间的第2三维位置信息的第2所述第2三维位置信息包括比所述第1三维点群密集的第2三所述对象空间的第3区域以外的区域判定为所述第34[0002]在专利文献1中公开了一种技术，使用通过从多个视点对被摄体进行摄影而得到供能够提高三维模型的精度的摄影指示方法或者摄[0010]本公开的一个方式所涉及的摄影方法由摄影装置执行，摄影对象空间的多个第15[0028]图16是表示实施方式1所涉及的以视觉方式提示摄影位置候选的方法的一例的[0029]图17是表示实施方式1所涉及的以视觉方式提示摄影位置候选的方法的一例的[0049]图37是表示实施方式2所涉及的使用三维点的情况下的摄影完成区域的例子的[0052]图40是表示实施方式2所涉及的使用深度图像的情况下的摄影完成区域的例子的6[0057]例如，显示被执行了属性的识别后的所述被摄体的图像，在所述第1区域的指定[0059]例如也可以是，所述多个图像是当前摄影中及显示中的动态图像所包括的多个[0067]本公开的一个方式所涉及的摄影指示方法基于对被摄体进行摄影而得到的多个述摄影位置及姿态中的至少一方以摄影易于生成被指定的所述优先区域的三维模型的图7[0071]本公开的一个方式所涉及的摄影方法由摄影装置执行，摄影对象空间的多个第1成第2三维位置信息的第2区域进行判定，因此能够提高用于生成第2三维位置信息的多个置信息的精度被估计为比预定的基准低的区个第1摄影位置及姿态的坐标系与多个所述第2摄影位置及姿态的8[0089]例如，所述摄影方法也可以进而向用户提示用于使所述用户对所述第2区域进行[0091]例如也可以是，所述指示包括从当前位置向所述第2区域的方向及距离中的至少多个第1图像生成比所述第1三维位置信息详细的所述对象空间的第2三维位置信息的第2成第2三维位置信息的第2区域进行判定，因此能够提高用于生成第2三维位置信息的多个9[0104]控制部102对终端装置100的摄像处理等的整体进行控制。位置姿态估计部103使103为了估计相机的位置及姿态而使用SLAM(同时定位与地图构建(Simultaneous置100所具备的各种传感器(GPS或者加速度传感器)得到的信息来计算相机的位置及姿态。[0105]三维重构部104使用影像保存部111中保存的影像及相机姿态保存部112中保存的[0107]在图像解析部105中，为了使用影像保存部111中保存的影像及相机姿态保存部112中保存的三维位置及姿态高精度地进行三维重构，对从哪个位置进行摄影为佳进行解析，并基于解析结果决定摄影位置候选。表示被决定的摄影位置候选的信息向UI部108输[0108]点群解析部106使用影像保存部111中保存的影像、相机姿态保存部112中保存的[0109]通信部107与云服务器或者其他终端装置之间经由通信收发被摄影的影像、被计[0110]UI部108向用户提示被摄影的影像、以及由图像解析部105及点群解析部106决定[0114]接受了摄影开始信号的摄像部101实施影像的摄影，并将作为摄影的影像的图像摄像部101既可以进行与摄影同时适宜地发送影像的流式传输发送，也可以按每一定时间[0115]位置姿态估计部103首先在摄影开始时进行输入等待处理，成为等待来自摄像部态估计部103在位置姿态估计处理失败的情况下，为了向用户提示失败而将估计失败信号位置姿态估计部103将位置姿态信息向图像解析部105及三维重构部1部105也可以判定终端装置100是否正在向通过摄影位置候选决定处理生成的摄影位置候及姿态处于将决定摄影位置候选时的图像的位置及姿态与计算出的候选的位置及姿态连[0118]点群解析部106首先在摄影开始时进行输入等待处理，成为等待来自三维重构部仅使用点群信息而且还使用图像信息或者位置姿态信息来决定摄影位选择优先指定位置的优先指定按钮202、以及用于使摄影开始的摄影开始按钮203被显示。[0127]接下来，说明位置姿态估计处理(S103)。图7是位置姿态估计处理(S103)的流程态信息包括相机的三维位置及姿态(朝向)、以及包括透镜(镜头)信息等的相机参数[0128]接下来，位置姿态估计部103将S302中取得的位置姿态信息存放至相机姿态保存[0129]此外也可以是，S301中输入的图像是由多个帧构成的一定时间量的图像序列，图像解析部105也可以判定在各图像中仅在画面的端部映现的对象，并将该对象的区域的察相机和对象的状况的图。图10是表示在图9所示的状况下由各相机得到的图像的例子的根据相机几何能够计算的对极线上进行探查。在如点A那样对极线与对象的图像上的边缘平行的情况下，难以使用NCC(归一化互相关(NormalizedCrossCorrelation))等像素信[0138]此外，对极线能够使用相机A与相机B间的基础矩阵(FundamentalMatrix)计中央则失真等对画质劣化的影响越少，在以相机A中映现在画面端部的边缘作为目标的情[0149]接下来，三维重构部104使用所取得的多个图像及多个位置姿态信息进行三维重计失败信号是在位置姿态估计部103中的位置姿态估计失败的情况下从位置姿态估计部[0152]UI部108在接收了摄影位置候选的情况下(S603：是)，显示有摄影位置候选之意如，能够预先决定在向上移动时进行2次短振动而在向右回转时进行1次长振动这样的规定是否有摄影结束的指示(S606)。摄影结束的指示例如既可以通过针对UI画面的操作进显示在相机向摄影位置候选进行了移动的情况下靠近画面中央的点线框212，向用户提示也可以在从指示开始起1分钟后没有依照指示的情况(例如终端装置100)基于对被摄体进行摄影而得到的多个图像各自的摄影位置及姿态、以影视点未被摄影的区域的情况下的该未被摄影的区域的图像；(2)抖动小的区域的图像；指示摄影位置及姿态中的至少一方以摄影易于生成被指定的优先区域的三维模型的图像。置及姿态中的至少一方以摄影易于生成所述第1区域的所述[0177]但是，在摄影用于生成计测对象的空间(以下称为对象空间)的三维模型的图像[0181]重构装置302例如是经由网络等与摄影装置301连接的服务器。重构装置302取得[0182]另外，摄影装置301与重构装置302之间的数据的交接既可以基于离线方式经由[0183]此外，由重构装置302生成的三维模型既可以是将三维空间密集地复原的三维点生成的三维模型(三维点群)是空间分辨率比由重构[0186]控制部316对摄影装置301的摄像处理等的整体进行控制。位置姿态估计部312使用图像保存部317中保存的图像，对摄影了图像姿态估计部312为了估计位置姿态而使用SLAM(同时定位与地图构建(Simultaneous[0187]位置姿态综合部313在一个环境中多次进行摄影的情况下，将各摄影中估计的相合部313将第2次以后的摄影中求出的位置姿态的坐标变换为基准坐标轴[0188]区域检测部314使用图像保存部317中保存的图像、以及位置姿态保存部318中保存的位置姿态，检测在对象空间中无法进行三维重构的区域或者三维重构的精度低的区区域检测部314也可以检测能够进行三维重构的区域，并将该区域以外判定为无法进行三合部313利用位置姿态的估计结果和图像，判定能否对此前摄影的图像的位置姿态与新摄相机的位置姿态(S812)。例如，位置姿态估计部312使用SLAM或者SfM(运动恢复结构[0197]另外，位置姿态估计部312也可以作为透镜的焦距等相机参数而利用事先进行校[0198]接下来，位置姿态估计部312将计算出的位置姿态的信息保存至位置姿态保存部位置姿态综合部313将当前的摄影路径以外的摄影完成路径的图像及位置姿态取得至少1部313判定所取得的摄影完成路径的位置姿态及图像与当前的位置姿态及图像是否相似，态综合部313根据各图像计算表现了图像整体的特征的特征量，通过将其比较来判定是否具体而言，位置姿态综合部313计算当前的图像与摄影了与该图像相似的区域的参照用图像之间的三维相对位置。位置姿态综合部313对参照用图像的坐标加上所计算出的三维相[0204]位置姿态综合部313对图像间的图像整体的特征量进行比较，在被判定为映现同一位置的图像的情况下，在图像间进行特征点匹配从而计算各个相机间的相对的三维位[0209]图28是显示处理(S805)的流程图。首先，UI部315确认是否有要显示的信息[0210]在有显示信息的情况下(S841：是)，UI部315取得图像及区域信息等显示信息区域，是指在使用被摄影的图像生成三维模型的情况下被生成的三维模型的精度低的区[0217]此外，也可以不是在图像上进行二维显示，而是通过AR(增强现实(Augmented在检测出用户移动到被指示的场所、或者对指示的区域进行了摄影的情况下停止这些显[0225]图33是表示向用户的指示的别的例子的图。例如，也可以通过图33所示的箭头[0228]图35是表示在该情况下的区域信息323的例子的图。图35是将三维地图作为平面[0230]像这样，通过将相机的位置姿态的估计结果以及摄影完成区域重叠在三维地图[0231]此外，在没有CAD等的环境中，也可以不使用地图而同样使用从第三方视点的显[0235]图36是表示对象区域的摄影状况的平面图。图中的黑圆点表示被生成的三维点[0244]另外，摄影装置301在利用立体相机的情况下，也能够根据视差图像生成深度图况下，摄影装置301针对未能根据视差图像计算出深度值的区域，也可以判定为不能复原针对通过使用多个第1图像难以生成比第1三维位置信息详细的对象空间的第2三维位置信的空间分辨率表示能够将相邻的2个三维位置判别为不同的三维位置时的该相邻的2个三[0251]由此，摄影装置301能够不生成第2三维位置信息而使用第1三维位置信息对难以生成第2三维位置信息的第2区域进行判定，因此能够提高用于生成第2三维位置信息的多格的区域对应的对象空间的第3区域以外的区[0260]例如，摄影装置301将表示第2区域或者第3区域的信息重叠在多个图像中的某一[0263]例如，摄影装置301进而向用户提示用于使用户对第2区域进行摄影的指示(例如将上述摄影指示装置所包括的至少一部分处理部与上述摄影装置所包括的至少一部分处影指示方法所包括的至少一部分处理与实施方式2所涉及的摄影方法所包括的至少一部分利用在制造LSI后能够编程的FPGA(FieldProgrammableGateArray：现场可编程逻辑门适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读