CN113971628B 图像匹配方法、装置和计算机可读存储介质 （株式会社理光）

多个子空间构成时，各个子空间之间彼此不重个子空间的投影图像和至少一个子空间的二维关系的子空间的全景图像和子空间的二维图像2获取三维空间中至少一个子空间的全景图像，以及所述三维空间对所述至少一个子空间的全景图像进行三维重建，并将至少一个所述方法还包括：获取所述至少一个子空间的全景图像分别对应的第一对所述至少一个子空间的全景图像进行三维重建，并获取所述根据所述至少一个子空间中每个子空间的多张透视图像，获对所述三维空间的二维图像的每个像素点进行语义识根据语义识别的结果，对所述三维空间的二维图像进行分割，根据所述子空间的全景图像，获取形成所述子空间的至少一个对象根据所述子空间的全景图像的三维重建结果，以及对全景图像3根据所述至少一个子空间的投影图像和所述至少一个子空间的二维图像中对象和/或根据所述至少一个子空间的投影图像和所述至少一个子空间的二维图像的匹配关系，获取相应的所述至少一个子空间的全景图像和所述至少一个子空间的二维图像的匹配关将所述至少一个子空间的投影图像和所述至少一个子空间的二维图像进行形状匹配，根据匹配结果建立所述至少一个子空间的投影图像和所述至少一个子空间的二维图像的根据所述至少一个子空间的投影图像和所述至少一个子空间的二维图像的匹配关系，获取相应的所述至少一个子空间的全景图像和所述至少一个子空间的二维图像的匹配关子空间获取单元，配置为根据所述三维空间的二维图像，获取重建单元，配置为对所述至少一个子空间的全景图像进行三维重空间的全景图像的三维重建模型投影在三维空间的二维图像所在的平面或平行的平面上，图像，获取所述至少一个子空间的全景图像和所述至少一个子空间的二维图像的匹配关获取三维空间中至少一个子空间的全景图像，以及所述三维空间4对所述至少一个子空间的全景图像进行三维重建，并将至少一个根据所述至少一个子空间的投影图像和所述至少一个子空间的二系的子空间的全景图像和子空间的二维图像之获取三维空间中至少一个子空间的全景图像，以及所述三维空间对所述至少一个子空间的全景图像进行三维重建，并将至少一个根据所述至少一个子空间的投影图像和所述至少一个子空间的二系的子空间的全景图像和子空间的二维图像之5二维图像之间建立针对子空间的匹配关系，从而引导用户自主控制希望漫游的子空间区现三维场景和二维图像的子空间区域之间的相互匹配和彼匹配关系，并在产生匹配关系的子空间的全景图像和子空间的二维图像之间建立关联关的子空间的全景图像和子空间的二维图像之间建立关联关6关系的子空间的全景图像和子空间的二维图像之间建立关联[0016]图6示出将二维户型图进行分割所得到的各个房间的二维图像，以及每个房间的7维空间中通过各种方式进行分隔而得到的空间，并且当所述三维空间由多个子空间构成为深度神经网络模型。例如，当所述二维图像为前述二维户型图时，可以利用DeepFloorplan深度神经网络模型对二维户型图进行语义识别，如可以识别出二维户型图经网络可以使用二维户型图的图片集和户型图语8可以使用房间的全景图片集和房间布局标签来训练此深度神经根据所述子空间的全景图像的三维重建结果，以及对全景图像中的目标的检测和定位结图像中对象和/或目标的布局，获取所述至少一个子空间的投影图像和所述至少一个子空几何关系等来判断子空间的全景图像和二维图像9络模型对至少一个子空间的全景图像进行分类，这里的深度神经网络模型可以为VGG16深[0041]在针对至少一个子空间的全景图像和所述至少一个子空间的二维图像进行粗略针对该未能产生匹配关系的特定子空间的全景图像进行三维重建，并获取对应的投影图例中，当特定子空间的全景图像或其二维图像分别对应的第一标签信息和/或第二标签信图像/二维图像时，也可能因子空间的全景图像和子空间的二维图像之间无法一一对应而在针对子空间的全景图像和子空间的二维图像无法一一对应时而执行后续步骤S104的操类似或属于相同类别的能够构建匹配关系的第一标签信息和第二标签信息分别对应的子取各个房间的全景图像分别对应的第一标签信息和各个房间的二维户型图分别对应的第为各个全景图像所对应的第一标签信息。图4示出了具有不同的第一标签信息的各房间的及目标检测和定位。在一个示例中，图7示出了未匹配成功的一个卧室的全景图像的示意用YOLOv3深度神经网络模型针对图7中的卧室的全景图像进行了门窗检测，从而得到黑框[0054]图11中的图像匹配装置1100的图像获取单元1110获取三维空间中至少一个子空[0055]图像获取单元1110可以使用各种方式获取三维空间中至少一个子空间的全景图型可以为深度神经网络模型。例如，当所述二维图像为前述二维户型图时，可以利用DeepFloorplan深度神经网络模型对二维户型图进行语义识别，如可以识别出二维户型图可以使用房间的全景图片集和房间布局标签来训练此深度神经根据所述子空间的全景图像的三维重建结果，以及对全景图像中的目标的检测和定位结[0062]匹配单元1140根据所述至少一个子空间的投影图像和所述至少一个子空间的二子空间的二维图像中对象和/或目标的布局，获取所述至少一个子空间的投影图像和所述[0065]在获得子空间的全景图像和子空间的二维图像之间的匹配关系之后，匹配单元实现子空间的全景图像和相应的子空间的二维[0067]可选地，粗略匹配单元可以对三维空间中至少一个子空同时，可以认为某个子空间的全景图像和子空间的二维图像相匹配(下面简称粗略匹配)。[0070]粗略匹配单元在针对至少一个子空间的全景图像和所述至少一个子空间的二维景图像的投影图像和未能与至少一个子空间的全景图像产生匹配关系的至少一个子空间全景图像或其二维图像分别对应的第一标签信息和/或第二标签信息检测有误时，可能会使得因标签信息错误而无法匹配的子空间的全景图像和子空间的二维图像进入重建单元全景图像/二维图像时，也可能因子空间的全景图像和子空间的二维图像之间无法一一对对子空间的全景图像和子空间的二维图像无法一一对应时而进入重建单元和匹配单元进在粗略匹配中未产生匹配关系的子空间构建投影图像和子空间的二维图像的匹配关系以[0076]处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指并且/或者可以执行根据本发明实施例的图像匹配方法。在所述计算机可读存储介质中还间的全景图像进行三维重建，并获取所述至少一个子空间的全景图像分别对应的投影图系的子空间的全景图像和子空间的二维图像之间建立关的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，[0082]本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求[0084]以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而[0087]在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个[0091]此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当[0093]可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种[0094]提供所发明的方面的以上描述以使本领域的任何技术人员能够做