CN113298708B 三维房型的生成方法、装置及设备 （阿里巴巴创新公司）

本申请实施例提供了一种三维房型的生成解决了在利用全景相机获得全景图时存在的价2获取房间不同视角的至少两个图像，其中，所述至少两个图像所确定与所述至少两个图像相对应的相机参数，所述相机参的二维投影的过程中汇聚相交到的一点、世界坐标系与相机坐标系之间的旋转矩阵和/或基于所述至少两个图像、二维布局图和所述相机参数，生成与所述至少两获取与所述至少两个图像相对应的图像拍摄位置与基于所述高度信息、至少两个图像和所述相机参数，确基于所述空间约束关系对所述二维布局图中的像素点进行三维重建基于与所有墙面信息相对应的二维墙面图像和所述至少两个图像，3基于所述第一墙面特征和所述第二墙面特征，确定与相邻的两在所述拼接位置不合理时，则获取第二高的基于各个墙面所对应的尺寸特征，确定所述预拼接房型中任基于各个墙面之间的相对位置特征，检测所述预拼接房型中任意基于所述拼接位置对所有的三维布局图进行拼接处理，获得与所在所述拼接后房型数据中所有的拼接位置不存在间隙时，则在所述拼接后房型数据中一拼接位置存在间隙时，则对所4基于所述拼接后房型数据中一拼接位置存在间隙对所有的拼接基于所述优化后拼接位置对所有的三维布局图进行拼接处理，生获取所述三维布局图针对每个拼接位置相对应基于所述参考图像对和所述间隙对所述三维布局图所对应的拼分别基于第一调整距离和第二调整距离在所述第一方向上和所述第二方向上对所述在所述生成质量不满足设定条件时，则生成图像重拍请求，获取房间不同视角的至少两个图像，其中，所述至少两个图像所5确定与所述至少两个图像相对应的相机参数，所述相机参的二维投影的过程中汇聚相交到的一点、世界坐标系与相机坐标系之间的旋转矩阵和/或基于所述至少两个图像、二维布局图和所述相机参数，生成与所述获取房间不同视角的至少两个三维布局图，其中，所述至少根据所述拼接位置对所述至少两个三维布局图进行拼接处理，生成确定与所述房间不同视角相对应的相机参数，所述相机参的二维投影的过程中汇聚相交到的一点、世界坐标系与相机坐标系之间的旋转矩阵和/或基于所述房间不同视角、二维布局图和所述相机参数，生成与所述房间不第一确定模块，用于基于所述至少两个图像，确定与所第一处理模块，用于根据所述拼接位置对所述三维布局6所述房间不同视角分别对应的二维布局图；确定与所述房间不同视角相对应的相机参数，7都是使用价格昂贵且不便携的全景相机进行室内采集所获得的计算机程序使计算机执行时实现上述第一方面所8计算机程序使计算机执行时实现上述第五方面所[0036]第三处理模块，用于根据所述拼接位置对所述至少两个三维布局图进行拼接处述计算机程序使计算机执行时实现上述第九方面所示的三维房[0039]本申请实施例提供的三维房型的生成方法、装9[0044]图4为本申请实施例提供的生成与所述至少两个图像所对应的至少两个三维布局[0045]图5为本申请实施例提供的基于所述至少两个图像，确定与所述至少两个三维布[0046]图6为本申请实施例提供的基于与所有墙面信息相对应的二维墙面图像和所述至[0047]图7为本申请实施例提供的基于所述图像相似度，确定与相邻的两个三维布局图[0049]图9为本申请实施例提供的根据所述拼接位置对所述至少两个三维布局图进行拼景相机获取室内布局图(layout)的[0073](2)通过卷积神经网络(ConvolutionalNeuralNetworks，简称CNN)识别全景图[0074](3)基于边界线信息、相机内参以及相机拍摄离地高度，确定室内户型的户型数[0077]其中，图像采集装置可以是任何具有一定图像采集功能[0083]下面通过一个示例性的应用场景具体说明本申请各个实施例提供的三维房型的[0092]另外，所获得的至少两个图像中的任意一个图像的拍摄景相机)所获得的至少两个图像并非是全景图像，从而有效地解决了现有技术中需要采用全景相机获得全景图像时所存在的图像采集成本个图像之间的相邻关系来确定与三维布局图相对应[0104]在生成与房间相对应的三维房型之后，则可以基于三维房型对房间进行装修处[0105]本实施例提供的三维房型的生成方法，通过获取房间不[0106]图4为本申请实施例提供的生成与至少两个图像所对应的至少两个三维布局图的[0114]在获取到灭点信息和相机内参之后，可以对灭点信息和[0119]在一些实例中，与至少两个图像中像素点的空间约束关系可以包括以下至少之[0121]图5为本申请实施例提供的基于至少两个图像，确定与三维布局图相对应的拼接可以包括至少一个墙面，为了能够准确地确定与至少两个三维布局图相对应的拼接位置，所对应的二维墙面图像可以不同，为了能够准确地生成与墙面信息相对应的二维墙面图[0128]在对三维布局图中的墙面信息与二维墙面图像之间所存在的缩放关系进行配置[0131]图6为本申请实施例提供的基于与所有墙面信息相对应的二维墙面图像和至少两一相邻关系之后，则可以基于第一相邻关系来确定至少两个三维布局图的图像相邻关系，[0139]需要注意的是，本实施例中上述步骤S601-步骤S602之间的执行顺序并不限于实施例中所描述的执行顺序，本领域技术人员可以根据具体的应用需求和设计需求对步骤[0143]图7为本申请实施例提供的基于图像相似度，确定与相邻的两个三维布局图相对维墙面图像a3与二维墙面图像b2之间的第[0152]图8为本申请实施例提供的另一种三维房型的生成方法的流程示意图；在上述实面对相对应的拼接位置的具体实现方式与确定与第一拼接墙面对相对应的拼接位置的实[0164]图9为本申请实施例提供的根据拼接位置对三维布局图进行拼接处理，生成与房[0173]步骤S1001：基于拼接后房型数据中一拼接位置存在间隙对所有的拼接位置进行后的施工房型满足设定要求，这样不仅保证了基于三维房型进行施工操作的质量和效果，则可以生成图像重拍请求，以基于图像重拍请求重新获取房间不同视角的至少两个图像，重新生成的三维房型可以满足用户的设计需求，进一步提高了三维房型生成的质量和效图，例如，在某些应用场景中，也可以输入2张，3张或者更多张手拍图进行后续的全屋相机外参时，下面对确定与四张图像相对应的相机参数所包括的各个步骤进行详细的描[0219]通过手机获得四个手拍图，通过线段提取算法(LineSegmentDetector，简称LSD)或者深度学习网络对四个手拍图进行线段提取操作，获得每个手拍图中所包括的线[0221]基于每个图像中所包括的线段，利用三个灭点所在的方向相互垂直的约束条件，由A的零向量得到，即通过A得到w的值，而后利用w的cholesky分解可以得到内参矩阵K的[0238]具体的，利用3dlayout重建模块基于手拍图、2dlayout图、相机参数，对2d[0244]为了得到针对一房间的整体的三维房型，需要对4个视图所对应的3dlayout进行于上述缩放关系即可得到3dlayout图中所包括的定拼接位置或拼接墙面不适合拼接，从而需要寻找匹配特征强度次之的另一对拼接墙面，[0262]在获取到针对以房间的完整的2d和3dlayout图像之后，利用硬装识别模块图像采集时所存在的操作不便的问题，这样极大的降低了三维房型的生成方法的使用门[0270]其中，本实施例中上述步骤的实现方式和实现效果与上述实施例中步骤S401-步[0287]其中，本实施例中上述步骤的实现方式和实现效果与上述实施例中步骤S203-步上的第二图像对；基于参考图和间隙对至少两个三维布局图所对应的拼接位置进行调整，[0300]在一些实例中，在第一生成模块12生成与至少两个图像分别对应的三维布局图据中所有的拼接位置是否存在间隙；在拼接后房型数据中所有的拼接位置不存在间隙时，[0325]图18所示装置可以执行图1-图15所示实施例的方法，本实施例未详细描述的部[0326]在一个可能的设计中，图18所示三维房型的生成装置的结构可实现为一电子设参考图像对；基于参考图像对和间隙对至少两个三维布局图所对应的拼接位置进行调整，以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实程或多个流程和/或方框图一个方框或多个方框中指定[0374]这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或