CN120088423B 融合多模态数据感知的大场景空间三维地图重建方法 （杭州宇泛智能科技股份有限公司）

(19)国家知识产权局(12)发明专利(72)发明人郑东赵拯刘浩朱翔胡榛旸限公司16035融合多模态数据感知的大场景空间三维地图重建方法本申请实施例提供一种融合多模态数据感对相机的第一点云和雷达的第二点云进行配准转矩阵的逆矩阵和反向平移向量对相机的初始始位姿将第一点云的三维点从相机坐标系转换点云的三维点从世界坐标系转换到修正后的相通过配准算法对所迷第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量：根据所述逆矩阵根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修点云：根据表面重建算法对地图点云进行表面重建操作21.一种融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述方法包括：获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点云；以及，获取雷达生成的第二点云；所述相机与所述雷达相邻设置，且朝向相同；通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的相机坐标系，得到第一修正点云；将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建操作，得到三维地图模型。2.根据权利要求1所述的融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述根据相邻帧视频计算第一点云的步骤包括：对相邻所述帧视频中的相同目标进行特征点匹配，获得各相同目标的特征点对；基于所述特征点对构建基础矩阵，并根据所述基础矩阵及相机的内参计算本质矩阵；对所述本质矩阵进行分解，获得两相邻帧相机之间的第一旋转矩阵和第一平移向量；根据相机的内参以及所述第一旋转矩阵和所述第一平移向量，通过三角测量法确定各特征点的三维坐标；多个目标的特征点的三维坐标组成所述第一点云。3.根据权利要求2所述的融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述多个目标的特征点的三维坐标组成所述第一点云的步骤包括：以相机矩形画面范围的中心点为原点，矩形长度的X%为长轴，矩形宽度的X%为短轴画椭圆，选取位于矩形与椭圆交集区域内部的特征点进行特征点匹配；所述X%为5%-15%。4.根据权利要求1所述的融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量的步骤包括：对于第一点云中的每个点，通过最近邻搜索算法找到第二点云中与其距离最接近的点组成匹配点对；基于刚性变换原则，计算能够将全部所述匹配点对对齐的第二旋转矩阵和第二平移向使用所述第二旋转矩阵和所述第二平移向量对所述第一点云中的点进行变换，使其更接近第一点云中与其距离最接近的点；重复上述步骤，至迭代次数达到上限，或所述第一点云和所述第二点云之间的距离变化小于预设值时，所获得的第二旋转矩阵和第二平移向量即为所述最优旋转矩阵和所述最优平移向量。5.根据权利要求4所述的融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述基于刚性变换原则，计算能够将全部所述匹配点对对齐的第二旋转矩阵和第二平移向量的步骤包括：在每次迭代中，随机选择部分匹配点对，并计算对齐这些匹配点对的变换矩阵，所述变3换矩阵包括所述第二旋转矩阵和所述第二平移向量；将所述变换矩阵应用于第一点云，并计算变换后的所述第一点云与所述第二点云中其他匹配点对之间的距离；将距离符合设定阈值的匹配点对视为内点进行保留，其他不符合的匹配点则视为外点进行去除。6.根据权利要求5所述的融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述在每次迭代中，随机选择部分匹配点对，并计算对齐这些匹配点对的变换矩阵的步骤包括：将相机参数、所述第一点云的点和所述第二点云中的点作为变量节点，所述第一点云与所述第二点云中与之相对应的点坐标之间的重投影误差作为观测边构建因子图；所述相机参数包括内参和外参；所述外参包括所述第二旋转矩阵和所述第二平移向量；对所述因子图进行图优化，获得所述变换矩阵；所述因子图利用稀疏线性代数和求解器进行图优化。7.根据权利要求1所述的融合多模态数据感知的大场景空间三维地图重建方法，其特征在于，所述初始位姿的获得方法为：基于已知的相机位姿，通过相对位姿逐帧积累来计算拍摄每一帧视频的相机的初始位姿。8.一种融合多模态数据感知的大场景空间三维地图重建装置，其特征在于，所述装置点云生成模块，用于获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点云；以位姿修正模块，用于通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；点云修正模块，用于根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的相机坐标系，得到第一修正点云；地图构建模块，用于将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建操作，得到三维地图模型。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的融合多模态数据感知的大场景空间三维地图重建方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的融合多模态数据感知的大场景空间三维地图重建方法的步骤。4融合多模态数据感知的大场景空间三维地图重建方法技术领域[0001]本申请涉及数据处理领域，具体涉及一种融合多模态数据感知的大场景空间三维地图重建方法。背景技术[0002]在低空经济领域中，通过三维地图重建，可以为低空飞行器提供精确的导航信息，包括空域航路、起降点位置等，从而提高飞行安全性和效率。同时，三维地图还可以用于飞行监管，实时监控飞行器的位置和状态，确保飞行活动符合规定，在城市规划中，三维地图可以提供详细的空间信息，帮助规划师更好地了解城市地形、建筑布局等，从而做出更合理的规划决策，此外，三维地图还可以用于城市建设的模拟和预测，评估不同建设方案对城市环境和交通的影响。甚至，在自然灾害或突发事件发生时，三维地图可以快速提供灾区地以评估灾害造成的损失和影响，为灾后重建提供科学依据。[0003]当前的三维重建数据，来源于摄像头的视频数据(RGB和IR)和基于雷达的点云数据。具体的，基于摄像头图像数据做三维重建时，可将其图像数据经三维坐标点恢复操作重建为三维点云数据，再根据预设表面重建算法对三维点云数据进行表面重建操作，确定对应的三维模型。或基于表面重建算法等直接将雷达的点云数据转换为三维模型。而低空经济领域中，摄像头的拍摄画面往往较远，可达到几百米甚至几公里，而雷达所生成的点云受限于成本，在200m以内。通常情况下，摄像头所生成的点云的范围广度要大于雷达生成的点云，但是雷达生成的点云的精度要大于摄像头所生成的点云的精度。如何充分利用二者的优点获取更为准确的三维地图模型，是该领域技术人员始终要解决的技术问题。发明内容[0004]针对现有技术中的问题，本申请提供一种融合多模态数据感知的大场景空间三维地图重建方法，以利用摄像头图像数据的广度优势及雷达点云数据的精度优势提升低空经济领域三维地图建模的精度。[0005]为了解决上述问题中的至少一个，本申请提供以下技术方案：[0006]第一方面，本申请提供一种融合多模态数据感知的大场景空间三维地图重建方[0007]获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点云；以及，获取雷达生成的第二点云；所述相机与所述雷达相邻设置，且朝向相同；[0008]通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；[0009]根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的相机坐标5[0010]将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建操作，得到三维地图模型。[0011]进一步的，所述根据相邻帧视频计算第一点云的步骤包括：[0012]对相邻所述帧视频中的相同目标进行特征点匹配，获得各相同目标的特征点对；[0013]基于所述特征点对构建基础矩阵，并根据所述基础矩阵及相机的内参计算本质矩[0014]对所述本质矩阵进行分解，获得两相邻帧相机之间的第一旋转矩阵和第一平移向[0015]根据相机的内参以及所述第一旋转矩阵和所述第一平移向量，通过三角测量法确定各特征点的三维坐标；多个目标的特征点的三维坐标组成所述第一点云。[0016]进一步的，所述多个目标的特征点的三维坐标组成所述第一点云的步骤包括：[0017]以相机矩形画面范围的中心点为原点，矩形长度的X%为长轴，矩形宽度的X%为短轴画椭圆，选取位于矩形与椭圆交集区域内部的特征点进行特征点匹配；所述X%为5%-15%。[0018]进一步的，所述通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量的步骤包括：[0019]对于第一点云中的每个点，通过最近邻搜索算法找到第二点云中与其距离最接近的点组成匹配点对；[0020]基于刚性变换原则，计算能够将全部所述匹配点对对齐的第二旋转矩阵和第二平[0021]使用所述第二旋转矩阵和所述第二平移向量对所述第一点云中的点进行变换，使其更接近第一点云中与其距离最接近的点；[0022]重复上述步骤，至迭代次数达到上限，或所述第一点云和所述第二点云之间的距离变化小于预设值时，所获得的第二旋转矩阵和第二平移向量即为所述最优旋转矩阵和所述最优平移向量。[0023]进一步的，所述基于刚性变换原则，计算能够将全部所述匹配点对对齐的第二旋转矩阵和第二平移向量的步骤包括：[0024]在每次迭代中，随机选择部分匹配点对，并计算对齐这些匹配点对的变换矩阵，所述变换矩阵包括所述第二旋转矩阵和所述第二平移向量；[0025]将所述变换矩阵应用于第一点云，并计算变换后的所述第一点云与所述第二点云中其他匹配点对之间的距离；[0026]将距离符合设定阈值的匹配点对视为内点进行保留，其他不符合的匹配点则视为外点进行去除。[0027]进一步的，所述在每次迭代中，随机选择部分匹配点对，并计算对齐这些匹配点对的变换矩阵的步骤包括：[0028]将相机参数、所述第一点云的点和所述第二点云中的点作为变量节点，所述第一点云与所述第二点云中与之相对应的点坐标之间的重投影误差作为观测边构建因子图；所述相机参数包括内参和外参；所述外参包括所述第二旋转矩阵和所述第二平移向量；6[0029]对所述因子图进行图优化，获得所述变换矩阵；所述因子图利用稀疏线性代数和求解器进行图优化。[0030]进一步的，所述初始位姿的获得方法为：基于已知的相机位姿，通过相对位姿逐帧积累来计算拍摄每一帧视频的相机的初始位姿。[0031]第二方面，本申请提供一种融合多模态数据感知的大场景空间三维地图重建装置，包括：[0032]点云生成模块，用于获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点[0033]位姿修正模块，用于通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；[0034]点云修正模块，用于根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的相机坐标系，得到第一修正点云；[0035]地图构建模块，用于将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建[0036]第三方面，本申请提供一种电子设备，包括存储器、处理器及存在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的融合多模态数据感知的大场景空间三维地图重建方法的步骤。[0037]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的融合多模态数据感知的大场景空间三维地图重建方法的步骤。[0038]第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的融合多模态数据感知的大场景空间三维地图重建方法的步骤。[0039]由上述技术方案可知，本申请提供一种融合多模态数据感知的大场景空间三维地图重建方法，由相机拍摄的图像生成第一点云，由雷达生成第二点云，并利用雷达数据更为准确的优势，通过获取雷达生成的第二点云与相机生成的第一点云的偏差，并由该偏差值修正相机的位姿，然后通过坐标转换将第一点云的三维点转换到修正后的相机坐标系，得到第一修正点云。相较于利用转换矩阵和平移向量直接对点云进行矫正，该种用雷达点云先修正相机位姿，再利用修正后的相机位姿修正相机点云的方法能够大幅提升相机远距离点的修正精度，使相机在保持远距离优势的基础上获得更为精确的点云数据，进而获得更为精确的三维地图模型。附图说明[0040]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请7的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0041]图1为本申请实施例中的融合多模态数据感知的大场景空间三维地图重建方法的流程示意图；[0042]图2为本申请实施例中的融合多模态数据感知的大场景空间三维地图重建方法的选点范围区域图；[0043]图3为本申请实施例中的融合多模态数据感知的大场景空间三维地图重建装置的结构图；[0044]图4为本申请实施例中的电子设备的结构示意图。处理器9130、显示器9160、电源9170、缓冲存储器9141、应用/功能存储部9142、数据存储部具体实施方式[0047]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0048]本申请技术方案中对数据的获取、存储、使用规定。[0049]考虑到现有技术中存在的问题，本申请提供一种融合多模态数据感知的大场景空间三维地图重建方法，由相机拍摄的图像生成第一点云，由雷达生成第二点云，并利用雷达数据更为准确的优势，通过获取雷达生成的第二点云与相机生成的第一点云的偏差，并由该偏差值修正相机的位姿，然后通过坐标转换将第一点云的三维点转换到修正后的相机坐标系，得到第一修正点云。相较于利用转换矩阵和平移向量直接对点云进行矫正，该种用雷达点云先修正相机位姿，再利用修正后的相机位姿修正相机点云的方法能够大幅提升相机远距离点的修正精度，使相机在保持远距离优势的基础上获得更为精确的点云数据，进而获得更为精确的三维地图模型。[0050]为了在较大范围内获取更为准确的三位地图建模，本申请充分利用相机和雷达各自的优势，提供一种融合多模态数据感知的大场景空间三维地图重建方法的实施例，参见图1,所述融合多模态数据感知的大场景空间三维地图重建方法具体包含有如下内容：[0051]步骤S101:获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点云；以及，获取雷达生成的第二点云；所述相机与所述雷达相邻设置，且朝向相同。[0052]可选的，本实施例中，相机和雷达设置于低空飞行器的机腹，且二者在物理空间中安装得很接近，甚至共享相同的安装位置或区域，因此，能够利用第二点云对第一点云进行修正，并用得到的偏差值反向修正相机的绝对位姿，利用修正后的位姿再次获取相机的点云数据，最终得到精度高于第一点云数据的第一修正点云数据。[0053]可选的，本实施例中，根据相邻帧视频计算第一点云的步骤包括：使8ORB等图像处理算法对相邻帧视频中的特征点进行提取，然后，使用最邻近算法对相邻帧视频中的相同目标进行特征点匹配，获得各相同目标的特征点对；基于该特征点对构建基础矩阵，并根据基础矩阵及相机的内参(焦距、主点坐标、畸变系数等)计算本质矩阵；通过对本质矩阵进行分解，获得两相邻帧相机之间的第一旋转矩阵和第一平移向量，也即两个相邻帧相机的相对位姿；最后，根据相机的内参以及第一旋转矩阵和所述第一平移向量，通过三角测量法确定各特征点的三维坐标；多个目标的特征点的三维坐标组成第一点云。[0054]具体的，基础矩阵的定义为：[0056]其中，F为基础矩阵，E为本质矩阵，K为相机的内参矩阵。[0057]本质矩阵E与相机的相对位姿(旋转矩阵R和平移向量t)的关系为：[0059]其中，[t]是平移向量t的反对称矩阵。[0060]特征点的三维坐标的计算公式为：[0062]其中，p₁和p₂为两个相邻帧相机坐标系下的特征点，K为相机的内参矩阵，(R,t)为相机的相对位姿，×为向量的叉积。[0063]可选的，本实施例中，考虑到本发明的使用场景为大空间尺度，相机位姿端细小的误差在画面远端会放大，虽然对画面做畸变矫正可以恢复画面，但恢复后的画面，在边缘处仍有失真问题，因此，为消除镜头畸变对最终结果的影响，本实施例在选择特征点时，选取画面中间区域的特征点，边缘特征点忽略，同时舍弃一部分边缘画面，只用中间大部分的画面，尽可能减少镜头畸变对计算相机位姿的影响。[0064]选点范围区域mask如图2所示，以相机矩形画面范围的中心点为原点，矩形长度的X%为长轴，矩形宽度的X%为短轴画椭圆，选取位于矩形与椭圆交集区域内部的特征点进行特征点匹配，其余的特征点舍弃。矩形是原始的画面范围，示例性的，如，摄像头是16:9的，则分辨率为1920*1080.X跟据具体畸变情况而定，范围为5%-15%,例如，选取5%,10%,15%[0065]步骤S102:通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿。[0066]可选的，本实施例采用ICP(IterativeClosestPoint)算法对第一点云和第二点云进行配准，即，以雷达的第二点云为目标点云，相机的第一点云为源点云，最小化第一点云和第二点云之间的误差函数E:[0068]其中，P和Q;分别是第一点云和第二点云中的匹配点，R和t分别为相机的旋转矩阵和平移向量。[0069]即，在点云配准过程中，ICP算法通过迭代地寻找两个点云(第一点云和第二点云)之间的最近点对，并计算最优的刚性变换(包括旋转矩阵R和平移向量t),使得源点云(第一9点云)能够在目标点云(第二点云)的坐标系下对齐。如果将第一点云中的每个点都按照旋转矩阵R和平移向量t进行变换，可以得到修正后的点云。这个修正后的点云与雷达生成的第二点云在空间上更加接近，能够提高第一点云的精度。然后，由于旋转矩阵R和平移向量t是将第一点云变换到第二点云的变换矩阵，那么反向修正相机的位姿就需要使用R的逆矩阵(或转置矩阵，因为R是正交矩阵，其逆矩阵等于转置矩阵)和-t(即平移向量的相反数),更新相机的位姿，使其能够与修正后的点云对齐。最后，利用修正后的位姿再次获取相机的点云数据，最终得到精度高于第一点云数据的第一修正点云数据。[0070]具体的，本实施例中，配准步骤包括：对于第一点云中的每个点，通过最近邻搜索算法找到第二点云中与其距离最接近的点组成匹配点对；基于刚性变换原则，计算能够将全部匹配点对对齐的第二旋转矩阵和第二平移向量；使用第二旋转矩阵和第二平移向量对第一点云中的点进行变换，使其更接近第一点云中与其距离最接近的点；重复上述步骤，至迭代次数达到上限，或第一点云和第二点云之间的距离变化小于预设值时，所获得的第二旋转矩阵和第二平移向量即为最优旋转矩阵和最优平移向量。[0071]可选的，本实施例中，考虑到相机的画面中心部分畸变影响最小，雷达也是越靠近中心区域，其精度越高的特性，在做ICP匹配时，可为这些中心区域增加权重方案如下：为了实现中间区域权重大于边缘区域，可以设置一个适当的σ值，使得高斯函数在中心区域的值较大，而在边缘区域的值较小，使用这些权重来调整点云数据，使得中心区域的点在配准过程中具有更大的影响力。具体公示如下：[0073]其中，d表示点到某个参考点(本例中是画面中心点)的距离，σ是标准差，用于控制高斯分布的宽度。[0074]在点云配准中，距离中心区域越近的点(即d值越小),其权重越大；距离中心区域[0075]具体在本例中，先核对雷达数据的精准度，若测量结果显示其中间数据误差与边缘数据误差偏差越大，即雷达数据中，中心的数据越精准，则d应选越小的值。[0076]可选的，本实施例中，考虑到该点云配准为多点匹配，匹配点的质量对配准结果至预设一个合理的阈值来区分正常点(内点)和异常点(外点),从匹配点中筛选出正确的变换参数(最优旋转矩阵和最优平移向量),以减少异常点对配准的影响，提高配准的鲁棒性和准确性。[0077]具体的，本实施例中，上述基于刚性变换原则，计算能够将全部匹配点对对齐的第二旋转矩阵和第二平移向量的步骤包括：在每次迭代中，随机选择部分匹配点对，优选为最小数量的匹配点对，如3个匹配点对，并计算对齐这些匹配点对的变换矩阵，该变换矩阵包括第二旋转矩阵和第二平移向量；将变换矩阵应用于第一点云，并计算变换后的第一点云与第二点云中其他匹配点对之间的距离，评估变换的质量；将距离符合设定阈值的匹配点更新最优的变换矩阵，直到找到一个能最大程度匹配内点的变换矩阵。了提高运算速度，本实施例采用因子图(FactorGraph)以更加结构化和高效的方式来处理这些约束。即，在本实施例的RANSAC算法中，通过从匹配点中随机选择样本来估计一个模型，并检查哪些点对符合该模型(即内点)。而通过将因子图引入RANSAC算法，可以通过建模约束和优化问题来加速此过程，尤其是在应用于大规模数据的情况下。[0079]因子图是一种图形模型，它由变量节点和因子节点组成，因子节点表示变量之间的约束。通常，它在最优化问题中用于表达不同变量之间的关系。因此，在本实施例的RANSAC算法中，因子图可以结构化地表示点云之间的变换(如旋转和平移),并通过优化求解最优变换，以使得本实施例能够在不直接暴力遍历所有可能匹配点的情况下高效地找到最优解，提高最优解的搜索速度。[0080]具体的，本实施例中，将因子图引入RANSAC算法的大致框架为：将相机参数(包括内参如焦距、主点坐标等，以及外参如第二旋转矩阵和第二平移向量描述的相机位姿等)、第一点云的点和第二点云中的点作为变量节点，并将BA(BundleAdjustment,束调整)算法作为约束加入因子图，以进一步优化相机的位姿和特征点的三维坐标，用于精确化初始的SIFT/SURF/ORB等特征匹配得到的几何模型。[0081]本实施例中，将第一点云与第二点云中与之相对应的点坐标之间的重投影误差作为观测边，或称为因子节点构建因子图。每个匹配点对作为一个因子节点，连接两个变量节点(如，对应于第一点云和第二点云的变换矩阵，或称为变换参数),因子节点的任务是衡量当前变换下点云匹配的误差。通过最小化重投影误差，联合优化场景中的三维点的位置以及相机的内外参数，从而获得最精确的几何模型和相机姿态。[0082]更具体的，对于一个已知的三维点P和相机参数，可以计算出该点在图像上的投影坐标u。如果雷达观测到的特征点位置为u',则重投影误差定义为二者之差：e=u'-u.BA的目标是找到一组相机参数和三维点坐标，使得所有图像上所有特征点的重投影误差之和最[0083]因此，在本实施例RANSAC算法的每次迭代中，将估计的变换参数作为因子图中的变量节点，通过优化算法，例如高斯-牛顿法、Levenberg-Marquardt算法等来优化这些变换参数，优化的目标是最小化所有因子节点中约束的误差，从而获得最优的变换矩阵。然后根据当前优化得到的变换，通过计算每个匹配点对的误差来判断该匹配点是否为内点。如果化得到的变换参数会与当前最优变换进行比较，更新最优的变换(具有最多内点的变换)。作为优选方案，本实施例利用稀疏线性代数和高效的求解器进行图优化。每个三维点的内点或外点状态。而因子图可以帮助识别和分组具有相似约束关系的三维点，进而加速这些三维点的处理。通过将这些任务分解并并行执行，因子图能够显著提高RANSAC算法的计算效率。而且，通过因子图，RANSAC算法能够更高效地表示和利用内点和外点之间的关系，这种结构化表示有助于在选择内点和外点时减少冗余计算。而且因子图能11够通过迭代优化，使得每一轮计算都能更快地收敛于一个合理的解。相比于传统RANSAC算法的随机选择和重复试探，因子图通过更加精细的优化过程快速判断哪些三维点属于内点，从而加速了整体算法的收敛速度。局优化方法来优化解的质量。因子图可以同时处理多组数据的约束关系，并通过优化算法来修正偏差，以减少外点对最终模型的影响，从而在全局层面上提高内点的选择准确性。这样，系统不需要每次都重复计算所有点的内外点关系，同时提升了计算速度。而且，在传统方法中，内点和外点的选择通常依赖于局部的距离度量，可能导致误差较大，而本实施例中，因子图通过利用更复杂的全局约束，如，位姿约束等，帮助更精确地筛选出三维点中的内点。这种精确的筛选进一步减少了不必要的计算，特别是在数据量较大的情况下。因此，由于因子图能够考虑到所有点之间的全局约束，它比传统的RANSAC方法在内点的选择上更精确。助全局约束和优化方法，提高内点选择的精度，并减少冗余计算，从而显著加快计算速度、提高鲁棒性和加快收敛过程，以适应大规模点云数据的处理。[0087]可选的，本实施例中，初始位姿的获得方法为：基于已知的相机位姿，通过相对位姿逐帧积累来计算拍摄每一帧视频的相机的初始位姿。即，通过分析相机相邻帧之间的相对运动来计算相机在拍摄视频时的位姿(即每一帧相机的旋转矩阵R和平移向量t)。即，假设相机的第一帧位姿T₀=[R₀It。]已知，且通常设定为单位矩阵(即R₀=I和t₀=0),则目标是计算相机在接下来的每一帧的位姿T;=[R:It;],其中R是旋转矩阵，t;是平移向量，如上述步骤中的第一旋转矩阵和第一平移向量。[0088]具体的，通过LK光流(Lucas-Kanade光流)算法或稠密光流(DenseOpticalFlow)方法，利用图像中的像素点的运动估计相机的运动。从上述方法中得到的旋转矩阵R通过将相对位姿逐帧积累来计算每一帧的绝对位姿的公式为：[0090]其中，Ti-1是上一帧的相机位姿，Tre1=[次计算新的相机位姿时，都会更新当前帧的相机的绝对位姿。[0091]步骤S103:根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的[0092]在计算三维点云时，三角测量法是利用两帧图像之间的相对位置(基线)和对应点之间的视差来计算每个点在三维空间中的位置。这个过程依赖于相机的内参(焦距、主点坐标等)和外参(相机的位姿，如旋转和平移)来进行。即，每个三维点的位置是通过相机的位姿和图像中的对应点进行重建的。相机的位姿定义了从世界坐标系到相机坐标系的转换。因此，如果已经通过三角测量法得到一个三维点云，那么这些点的坐标是基于相机坐标系的，如果相机位姿发生了修正，三维点云需要从旧的相机坐标系转换到新的相机坐标系中。[0093]具体的，假设原始的三维点云P=(X,Y,Z)是相对于初始相机位姿T。=[R₀It。]的位姿T。′=[R。'It。′],将所有的三维点云从原始坐标系转换到新的坐标系的转换步骤为：[0094]1.将三维点从相机坐标系转换到世界坐标系：[0095]使用相机位姿T₀=[R₀It。]将每个三维点P从相机坐标系转换到世界坐标系下：[0097]2.将三维点从世界坐标系转换到新的相机坐标系：[0098]使用新的相机位姿]将点云转换到新的相机坐标系下：[0100]其中R。”是R。’的转置矩阵(表示从世界坐标系到相机坐标系的旋转)。[0101]3.合并变换：[0102]将这两个步骤结合起来，则可以从初始相机坐标系T₀中的三维点云P计算到修正后相机坐标系T。'中的三维点云：[0104]这里的R。·P+t。是将三维点从相机坐标系转换到世界坐标系的结果，减去t。'并乘以R。'T,则完成了三维点从世界坐标系到修正后相机坐标系的转换。[0105]由于在使用相机与雷达对低空经济领域进行探测时，相机及雷达形成的点云只在设备主点附近的扇形辐射范围内部分重叠，若在点云配准后采用变换矩阵直接对点云进行矫正，则随着距离的增加，相机点云的修正误差会越来越大，难以起到对雷达点云的数据范围进行补充的意义。因此，相较于传统方法，该种用雷达点云先修正相机位姿，再利用修正后的相机位姿修正相机点云的方法能够大幅提升相机远距离点的修正精度，使相机在保持远距离优势的基础上获得更为精确的点云数据，进而获得更为精确的三维地图模型。[0106]步骤S104:将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建操作，得到三维地图模型。[0107]由于通过三角测量法计算出的多个连续的三维点云分别位于多个相机帧的三维坐标系中，因此，在使用三角测量法计算出多个连续的三维点云之后，需要通过点云融合将多个相机帧的三维坐标系对齐到同一个世界坐标系中，将多个点云合并成一个统一的三维模型。[0108]具体的融合方法为：[0109]坐标转换：对每个新的点云(比如，帧k计算出来的点云)进行坐标变换，将它从该帧的相机坐标系转换到世界坐标系。参考上述相机初始位姿的计算过程，获得相机k相对于参考帧(通常是帧0)的旋转矩阵R和平移向量t,则将点P从相机k坐标系转换到参考帧的世界坐标系P₀的公式是：[0111]其中R是点云中某一三维点在相机k坐标系下的坐标，P。是该点在参考帧的世界坐标系下的坐标。[0112]点云配准：使用ICP算法或NDT算法等点云配准算法对齐点云，并通过拼接将各点云进行融合，得到一个完整的、融合的三维点云。优选的，还可使用体素滤波(VoxelGridFilter)等后处理方法来减少点云的密度和噪声。[0113]网格化：对融合后的点云进行网格化操作，获得三维网格模型；将图像中的表面信息映射到三维网格上，形成带有纹理的三维地图模型。[0114]从上述描述可知，本申请实施例提供的融合多模态数据感知的大场景空间三维地图重建方法，由相机拍摄的图像生成第一点云，由雷达生成第二点云，并利用雷达数据更为准确的优势，通过获取雷达生成的第二点云与相机生成的第一点云的偏差，并由该偏差值修正相机的位姿，然后通过坐标转换将第一点云的三维点转换到修正后的相机坐标系，得到第一修正点云。相较于利用转换矩阵和平移向量直接对点云进行矫正，该种用雷达点云先修正相机位姿，再利用修正后的相机位姿修正相机点云的方法能够大幅提升相机远距离点的修正精度，使相机在保持远距离优势的基础上获得更为精确的点云数据，进而获得更为精确的三维地图模型。[0115]为了在较大范围内获取更为准确的三位地图建模，本申请充分利用相机和雷达各自的优势，提供一种用于实现所述融合多模态数据感知的大场景空间三维地图重建方法的全部或部分内容的融合多模态数据感知的大场景空间三维地图重建装置的实施例，参见图3,所述融合多模态数据感知的大场景空间三维地图重建装置具体包含有如下内容：[0116]点云生成模块10,用于获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一[0117]位姿修正模块20,用于通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；[0118]点云修正模块30,用于根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的相机坐标系，得到第一修正点云；[0119]地图构建模块40,用于将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重[0120]从上述描述可知，本申请实施例提供的融合多模态数据感知的大场景空间三维地图重建装置，由相机拍摄的图像生成第一点云，由雷达生成第二点云，并利用雷达数据更为准确的优势，通过获取雷达生成的第二点云与相机生成的第一点云的偏差，并由该偏差值修正相机的位姿，然后通过坐标转换将第一点云的三维点转换到修正后的相机坐标系，得到第一修正点云。相较于利用转换矩阵和平移向量直接对点云进行矫正，该种用雷达点云先修正相机位姿，再利用修正后的相机位姿修正相机点云的方法能够大幅提升相机远距离点的修正精度，使相机在保持远距离优势的基础上获得更为精确的点云数据，进而获得更为精确的三维地图模型。[0121]从硬件层面来说，为了能够在较大范围内获取更为准确的三位地图建模，本申请充分利用相机和雷达各自的优势，提供一种用于实现所述融合多模态数据感知的大场景空间三维地图重建方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有[0122]处理器(processor)、存储器(memory)、通信接口(CommunicationsInterface)口用于实现融合多模态数据感知的大场景空间三维地图重建装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的融合多模态数据感知的大场景空间三维地图重建方法的实施例，以及融合多模态数据感知的大场景空间三维地图重建装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。[0123]可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便[0124]在实际应用中，融合多模态数据感知的大场景空间三维地图重建方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。[0125]上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。[0126]图4为本申请实施例的电子设备9600的系统构成的示意框图。如图4所示，该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是，该图4是示例性的；还可以使用其他类型的结构，来补电信功能或其他功能。[0127]一实施例中，融合多模态数据感知的大场景空间三维地图重建方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：[0128]步骤S101:获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点云；以及，获取雷达生成的第二点云；所述相机与所述雷达相邻设置，且朝向相同；[0129]步骤S102:通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；[0130]步骤S103:根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的相机坐标系，得到第一修正点云；[0131]步骤S104:将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建操作，得到三维地图模型。[0132]从上述描述可知，本申请实施例提供的电子设备，由相机拍摄的图像生成第一点云，由雷达生成第二点云，并利用雷达数据更为准确的优势，通过获取雷达生成的第二点云与相机生成的第一点云的偏差，并由该偏差值修正相机的位姿，然后通过坐标转换将第一点云的三维点转换到修正后的相机坐标系，得到第一修正点云。相较于利用转换矩阵和平移向量直接对点云进行矫正，该种用雷达点云先修正相机位姿，再利用修正后的相机位姿修正相机点云的方法能够大幅提升相机远距离点的修正精度，使相机在保持远距离优势的基础上获得更为精确的点云数据，进而获得更为精确的三维地图模型。[0133]在另一个实施方式中，融合多模态数据感知的大场景空间三维地图重建装置可以与中央处理器9100分开配置，例如可以将融合多模态数据感知的大场景空间三维地图重建装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现融合多模态数据感知的大场景空间三维地图重建方法功能。器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不示的所有部件；此外，电子设备9600还可以包括图4中没有示出的部件，可以参考现有技术。[0135]如图4所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。[0137]输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示[0138]该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器且设有更多数据，该存储器的示例有时被称为EPROM的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。[0139]存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据，例如序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。[0140]通信模块9110即为经由天线9111发送和接收信号的发送机/接收机。通信模块9110(发送机/接收机)耦合到中央处理器9100,以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。[0141]基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块9110(发送机/接收机)还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声[0142]本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的融合多模态数据感知的大场景空间三维地图重建方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的融合多模态数据感知的大场景空间三维地图重建方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：[0143]步骤S101:获取相机拍摄的视频帧序列，并根据相邻帧视频计算第一点云；以及，获取雷达生成的第二点云；所述相机与所述雷达相邻设置，且朝向相同；[0144]步骤S102:通过配准算法对所述第一点云和所述第二点云进行配准，获得最优旋转矩阵和最优平移向量；计算所述最优旋转矩阵的逆矩阵，以及所述最优平移向量的反向平移向量；根据所述逆矩阵和所述反向平移向量对相机的初始位姿进行修正，得到修正后的相机位姿；[0145]步骤S103:根据所述初始位姿将所述第一点云的三维点从相机坐标系转换到世界坐标系，再根据修正后的相机位姿将所述第一点云的三维点从世界坐标系转换到修正后的[0146]步骤S104:将多个修正后的相机坐标系下的第一修正点云转换到世界坐标系中进行融合，获得整个地图的三维点云；根据表面重建算法对地图点云进行表面重建操作，得到三维地图模型。[0147]从上述描述可知，本申请实施例提供的计算机可读存储介质，由相机拍摄的图像生成第一点云，由雷达生成第二点云，并利用雷达数据更为准确的优势，通过获取雷达生成的第二点云与相机生成的第一点云的偏差，并由该偏差值修正相机的位姿，然后通过坐标转换将第一点云的三维点转换到修正后的相机坐标系，得到第一修正点云。相较于利用转换矩阵和平移向量直接对点云进行矫正，该种用雷达点云先修正相机位姿，再利用修正后的相机位