CN119494911A 视觉三维重建方法、设备及存储介质 （北京轻舟智航科技有限公司）

第二非视觉传感器与所述视觉传感器获取的数2使用第一非视觉传感器生成的数据作为监督，对视觉传感器生使用第二非视觉传感器生成的数据对筛选出的所述有效视觉所述使用第一非视觉传感器生成的数据作为监督，对视觉传感器生使用所述深度信息作为监督项，监督对视觉传感器生成的视所述获取第一非视觉传感器生成的深度信息，包括：获取第一非视觉所述使用所述深度信息作为监督项，监督对视觉传感器生成的视觉数据进获取对视觉传感器生成的视觉数据进行运动结构恢复后得到的确定深度信息监督数据对，所述深度信息监督数据对包括时间使用所述第一非视觉传感器与所述视觉传感器构建联合观测，筛选出有效视觉数据，确定联合观测数据对，所述联合观测数据对包括时间戳一致针对每一所述联合观测数据对，使用观测矩阵，观测非视觉点云根据非视觉点云帧构建源栅格，确定构建的源栅格内各源栅格点对应的源单元格状根据深度信息监督后的视觉点云帧构建源栅格，确定构建的源栅3观测对所述源栅格内状态为占用的各源单元格对应的各源栅格点进行坐标变换后得统计观测到的各所述伪目标栅格点对应的各目标单元格状述数量指示所述非视觉点云帧与深度信息监督后的视觉点云帧使用第二非视觉传感器生成的数据对筛选出的所述有效视觉所述第二非视觉传感器生成的数据包括对应一时间戳的导航位姿矩阵所述筛选出的所述有效视觉数据包括与一时间戳对应使用导航位姿矩阵对与其时间戳一致的相机位姿矩阵进行基于导基于与各时间戳分别对应的残差构建针对筛选根据每个位置监督后的相机位姿矩阵优化视觉三维重建，生成优化按照时间戳的先后顺序排列全部的有效视觉点云帧分别对应的相机位姿确定所述角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵对应按照时间戳的先后顺序排列全部的有效视觉点云帧分别对应的相机位姿依次确定自首矩阵指向最前的中间矩阵、自前一个4所述第一非视觉传感器包括雷达装置；所述视觉传感器包括光学5[0004]目前相关技术中的视觉三维重建方法在封闭简单的室内环境取得了良好的重建[0016]获取对视觉传感器生成的视觉数据进行运动结构恢复后6[0018]在本申请的一些实施例中，使用第一非视觉传感器与视[0025]观测对源栅格内状态为占用的各源单元格对应的各源栅格点进行坐标变换后得量指示非视觉点云帧与深度信息监督后的视觉点[0030]使用导航位姿矩阵对与其时间戳一致的相机位姿矩阵进7[0034]确定角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵对应[0036]以各角度平移量组合作为代价函数，构建针对全部的有效视觉点云帧的优化任[0038]自先向后依次选取彼此相邻的预设数量的相机位姿矩阵[0039]依次确定自首矩阵指向最前的中间矩阵、自前一个中间矩阵指向后一个中间矩8[0054]图4C示出了本申请一实施例中针对预设时间跨度内的多个图像帧进行运动结构[0055]图4D示出了本申请一实施例中针对预设时间跨度内的多个图像帧利用深度信息[0057]图4F示出了本申请一实施例中针对预设时间跨度内的多个图像帧进行运动结构[0058]图4G示出了本申请一实施例中针对预设时间跨度内的多个图像帧执行联合观测[0059]图4H示出了相关技术中针对大尺度大范围场景进行运动结构恢复在收敛困难时[0060]图4I示出了本申请一实施例中针对大尺度大范围场景基于卫星导航位姿进行运重建这项任务主要是在相机获取的图像中识别出对于自动驾驶比较重要的路标或环境点，9[0071]具体地，根据相机获取的图像信息，实现运动估计的方法包括运动结构恢复[0072]目前相关技术中的视觉三维重建方法在封闭简单的室内环境取得了良好的重建帧中鲁棒的特征点对，引入激光雷达和GNSS等传感器分别实现深度信息监督和位置监督，可以包括激光雷达(LightDetectionandRanging，LiDAR)、毫米波雷达(RadioDetectionandRanging，Radar)、超声波雷达(UltrasonicSensor)、合成孔径雷达航系统GNSS(GlobalNavigationSatelliteSystem)、惯性测量单元(InertialMeasurementUnit，IMU)、陀螺仪(Gyroscope)、加速度计(Accelerometer)、磁力计来。可以基于激光雷达接收到的反射回波得到如图4B所示的目标区域内各环境点的点云。非视觉点云帧记载的各环境点的位置信息转换到视觉[0090]获取对视觉传感器生成的视觉数据进行运动结构恢复后的环境点的位置信息与深度信息监督数据对中的视觉点云帧记载的环境点的位置信息对情况满足要求的深度信息监督后的视觉点云帧作为有效视觉点云帧并确定为有效视觉数与所述第一非视觉传感器及所述视觉传感器对[0100]观测对所述源栅格内状态为占用的各源单元格对应的各源栅格点进行坐标变换后得到的各伪目标栅格点在所述目标栅格内[0103]所述第二非视觉传感器生成的数据包括对应一时间戳的导航位姿矩阵及导航位[0105]使用导航位姿矩阵对与其时间戳一致的相机位姿矩阵进[0106]基于与各时间戳分别对应的残差构建针对筛选出的所述有效视觉数据的优化任机位姿矩阵构成相对运动估计序列，确定与所述相对运动估计序列对应的角度平移量组[0109]确定所述角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵机位姿矩阵构成相对运动估计序列，确定与各相对运动估计序列对应的各角度平移量组[0111]以各角度平移量组合作为代价函数，构建针对全部的有效视觉点云帧的优化任[0113]自先向后依次选取彼此相邻的预设数量的相机位姿矩阵[0114]依次确定自首矩阵指向最前的中间矩阵、自前一个中间矩阵指向后一个中间矩运动一致性校验的深度信息监督后的点云帧为各有效视部的有效视觉点云帧构建优化任务，生成各有效视觉点云帧对应的优化后的相机位姿矩对应的各导航位姿矩阵，对全部的导航位姿矩阵与优化后的相机位姿矩阵构建优化任务，后)的第二时间戳对应的激光雷达点云帧，直到确定出各图像帧分别最邻近的各激光雷达[0130]S11：将各激光雷达点云帧中环境点的位置信息处理为图像帧深度信息监督用位[0132]S13：使用各图像帧深度信息监督用位置信息参考值处理与各图像帧对应的各原环境点的位置信息处理为图像帧深度信息监督用位置信息参考值及生成与各图像帧对应过坐标系转换可以将环境点在激光雷达坐标系下的三维坐标转换到在相机坐标系下的新位置信息参考值)、与时间上一致的图像帧对应的原始点云帧中记载的相匹配的真环境点Xc)，也即原始点云帧记载的环境点位置信息)之间的相00[0143]具体地，距离阈值θd的数值可以根据激光雷达的安装位置与相机的安装位置确对真环境点的权重值可以为0.5，也即将图像帧深度信息监督用位置信息参考值与原始点对真环境点的权重值可以为0，也即将图像帧深度信息监督用位置信息参考值作为深度信以逐步增加针对激光雷达进行深度信息监督的图像对应的各深度信息监督后的点云帧所记载的[0151]S21：将激光雷达坐标系到相机坐标系的变换矩阵作为联合观测使用的相对运动[0153]S23：将重叠情况满足要求的深度信息监督后的点云帧确定为满足运动一致性校[0154]前述步骤S21中，可以将激光雷达坐标系到相机坐标系的变换矩阵作为联合观测[0156]前述步骤S22中，确定各深度信息监督后的点云帧与各激光雷达点云帧的重叠情光雷达点云帧这两个点云之间的重叠情况来判断深度信息监督后的点云帧指示的相对运觉点云帧而抛弃无效视觉点云帧，有利于减少运动结构恢复所需的时间消耗和资源消耗，[0162]确定各所述伪目标位置点对应的各目标单元格状态为占用的数量作为所述深度用的数量作为所述深度信息监督后的点云帧与所述激光雷达点云帧监督后的点云帧为不满足运动一致性校验的无效视觉点[0166]如此，将激光雷达点云帧与深度信息监督后的点云帧分别构建源栅格或目标栅[0168]具体地，以深度信息监督后的点云帧或激光雷达点云帧构建源栅格或目标栅格[0171]利用估计的相对运动，将源栅格中的每个取值为1或状态为占用的单元格的中心t要求的相对运动帧序列中指定的深度信息监督后的点云帧为不满足运动一致性校验的无相对运动帧序列中指定的深度信息监督后的点云帧为不满足运动一致性校验的无效视觉的校验点云帧对应的在前相机位姿矩阵Ti-1，确定时间上在后的校验点云帧对应的在后相机位姿矩阵Ti，确定在前相机位姿矩阵的的两个校验点云帧形成的相对运动矩阵Tij,k合满足TijTjkTklTli∈SE(3)。SE(3)也称欧式变换(EuclideanTransformation)或刚体变换[0199]确定所述角度平移量组合满足要求的相对运动帧序列中的第一个深度信息监督[0202]确定所述角度平移量组合不满足要求的相对运动帧序列中的第一个深度信息监督后的点云帧为不满足运动一致性校验的无效常为较小的数值)，利用该组阈值分别确定指定数量的校验点云帧利用前述的方法对相对部的有效视觉点云帧构建优化任务，生成各有效视觉点云帧对应的优化后的相机位姿矩作为多个校验点云帧以全部获取的重叠情况满足要求的深度信息监督后的点云帧作为多视觉点云帧对应的相机位姿矩阵，提高了优化后的相机位姿矩阵记载的相对运动的一致[0222]以上结合附图说明了针对一个相机与一个激光雷达同步获取的图像帧及激光雷监督后的相机位姿矩阵用于图像运动结构恢复可以进一步提高三维场景重建的精度，如[0240]如图2B所示，本申请实施例还提供另一种视觉三维重建方法，由以下步骤S110、[0244]对LiDAR帧序列(帧率为10Hz)和图像帧序列(帧率为30Hz)进行基于时间戳的筛深度信息和位置信息)，通过激光雷达坐标系到相机坐标系的位姿变换Tlc将激光雷达坐标函数的结果小于等于阈值θd，则最终状态量为Xc和Xl取均值；若差异函数的结果大于阈值的位姿信息来对SFM得到的位姿信息做监督，以解决在大尺度自动驾驶场景三维重建尺度获取中位数值作为鲁棒拟合误差的权重wei度恢复不准确的问题，引入LiDAR的直接深度测量监督有利于SFM视觉三角解算的精度提特征点参与匹配和重建增加了时间消耗和资源消耗对精度无益，引入LiDAR进行联合观测[0267]本申请实施例还提供一种视觉三维重建装置500，用于执行上述任一实施例提供[0268]深度信息监督处理模块501，用于利用各激光雷达点云帧对各图像帧运动结构恢[0270]相机位姿矩阵优化模块503，用于利用获取的各相机位姿矩阵对全部的有效视觉[0271]相机位姿矩阵位姿监督模块504，用于获取与所述优化后的相机位姿矩阵对应的[0273]本申请实施例提供的视觉三维重建装置与本申请实施例提供的视觉三维重建方器801通过总线802连接；所述存储器801中存储有可在所述处理器800上运