CN119494913A 视觉三维重建方法、装置、设备及存储介质 （北京轻舟智航科技有限公司）

2使用第一非视觉传感器采集的数据作为监督，对视觉传感器采使用所述第一非视觉传感器与所述视觉传感器构建联合观基于第一非视觉传感器采集的多个非视觉点云帧，分别获取各非从第一非视觉传感器采集的第一非视觉点云帧中，获取所述第一非将所述环境点的位置信息从所述第一非视觉传感器的坐标系下转换到所述视觉传感对视觉传感器采集的视觉数据包括的图像帧进行运动结构恢复解算基于所述各非视觉点云帧和所述多个视觉点云帧，构建多个监据对中包括时间戳一致的一个非视觉点云帧将同一监督数据对包括的非视觉点云帧中环境点的深度信息与视觉点云帧中相同环基于第一非视觉传感器采集的多个非视觉点云帧及运动结构恢复后的视觉数据包括个非视觉点云帧与运动结构恢复后的一个视针对每一所述联合观测数据对，检测联合观测数据对中非视根据第一联合观测数据对中的第一点云帧构建源栅格，确定所述根据所述第一联合观测数据对中的第二点云帧构建目标栅格，3基于所述各源栅格点对应的源单元格状态及所述各目标栅格点对应的目标单元格状通过所述预设观测矩阵，分别对所述源栅格内状态为占用的各源分别获取各伪目标栅格点在所述目标栅格内对统计各伪目标栅格点对应的各目标单元格状态为占用的数述第一联合观测数据对中非视觉点云帧与视觉点云帧按照时间戳的先后顺序对各有效视觉点云帧各自对应的相机位姿矩阵进行从排序得到的相机位姿矩阵序列中，选取连续的预设数量个相机位姿将角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵对应的有效按照时间戳的先后顺序对各有效视觉点云帧各自对应的相机位姿矩阵进行从排序得到的相机位姿矩阵序列中，选取连续的预设数量个相机位姿所述相对运动估计序列中所述预设数量的相机位姿矩阵包括首矩阵、中依次确定自首矩阵指向最前的中间矩阵、自前一个中间矩阵指向相将各相对运动估计矩阵累乘后作为与所述相对运动估计序列对应的角4[0012]使用所述深度信息作为监督项，对视觉传感器采集的视觉数据进行运动结构恢[0013]在本申请的一些实施例中，所述基于第一非视觉传感器采集的多个非视觉点云[0015]将所述环境点的位置信息从所述第一非视觉传感器的坐标系下转换到所述视觉5督数据对中包括时间戳一致的一个非视觉点云帧和一个[0019]将同一监督数据对包括的非视觉点云帧中环境点的深度信息与视觉点云帧中相[0021]基于第一非视觉传感器采集的多个非视觉点云帧及运动结构恢复后的视觉数据[0026]基于所述各源栅格点对应的源单元格状态及所述各目标栅格点对应的目标单元示所述第一联合观测数据对中非视觉点云帧与6[0034]将角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵对应的[0042]将各相对运动估计矩阵累乘后作为与所述相对运动估计序列对应的角度平移量[0046]在本申请实施例中，引入第一非视觉传感器对运动结构7[0056]图4C示出了本申请一实施例中针对预设时间跨度内的多个图像帧进行运动结构[0057]图4D示出了本申请一实施例中针对预设时间跨度内的多个图像帧利用深度信息[0059]图4F示出了本申请一实施例中针对预设时间跨度内的多个图像帧进行运动结构[0060]图4G示出了本申请一实施例中针对预设时间跨度内的多个图像帧执行联合观测[0061]图4H示出了相关技术中针对大尺度大范围场景进行运动结构恢复在收敛困难时[0062]图4I示出了本申请一实施例中针对大尺度大范围场景基于卫星导航位姿进行运重建这项任务主要是在相机获取的图像中识别出对于自动驾驶比较重要的路标或环境点，8[0073]根据相机获取的图像，实现运动估计的算法包括运动结构恢复(StructureFrom[0074]目前相关技术中的视觉三维重建方法在封闭简单的室内环境取得了良好的重建像头等。其中，雷达装置可以包括但不限于激光雷达(LightDetectionandRanging，LiDAR)、毫米波雷达(RadioDetectionandRanging，Radar)、超声波雷达(Ultrasonic星导航系统(如GNSS)、惯性测量单元(InertialMeasurementUnit，IMU)、陀螺仪的视觉传感器及非视觉传感器各自的数量均可以是9或多个区域。本申请实施例中以可移动载具上安装有激光雷达和RGB相机为例进行详细说包括多个非视觉点云帧。第一非视觉传感器是按照一定的采样频率对目标区域进行探测[0088]在本申请实施例中，该视觉三维重建方法既可以对室内同，本申请实施例以获取第一非视觉点云帧中环境点的深度信息为例来详细说明该过程。同一监督数据对包括的非视觉点云帧中环境点的深度信息与视觉点云帧中相同环境点的[0095]由于运动结构恢复解算会受视觉传感器采集的图像质量和标定结果等匀速的影点的深度信息与运动结构恢复得到的视觉点云帧中相同环境点的深度信息进行加权平均，选无效特征点，且无效特征点参与匹配和重建增加了时间消耗和资源消耗而对精度无益。本申请实施例引入非视觉传感器，通过非视觉传感器与视觉传感器进行联合观测的方式，视觉传感器的坐标系转换至视觉传感器的坐[0103]通过将属于同一联合观测数据对中的非视觉点云帧和视觉点云帧分别进行栅格矩阵可以是视觉传感器采集用于解算该视觉点云帧的图估计序列中指定的相机位姿矩阵对应的有效视觉点云帧，确定为二次观测有效视觉点云现相邻的两个相机位姿矩阵之间的相对运动。上述依次确定自首矩阵指向最前的中间矩[0116]上述角度平移量组合满足要求可以包括该组合中的角度满足与角度阈值之间的[0119]上述相对运动估计序列及其对应的角度平移量组合的确定方式与上文中描述的[0123]后续基于位姿监督后的相机位姿矩阵，对各有效视觉点[0124]在本申请实施例中，引入第一非视觉传感器对运动结构运动一致性校验的深度信息监督后的点云帧为各有效视阵对应的各导航位姿矩阵，对全部的导航位姿矩阵与优化后的相机位姿矩阵构建优化任前或落后)的第二时间戳对应的激光雷达点云帧，直到确定出各图像帧分别最邻近的各激一个关键帧都包含一个激光雷达点云帧和一个与其在时间上[0139]S11：将各激光雷达点云帧中环境点的位置信息处理为图像帧深度信息监督用位环境点的位置信息处理为图像帧深度信息监督用位置信息参考值及生成各原始点云帧的将图像帧深度信息监督用的位置信息参考值与原始点云帧记载的环境点位置信息进行加换可以将环境点在激光雷达坐标系下的三维坐标转换到在相机坐标系下的新的三维坐标[0149]上述差异函数用于测算激光雷达点云帧中环境点Xl转换到相机坐标系后的新的d的数值可以根据激光对真环境点的权重值可以为0.5，也即将图像帧深度信息监督用的位置信息参考值与原始针对真环境点的权重值可以为0，也即将图像帧深度信息监督用位置信息参考值作为深度以逐步增加针对激光雷达进行深度信息监督的[0159]S22：将重叠情况满足要求的深度信息监督后的点云帧确定为满足运动一致性校[0160]前述步骤S21中，可以将激光雷达坐标系到相机坐标系的变换矩阵作为预设观测觉点云帧而抛弃无效视觉点云帧，有利于减少三维场景重建所需的时间消耗和资源消耗，信息监督后的点云帧记载的深度信息监督后环境点位置信息指示的相对运动信息是有效息监督后的点云帧记载的深度信息监督后环境点位置信息指示的相对运动信息是无效的，进而可以确定所述深度信息监督后的点云帧为不满足运动一致性校验的无效视觉点[0167]具体地，以深度信息监督后的点云帧或激光雷达点云帧构建源栅格或目标栅格格坐标系内的各单元格内落入的环境点的数量。在落入的环境点的数量大于预设数值时，[0170]利用预设观测矩阵，将源栅格中的每个取值为1或状态为占用的单元格的中心点t对运动帧序列中指定的深度信息监督后的点云帧为不满足运动一致性校验的无效视觉点相对运动估计序列中可以包括数量大于等于校验点云帧在时间上一致的各相机位姿矩阵，将各校验点云帧与各相机位姿矩阵一一对i可以为4*4维度的矩阵。的校验点云帧对应的在前相机位姿矩阵Ti-1，确定时间上在后的校验点云帧对应的在后相机位姿矩阵Ti。确定在前相机位姿矩阵的的两个校验点云帧形成的相对运动矩阵Tij,k定角度平移量组合满足要求的相对运动估计序列中指定的深度信息监督后的点云帧为满中的第一个深度信息监督后的点云帧为满足运动一致性校验的有序列中的第一个深度信息监督后的点云帧为不满足运动一致性校验[0201]通过对相对运动估计序列进行运动一致性检验来检验各图像帧进行三角化解算确定指定数量的校验点云帧利用前述的方法对相对运动估计序列进行运动一致性检验时，通过校验的相对运动估计序列的数量满足预设数量[0218]以上结合附图说明了针对一个相机与一个激光雷达同步获取的图像帧及激光雷监督后的相机位姿矩阵用于三维场景重建可以进一步提高三维场景重偏差。各子项位姿权重根据前一轮生成的优化后的相机位姿矩阵与各导航位姿矩阵确定。[0235]如图2B所示，本申请实施例还提供另一种视觉三维重建方法，由以下步骤S110、[0239]对激光雷达帧序列(如帧率为10Hz)和图像帧序列(如帧率为30Hz)进行基于时间关键帧Ki都包含一个激光雷达点云帧和一个图像帧kf,该关键帧、该激光雷达点云帧及[0241]即对关键帧的图像序列SFM过程使用激光雷达进行深度信息监督，提升运动结构信息和位置信息)，通过激光雷达坐标系到相机坐标系的位姿变换Tlc将激光雷达坐标系下[0245]对关键帧的图像SFM得到的路标点云和激光雷达点云构建联合观测，筛选运动一kr=},将当前图像帧kf与上一帧s中的每个占用单元格，利用估计的相对运动获取中位数值作为鲁棒拟合误差的权重wei度恢复不准确的问题，引入激光雷达的直接深度测量监督有利于SFM视觉三角解算的精度[0263]本申请实施例还提供一种视觉三维重建装置500，该装置用于执行上述任一实施从运动结构恢复后的视觉数据中筛选出有效视一非视觉点云帧中环境点的位置信息；第一非视觉点云帧为多个非视觉点云帧中的任一帧；将环境点的位置信息从第一非视觉传感器的坐标系下转换到视觉传感器的坐标系下，[0269]深度监督模块501，用于对视觉传感器采集的视觉数据包括的图像帧进行运动结督数据对包括的非视觉点云帧中环境点的深度信息与视觉点云帧中相同环境点的深度信[0270]有效特征筛选模块502，用于基于第一非视觉传感器采集的多个非视觉点云帧及叠情况满足要求的视觉点云帧确定为有效视[0271]有效特征筛选模块502，用于根据第一联合观测数据对中的第一点云帧构建源栅情况；预设观测矩阵为第一非视觉传感器的坐标系与视觉传感器的坐标系之间的变换矩[0273]有效特征筛选模块502，用于按照时间戳的先后顺序对各有效视觉点云帧各自对[0274]有效特征筛选模块502，用于按照时间戳的先后顺序对各有效视觉点云帧各自对函数最小为约束求解优化任务，生成与每个有效视觉点云帧对应的优化后的相机位姿矩[0275]有效特征筛选模块502，用于相对运动估计序列中预设数量的相机位姿矩阵包括对运动估计矩阵累乘后作为与相对运动估计序列对应的角度[0276]本申请实施例提供的视觉三维重建装置与本申请实施例提供的视觉三维重建方器801通过总线802连接；所述存储器801中存储有可在所述处理器800上运行的计算机程序，所述处理器800运行所述