CN119494912A 筛选点云的方法、装置、设备及存储介质 （北京轻舟智航科技有限公司）

有效视觉点云帧对应的相机位姿矩阵进行二次于第一非视觉传感器对运动结构恢复进行深度2基于所述多个视觉点云帧及第一非视觉传感器采集的非视觉点云帧基于所述多个视觉点云帧及第一非视觉传感器采集的非视针对每一所述联合观测数据对，检测联合观测数据对中非视将重叠情况满足要求的视觉点云帧确定为有效根据第一联合观测数据对中的第一点云帧构建源栅格，确定所述根据所述第一联合观测数据对中的第二点云帧构建目标栅基于所述各源栅格点对应的源单元格状态及所述各目标栅格点对应的目标单元格状通过所述预设观测矩阵，分别对所述源栅格内状态为占用的各源分别获取各伪目标栅格点在所述目标栅格内对统计各伪目标栅格点对应的各目标单元格状态为占用的数述第一联合观测数据对中非视觉点云帧与视觉点云帧按照时间戳的先后顺序对各有效视觉点云帧各自对应的相机位姿矩阵进行从排序得到的相机位姿矩阵序列中，选取连续的预设数量个相机位姿将角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵对应的有效3按照时间戳的先后顺序对各有效视觉点云帧各自对应的相机位姿矩阵进行从排序得到的相机位姿矩阵序列中，选取连续的预设数量个相机位姿7.根据权利要求5或6所述的方法，其特依次确定自首矩阵指向最前的中间矩阵、自前一个中间矩阵指向相将各相对运动估计矩阵累乘后作为与所述相对运动估计序列对应的角所述控制器，用于基于所述视觉传感器采集的图像帧及所述第一非4[0015]基于所述各源栅格点对应的源单元格状态及所述各目标栅格点对应的目标单元5示所述第一联合观测数据对中非视觉点云帧与[0023]将角度平移量组合满足要求的相对运动估计序列中指定的相机位姿矩阵对应的[0030]将各相对运动估计矩阵累乘后作为与所述相对运动估计序列对应的角度平移量6[0048]图4C示出了本申请一实施例中针对预设时间跨度内的多个图像帧进行运动结构[0049]图4D示出了本申请一实施例中针对预设时间跨度内的多个图像帧利用深度信息[0051]图4F示出了本申请一实施例中针对预设时间跨度内的多个图像帧进行运动结构[0052]图4G示出了本申请一实施例中针对预设时间跨度内的多个图像帧执行联合观测[0053]图4H示出了相关技术中针对大尺度大范围场景进行运动结构恢复在收敛困难时[0054]图4I示出了本申请一实施例中针对大尺度大范围场景基于卫星导航位姿进行运7重建这项任务主要是在相机获取的图像中识别出对于自动驾驶比较重要的路标或环境点，[0063]根据相机获取的图像，实现运动估计的算法包括运动结构恢复(StructureFrom像头等。其中，雷达装置可以包括但不限于激光雷达(LightDetectionandRanging，LiDAR)、毫米波雷达(RadioDetectionandRanging，Radar)、超声波雷达(Ultrasonic8星导航系统(如GNSS)、惯性测量单元(InertialMeasurementUnit，IMU)、陀螺仪或多个区域。本申请实施例中以可移动载具上安装有激光雷达和RGB相机为例进行详细说包括多个非视觉点云帧。第一非视觉传感器是按照一定的采样频率对目标区域进行探测9云帧的时间戳与该非视觉点云帧的时间戳之间的选无效特征点，且无效特征点参与匹配和重建增加了时间消耗和资源消耗而对精度无益。视觉传感器的坐标系转换至视觉传感器的坐[0085]通过将属于同一联合观测数据对中的非视觉点云帧和视觉点云帧分别进行栅格矩阵可以是视觉传感器采集用于解算该视觉点云帧的图现相邻的两个相机位姿矩阵之间的相对运动。上述依次确定自首矩阵指向最前的中间矩[0099]上述角度平移量组合满足要求可以包括该组合中的角度满足与角度阈值之间的[0102]上述相对运动估计序列及其对应的角度平移量组合的确定方式与上文中描述的使用第二非视觉传感器采集的数据对筛选出的有效视觉数据对应的相机位姿矩阵进行位[0106]后续基于位姿监督后的相机位姿矩阵，对各有效视觉点同，本申请实施例以获取第一非视觉点云帧中环境点的深度信息为例来详细说明该过程。同一监督数据对包括的非视觉点云帧中环境点的深度信息与视觉点云帧中相同环境点的[0113]由于运动结构恢复解算会受视觉传感器采集的图像质量和标定结果等匀速的影点的深度信息与运动结构恢复得到的视觉点云帧中相同环境点的深度信息进行加权平均，[0123]S22：将重叠情况满足要求的视觉点云帧确定为满足运动一致性校验的各有效视重叠情况不满足要求的视觉点云帧确定为不满足运动一致性校验的各无[0124]前述步骤S21中，可以将激光雷达坐标系到相机坐标系的变换矩阵作为预设观测觉点云帧而抛弃无效视觉点云帧，有利于减少三维场景重建所需的时间消耗和资源消耗，运动结构恢复得到的视觉点云帧与激光雷达点云帧格的情况下，在各伪目标位置点对应的各目标单元格状态为占用的数量大于预设数值时，标栅格的交集部分，并确定运动结构恢复得到的视觉点云帧或激光雷达点云帧的重叠情格坐标系内的各单元格内落入的环境点的数量。在落入的环境点的数量大于预设数值时，[0134]利用预设观测矩阵，将源栅格中的每个取值为1或状态为占用的单元格的中心点t视觉点云帧的数量N。在后述步骤中处理的各激光雷达点云帧与各有效视觉点云帧在时间获取的各相机位姿矩阵确定与各相对运动估计续流序列对应的中指定的视觉点云帧为不满足运动一致性校验的无效视觉相对运动估计序列中可以包括数量大于等于校验点云帧在时间上一致的各相机位姿矩阵，将各校验点云帧与各相机位姿矩阵一一对i可以为4*4维度的矩阵。的校验点云帧对应的在前相机位姿矩阵Ti-1，确定时间上在后的校验点云帧对应的在后相机位姿矩阵Ti。确定在前相机位姿矩阵的的两个校验点云帧形成的相对运动矩阵Tij,kTiiTjkTklTli∈SE(3)。SE(3)也定角度平移量组合满足要求的相对运动估计序列中指定的视觉点云帧为满足运动一致性中的第一个视觉点云帧为满足运动一致性校验的有序列中的第一个视觉点云帧为不满足运动一致性校验[0165]通过对相对运动估计序列进行运动一致性检验来检验各图像帧进行三角化解算确定指定数量的校验点云帧利用前述的方法对相对运动估计序列进行运动一致性检验时，通过校验的相对运动估计序列的数量满足预设数量[0183]以上结合附图说明了针对一个相机与一个激光雷达同步获取的图像帧及激光雷[0189]步骤S41中，确定优化后的相机位姿矩阵与各导航位姿矩阵的偏差作为子项位姿监督后的相机位姿矩阵用于三维场景重建可以进一步提高三维场景重偏差。各子项位姿权重根据前一轮生成的优化后的相机位姿矩阵与各导航位姿矩阵确定。前或落后)的第二时间戳对应的激光雷达点云帧，直到确定出各图像帧分别最邻近的各激一个关键帧都包含一个激光雷达点云帧和一个与其在时间上[0209]S11：将各激光雷达点云帧中环境点的位置信息处理为图像帧深度信息监督用位环境点的位置信息处理为图像帧深度信息监督用位置信息参考值及生成各原始点云帧的将图像帧深度信息监督用的位置信息参考值与原始点云帧记载的环境点位置信息进行加换可以将环境点在激光雷达坐标系下的三维坐标转换到在相机坐标系下的新的三维坐标[0219]上述差异函数用于测算激光雷达点云帧中环境点Xl转换到相机坐标系后的新的d的数值可以根据激光对真环境点的权重值可以为0.5，也即将图像帧深度信息监督用的位置信息参考值与原始针对真环境点的权重值可以为0，也即将图像帧深度信息监督用位置信息参考值作为深度以逐步增加针对激光雷达进行深度信息监督的[0227]在利用各深度信息监督后的视觉点云帧的基础上，再执行步骤S20_S30筛选有效[0233]对激光雷达帧序列(如帧率为10Hz)和图像帧序列(如帧率为30Hz)进行基于时间关键帧Ki都包含一个激光雷达点云帧和一个图像帧kf,该关键帧、该激光雷达点云帧及[0235]即对关键帧的图像序列SFM过程使用激光雷达进行深度信息监督，提升运动结构信息和位置信息)，通过激光雷达坐标系到相机坐标系的位姿变换Tlc将激光雷达坐标系下[0239]对关键帧的图像SFM得到的路标点云和激光雷达点云构建联合观测，筛选运动一s中的每个占用单元格，利用估计的相对运动获取中位数值作为鲁棒拟合误差的权重wei度恢复不准确的问题，引入激光雷达的直接深度测量监督有利于SFM视觉三角解算的精度[0257]本申请实施例还提供一种点云筛选装置500，该装置用于执行上述任一实施例提[0259]有效点云筛选模块502，用于基于多个视觉点云帧及第一非视觉传感器采集的非[0260]有效点云筛选模块502，用于基于多个视觉点云帧及第一非视觉传感器采集的非[0261]有效点云筛选模块502，用于根据第一联合观测数据对中的第一点云帧构建源栅态，通过预设观测矩阵检测第一联合观测数据对中非视觉点云帧与视觉点云帧的重叠情[0263]有效点云筛选模块502，用于按照时间戳的先后顺序对各有效视觉点云帧各自对[0265]相对运动估计序列中预设数量的相机位姿矩阵包括首矩阵、中间矩阵和尾矩阵；[0267]本申请实施例提供的点云筛选装置与本申请实施例提供的筛选点云的方法出于[0269]本申请实施例提供的可移动载具与本申请实施例提供的筛选点云的方法出于相801通过总线802连接；所述存储器801中存储有可在所述处理器800上运行的计算机程序，所述处理器800运行所述计算机程序时执行本申请前述任一实施方式所提供的筛选点云的少一个通信接口803(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称[0274]本申请实施例提供的电子设备与本申请实施例提供的筛选点云的方法出于相同[0275]本申请实施方式还提供一种与前述实施方式所提供的筛选点云的方法对应的计[0277]本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的筛选点上面对本申请的示例