CN116168171B 集群无人机实时稠密重建方法 （西北工业大学）

WO2021185322A1,2021.09本发明提出一种集群无人机实时稠密重建协同重建。相对定位方式通过动态分布式网络布式网络的结构，对于每个分布式结构的子模块，利用精确的局部相对位姿信息完成稠密重子模块虚拟中心节点之间的位姿，用以融合点块中的无人机之间和整个分布式网络的不同子且配准精度和恢复的无人机之间的相对位姿精2根据每架无人机的GNSS信息反推无人机之间的共视关系，无人机根据步骤4：利用单个无人机的VIO位姿估计信息以及经过步骤3处理后的无人机之间的相2.根据权利要求1所述一种集群无人机实时稠VIO的初始化并进行自主定位的过程为：首先利用机上的IMU信息将VIO的初始坐标系与重局部坐标系到全局坐标系之间的变换；将尺度恢复后的VIO估计位姿利用外参矩阵转换到4.根据权利要求1所述一种集群无人机实时稠密重建方法36.根据权利要求1所述一种集群无人机实时稠密重建方法邻帧和重叠率在设定范围内的同一时刻帧使用稠密立体视觉匹配算法进行快速的立体匹对于第k架无人机重建出的稠密点云的任一点p,将其融合到中心无人机构建的点云缺失IMU和GNSS信息或者IMU与GNSS获得的信息不可靠时，依靠点云信息进行重力方向计4建方法难以在单次飞行中对较大范围的场景进行重建，并且由于是单个无人机执行任务，人机飞行航线的时间。目前能够实现多个无人机协同三维稠密重建的方法大都依赖SfM[0004]基于SLAM(simultaneouslocalizationandmapping)技术的集群无人机大场景率。VIO(visual_inertialOdometry)是融合视觉传感器和IMU(InertialMeasurement[0005]目前单个无人机实时三维稠密重建技术大多基于无人机的航线规划与稠密重建满足增量式增加设备进行多无人机三维稠密重[0007]在保证多无人机协同稠密重建实时性的同时保证稠密重建的精度是该问题的核5[0013]步骤4：利用单个无人机的VIO位姿估计信息以及经过步骤3处理后的无人机之间IMU信息将VIO的初始坐标系与重力对齐，利用初始静止的IMU信息与重力向量之间的变换后求解优化问题并通过计算获得局部坐标系到全局坐标系之间的变换；将尺度恢复后的VIO估计位姿利用外参矩阵转换到相机位姿下，并将相机位姿与接收的图片进行时间戳对[0019]进一步的，步骤3中计算同一时刻两无人机采集图像的重叠率的具体做法是通过6[0021]进一步的，步骤4中对相邻帧和重叠率在设定范围内的同一时刻帧使用稠密立体[0023]对于第k架无人机重建出的稠密点云的任一点将其融合到中心无人机构建的ICP算法结合图像的对应特征点的三维点信息进一步进行稠密[0033]2.本发明使用的多无人机相对定位方法，依赖于局部精准的视觉惯性里程计、7[0037]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得[0040]图3是本发明一个稠密重建子群中的集群无人机实时大尺度稠密重建的流程示意[0044]本发明针对如何保证多无人机协同稠密重建实时性的同时保证稠密重建精度的协同实时大尺度三维稠密重建，在保证精度的同时有效地提升大尺度场景稠密重建的效[0045]本发明中的集群无人机基于GNSS(GlobalNavigationSatelliteSystem)和VIO同时结合GNSS信号和共视图信息的相对定位方式通过动态分布式网络DDN(DynamicDistributedNetwork)实现。动态分布式网络DDN利用先验相对位置信息实时调整分布式图和精确的无人机间相对位姿。这种点云配准方法相比于一般的点云配准方法更加鲁棒，并且配准精度和恢复的无人机之间的相对位姿精8进行自主定位的过程为：利用相邻图像帧之间的特征点的匹配信息以及IMU积分信息构建静止的IMU信息与重力向量之间的变换求解无人机此时的姿态，将初始坐标系设置为FLUX1n0d]9归一化平面上，从而构建残差函数。为了得到三维点坐标需要恢复[0066]IMU通过加速度计和陀螺仪能够获得加速度和角速度信息，可以通过积分获得两[0074]预积分项中使用了bias。若在优化的时候对b加入到后面的优化中可以在降低计算复杂度的情况下极大的抑制[0085]确定稠密重建子群的意义在于确定是否利用共视图信息进一步优化相对位姿和根据GNSS信息初始化建图子群中无人机的相对位姿，并利用相邻关系投票选出中心无人af,at,ff分别表示在VIO局部坐标系下与GNSS时间戳对齐后相邻两坐标之间的位姿变换；s是待优化的尺度；",q",","分别表示在东北天坐标系下相邻两坐标之间的位姿置。此时中心无人机位姿表示为RR,表示中心无人机VIO局部坐标系到世界坐标人机到中心无人机的旋转为位移为t0k，由利用GeographicLib计算而来。为了方便后面推导，用T0k表示第k架无人机初始坐标系到中心无人机初始坐标系的变多个无人机之间的相对定位其中在建图部分可以根据的三对以上的三维点)求解Sim3变换，从而进一步优化各无人机之间的相对位姿和相对尺[0108]计算同一时刻两无人机采集图像的重叠率的具体做法是通过图像的匹配点计算[0111]利用共视关系获得的相对位姿和图片也将作为下一步的一致性约束加入到稠密[0112]步骤4：利用单个无人机的VIO位姿估计信息以及经过步骤3处理后的无人机之间[0113]这里对相邻帧和重叠率在一定范围内的同一时刻帧使用稠密立体视觉匹配算法[0115]在前面步骤VIO_GNSS耦合协同定位(步骤1和步骤2)以及利用共视信息相对定位融合。对于第k架无人机重建出的稠密点云的任一点将其融合到中心无人机构建的点[0123]其中Px,Px是点云的坐标到在中心坐标系下的x,的对应特征点的三维点信息进一步进行稠密点云的精细配准。将子群中的点云融合之后，这个配准结果利用改进的ICP方法进行更[0131]在本发明改