CN119091329B 一种具备细粒度环境感知能力的无人机全自主导航方法 （中国石油大学(华东)）

一种具备细粒度环境感知能力的无人机全本发明公开了一种具备细粒度环境感知能个包含不同光照和遮挡条件下无人机拍摄的RGBlearning算法对无人机导航智能体进行初步训方法显著提升了无人机在复杂环境中的自主导2S3：利用所述RGB图像和全球定位系统坐标为最优路径构建训练标签，利用DeepQ_S4：利用所述多模态数据集构建训练标签S5：利用所述多模态数据集构建不同的无人机全自主导航细粒度环境，利用DeepQ_S501：以多模态数据集为基础，分别构建无人细粒度环境、遮挡物频繁出现城市自主导航的细粒度环境、野外目标无GPS细粒度导航环境、无光野外目标无GPS细粒度自主导航环境和无人机充足电量前提下的无光照自主城市S502：在全模态驱动的全模态无人机全自主导航2.根据权利要求1所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其3.根据权利要求1所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其S202：以无人机实时拍摄的RGB图像为现存图像全景3所述训练好的ViT主干网络即为公开的VisionTransformer的网络结构，并加载GoogleNET训练好的网络权重；所述多层感知器由一个输入通道为1024输出通道为2048的4.根据权利要求1所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其击的方式在上述多模态数据集中标定最优路径，并得到最优路径点的物体无人机拍摄RGB5.根据权利要求1所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其6.根据权利要求5所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其4；7.根据权利要求1所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其环境中利用DeepQ_learning的方法对具有环境意识的多模态无人机自主导航智能体训8.根据权利要求7所述的一种具备细粒度环境感知能力的无人机全自主导航方法，其所述无人机高电量前提为：无人机使用多种传感器，即使用高清摄所述无人机低电量前提下无光照自主城市细粒度导航环境的构建方式为以最优路径所述无人机低电量前提下遮挡物频繁出现城市自主细粒度导航环境的构建方式为以所述无人机低电量前提下野外目标无GPS自主细粒度导航环境的构建方式为以最优路所述无人机低电量前提下无光野外目标无GPS自主细粒度导航环境的构建方式为以最5[0003]近年来，在无人机自主导航领域研究较多的为基于深度强化学习DeepQ_[0009]S3：利用所述RGB图像和全球定位系统坐标为最短路径构建训练标签，利用Deep6[0020]所述训练好的ViT主干网络即为公开的VisionTransformer的网络结构，并加载GoogleNET训练好的网络权重；所述多层感知器由一个输入通道为1024输出通道为2048的最大期望奖励值的智能体即为RGB模态的无RGB模态无人机导航智能体的ViT主干网络中添加对应红外图像令牌Token_T，对应激光雷7；环境、无光野外目标无GPS细粒度自主导航环境和无人机充足电量前提下的无光照自主城细粒度环境中利用DeepQ_learning的方法对具有环境意识的多模态无人机自主导航智能[0041]所述无人机低电量前提下无光照自主城市细粒度导航环境的构建方式为以最优[0042]所述无人机低电量前提下遮挡物频繁出现城市自主细粒度导航环境的构建方式[0043]所述无人机低电量前提下野外目标无GPS自主细粒度导航环境的构建方式为以最[0044]所述无人机低电量前提下无光野外目标无GPS自主细粒度导航环境的构建方式为8序被处理器执行时实现上述中任一项所述的一种具备细粒度环境感知能力的无人机全自[0048]本发明采用基于多模态数据驱动下提示学习与deepQ_learning集合的训练方目标和根据不同细粒度导航环境自主决定使用不同模态自主导航，是自主导航续航性更[0049]不同于现存基于deepQ_learning的无人机自主导航方法，本发明采用多模态数[0055]参照附图1，本发明提出的具备细粒度环境感知能力的无人机全自主导航方法的9[0065]S23：以上述用户意向目标的特征Fu和当前场景内的物体特征Fs为现存训练好的[0066]根据本发明的一些优选实施方式，所述ViT特征提取器即为公开的Vision[0068]S3：以RGB图像以及全球定位系统坐标为最短路径构建训练标签，利用DeepQ_最大期望奖励值的智能体即为RGB模态的无[0074]1.若多模态数据集中的RGB图像和最优路径一致且RGB模态无人机自主导航智能[0075]2.若多模态数据集中的RGB图像和最优路径不一致且RGB模态无人机自主导航智RGB模态无人机导航智能体的ViT主干网络中添加对应红外图像令牌Token_T，对应激光雷[0086]根据本发明的一些优选实施方式，所述基于transformer多头交叉注意力机制的境、无光野外目标无GPS细粒度自主导航环境和无人机充足电量前提下的无光照自主城市[0095]S52：在上述全模态驱动的全模态无人机全自主导航智能体中添加四个新的细粒粒度环境中利用deepq_learning的方法对上述具有环境意识的多模态无人机自主导航智度导航环境的构建方式为以最优路径点上的激光雷达信号为[0101]根据本发明的一些优选实施方式，所述无人机低电量前提下野外目标无GPS自主细粒度导航环境的构建方式为以最优路径点上[0102]根据本发明的一些优选实施方式，所述无人机低电量前提下无光野外目标无GPS路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field_[0114]S3：利用所述RGB图像和全球定位系统坐标为最短路径构建训练标签，利用Deep机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non_volatile现上述实施例中有关一种具备细粒度环境感知能力的无人机全自主导航方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执[0122]S3：利用所述RGB图像和全球定位系统坐标为最短路径构建训练标签，利用Deep现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0127]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他