低空环境智能感知关键技术及应用

一一研究背景四四未来工作一一研究背景二VisDrone数据平台三低空感知脑四四未来工作低空经济产业已成为国家战略支柱产业，雄安先行先试标杆2025年10月2025年10月，党的二十届四中全会颁布《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》，其中明确指出“打造新兴支柱产业，加快低空经济等战略性新兴产业集群发展，催生数个万亿元级甚至更大规模的市场”。《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》措施鼓励新区在航空物流应急救援智慧城措施鼓励新区在航空物流应急救援智慧城市运营管理AI巡检环境监测低空旅游等领《关于支持低空经济产业发展的若干措施》通雄安新区于2024年7月发布《关于支持低低空智能感知体系深化赋能经济转型低空智能感知体系深化赋能经济转型重大需求重大需求无人机已在安防巡检、水情监测和应急搜救等领域得到广泛应用2022.2.24俄乌冲突爆发冲突持续四年，经济损失超1万亿元无人机全时监测打击目标2021.7.20河南遭遇特大暴雨受灾1478万人，经济损失1200亿元无人机精准识别被困群众2022.9.5四川泸定6.8级地震死亡失踪117人，经济损失154亿元无人机及时探查灾区情报“看不清”雨雪雾恶劣天气和低光照环境降低了无人机对目标的感知清晰度“看不准”无人机高速飞行，目标位置密集且动态变化，降低了感知准确度“看不全”单机视角有限且存在遮挡，无法捕捉目标在所有角度下的特征“看不清”复杂环境全天候感知难“看不准”“看不清”复杂环境全天候感知难“看不准”低空感知模型进化难“看不全”多机跨视角感知难低空复杂环境全天候感知技术安防巡检多机跨视角协同感知技术低空复杂环境全天候感知技术安防巡检多机跨视角协同感知技术应急搜救基础模型自主进化技术水情监测一一研究背景三低空感知脑四四未来工作>关键平台：建立了复杂环境协同感知数据平台（TPAMI2022）历时5年全国14个城市采集2000万+图像/视频帧2000万+目标标注VisDrone数据历时5年全国14个城市采集2000万+图像/视频帧2000万+目标标注VisDrone数据累计下载次数10万+在Github获得3000+个星在ECCV和ICCV连续举办五届VisDrone竞赛全球包括卡耐基梅隆大学等在内的2000+参赛队伍5000+篇论文使用并引用VisDrone-TJUMultiDrone-TJUAnimalDrone-TJUDroneCrowd-TJUDroneVehicle-TJUDroneRGBT-TJU国内外广泛使用的无人机视觉基准数据平台>关键平台：建立了复杂环境协同感知数据平台反无人机微小目标检测数据集（ECCV2024）场景模型场景数据百城共建通过AI技术赋能，实现城市巡检从传统人工模式向智能化、标准化、规模化的跨越式升级数据收集时间场景适配时间模型训练时间算法部署效率u2024全球人工智能技术创新大赛-算法挑战赛次基础平台建设构建了国内外广泛使用的无人机视觉基准数据平台空天地水协同进化智能无人集群感知平台基础平台建设构建了国内外广泛使用的无人机视觉基准数据平台空天地水协同进化智能无人集群感知平台理论研究发表CCFA和IEEE汇刊论文80余篇授权发明专利30项成果支撑团队获得多项国际竞赛冠军和最佳论文奖科技奖励空军“无人争锋”挑战赛冠军人工智能科技进步奖一等奖人工智能科技进步奖一等奖团队荣获吴文俊人工智能科技进步奖一等奖等科技奖励感控一体多模态动态感知多智能体社会化交互集群协同感控一体多模态动态感知多智能体社会化交互集群协同视觉－语言－动作视觉－语言－动作(VLA)视觉－语言－导航(VLN)群体态势自主感知群体态势自主感知多任务协同学习从被动感知到自主协同，构建支撑具身智能体与集群协同进化的下一代数据基座一一研究背景二VisDrone数据平台四四未来工作多模态动态协同感知技术挑战难点挑战难点关键技术创新多模态协同感知面临低空感知场景高动态、模态主导难选择、现实低质量模态主导难选择多种退化类型复杂感知场景高动态模态主导难选择多种退化类型复杂感知场景高动态双向动态提示学习复原融合一体化学习双向动态提示学习复原融合一体化学习混合专家动态融合混合专家动态融合实现复杂环境下无人机多模态动态协同感知局部-全局的混合专家动态模型（局部-全局的混合专家动态模型（MoE-Fusion）模型动态学习模态-场景的关联信息，实现场景样本自适应的多模态动态融合创新：基于双向Adapter的多模态追踪在多模态非固定关联范式中动态地相互融合主导-辅助模态信息任务门控的多合一退化多模态融合模型（任务门控的多合一退化多模态融合模型（TG-ECNet）动态感知低质量图像退化类型动态感知低质量图像退化类型，提示引导专家协同学习，实现All-in-One退化多模态图像融合复杂环境低代价感知技术复杂环境下低空视觉感知面临通用复杂环境下低空视觉感知面临通用表征学习模型缺乏、任务定制表征学习难等挑挑战难点关键技术创新任务定制表征学习难任务定制表征学习难数据-标签关系挖掘不充分缺乏通用表征学习模型数据-标签关系挖掘不充分缺乏通用表征学习模型任务定制混合Adapter非对称掩码视频计数海河天眼基座模型任务定制混合Adapter非对称掩码视频计数海河天眼基座模型实现复杂环境下智能无人集群全天候精确感知建立超过10亿图像/视频帧数据库，开发低空多模态视觉推理大模型VisDroneMultiDroneAnimalDroneDroneCrowdDroneVehicleDroneRGBT2000万+图像/视频帧VisDrone平台数据数据清洗→粒度划分→机器标注→数据清洗→粒度划分→机器标注→场景指令→指令划分场景数据千万级低空多模态训练数据增量训练+指令微调预训练多模态大模型100+种特定场景的评估基准预训练多模态大模型多维评估体系场景识别能力定位检测能力条件判断能力推理思考能力建立低空无人机视觉计算领域和多个平台兼容的模型库并实现大小模型协同进化基于任务定制的混合Adapters的通用图像融合（TC-MoA）模型能够根据不同的融合任务动态定制不同的adapters混合来获得融合提示在统一模型基础上兼容不同融合任务的差异，并动态指导融合结果的生成。基于非对称高效掩码自编码器的无人机视频计数（基于非对称高效掩码自编码器的无人机视频计数（E-MAC）DroneBird无人机视频计数数据集在多个数据上性能优异，构建大规模无人机视频计数数据集，助力候鸟保护基于两阶段损失权重分配的推理高效微调（DMPO）偏置模块解基于两阶段损失权重分配的推理高效微调（DMPO）偏置模块解高阶预测器后期阶段:>•只在浅层插入减少阶段间影响基于早退策略在视觉基础模型前端引入高判别高阶预测器基于早退策略在视觉基础模型前端引入高判别高阶预测器，设计两阶段损失权重分配策略提升早期预测器准确性，30%内存消耗的准确率接近全推理性能智能无人集群协同感知与进化技术挑战难点挑战难点关键技术创新智能无人集群空空、空地协同学习中面临模型通用表征学习能力弱、多源多源目标表观差异大多智能体协同交互难空地跨视角差异显著通用表征学习能力弱多源目标表观差异大多智能体协同交互难空地跨视角差异显著通用表征学习能力弱多机全局局部匹配网络多智能体社会化学习空地协同感知模型海河天眼基座模型多机全局局部匹配网络多智能体社会化学习空地协同感知模型海河天眼基座模型实现智能无人集群多智能体空空、空地协同感知与进化利用Transformer搭建了一种多机协同追踪架构：•利用TransformerEncoder实现模板与搜索区域的自动建模。•对多个模板的注意力权重加权作为依据剪枝Token，用于加速训练和推理。多机协同性能大大超越多无人机单目标跟踪算法ASNet创新：构建多机协同多目标追踪数据集以及协同追踪框架（TMM201、通过全局、局部匹配结合的多视角图像匹配方法，进行跨机目标关联，实现双机协同追踪2、设计详细的ID分配策略，实现精确的ID继承与更新，减少IDswitch，对遮挡目标进行有效补充为多机协同追踪任务提供数据平台促进多视角间图像匹配、目标重识别、协同检测与追踪等领域发展社会化学习范式可以通过智能体之间的关键样本交互和知识交互，从而实现新知识学习在保留个体原先任务认知能力的基础上，获取其他智能体的任务知识，进而实现机器社会中多个个体的协同进化社会化学习通过多智能体间数据与知识的定向性交互共享，实现了协同进化社会化协同进化范式可以通过智能体之间的层级化动态交互和协同，从而实现知识的传递与增强在提升个体原先下游任务认知能力的基础上，整体解决不同下游任务能力得到增强，实现跨任务协同进化社会化协同进化通过多智能体间数据与知识的层级化动态交互，实现了跨任务群智演化构建跨平台（无人机+路面摄像头）多模态（可见光+热红外）空地协创新：提出针对空地协同感知任务的解耦多粒模型架构图模型可以显著捕获全局和局部判别特征模型可以显著捕获全局和局部判别特征，提升模型对空地协同感知中剧烈视角/尺度变化及局部遮挡的鲁棒性。打造跨域实时协同感知网络：基于空地异构设备，形成多维一体的感知闭环创建智能自适应任务枢纽：实现跨域任务交互与多模型自我优化，驱动决策智能化Seg----实现空地异构协同感知一体化，驱动跨域任务效能最大化一一研究背景二VisDrone数据平台三无人集群协同感知脑四四未来工作面临低空智能感知挑战，展开“数据筑基、模型驱动、智能进化、安全护航”数据基础平台大规模低空数据平台大规模低空数据平台仿真-物理具身数据基座仿真-物理具身数据基座集群协同数据基准集群协同数据