低空环境智能感知关键技术及应用

四

未来工作一

研究背景·

二

·VisDrone数据平台·

三

·

低空感知脑四

未来工作一

研究背景

二

VisDrone数据平台

三

低空感知脑雄安新区于2024年7月发布《关于支持低空经济产业发展的若干措施》

，明确通过雄安国创中心等平台推动产业生态构建措施鼓励新区在航空物流应急救援智慧城市运营管理AI巡检环境监测低空旅游等领域打造标杆性应用场景2025年10月

，

党的二十届四中全会颁布《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》

，其中明确指出

“打造新兴支柱产业

，

加快低空经济等战略性新兴产业集群发展

，

催生数个万亿元级甚至更大规模的市场”。低空智能感知体系深化赋能经济转型重大需求低空经济产业已成为国家战略支柱产业

，雄安先行先试标杆《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》《关于支持低空经济产业发展的若干措施》通知旨在抢抓低空经济产业密集创新和高速增长的战略机遇

，推动雄安新区低空经济产业高质量发展2021.7.20

河南遭遇特大暴雨受灾1478万人

，

经济损失1200亿元2022.2.24

俄乌冲突爆发冲突持续四年

，

经济损失超1万亿元重大需求无人机已在安防巡检、

水情监测和应急搜救等领域得到广泛应用死亡失踪117人

，

经济损失154亿元2022.9.5

四川泸定6.8级地震无人机精准识别被困群众无人机及时探查灾区情报无人机全时监测打击目标“看不准

”无人机高速飞行

，

目标位置密集且动态变化

，

降低了感知准确度“看不全

”单机视角有限且存在遮挡

，无法捕捉目标在所有角度下的特征复杂环境下

，低空智能感知面临“看不清”

，“看不准”和“看不全”的挑战“看不清

”雨雪雾恶劣天气和低光照环境降低了无人机对目标的感知清晰度“看不准”低空感知模型进化难“看不全”多机跨视角感知难“看不清”复杂环境全天候感知难低空感知基础模型自主进化技术水情监测研究挑战关键难题技术创新低空复杂环境全天候感知技术安防巡检多机跨视角协同感知技术应急搜救成果应用四

未来工作一

研究背景·

二

·VisDrone数据平台

三

低空感知脑历时5年全国14个城市采集2000万+图像/视频帧2000万+

目标标注VisDrone数据累计下载次数10万+在Git

hub获得3000+个星在ECCV和ICCV连续举办

五届VisDrone竞赛全球包括卡耐基梅隆大学等

在内的2000+参赛队伍5000+篇论文使用并引用>

关键平台：

建立了复杂环境协同感知数据平台（TPAMI2022）构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平台VisDrone

，覆盖单机和多机协同感知任务。国内外广泛使用的无人机视觉基准数据平台DroneCrowd-TJU

DroneVehicle-TJU

DroneRGBT-TJUVisDrone-TJU

MultiDrone-TJU

AnimalDrone-TJU>

关键平台：

建立了复杂环境协同感知数据平台反无人机微小目标检测数据集（

ECCV2024）平台优势智能化升级

，效率倍增长通过AI技术赋能

，

实现城市巡检从传统人工模式向智能化、

标准化、

规模化的跨越式升级前期前期数据、场景、模型上耗费时间显著降低70%50%40%数据收集时间场景适配时间模型训练时间算法部署效率模型赋能数据驱动场景适配模型流水工厂配套落地数据百城共建通过数据、模型、场景的三维融合展示

，为政府、企业、公众提供低空领域的一站式资源入口

，构建百城空域的数据算法基石

，让低空经济"看得见"、

"管得好"。后期算法的效率和准确度显著提升场景150%后期u2024全球人工智能技术创新大赛-算法挑战赛机场点位12个点位职能部门12个委办局覆盖面积平方公望理论研究发表CCF

A和IEEE汇刊论文80余篇授权发明专

利30项成果支撑团队获得多项国际竞赛冠军和最佳论文奖科技奖励l

吴文俊人工智能科技进步奖一等奖l

吴文俊人工智能优秀青年奖l

天津市自然科学一等奖l

黑龙江省自然科学一等奖l

天津市科技进步奖二等奖l

中国智能交通协会科技进步奖二等奖l

2022CVPR视觉语言多模态挑战赛冠军l

2023CVPR开放世界目标检测挑战赛冠军l

2024昇腾AI创新大赛天津区域决赛高校赛道金奖空军“无人争锋”挑战赛冠军基础平台建设构建了国内外广泛使用的无人机视觉基准数据平台空天地水协同进化智能无人集群感知平台团队荣获吴文俊人工智能科技进步奖一等奖等科技奖励构建世界上规模最大无人机视觉数据平台VisDrone人工智能科技进步奖一等奖从被动感知到自主协同

，构建支撑具身智能体与集群协同进化的下一代数据基座感-策-控一体化构建仿真－物理具身数据基座大规模低空数据平台支撑无人机全天候感知多智能体自主交互建立集群协同数据基准视觉－语言－导航

(VLN)多模态动态感知多任务协同学习视觉－语言－动作

(VLA)多智能体社会化交互群体态势自主感知集群协同感控一体

视觉感四

未来工作一

研究背景

二

VisDrone数据平台·

三

·低空协同感知脑数据支撑混合专家动态融合双向动态提示学习复原融合一体化学习大规模、多源、多模态、多任务的协同感知开放数据平台多模态协同感知面临低空感知场景高动态、模态主导难选择、现实低质量数据退化类型复杂的挑战难点。实现复杂环境下无人机多模态动态协同感知低空多模态动态感知难模态主导难选择感知场景高动态多种退化类型复杂多模态动态协同感知技术挑战难点

关键技术创新局部-全局的混合专家动态模型（

MoE-Fusion）Gioc

al(sio

car)=soft

ma

ac(top

k(sio

cn·wi

o

car))模型动态学习模态-场景的关联信息

，

实现场景样本自适应的多模态动态融合创新：提出局部到全局的混合专家多模态动态模型构建“模态-场景”动态感知关联

(ICCV2023)在多模态非固定关联范式中动态地相互融合主导-辅助模态信息双向Adapter结构简单、高效（仅添加0.32M可学习参数）

，以通用的方式将互补特征从一种模态转移到另一种模态。每个模态分支从其他模态中学习提示信息

，与当前模态的特征信息相结合

，增强表征能力。创新：基于双向Adapter的多模态追踪视觉提示框架(BAT)实现了出色的多模态互补性（AAAI2024）任务门控的多合一退化多模态融合模型（TG-ECNet）Ir=TG-EC

Net(t,f

动态感知低质量图像退化类型

，提示引导专家协同学习

，

实现All-in-One退化多模态图像融合创新：提出任务自适应门控的多模态专家协同模型解决多种类型退化干扰下融合难题

(ICML2025)复杂环境下低空视觉感知面临通用表征学习模型缺乏、任务定制表征学习难等挑战难点。实现复杂环境下智能无人集群全天候精确感知复杂环境低代价感知难非对称掩码视频计数任务定制混合Adapter大规模、多源、多模态、多任务的协同感知开放数据平台数据-标签关系挖掘不充分任务定制表征学习难缺乏通用表征学习模型复杂环境低代价感知技术挑战难点

关键技术创新海河天眼基座模型数据支撑VisDroneMultiDroneAnimalDroneDroneCrowdDroneVehicleDroneRGBT建立低空无人机视觉计算领域和多个平台兼容的模型库并实现大小模型协同进化多维评估体系场景识别能力定位检测能力条件判断能力推理思考能力n

建立超过10亿图像/视频帧数据库

，

开发低空多模态视觉推理大模型指令划分

场景数据2000万+图像/视频帧VisDrone平台数据100+种特定场景的评估基准数据清洗→粒度划分→机器标注→场景指令→千万级低空多模态训练数据预训练多模态大模型增量训练+指令微调基于任务定制的混合Adapters的通用图像融合（TC-MoA）统一多任务阶段以提示为依据进行融合模型能够根据不同的融合任务动态定制不同的adapters混合来获得融合提示

在统一模型基础上兼容不同融合任务的差异

，

并动态指导融合结果的生成。创新：动态兼容多任务的通用图像融合

(CVPR2024)兼容多任务阶段为输入定制融合提示在多个数据上性能优异

，构建大规模无人机视频计数数据集

，

助力候鸟保护创新：构建数据-标签关联

，通过稀疏标签引导非对称掩码重建

，实现精准无人机视频计数

(ICLR2025)DroneBird无人机视频计数数据集基于非对称高效掩码自编码器的无人机视频计数（

E-MAC）基于两阶段损失权重分配的推理高效微调（

DMPO）偏置模块

解耦优化初始阶段:

αearly

<

αdeep后期阶段:

αearly

>

αdeep•

只在浅层插入•

随着模型深度逐渐降维基于早退策略在视觉基础模型前端引入高判别高阶预测器

，

设计两阶段损失权重分配策略提升早期预测器准确性

，

30%内存消耗的准确率接近全推理性能创新：基于高阶预测器器解耦优化的视觉基础模型推理高效微调

(ICCV2025)先学习低级特征的生成随后提升判别能力

loss↓

➫

判别能力↑

loss↑

➫

判别能力↓xi

=Bypi

(xi)

+

xi高阶预测器{i

=σ

({i一1).

{i

(yi,

y)减少阶段间影响智能无人集群空空、空地协同学习中面临模型通用表征学习能力弱、多源目标表观差异大、多智能体协同交互难、空地跨视角差异显著等难题。实现智能无人集群多智能体空空、

空地协同感知与进化智能无人集群协同感知与进化难海河天眼基座模型智能无人集群协同感知开放数据平台+集群空空/空地协同平台

数据与平台支撑

智能无人集群协同感知与进化技术空地跨视角差异显著多源目标表观差异大通用表征学习能力弱多智能体协同交互难挑战难点

关键技术创新多机全局局部匹配网络多智能体社会化学习空地协同感知模型利用Transformer搭建了一种多机协同追踪架构：•

利用Transformer

Encoder实现模板与搜索区域的自动建模。•

对多个模板的注意力权重加权作为依据剪枝Token，用于加速训练和推理。多机协同性能大大超越多无人机单目标跟踪算法ASNet创新：构建TransMDOT的多机协同追框架解决多无人机单目标跟踪协同共享难题（TCSVT2023）为多机协同追踪任务提供数据平台促进多视角间图像匹配、

目标重识别、

协同检测与追踪等领域发展1、

通过全局、

局部匹配结合的多视角图像匹配方法

，进行跨机目标关联

，

实现双机协同追踪2、

设计详细的ID分配策略

，

实现精确的ID继承与更新

，减少ID

switch

，对遮挡目标进行有效补充创新：构建多机协同多目标追踪数据集以及协同追踪框架（TMM2023）社会化学习通过多智能体间数据与知识的定向性交互共享

，

实现了协同进化n

社会化学习范式可以通过智能体之间的关键样本交互和知识交互

，从而实现新知识学习n

在保留个体原先任务认知能力的基础上

，获取其他智能体的任务知识

，进而实现机器社会中多个个体的协同进化创新：针对开放环境下的群智演化

，提出兼顾专业性和通用性的社会化学习范式（ICML2024）创新：针对跨任务下的协同进化

，提出兼顾下游任务专业性和通用性的社会化协同进化范式（ICML2025）n

社会化协同进化范式可以通过智能体之间的层级化动态交互和协同

，从而实现知识的传递与增强社会化协同进化通过多智能体间数据与知识的层级化动态交互

，

实现了跨任务群智演化n

在提升个体原先下游任务认知能力的基础上

，整体解决不同下游任务能力得到增强

，

实现跨任务协同进化构建跨平台（无人机+路面摄像头）多模态（可见光+热红外）空地协同感知数据集模型可以显著捕获全局和局部判别特征

，提升模型对空地协同感知中剧烈视角/尺度变化及局部遮挡的鲁棒性。模型架构图创新：提出针对空地协同感知任务的解耦多粒度模型无人机

异构任务交互进化Reid

Seg

无人车n

打造跨域实时协同感知网络：

基于空地异构设备

，形成多维一体的感知闭环n

创建智能自适应任务枢纽：

实现跨域任务交互与多模型自我优化

，驱动决策智能化实现空地异构协同感知一体化

，驱动跨域任务效能最大化建立空地跨任务协同平台

，实现异构设备、多视角的跨域协同感知-