低空智能-从感知推理迈向群体具身

CONTENTS一、低空研究背景二、低空数据平台三、低空感知大脑四、低空典型应用CONTENTS一、低空研究背景二、低空数据平台三、低空感知大脑四、低空典型应用低空经济产业已成为国家新兴支柱产业，市场需求呈现井喷式增长《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》2025年10月，党的二十届四中全会颁布《中共中央关于制定国民经济和社会发展第十五个五年规划的建议》，其中明确指出“打造新兴支柱产业，加快低空经济等战略性新兴产业集群发展，催生数个万亿元级甚至更大规模的市场”。安防巡检现有巡检市场缺口巨大安防巡检应用市场规模超过500亿元水情监测2021年河南遭遇特大暴雨受灾1478万人，经济损失1200亿元应急搜救2022年四川泸定6.8级地震死亡失踪117人，经济损失154亿元低空智能深化赋能经济转型低空智能深化赋能经济转型“看不清”雨雪雾恶劣天气和低光照环境降低了无人机对目标的感知清晰度“看不准”无人机高速飞行，场景动态变化，降低了感知准确度“看不全”单机视角有限且存在遮挡，无法捕捉目标在所有角度下的的特征语义稀密从下往上从下往上，第三排中靠画面最左侧的红色汽车这个路口中存在的违章行为与异常现象这个路口中存在的违章行为与异常现象低空视野广实例密。在稀疏文本约束下，从细粒度视觉中辨析细节，需要精细逻辑进行推理。空间难解俯拍视角进行目标感知与属性理解俯拍视角进行目标感知与属性理解斜拍视角进行位置判断与空间度量斜拍视角进行位置判断与空间度量低空强投影与三维信息缺失，需要理解姿态与视角差异，从二维观测中构建空间推理能力。任务繁复感知目标检测、目标计数、场景分类、异常识别理解图像描述、条件判断、视觉定位、高度预测推理物理推理、因果推理、情景推断、反事实推理决策多机协同、任务规划、动作执行、安全性评估四维度多种任务形式四维度多种任务形式这里是什么场景？存在安全隐患吗？任务间推理路径差异化任务间推理路径差异化任务高度多样化，在输出结构、知识深度与推理路径上差异巨大，需要跨层次泛化推理能力。“目标理解不可靠”语言指令与场景理解不稳定，任务目标识别易偏差“动作生成不精准”动作生成误差导致机械臂需要执行冗余动作才能完成任务“体系安全不可控”端到端决策难以解释，对突发场景响应不足，系统级可靠性难以保障“数据缺”场景理解物体理解感知评估协作决策协同感知与具身基础数据匮乏，导致基座构建受限“自主差”感知大模型ZZ"面F含一协同性。模型1a模型2协同自主进化机制匮乏，导致感知与持续学习能力双重受限“协同难”多机具身协同难，导致群体具身智能感策控实现难CONTENTS一、低空研究背景二、低空数据平台三、低空感知大脑四、低空城市治理统计机器学习长期关注数据规模、结构及分布与模型泛化间规律Vapnik,V.《TheNatureof提出结构风险最小化原则Vapnik,V.《TheNatureof提出结构风险最小化原则，建立数据量决定可安全使用的模型复杂度经典范式提出双下降，修正经典U形曲线，揭示过参数化区域新动态提出维度诅咒，揭示高维空间数据挑战提出不变风险最小化，学习不变特征Vapnik,V.&Chervonenkis,A.《Onconvergenceofeventstothe提出VC维，连接模型容量与数据样本量learningfromdiffer突破IIDlearningfromdiffer突破IID假设的局限，将“数据分布特性”纳入核心分析框架系统阐述非线性模型的偏差-方差权衡与数据维度挑战深度学习的“记忆随机标签”实验，质疑经典VC维解释泛化的有效性根据数据结构选择模型维度问题影响模型选择数据样本量稀缺需严格约束模型复杂度前提假设和静态度量失效经验规律重构新范式导向根据数据结构选择模型维度问题影响模型选择数据样本量稀缺需严格约束模型复杂度大模型时代技术迭代也对训练数据的样本规模与质量提出更高标准虚实数据增效世界模型迁移非线性跃迁数据质量至上2025年“具身数据受限”2025年“具身数据受限”2020年“数据需求”2020年“归纳总结”2023-2024年“能力涌现”充分训练发现幂律参数主导发现幂律参数主导的数据的数据，是驱动大模型能力进阶的低空环境感知数据呈现出多任务、低空环境感知数据呈现出多任务、多模态和多源协同特性UAVDTVisDroneUAVDTVisDroneAG-ReIDAG-ReIDDroneVehicleVTUAVDroneVehicleVTUAVEmbodiedCityCityEQAOpen3D-UAVEmbodiedCityCityEQA在多个视角转换设定下，进行定量空间推理。覆盖多源传感器信息，引入物理约束，进行动力学推理、多机协同、安全决策等任务在多个视角转换设定下，进行定量空间推理。2025.11虚拟城市中对物体属性，空间关系进行推理判断。无人机第一视角场景理解，对话问答，以及任务规划。2025.11虚拟城市中对物体属性，空间关系进行推理判断。无人机第一视角场景理解，对话问答，以及任务规划。2025.03!2024.10引入多视角协同推理，加入多源评估与协作决策。基于多源信息构建物理度量，在真实环境中进行空间推理。2025.02因果/关联/反事实推理；路线规划与动作输出；仿真➡现实泛化测试AirCopBenchSpatialSkyUrbanVideo2025.052025.03!2024.10引入多视角协同推理，加入多源评估与协作决策。基于多源信息构建物理度量，在真实环境中进行空间推理。2025.02因果/关联/反事实推理；路线规划与动作输出；仿真➡现实泛化测试AirCopBenchSpatialSkyUrbanVideo2025.05以AerialVLN为起点的低空具身智AerialVLNAirSim+Unreal渲染25座城市，8k人发布12k条6-DoF轨UrbanVideo-Bench汇集两座真实城市视频+AerialVLN环境，共1.5k视频2022.052022.052023.082024.062024.102025.022025.022025.05AVDN引入“指挥官-供3k对话轨迹模拟飞行中语言CityNav真实点云+地标OpenFly18座城市场景，是当前最大真实VLD首个面向无人机终端投递场景的视觉语言导航数首批多机单目标跟CoPerception-UAV多机高效通信协同AeroCollab3D多无人机协同3D2019.082020.112020.112022.112024.052024.062025.11VRAI首批跨无人机MDMT首批多机多目U2UData面向大规模无人机集群自主飞行AircoBench多无人机具身正加速推动群体智能正加速推动群体智能Z"面边端协同·性能模型1模型2类增量：持续学习海量低空数据海量低空数据云端赋能云端赋能边端协同边端协同协同进化协同进化迭代进化●Δx,Δy●Δx,Δy特征融合压缩特征融合压缩关键目标理解关键目标理解大语言模型大语言模型图像编码器图像编码器语言编码器任务能力提升动作指令生成：Action=F(wt(E(x),o(gps,imu)))任务能力提升策略函数感知编码可进化世界世界模型进化：wt+1=U(wt,Dreal,Dvirtual,Feedbacktask)更新算法真实、虚拟数据任务反馈可进化世界模型无人机智能体动作指令输出maximizeEτ[Reward(τ)]模型无人机智能体动作指令输出任务约束优化：DKL(DvirtualⅡDreal)≤E具身任务收益虚实一致性约束VLN、VLA虚拟场景预测VLN、VLA少量真实数据、任务反馈面向低空需求，构建大规模低空视觉感知开放数据平台VisDrone多机感知物体追踪多模态感知多任务感知人群计数模型场景通过AI技术赋能，实现城市巡检从传统人工模式向智能化、标准化、规模化的跨越式升级模型场景数据百城共建百城共建数据收集时间场景适配时间模型训练时间算法部署效率CONTENTS一、低空研究背景二、低空数据平台三、低空感知大脑四、低空典型应用研究挑战研究挑战“看不清”“看不准”“看不全”“看不清”“看不准”“看不全”复杂环境全天候观测难低空感知模型进化难多机跨视角感知难复杂环境全天候观测难低空感知模型进化难多机跨视角感知难多传感器协同学习多任务协同学习多机协同学习城市治理城市治理应急搜救安防巡检防汛监测低空协同学习协同性是群体协同的前提，低空协同学习能够降低贝叶斯误差）：az=I(Y;X(i),X(j))-I(Y;X(i))-I(Y;X(j))）：T)-I(Y;T)-I(Y;T)）：t=I(y;fu,f,)-I(y;fu)-I(y;f)三者协同的贝叶斯误差：pjoint≤1-earp(-H(y⃞x(1-),T.x,f:z))多维度群体协同降低了贝叶斯误差EQ\*jc3\*hps40\o\al(\s\up2147483644(高),其)EQ\*jc3\*hps40\o\al(\s\up20(学),的)EQ\*jc3\*hps40\o\al(\s\up21(多),小)EQ\*jc3\*hps40\o\al(\s\up21(度),整)EQ\*jc3\*hps40\o\al(\s\up21(损),体)EQ\*jc3\*hps40\o\al(\s\up21(失),互)低空多传感器协同学习低空场景低空场景复杂退化多模态数据严重制约感知效能，导致“看不清”动态增强低质量图像恶劣天气和光照条件变化动态增强低质量图像看不清夜间多雾夜间多雾风沙风沙如何动态复原多种挑战噪声类型？挑战如何动态挖掘多模态有效性？低空多传感器协同学习构建了复杂退化自适应建模理论与复杂多退化统一复原范式提出了空场景特征引导的多传感器可信提示动态鲁棒感知方法质量提升动态权重+感知结果多源融合图像动态权重+感知结果多源融合图像IJCVIJCV2024(通讯)→NeurIPS2025(通讯)→TPAMI2025(通讯)→ICML2025(通讯)→AAAI2026(通讯)IJCVIJCV2024(通讯)→NeurIPS2025(通讯)→TPAMI2025(通讯)→ICML2025(通讯)→AAAI2026(通讯)低空多传感器协同学习恶劣天气条件下低空多模态目标追踪性能提高超过6%复杂退化条件下小目标特征增强超过16倍，检测性能提升超11%恶劣天气场景低空感知复杂退化小目标场景低空感知恶劣天气场景低空感知16×图像增强16×图像增强细化小目标特征90.290.2提高6.1%提高图像增强多合一自适应复原84.179.5低空多种复杂退化小目标感知88.6提高6.1%提高图像增强多合一自适应复原84.179.5低空多种复杂退化小目标感知88.6低空多任务协同学习低空感知低空感知场景复杂多变，任务种类繁杂，模型难泛化，“看不准”低空视觉感知模型自主进化难场景复杂多变&任务种类繁杂低空视觉感知模型自主进化难井土井土车挑战挑战如何实现复杂任务场景自主进化？如何实现多种实景种类自主进化？低空多任务协同学习构建覆盖构建覆盖超广域场景，高复杂任务的千万级低空视觉开放数据平台VisDrone多机感知物体追踪多模态感知多任务感知人群计数低空多任务协同学习构建面向低空视角的视觉感知基础模型DroneNet研发基于组件功能驱动的高效模型适配框架组件功能分析多任务适配器融合高效多任务适配器融合适配器感知...低空多任务协同学习新场景新任务小时级快速适配，进化后性能提升超20%形成覆盖百城百景的模型库，服务20余家企业和单位lili本项目v183.08提高25.38%57.70微软亚洲研究院申请人 安全帽识别 泥石流检测 22个领域 安全帽识别 泥石流检测 22个领域 裸土未覆盖 落叶松健康别 红外光伏板街边涂鸦街边涂鸦 街面横幅街面横幅 标记线模糊 森林火灾 封窗广告牌 停车场空位 排水口排放森林火灾 封窗广告牌 停车场空位 排水口排放 水环境监测翻阅围栏 松树线虫病翻阅围栏 刺槐林枯木 太阳能热水 保护壳缺失 乱 乱百城百景API服务...低空多机协同学习多机跨视角差异大，目标易受遮挡，难以“看得全”多机跨视角匹配难多机跨视角差异大，目标易受遮挡多机跨视角匹配难挑战挑战低空多机协同学习自适应交互多视角信息自适应交互多视角信息，构建双向动态特征提示跟踪框架基于引入SS