无人技术应用 4

《智能无人机技术与应用》之无人机智能感知技术及应用

一无人机智能感知技术简介无人机视觉及激光SLAM技术无人机视觉技术研究与发展二三目

录无人机智能感知技术及应用无人机视觉技术应用四无人机激光SLAM飞行实验演示五一、无人机智能感知技术简介无人机智能感知技术是指通过各种传感器和先进的算法，使无人机能像人类一样“看”和“感知”周围环境，从而实现自主飞行、目标识别、障碍物避让等功能。由于具备成本低、可避免人员伤亡等优势及优越的ISR(Intelligence情报,surveillance监视,reconnaissance侦察)能力,无人机作为一种灵活、高效、低风险、全天候的态势感知平台,在军民领域得到了广泛关注和应用。一、无人机智能感知技术简介无人机传感器：1）避障传感器视觉传感器、激光雷达（LiDAR）、热像仪、毫米波雷达、超声波传感器、红外传感器2）导航传感器加速度传感器、陀螺仪、GPS模块、地磁传感器、气压计3）环境监测传感器温度传感器、湿度传感器多（64）线激光雷达单线激光雷达二、无人机视觉及激光SLAM技术无人机视觉——通过为无人机装备摄像头，利用无人机收集的视觉数据（图像或视频），研究无人机或终端感受和理解自然景物的理论和技术，已成为当前一个十分热门的研究及应用领域[杨欣等2022]。Drones(orUAVs)equippedwithcamerashavebeenfastdeployedtoawiderangeofareas,includingagriculture,aerialphotography(航空摄影),fastdelivery(快速投递),andsurveillance(监视)[Zhuetal2021].Despitethegreatprogressesingeneralcomputervisionalgorithms,suchasdetectionandtracking,thesealgorithmsarenotusuallyoptimalfordealingwithdronecapturedsequencesorimages.Thisisbecauseofvariouschallengessuchaslargeviewpointchangesandscales.杨欣,王刚,李椋,李邵港,高晋,王以政.基于深度卷积神经网络的小型民用无人机检测研究进展[J].红外技术,2022,44(11):1119-1131.PengfeiZhuetal.

VisionMeetsDrones:Past,PresentandFuture[J].arXiv,2021:06303

二、无人机视觉及激光SLAM技术SLAM(SimultaneousLocalizationandMapping,同步定位与建图)，是指运动物体（无人机）根据传感器的信息，边计算自身位置，边构建环境地图的过程，解决无人机在未知环境（GPS受限或复杂环境）运动时的定位（我在哪儿）和地图构建（我周围是什么）问题，实现自主定位和环境映射，生成精确的三维地图，为导航和规划提供支持。我在哪儿？我周围是什么？SLAM的核心是定位姿。SLAM的目标是建图。二、无人机视觉及激光SLAM技术Review:位姿描述俯仰角偏航角翻滚角(x,y,z)二、无人机视觉及激光SLAM技术SLAM（按传感器分类）视觉SLAM深度相机VSLAM单目/鱼眼相机VSLAM激光SLAM2D激光SLAM3D激光SLAM通过收集点云数据，直接计算障碍物距离，进行定位与建图。利用多帧图像来估计自身的位姿变化，再通过累计位姿变化来计算距离物体的距离，进行定位与建图。通过收集点云数据，直接计算障碍物距离，进行定位与建图。室内移动机器人，如扫地机器人无人驾驶汽车SLAM发展趋势是视觉与激光融合二、无人机视觉及激光SLAM技术宾大kumar教授做的无人机二维激光SLAM视觉SLAM二、无人机视觉及激光SLAM技术SLAM通用架构SLAMCartographerKartoGmapping……LIO-SAMLOAM系列SuMa++……ORB-SLAM3VINS-FusionInfiniTAM……3DSLAM视觉SLAM2DSLAM前端（图形构造）后端（优化）约束位姿优化配置（更新位姿）传感器数据数据采集数据时空同步特征提取数据融合数据关联运动估计非线性优化回环检测三、无人机视觉技术研究及发展（一）基于机器学习/深度学习的图像分类范式三、无人机视觉技术研究及发展通用视觉识别任务类别三、无人机视觉技术研究及发展无人机视觉识别任务目标检测与跟踪语义分割实例分割场景理解三维重建三、无人机视觉技术研究及发展（二）无人机数据集1、

VisDrone2022天津大学机器学习与数据挖掘实验室的AISKYEYE团队收集了一个

大规模的无人机捕获数据集VisDrone，其中包括四个track，即

(1)图像目标检测，(2)视频目标检测，(3)单目标跟踪，(4)多目标跟踪。PengfeiZhuetal.

VisionMeetsDrones:Past,PresentandFuture[J].arXiv,2021:06303/VisDrone/VisDrone-Dataset三、无人机视觉技术研究及发展2、

Drone-vs-BirdDetection自2017年已更新6版。包含11个在不同时间拍摄的MPEG4格式视频，每个视频文件对应有XML格式的标注文件。场景中的无人机呈现出多尺度、多视角和亮度异质性。包含大量远距离的小尺寸无人机和飞鸟，很多无人机的面积小于20像素，有300多个无人机的目标标注检测框边长甚至低至3～4个像素，对这些微小目标的检测非常具有挑战性。AngeloColucciaetal.TheDrone-vs-BirdDetectionGrandChallengeatICASSP2023:AReviewofMethodsandResults.IEEEOpenJournalofSignalProcessing,2023(99):1-15三、无人机视觉技术研究及发展2、

CARPK（汽车停车场数据集）包含无人机(PHANTOM3PROFESSIONAL)从4个不同停车场、在约40米高度的无人机视角下收集的89777辆汽车图像。每辆车用边界框标注图像集。所有标记的边界框都已记录了左上角点和右下角点。支持航拍小目标检测、停车场管理、对象计数、对象定位及对边界框中的注释格式的进一步研究。M.Hsieh

etal.Drone-basedobjectcountingbyspatiallyregularizedregionalproposalnetwork，ICCV,2017：4146-4153https://lafi.github.io/LPN/三、无人机视觉技术研究及发展4、

UAV-GESTURE用于室外环境下的无人机控制和手势识别的数据集，手势信号可以有效地用于无人机控制。13种适合无人机导航和命令的手势。总共包含由37151帧组成的119个高清视频。Perera,AGetal.UAV-GESTURE:ADatasetforUAVControlandGestureRecognition.ECCV2018Workshops.LectureNotesinComputerScience,2019,11130:117-128.Springer,Cham.Thedatasetcontainsatotalof37151framesdistributedover119,25fps,1920×1080videoclips.三、无人机视觉技术研究及发展5、

university-1652用于目标定位，包含来自合成的无人机、卫星图、地面相机三个平台的全球72所大学的1652座建筑物。主要包含两方面的任务。（1）无人机视图目标定位：（无人机->卫星）给定一个无人机视图图像或视频，该任务旨在找到最相似的卫星视图图像，以在卫星视图中定位目标建筑物。（2）无人机导航：（卫星->无人机）给定一个卫星视图图像，该无人机将试图找到它经过的最相关的位置（无人机视图图像）。根据其飞行历史，可以将无人机导航回目标位置。ZhedongZhengetal.University-1652:AMulti-viewMulti-sourceBenchmarkforDrone-basedGeo-localization.Proceedingsofthe28thACMInternationalConferenceonMultimedia,2020:

1395

-

14

三、无人机视觉技术研究及发展6、

ERA（航拍视频中的事件识别）2864个视频组成，每个视频都包含一个来自25个不同类别的标签，对应于展开5秒640*640大小的视频。用于视频分析、目标检测。L.Mouetal.ERA:ADataSetandDeepLearningBenchmarkforEventRecognitioninAerialVideos.

IEEEGeoscienceandRemoteSensingMagazine,2020,8(4):125-133三、无人机视觉技术研究及发展TABLE1:Comparisonofthestate-of-the-artbenchmarksanddatasets.Notethat,theresolutionindicatesthemaximumresolutionofvideos/imagesincludedinthebenchmarksanddatasets.(1k=1,000)PengfeiZhuetal.

VisionMeetsDrones:Past,PresentandFuture[J].arXiv,2021:06303三、无人机视觉技术研究及发展TABLE1:Comparisonofthestate-of-the-artbenchmarksanddatasets.Notethat,theresolutionindicatesthemaximumresolutionofvideos/imagesincludedinthebenchmarksanddatasets.(1k=1,000)PengfeiZhuetal.

VisionMeetsDrones:Past,PresentandFuture[J].arXiv,2021:06303三、无人机视觉技术研究及发展视觉自主着陆马宁等.面向无人机自主着陆的视觉感知与位姿估计方法综述[J].自动化学报,2024,5(7)各类无人机的着陆阶段仍是飞行中风险最高、最具技术挑战性的阶段之一。据美国国防部技术报告统计，RQ-2“猎人”和RQ-5“先锋”无人机在自主降落过程中发生事故的概率约为50%；2019年8月,英军装备的“守望者”无人机在着陆时复飞失败于越过着陆点约900m处坠毁；同年8月，

瑞士邮政无人机在配送包裹测试中,由于GPS通信受阻,连续发生了两起紧急着陆坠毁事故。据悉三成以上的无人机飞行事故发生在着陆阶段，其中海基着陆比陆基着陆的事故率还要高6倍左右。基于视觉的自主着陆是指利用机载视觉传感器实时获得图像，采用图像处理技术实时解算出无人机的位姿等着陆导引参数。基于视觉的着陆导引方式是未来无人机着陆的重要发展方向。面向合作标识着陆（如“T”形、“H”形、圆形、矩形以及增加颜色、温度等辅助信息,或者采用类似于二维码的视觉基准标识系统）面向跑道着陆（面向需要借助跑道滑跑着陆的固定翼无人机或航母上着舰的应用场景）（三）最近研究与发展三、无人机视觉技术研究及发展视觉自主精准着陆洪富祥等.一种基于机器视觉的无人机同心圆靶精准降落方法[J].量子电子学报,2021,38(3)：307-315基于GPS记录无人机起飞点的一键返航是当前常用自动降落方法之一。但GPS定位精度误差大,难精准定位起飞点。三、无人机视觉技术研究及发展TinydronesTomvanDijketal.

Visualroutefollowingfortinyautonomousrobots[J].ScienceRobotics,2024,9(92):adk0310荷兰代尔夫特理工大学研究成果三、无人机视觉技术研究及发展瑞士苏黎世大学研究成果IsmailGelesetal.

DemonstratingAgileFlightfromPixelswithoutStateEstimation[J].Robotics:ScienceandSystems,2024https://youtu.be/a1MSkTD-Tl8三、无人机视觉技术研究及发展瑞士苏黎世大学研究成果AntonioLoquercioetal.

Learninghigh-speedflightinthewild[J].ScienceRobotics,2021,6(59):eabg5810Time-lapseillustrationsofagilenavigationatspeedsbetween5and10m/sinavarietyofenvironments(toptobottom):amountaintrail,aforest,anairplanehangar,andadisasterzone.Themiddlerowsshowthesameenvironments,butfromdifferentviewpoints.Thelastrowshowsnavigationthroughacollapsedbuildingandaboveaderailedtrain.特点：视觉路径跟踪、轻质、敏捷（快速）、强化学习三、无人机视觉技术研究及发展浙大湖州研究院FASTLab研究成果——野外微型无人机集群XinZhouetal.

SwarmofMicroFlyingRobotsintheWild[J].sciencerobotics,2022,7:eabm5954机载感知、定位和控制杂乱环境导航对不同任务需求的可扩展性没有外部设施的蜂群协调Thetrajectoriesduringthe3-minflight四、无人机技术应用A军事军用B农林植保C航拍航测D线路巡检E物流传送F抗灾救援A军事军用机器视觉算法（机器学习和深度学习）研究是无人机（军事军用）目标识别和跟踪应用的热点研究方向褚旭龙.人工智能在无人机军事领域的应用发展研究：基于WOS核心数据库的文献计量分析[J].科学技术与工程,2023,23(36)：15512-15521A军事军用在科索沃战争、纳卡战争、俄乌冲突等现代战争中,无人机执行了大量的侦察监视、火力导引、目标指示和战斗毁损评估等重要军事任务，颠覆战争规则，改变战争形态。军用无人机已成为现代战场上的“空中之眼”，通过搭载各种先进的摄像头系统，提供实时、高清的战场情报。马宁等.面向无人机自主着陆的视觉感知与位姿估计方法综述[J].自动化学报,2024,5(7)高清成像，使得无人机能够准确识别目标，为打击提供精准指引。A军事军用以色列ROTEML军用四轴无人机目标识别定位重量为6千克，作战距离10公里，可装入背包内携带在任何场所都能展翼飞行的四旋翼自毁式无人机。搭载1.2千克的弹头，可飞行30分钟。尺寸和噪音较小，可精确打击1米以内的目标，可用于“斩首作战”。A军事军用俄乌战争中巡飞弹无人机（KUB-BLA，立方体）视觉目标实时识别及分类翼展1.21米，长0.95米，高0.165米，可用于情报、监视和侦察(ISR)等任务以及“自杀”攻击作战。可携带最大有效载荷达3公斤的传感器和爆炸弹头；可在空中停留30分钟，并能在最远约40公里的范围内击中目标。A军事军用军用无人机已成为现代战场上的“空中之眼”，通过搭载各种先进的摄像头系统，提供实时、高清的战场情报。多光谱成像，可以捕捉到红外、紫外等不同波段的图像信息，为指挥官提供更加全面的战场态势感知。无人机都慢慢增加了微型化集群、自主猎杀等功能。察打一体机成为现代战争的必然趋势，能实施跟踪定位遥测，猎杀地面高价值目标。A军事军用目标跟踪华夏等.视觉感知的无人机端到端目标跟踪控制技术[J].浙江大学学报（工学版）,2022,56(7):1464–1472.虚拟测试场景中车辆和人员的跟踪无人机目标跟踪是目前无人机领域热点研究方向之一道路、仓库、民房、车库等常规军事和民用建筑虚拟环境中车辆和人目标跟踪A军事军用军用无人机已成为现代战场上的“空中之眼”，通过搭载各种先进的摄像头系统，提供实时、高清的战场情报。复杂环境适应性战场环境复杂多变，如沙尘暴、雾霾等恶劣天气条件都会对摄像头成像造成严重影响。因此，如何提高摄像头在复杂环境下的适应性成为了一个亟待解决的问题。抗干扰能力在电子战日益激烈的今天，敌方可能会采用各种手段对无人机摄像头进行干扰。如何提升摄像头抗干扰能力，确保其稳定工作成为了军事技术人员需要面对的一大挑战。信息安全问题军用无人机摄像头所获取的情报信息往往涉及到国家机密。因此，如何确保信息在传输、处理过程中的安全性成为了无人机摄像头技术发展的重要方向。军用无人机摄像头作为现代战场上的重要装备之一，其力量与挑战并存。随着科技的不断进步和创新，我们有理由相信未来的军用无人机摄像头将更加强大、智能和安全。它们将继续为指挥官提供实时、准确的战场情报支持，为战争的胜利贡献力量。B农林植保作业应用为了提高无人机作业的效果，降低人为控制飞行航迹的误差，具有较高定位和航迹精度的无人机航迹自主控制技术是近年来无人机航空作业的研究热点。精准农业方面，主要是机器学习处理无人机获取的图像，获得叶面积指数、归一化植被指数等，对农作物生物量和产量等进行估计，规划作业路径，为后续开展精准施药施肥作业提供数据支持。林业领域方面，主要用于森林资源调查（包括森林冠层结构、高度、木材蓄积量等信息的获取等）和森林健康状况遥感（包括森林病虫害监测、火灾监测等）等方面。B农林植保算法流程

Crop（作物）

extractionprocessesframeworkZ.Yeetal.AcomparisonbetweenPixel-baseddeeplearningandObject-basedimageanalysis(OBIA)forindividualdetectionofcabbageplantsbasedonUAVVisible-lightimages,Comput.Electron.Agric.209(2023)107822MarcoCanicattìetal.Dronesinvegetablecrops:Asystematicliteraturereview[J].SmartAgriculturalTechnology,2024,7:100396B农林植保作物行杂草检测M.D.Bah.DeepLearningwithUnsupervisedDataLabelingforWeedDetectioninLineCropsinUAVImages[J].RemoteSensing,2018,10：1690MarcoCanicattìetal.Dronesinvegetablecrops:Asystematicliteraturereview[J].SmartAgriculturalTechnology,2024,7:100396beanfieldsspinach（菠菜）fieldsThedetectedbluelinesaremainlylocatedinthecenterofthecroprows.Weedsdetection(inred)

inspinachfarmB农林植保精准喷洒作业多光谱监测杂草NDVI图通过使用多光谱监测播种前后的田块，用NDVI植被指数分离出杂草的发生位置，生成精准喷洒的处方图，给到农业无人机进行喷施，从而实现精准除草。无人机精准除草解决除草剂使用成本高以及农药滥用造成的生态污染等一系列问题将会更多地被运用于全球各地，实现减药增效的同时，推进全球农业生态绿色可持续发展。精准点喷处方图和航线图B农林植保精准喷洒作业油棕病虫害多发生在树心部位，幼龄油棕受椰子犀角金龟（别名犀牛甲虫）等害虫侵害树心后，会导致叶子受损、叶柄孔洞和长矛断裂或折断，从而导致树木变形和干枯，最终导致幼年油棕树过早死亡。

大疆农业无人机为油棕虫治管理提供定制化服务“油棕模式”，采用T16油棕专用的喷嘴布局系统，搭配DJITerra果树模式AI识别即可精准判断树心位置，定点喷洒树心，最终达到最优的防虫效果的同时，还能省水省药B农林植保六旋翼无人机和边缘计算设备设计一种油菜苗实时计数平台黄小毛等.基于无人机视频影像的油菜苗检测与计数[J].农业工程学报，2024，40（10）：147-156B农林植保六旋翼无人机和边缘计算设备设计一种油菜苗实时计数平台黄小毛等.基于无人机视频影像的油菜苗检测与计数[J].农业工程学报，2024，40（10）：147-156B农林植保通道注意力机制（CoordinateAttention，CA）+YOLOv8的青皮核桃目标测产钟天泽等.基于改进YOLO_v8的无人机视角下青皮核桃目标检测[J].郑州大学学报（理学版），2024B农林植保通道注意力机制（CoordinateAttention，CA）+YOLOv8的青皮核桃目标测产钟天泽等.基于改进YOLO_v8的无人机视角下青皮核桃目标检测[J].郑州大学学报（理学版），2024B农林植保大豆苗中常见禾本科杂草和阔叶型杂草识别王生生等.基于轻量和积网络及无人机遥感图像的大豆田杂草识别[J].农业工程学报，2019，35（6）：81-89B农林植保无人机放牧TaoChenetal.Novelintelligentgrazingstrategybasedonremotesensing,herdperceptionandUAVsmonitoring[J].ComputersandElectronicsinAgriculture,2024(219):108807B农林植保观测亚洲象北移开展野生动物保护过程中，应用无人机红外、激光测距等功能优势方能实现科学作业，发挥最大效能。在200米以上高空对地面云南亚洲象群北迁大象目标开展观测可有效避免惊扰象群。通过激光测距模块，作业人员可实时获取无人机距离象群的准确距离，保障无人机与象群的安全边界。夜间利用观测红外热成像功能，象群家族夜晚活动的影像轨迹也能清晰可见。夜间热成像清晰观测象群动向农场小鹿无人机红外热成像与可见光对比德国，农场主及动物保护组织在每年的草场收割季，借助无人机热成像画面定期开展野生小鹿搜寻，保护其免受割草机的伤害。C航拍航测专业航拍《狼图腾》（2015年）无人机航拍镜头航拍动作：直飞后退倒飞飞越抬头升降侧飞旋转和环绕C航拍航测无人机测绘C航拍航测部件级实景三维建模，张家界贴近摄影测量近年来，实景三维成为测绘行业热议话题。实景三维以真实直观、高精度等特点在城市规划、智慧旅游、应急救灾等领域得到广泛应用。据自然资源部印发的《关于全面推进实景三维中国建设的通知》，到

2050年，80%以上的政府决策、生产调度和生活规划可通过线上实景三维空间完成。实施“实景三维张家界”项目，建设数字孪生张家界，采用贴近摄影测量技术重建天门山，分辨率优于

0.01

米，获取高精度地理信息数据。基于实景三维张家界模型的渲染效果百龙天梯贴近航线规划C航拍航测黄河防凌监测大疆经纬M300提供的流凌情况全景图大疆智图软件快速测量封冻长度，冰凌与岸边距离C航拍航测黄河防凌监测汾河河道建模成果漫游贴近物体表面摄影洞察岩体裂缝和间隙C航拍航测利用改进U-Net模型检测外墙裂缝刘少华等.基于航拍图像与改进U-Net的建筑外墙裂缝检测方法[J].土木与环境工程学报，2024，46（1）：223-231C航拍航测古建裂缝监测杨娜等.基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计[J].工程力学，2021，38（3）：27-39实验搭建仿古建筑木结构裂缝监测C航拍航测飞机蒙皮损伤检测吴军等.采用无人机视觉的飞机蒙皮损伤智能检测方法[J].中国测试，2021，47（11）：119-126机翼的无人机绕检全覆盖路径规划D线路巡检传统人工巡检有哪些不足？线路目标检测是目前该领域最为热门的研究方向。大量的研究致力于自动识别并标注巡检航拍图像中的关键电力部件或特定缺陷。无人机智能自主巡检是线路巡检的必然趋势。缪希仁等.无人机输电线路智能巡检技术综述[J].福州大学学报（自然科学版），2020，48（2）：198-209道路车辆识别统计D线路巡检传统人工巡检有哪些不足？A.K.Singhetal.Visionbasedrailtrackextractionandmonitoringthroughdroneimagery[J].ICTExpress，2019，5：250-255张晨等.基于无人机视觉的道路违法搭建检测[J].计算机技术与发展，2018，28（7）：140-153.AI自动识别工人是否佩戴安全帽AI自动识别工地违停车辆D线路巡检巡检中目标跟拍为了避免拍摄视角被遮挡，在无人机电力巡检工作中，通常需要对巡检目标进行多角度拍照，然而人工调整云台相机角度的方式费时耗力，且飞手在控制无人机的同时操控云台也难免手忙脚乱。选中目标后，飞手只需平移无人机，云台就会同步自动调整角度，智能识别并持续跟踪目标，保证巡检对象始终处于屏幕中央位置，这样作业人员就可以根据需要，从容采集多角度巡检影像，提高巡检效率。D线路巡检Trackdetectionandgaugemeasurementareconsideredascrucialaspectsofrailwayinspectionsystems.Traditionally,monitoringbyhumaninspectorswasdone.Inrecentyears,variousprototypesofvisionba