未知环境下基于视觉的无人机目标跟随与着陆方法研究——硕士论文

国防科学技术大学研究生院硕士学位论文工学硕士学位论文未知环境下基于视觉的无人机目标跟随与着陆方法研究 硕士生姓名学科专业控制科学与工程研究方向机器人技术指导教师 国防科学技术大学研究生院 年 月未知环境下基于视觉的无人机目标跟随与着陆方法研究 国防科学技术大学研究生院目 录摘 要iABSTRACTii第一章 绪论11.1 课题研究背景和意义11.2 国内外研究现状21.2.1 国外研究现状21.2.2 国内研究现状51.3 本文主要研究内容51.3.1 论文的主要工作51.3.2 论文的创新点61.3.3 论文的组织结构7第二章 实验平台介绍及目标识别方法82.1 AR.Drone 2.0实验平台介绍82.1.1 硬件平台82.1.2 软件系统92.2 目标识别方法122.2.1 目标标志的选取122.2.2 一种基于神经网络分类器的目标识别方法122.2.3 一种基于霍夫变换的残缺目标识别方法132.2.4 目标识别算法实时性分析142.3 小结15第三章 基于射影几何与PTAM的目标跟随与目标速度估计163.1 基于射影几何的目标在相机坐标系下的位置估计163.2 基于PTAM的相机与目标在世界坐标系下的位置估计193.2.1 基于PTAM的世界坐标系的建立193.2.2 目标在世界坐标系下的位置估计213.3 三维空间中基于卡尔曼滤波的目标速度估计233.4 实验结果与分析253.4.1 二义性问题实验结果与分析253.4.2 目标跟随控制律设计及精度分析273.4.3 PTAM算法的实时性分析293.4.4 基于PTAM的无人机位置估计精度分析303.4.5 基于卡尔曼滤波的速度估计分析313.5 小结33第四章 基于射影几何与视觉伺服的无人机着陆方法344.1 基于射影几何的无人机着陆方法344.1.1 目标平面法向量“二义性”判别344.1.2 偏航角获取364.1.3 基于标志平面的世界坐标系的建立364.1.4 基于射影几何的无人机着陆控制器设计384.2 基于视觉伺服的无人机着陆控制384.2.1 基于视觉伺服的误差信号选取384.2.2 控制信号从图像平面到三维空间的转换394.2.3 基于视觉伺服的PID控制器设计404.2.4 射影几何与视觉伺服的结合414.2.5 目标跟随与着陆的过程设计434.3 实验结果与分析444.4 小结46第五章 总结与展望485.1 总 结485.2 展 望48致 谢50参考文献52作者在学期间取得的学术成果56图 目 录图1.1几种常用的目标跟随与着陆标志2图1.2 地面移动平台4图2.1 AR.Drone 2.0 及其坐标系8图2.2 无人机感知及其通信方式9图2.3 本文无人机软件系统的各节点及其所发布的话题10图2.4本文研究用到的tf树10图2.5动态参数服务器参数调节界面11图2.6 ros下rviz工具11图2.7 目标标志12图2.8 目标识别的步骤及结果：原始图像（左上角），二值化图像（右上角），查找连通域（左下角），识别结果（右下角）13图2.9 目标被遮挡或者在相机视野中残缺时的识别效果14图2.10 基于神经网络分类的目标识别算法的运算时间15图2.11 霍夫变换圆形检测的运算时间15图3.1 圆的透视成像原理图17图3.2 本文实验中PTAM提取的环境中的特征点20图3.3 本文实验中PTAM建立的地图（红色）和无人机的飞行轨迹（绿色）21图3.4 PTAM算法流程21图3.5 各坐标系的位置关系在rviz中的显示22图3.6 两组解在相机坐标系下X轴坐标25图3.7 两组解在相机坐标系下X坐标之差25图3.8 两组解在相机坐标系下Y轴坐标26图3.9 两组解在相机坐标系下Y坐标之差26图3.10 两组解在相机坐标系下Z轴坐标26图3.11 两组解在相机坐标系下Z坐标之差26图3.12 目标跟随控制框图27图3.13 X方向目标与飞机的真实位置28图3.14 X方向目标与飞机的真实位置之差28图3.15 Y方向目标与飞机的真实位置28图3.16 Y方向上目标与飞机的真实位置之差28图3.17 Z方向目标与飞机的真实位置29图3.18 Z方向目标与飞机的真实位置之差29图3.19 PTAM算法的运算时间29图3.20 X方向PTAM估计的飞机位置与真实值30图3.21 Y方向PTAM估计的飞机位置与真实值30图3.22 Z方向PTAM估计的飞机位置与真实值30图3.23 X方向卡尔曼滤波前后对比31图3.24 Y方向卡尔曼滤波前后对比31图3.25 Z方向卡尔曼滤波前后对比31图3.26 X方向卡尔曼滤波后的速度与真实值比较32图3.27 Y方向卡尔曼滤波后的速度与真实值比较32图3.28 Z方向卡尔曼滤波后的速度与真实值比较32图4.1 法向量“二义性”在rviz中的显示35图4.2 偏航角求取36图4.3 坐标系建立37图4.4 基于射影几何的无人机着陆控制框图38图4.5 同一组误差信号在图像平面与机体坐标系下的表示39图4.6 基于视觉伺服的控制框图41图4.7 水平相机（左）与垂直相机（右）成像质量对比41图4.8 基于射影几何与视觉伺服的着陆控制流程图42图4.9 无人机高度0.5m时相机成像结果（左）与标志识别结果（右）42图4.10目标跟随与着陆的过程设计43图4.11 俯仰通道指令随时间变化44图4.12 滚动通道指令随时间变化44图4.13 无人机在世界坐标系中X坐标与标志在图像坐标系下Y坐标随时间变化44图4.14 无人机在世界坐标系中Y坐标与标志在图像坐标系下X坐标随时间变化45图4.15 无人机在世界坐标系中Z坐标随时间变化45图4.16 无人机偏航角随时间的变化45第 58 页摘 要无人机的目标跟随与着陆是提高无人机全自主飞行能力的重要研究内容。它不仅可以用于未知环境中的目标监视，还可以用于环境未知、着陆地点随时可能变换的无人机引导降落。基于视觉的无人机目标跟随与着陆方法以其成本低廉、精确度高、获取信息丰富等优点，成为近年来研究人员研究的热点问题之一。本文利用以单目相机为主要传感器的AR.Drone 2.0实验平台研究未知环境下无人机的目标跟随与着陆问题。本文的课题研究主要分为两个阶段：目标跟随阶段与着陆阶段。在目标跟随阶段，使用了射影几何方法建立相机与目标之间的相对坐标系，获取了目标在相机坐标系下的三维位置；然后利用PTAM算法建立了世界坐标系，获取了无人机在世界坐标系下的六自由度信息，利用坐标转换关系得到了目标在世界坐标系下的三维位置信息；接着利用卡尔曼滤波算法实现了对目标的速度估计，设计了目标丢失时的有效搜索方法；最后利用PID控制器控制无人机对目标的跟随。在着陆阶段，本文将基于视觉伺服的控制方法与基于射影几何的控制方法相结合，控制无人机着陆。本文解决了无人机目标跟随与着陆过程中会出现的一些问题。首先，将射影几何与PTAM算法结合使用解决了目标丢失时无人机位置信息也会丢失的问题。其次，使用了卡尔曼滤波算法实现了目标的速度估计，解决了目标从相机视野中消失时目标难以有效搜索的问题。然后，将视觉伺服与射影几何方法结合起来解决了目标残缺时射影几何定位失效的问题。最后，将目标跟随阶段与降落阶段结合起来，实现了无人机全自主目标跟随与着陆的全过程。本文通过实验分析了基于射影几何的单目视觉定位的“二义性”问题、验证了射影几何与PTAM算法的位置估计精度、以及卡尔曼滤波器的速度估计精度，最后分析验证了视觉伺服与射影几何相结合的着陆控制方法的有效性。主题词：目标跟随；着陆；无人机；射影几何；PTAM；卡尔曼滤波；视觉伺服ABSTRACTTarget following and landing is one of the important contents of the autonomous flight of UAVs. It can not only be used to monitor the target in unknown environments but also guide landing of UAVs on the place which may dynamically change in unknown environments. Vision-based target following and landing of UAVs is one of most popular research topics because of its low-cost, high-precision and informative characteristics. In this paper, we use the monocular camera as the main sensor and AR.Drone 2.0 as the platform to study the target following and landing of UAVs in unknown environments. This research includes two aspects: target following and landing. In the target following stage, we use projective geometry to establish the relative coordinate between the camera and target, and obtain the 3D position of the target in this coordinate system. Then we use the PTAM algrithom to obtain the 6DOF pose of the UAV and establish the world coordinate system, so we can use the relationship between the camera coordinate system and the world coordinate system to obtain the 3D position of the target in the world coordinate system. We use the kalman filter to estimate the velocity of the target and design an object searching method to deal with the problem that the target moves out of the field of view of the camera. In the landing stage, we combine the advatages of projective geometry and visual servo to control the landing of UAVs.We solved some of the problems in the process of target following and landing. The first one is the problem of UAV position missing when the target moves out of the field of view of the camera when using relative coordinate system. We solved it by combining projective geometry and PTAM algrithom. The second problem is target missing. We use the kalman filter to estimate the velocity of the target so when the target is missing, the UAV can search it efficiently according to the moving direction before it is lost. The third problem is that when the target is incomplete in the image, the control algorithm based on projective geometry will not work. We solved it by combining visual servo control. At last, we realize autonomous target following and landing on it for UAVs.Furthermore, we analysed the ambiguity problem cased by projective geometry when using monocular camera. Then we analysed the localization accuracy of the vision system and the estimation accuracy of the target velocity based on the kalman filter. At last we analysed the efficiency of the controller for UAV landing.Key Words: Target following; Landing; UAV; Projective geometry; PTAM; Kalman filter; Visual servo第一章 绪论1.1 课题研究背景和意义无人机（Unmanned Aerial Vehicle, UAV）是一种没有机载乘客与驾驶员的，并且具有一定智能的飞行器。无人机有着不同的分类，按飞行机构平台分类，可以分为旋翼无人机、伞翼无人机、固定翼无人机、扑翼无人机等。按尺度分类，无人机可以分为大型无人机、小型无人机、轻型无人机、微型无人机等。随着无人机技术的发展与成熟，无人机正在各行各业有着越来越广泛的应用。在军用领域，无人机可以用来侦察、监视、巡逻与打击等。在民用领域，无人机可以用来气象观测、航拍、农药喷洒、快递运输等。随着其越来越广泛的应用，无人机已成为机器人领域的研究热点之一。早在1849年就有关于无人飞行器的使用记载，当时奥地利用载有炸药的无人飞行气球攻击意大利威尼斯。1916年Sperry Gyroscope公司的Elmer Sperry将陀螺仪应用于无人机的控制。上个世纪30年代早期，无线电遥控的无人机靶机在美国和英国得到发展。1942年4月美国研制的攻击型无人机使用TG-2控制成功实现了对距离20英里的驱逐舰进行攻击。20世纪70年代，美国在越南北部、中国和朝鲜地区开始使用侦察型无人机。20世纪80年代开始，无人机在战场中逐渐开始得到应用。1995年美军将“捕食者”无人机用于科索沃战争中进行地形侦查，无人机的战场作用被进一步重视。进入21世纪，无人机在军用与民用上都得到了越来越多的应用，无人机技术也越来越成熟。无人机的翼型变化与轻便材料的应用都大大提高了无人机的续航时间。图像等数据传输的速度与带宽也随着信号处理与通信技术的进步而大大提高。而自驾仪技术的发展也使得无人机可以摆脱陆基电视屏幕的领航，而由机载程序自动控制飞往目标点。总之，随着无人机的广泛应用，全自主无人机的研制也成为研究人员研究的热点。其中，无人机目标跟随与自主着陆是无人机研究的热点之一。因为全自主的无人机目标跟随与自主着陆有以下优点：（1）全自主的目标跟随可以节省大量的人力，无需操作手长时间手动控制无人机跟随目标，比如航拍，而且在未来的战场中可能会需要数量众多的无人机同时执行任务，如果仅用人工控制会消耗大量人力，而且需要对操作人员进行长期反复地训练。（2）全自主的无人机目标跟随与着陆往往有着精度更高的优点，因为其基于视觉或其他传感器的着陆控制往往可以得到较精确的无人机与目标的位置信息，与一般的人工控制相比精度要高。本课题通过对基于视觉的无人机与目标定位方法的研究实现了未知环境中无人机对三维空间的目标跟随并且着陆到该目标上的功能。对于未知环境中无人机的自主探索、目标监视与自主着陆等都有着较大的实用意义。1.2 国内外研究现状无人机的自主导航技术是实现无人机全自主飞行的核心技术之一。在无人机自主导航技术的研究中最早投入应用的是基于GPS与INS（Inertial Navigation System）的无人机自主导航1。然而，随着计算机视觉技术的发展，以及其低成本、高精度的特性，基于视觉的无人机自主导航成为研究的热点。基于视觉的无人机自主导航中，无人机的目标跟随与自主着陆是其应用的主要方向之一。基于视觉的无人机目标跟随与基于视觉的无人机自主着陆所使用的方法本质上是相通的，都可以分为：目标识别、目标定位与跟随控制三个步骤。本节主要介绍基于视觉的无人机目标跟随与自主着陆国内外研究现状。1.2.1 国外研究现状计算机视觉在无人机目标跟随与自主着陆方面的研究开始于上个世纪90年代，国外许多研究机构都对此进行了比较深入的研究2-5。目标识别是实现无人机目标跟随与自主着陆的第一步，主要包括特定目标的识别与任意目标的识别。特定目标是指带有固定几何信息（如图1.1所示）的目标或者某一固定类别的目标（如人脸、行人等）。特定目标的识别相对简单，通常使用简单的图像处理算法或者基于学习的算法便能相对稳定地识别目标。美国南加州大学Saripalli S等人提出了一种基于图1.1中着陆标志1的无人直升机自主着陆算法6，并且假设在标志的周围不存在形状相似的物体，所以通过二值化、中值滤波、查找连通域的方法便可以稳定地识别出目标。德国图宾根大学的Shaowu Yang等人在图像二值化、提取连通域的基础上使用了BP神经网络连通域分类算法7，可以在复杂的环境下稳定地识别出的图1.1中的着陆标志2。另外，Sven Lange 等人8与Alessandro Benini 等人9分别使用图1.1中的着陆标志3与着陆标志4控制无人机着陆。图1.1几种常用的目标跟随与着陆标志日本千叶大学的Azrad S等人提出了一种针对某一特定颜色目标的无人机目标跟随方法10，该方法无需提前获知目标的模板信息，针对目标特定的颜色可以在线实时、稳定地识别目标，并且使用视觉伺服控制的方法控制无人机跟随目标移动。另外，还有一些其他特定类别的目标也可以得到相对稳定的识别效果，如人脸1112，行人13等。对于任意目标的识别主要是指该目标不局限于拥有特定的几何形状，可以通过不断检测学习与跟踪的方法来识别一个临时指定的目标。Kalal Z等人提出了TLD（Tracking Learning Detection）算法14，将长期地跟踪任务分为跟踪、学习与检测三个过程。跟踪器负责逐帧跟踪目标，检测器负责检测跟踪目标的外观变化，学习器负责估计检测器是否检测正确并及时更新检测器检测结果。通过这样不断检测与学习的方法使检测器能够获得跟踪目标的多个不同视角、尺度的检测模板，从而实现长期稳定的跟踪目标。Viola P等人提出了一种基于Cascade分类器的算法15。该算法有三个方面的创新：（1）提出了一种新的图像表示方法，即积分图像，这使得特征检测的计算速度大大加快。（2）使用了AdaBoost的学习算法16，从较大的集合中选择少量的关键视觉特征，并产生非常高效的分类器。（3）将多个复杂的分类器级联组合，快速滤除与目标关联性小的背景区域，从而节省更多的计算时间。另外与目标检测紧密相关的mean-shift17、粒子滤波18、光流法19等目标跟踪算法通常也与目标识别算法结合使用。基于特定目标识别的优点是识别相对容易，并且鲁棒性较好，缺点是依赖于某些特定的物体，不具有普遍性。任意物体识别的优点是不局限于某些特定的物体，适用范围广，缺点是识别的稳定性不高，且识别算法较复杂。目标定位与无人机控制是基于视觉的无人机目标跟随与着陆的后两步，根据目标的不同，目标定位与无人机的控制方式也不同。对于具有特定几何信息的目标如图1.1所示的圆特征、H特征或者二维码特征，可以根据射影几何（Projective geometry）的原理获得目标在相机坐标系下的位姿信息。如果把相机的成像模型近似成小孔成像模型，那么现实世界中的几何形状与该形状在相机的像平面中的投影存在固定的几何约束关系，根据这些几何关系便可以求解出目标在相机坐标系下的位姿信息。Yang S等人利用圆的射影几何原理20获取了无人机相对于图1.1中着陆标志2的五自由度位姿信息，利用字母H获取了无人机相对于标志的偏航信息，从而控制无人机着陆7。另外，利用二维码对目标定位的方法也是基于类似的原理2122。利用射影几何原理获取的目标位姿信息为三维空间中的位姿信息。获取目标位姿信息后，再利用常用的控制算法（如PID控制、滑模控制等）控制无人机跟随目标移动。另一种目标定位方法就是仅仅获取目标在图像坐标系下的位置信息与图像矩信息，视觉伺服控制是其中的典型代表。视觉伺服控制可以分为基于位置的视觉伺服控制和基于图像的视觉伺服控制23。基于位置的视觉伺服控制简称PBVS（Position-Based Visual Servo），是利用相机的内参模型以及目标在图像中的特征，根据运动的图像估算出目标相对于相机的空间位置信息24，这种方法类似于上面提到的基于射影几何原理的目标定位方法。基于图像的视觉伺服控制简称IBVS（Image-Based Visual Servo）是根据目标在图像坐标系下的位置与图像矩的信息在图像中直接生成误差信号，同时利用图像坐标系与相机坐标系的固定关系将误差信号转换到三维空间中。该方法的优点是不需要依赖相机的内参模型，直接在图像中生成误差，可以优先保证图像中目标不会超出相机视野。缺点是没有获得三维空间信息，相机的抖动会造成误差信号的尖峰噪声，控制器设计相对困难。Pestana J等人结合了TLD算法与IBVS方法，使用TLD算法实现对任意目标的跟踪学习与检测，获得目标在图像坐标系中的位置信息，使用IBVS的方法在图像中生成控制信号实现了无人机对任意目标的跟随25。该方法最大的优点是无需依赖于目标特定的几何信息，它的缺点是图像的抖动会造成控制系统的不稳定。在目标跟随与着陆的整个过程的实现上，国外也有了一定的研究。德国图宾根大学的Karl等人实现了无人机在图1.2所示的地面移动平台上起飞继而跟随与着陆的整个过程26。该方法使用移动平台前方的LED灯组成形状尺寸已知的3D图形获取跟随过程中无人机的位姿信息，利用着陆标志所带有的几何信息获取无人机相对于标志的位姿信息，控制无人机着陆。Lee D等人利用视觉伺服的方法控制无人机着陆在移动目标上27。图1.2 地面移动平台总之，对于任意目标的跟随目前仍然在发展阶段，因为任意目标的跟随依赖于对任意的识别，但是随着深度学习等理论的研究与发展，这一技术也将有着广阔的发展空间。现阶段较成熟的无人机目标跟随与着陆方法主要是对于特定目标的跟随与着陆，尤其是带有特定几何信息的目标，因为该方法有着目标识别稳定、控制器设计相对简单等显著优点。1.2.2 国内研究现状国内基于视觉的无人机自主导航研究起步较国外晚，但是发展速度快。近年来，在基于视觉的无人机目标跟随与自主着陆方面，也有了比较深入的研究。南京航空航天大学282930、上海交通大学31、西北工业大学32、华中科技大学33、浙江大学34以及国防科技大学35等院校及科研院所对基于视觉导航的无人机系统进行了深入的研究与积累。在国内基于射影几何原理的无人机目标跟随与自主着陆技术发展的已经比较成熟。南京航空航天大学的张晓龙，利用图1.1中的着陆标志1获取无人机相对于标志的位姿信息，实现了无人机的自主着陆30。华中科技大学的赵昊昱提出了一种基于机场“车道线”视觉测量方法估计出飞机的姿态信息，最后通过实验验证了这种方法的可行性33。在基于视觉伺服控制的无人机自主着陆方面的研究，国内还处在发展阶段。南京航空航天大学的陈龙胜在其硕士论文28中针对无人机的自主着陆问题应用了视觉伺服控制，文中主要应用了基于位置的视觉伺服控制，确定了地面直线与图像直线间的旋转对应关系，通过两者之间的关系与无人机基准状态对比，即可得到当前无人机的姿态信息。浙江大学的谷雨在其博士论文34中提出了一种基于图像矩的视觉伺服控制方法，用于无人机自主导航，但是该算法仅在仿真中验证，并且没有完全解决目标偏离相机视野的问题。 总之，虽然国内外对于基于视觉的自主着陆技术的研究已经有很多，但是仍然存在一些困难，比如目标偏离相机视野无人机无法有效搜索。在今后的一段时间内，对任意目标的跟随与移动平台的着陆将是研究的热点之一。1.3 本文主要研究内容1.3.1 论文的主要工作上一节中介绍了当前用于目标跟随与着陆的主要方法以及它们的优缺点。如果单独使用基于射影几何或基于图像视觉伺服的无人机目标跟随与着陆方法，它们都存在以下缺点：（1）目标移出相机视野时无人机无法生成有效的控制信号。对于基于射影几何定位的的无人机跟随与自主着陆来说，无人机的位姿信息是由标志的几何特征计算出来的，即无人机与标志之间建立的是一个相对坐标关系，一旦标志残缺或者偏离相机视野，那么无人机将无法获取自身的位姿信息，因此无法产生有效的控制信号控制无人机跟随目标。对于基于图像视觉伺服的无人机目标跟随问题，无人机的控制信号来源于标志在图像中的期望位置与实际位置的偏差，同样地，一旦标志残缺或者偏离相机视野，无人机也将无法产生有效的控制信号。（2）无法应对着陆目标地点未知或者发生变化的情况。通常无人机自主着陆的地点是已知的，而且切换到着陆状态时无人机常常已经在着陆目的地附近。如果在战场中无人机需要着陆的环境是未知的，而且无人机操作人员不能对无人机进行有效控制干预时，无人机将很难选择合适的着陆地点。为了解决上面的问题，本文做了以下方面的工作：（1）利用射影几何的方法获得了目标在相机坐标系下的位置，本文中所使用的标志是图1.1所示的着陆标志2。（2）使用PTAM（Parallel Tracking and Mapping）算法36建立一个世界坐标系，获取无人机在世界坐标系下的六自由度位姿信息。由于无人机的相机与机体固连，从而可以获取目标在世界坐标系下的位置信息。因此，即使目标偏离相机视野，无人机在世界坐标系下的位姿信息也不会丢失。（3）使用卡尔曼滤波算法估计目标的运动速度。既然得到了目标在世界坐标系下的位置信息，便可以估计出目标的运动状态。本文使用卡尔曼滤波算法估计目标速度，从而可以由目标的运动速度判断目标运动方向。当目标偏离相机视野时，可以通过其丢失前的速度估计目标运动方向，实现无人机对目标的有效搜索。（4）使用基于射影几何定位与图像视觉伺服结合的算法实现无人机自主着陆。本文实现了无人机跟随移动目标并且在该目标上着陆的整个过程，可以应对临时改变着陆地点的情况。而且在着陆过程中，如果着陆标志在相机视野中成像完整，可以使用基于射影几何定位的方法实现无人机着陆。如果着陆标志残缺，将切换至视觉伺服控制方式，控制无人机移动，使着陆标志在相机视野中成像完整，解决了仅使用射影几何定位的方式进行无人机着陆时，标志残缺无人机无法控制的问题。本文中所提出的方法均在四旋翼实验平台上进行了验证，实验环境为室内。1.3.2 论文的创新点（1）提出了一种将射影几何与基于PTAM算法结合的目标定位方法，使无人机可以工作在未知的环境中。（2）提出了一种基于卡尔曼滤波的目标速度估计及搜索方法，解决了目标丢失所造成的无人机无法定位或无法有效寻找目标的问题。（3）实现了使用不同相机切换的方法将无人机的目标跟随与自主着陆结合起来，实现了套未知环境中引导无人机自主着陆的整个过程。（4）将基于射影几何定位的方法与图像视觉伺服的方法结合起来，将两者的优点结合起来，实现了使用成像质量较低的相机引导无人机自主着陆。1.3.3 论文的组织结构论文有五章内容，组织结构如下：（1）第一章，绪论。分析本课题研究的背景及意义，介绍了目标跟随与自主着陆的国内外研究现状及研究方法，最后介绍本文研究的主要内容。（2）第二章，实验平台介绍与目标识别。首先，介绍本文中所使用的四旋翼无人机平台；再介绍本文中所使用的目标识别方法，并且提出了一种残缺目标识别方法。（3）第三章，基于射影几何与PTAM的空间移动目标跟随与目标速度估计。首先，利用射影几何的方法获得目标在相机坐标系下的位置。其次，利用PTAM算法建立世界坐标系获取无人机在世界坐标系下的六自由度位姿信息以及目标在世界坐标系下的三维位置信息，同时建立了基于当前环境的地图，使无人机可以工作在未知的环境中。然后，利用卡尔曼滤波算法估计目标速度，当目标偏离相机视野时对目标进行有效搜索。最后，通过实验分析了对于单目相机使用射影几何定位时产生的“二义性”问题、视觉定位的误差以及卡尔曼滤波速度平滑与估计的效果。（4）第四章，基于射影几何定位与图像视觉伺服的无人机着陆方法。首先，介绍基于射影几何定位的无人机着陆方法，包括法向量“二义性”辨别，以及基于着陆标志的世界坐标系的建立。其次，介绍基于图像视觉伺服的控制方法，包括视觉伺服控制信号的选取、控制信号从二维图像平面到三维空间的转换以及射影几何与图像视觉伺服的结合。然后，介绍无人机目标跟随与自主着陆的全过程设计。最后通过实验分析了自主着陆过程中的控制效果。（5）第五章，总结与展望。总结全文并且分析仍然存在的不足以及解决方法，然后给出下一步可开展的研究内容。第二章 实验平台介绍及目标识别方法目标识别是无人机目标跟随与着陆过程的第一步。稳定的目标识别算法对无人机目标跟随与着陆过程中的稳定性有着至关重要的意义。在真实的复杂环境中，往往会存在目标遮挡或者残缺的情况，这时就需要目标识别算法仍然能对目标稳定地识别，并且要求目标识别算法有较好的实时性。本章首先介绍本文的实验平台，然后介绍一种基于神经网络分类的目标识别算法，并且在该算法的基础上提出了一种基于霍夫变换的残缺目标识别方法，最后通过实验分析了该目标识别算法的实时性。2.1 AR.Drone 2.0实验平台介绍在本文实验中使用的实验平台是法国Parrot公司的AR.Drone 2.0，该平台具有操作简单，便于开发等优点，本节将从硬件与软件上分别介绍。2.1.1 硬件平台本文中所使用的无人机是Parrot公司的AR.Drone 2.0四旋翼无人机，其外形及坐标系定义如图2.1所示。该无人机主要特点如下：（1） 机体重量420g。（2） 通信方式：通过wifi与地面计算机通信，如图2.2所示。（3） 传感器：水平相机（720P），垂直相机()，三轴陀螺仪（精度），三轴加速度计（精度），三轴磁力计（），声呐，气压计（）。其中声呐安装在机体底部，用来测量飞机的高度。（4） 控制方式：无人机的姿态环控制由机载处理器完成，速度环与位置环控制由地面计算机计算完成，并将速度指令传送到机载处理器。其中，姿态环与速度环控制周期为200Hz，位置环控制周期为30Hz。图2.1 AR.Drone 2.0 及其坐标系图2.2 无人机感知及其通信方式在本文的实验中，目标跟随阶段使用的是成像质量较高的水平相机（720P），在着陆阶段使用的是垂直相机，它的成像质量较低()。由于二者的图像不能同时发送到地面站，从目标跟随状态转换至着陆状态时，无人机会从水平相机切换到垂直相机。使用垂直相机时，由于其成像质量较低会对无人机着陆时的目标识别造成一定的影响，这一点将在第四章中详细介绍。2.1.2 软件系统地面计算机的程序运行在Ubuntu14.04环境下，是使用ROS(Robot Operating System) Indigo作为开发框架。因为ROS具有良好的代码封装性，提供了很多便捷有效的工具（如rviz，tf，Dynamic configure等），这些工具极大的提高了程序开发、算法测试以及参数调节的效率。在ROS框架下，将不同功能的代码块封装成节点（Node）的形式，节点与节点之间通过话题（Topic）、服务（Service）的形式通信，这样代码的可读性更强，并且可以使用rostopic echo 或rosservice call等命令实时查看节点之间通信的数据内容。在本文的程序框架中，按功能将代码分为5个节点，分别是底层驱动节点（ardrone_driver）、PTAM（Parrallel Tracking and Mapping）位姿估计节点（drone_stateestimation）、目标跟随节点（drone_autopilot）、着陆控制节点（landing_control_node）以及负责各个节点之间通信调度的主节点（rosout）。各个节点及其发布的话题如图2.3所示。图2.3 本文无人机软件系统的各节点及其所发布的话题在实验程序的开发调试过程中，使用了如下几个ROS工具：（1）tf37。在实际的实验系统中经常需要建立不同的坐标系，并且需要获取各个坐标系之间的转换关系以及同一个点在不同的坐标系下的表示，tf就是为了方便各个坐标系之间的转换而设计的一个库。在实际应用中只需要将每个坐标系相对于世界坐标系的旋转与平移关系广播到tf上，然后在需要获得两个坐标系之间的旋转矩阵时便可以通过监听tf上对应的坐标系，使用其所带的库函数就可以轻松完成坐标转换。tf使用方便，而且可以在rviz中将各个坐标系之间的变换可视化，如图2.6所示。在坐标系较多的系统中tf尤其适用。本文使用PTAM建立了一个世界坐标系PTAM_world，其次建立了无人机的机体坐标系：ardrone_base_link、ardrone前置相机坐标系：ardrone_base_frontcam、底部相机坐标系：ardrone_base_bottomcam，然后利用tf树将目标点的位置从相机坐标系转换到PTAM_world坐标系，各个坐标系建立的tf树如图2.4所示。图2.4本文研究用到的tf树（2）动态参数服务器（Dynamic Configure Parameter Server）。动态参数服务器是一种可以实时地将服务器中的参数传递给编译器而无需终止进程重新编译的工具。在很多实验过程中，往往需要多次调节参数才能获得一个理想的实验结果，例如PID控制器调参。如果每次修改参数时都将程序重新编译再运行，实验过程过于繁琐、实验效率也很低。这时使用动态参数服务器可以很大程度地降低工作量、提高实验效率。因此，本文无人机着陆实验中，使用了动态参数服务器，在线实时调整PID控制器参数，使其到达一个理想的效果，最后将调节好的参数保存在.cfg文件中以便程序运行时读取。动态参数服务器调节界面如图2.5所示。（3）rviz。rviz是ros下实现数据可视化的图形仿真工具，如图2.6所示。rviz可以将ros下一些特定类型的topic（也就是数据）在线实时地显示出来，如：里程计数据nav_msgs:Odometry、imu数据：sensor_msgs/Imu、激光雷达数据：sensor_msgs:LaserScan以及tf树等。在本文实验中，各个坐标系之间的关系、目标在相机坐标系下的位置以及标志平面法向量在相机坐标系下的表示都可以用rviz实时地显示出来，非常直观地验证了坐标转换地正确性，如图2.6与图3.5与所示。图2.5动态参数服务器参数调节界面图2.6 ros下rviz工具2.2 目标识别方法稳定与实时的目标识别是无人机目标跟随与自主着陆的必要前提。本节将介绍目标标志的选取、基于神经网络分类器的目标识别方法以及一种基于霍夫变换的残缺目标识别算法。2.2.1 目标标志的选取图2.7 目标标志本文选取了无人机着陆常用的标志之一，其尺寸大小如图2.7所示。它由一个字母H和一个圆组成。该标志的尺寸已知，根据射影几何原理，可以通过圆获取标志在三维空间中的三维位置信息。在着陆时通过字母H拟合椭圆获得无人机的偏航角，并且可以通过H与圆的位置、比例关系增强目标识别的稳定性。在目标跟随过程中，本文用圆来获取目标的位置信息，而H仅用来辅助目标识别。在着陆的过程中，根据圆获取无人机相对于标志的五自由度位姿，根据H获取无人机的偏航姿态（yaw）。由于本文的算法是基于单目视觉，因此通过圆获得的位置信息存在一个“二义性”的问题。该问题将在第三章中详细介绍。2.2.2 一种基于神经网络分类器的目标识别方法本文首先借鉴了Yang Shaowu等人在其论文中使用的标志识别算法来识别目标7。该算法可以分为几个步骤：（1） 图像二值化。（2） 平滑滤波。（3） Canny算子边缘检测。（4） 查找连通域。（5） 基于人工神经网络的连通域分类。其中，图像二值化时，本文使用自适应二值化方法。根据该像素点临近区域的灰度平均值来确定该点的二值化阈值。查找连通域算法中，使用了Lifeng He等人38 提出的双扫描标记算法（Run-Based Two-Scan Labeling Algorithm），忽视那些面积较小的连通域。最后，连通域分类算法中，使用由196个输入单元组成的BP神经网络算法将查找到的连通域进行分类。查找到的连通域分为3类：圆、字母“H”或者其它。神经网络训练时，选取7000个背景含有杂斑的样本，3000个包含圆或H的样本进行训练。样本训练完成后，使用斯图加特神经网络模拟器SNNS39（Stuttgart Neural Network Simulator）生成C语言代码。为了更加稳定地识别目标标志，对分类得到的圆与H类所在的连通域做了如下几何约束：（1）字母H必须由圆所包围。（2）圆与H所在的连通域中心在图像中的像素距离非常小。因此，神经网络分类完成后，选择连通域中同时包含圆与H，并且以圆与H所在的连通域中心十分相近的连通域为目标标志。目标识别的效果如图2.8所示。图2.8 目标识别的步骤及结果：原始图像（左上角），二值化图像（右上角），查找连通域（左下角），识别结果（右下角）从图2.8中可以看出，该方法能够在复杂且干扰较多的环境中稳定识别出目标。但该方法也有不足，即当目标在相机视野中残缺时将难以识别出目标，下一小节将介绍本文提出的残缺目标识别方法。2.2.3 一种基于霍夫变换的残缺目标识别方法使用上一小节所述的目标识别算法时，如果目标残缺，该算法将失效。因此本文提出了一种基于霍夫变换的残缺目标检测方法。霍夫变换40是用来在图像中检测圆或直线特征的常用算法。霍夫变换检测圆的原理如下：假设在图像坐标系中，圆的圆心坐标为，圆的半径为r，旋转的角度为，那么圆的方程为： (2.1)如果将圆心坐标看成未知参数，那么图像中每一个像素点及半径都与其所在圆的圆心形成一一对应关系。因此在二值化的图像上，每一个前景点的图像坐标以及半径都会对应一个圆心坐标，并且在同一个圆上的前景点所对应的圆心坐标是相同的。遍历所有前景点，并统计每一个前景点所对应的圆心坐标出现的次数。如果某个圆心坐标出现次数超过一定的阈值，那么可以认定此处存在一个圆，阈值的大小需要根据实际情况调节。最后以为圆心、为半径在图像中将圆画出，即可得到所检测到的圆。实际应用过程中，为了提高霍夫变换的检测效率，需要确定圆的半径。假设最初目标在相机视野中成像完整，使用2.2.2节所述的方法可以稳定地识别出目标，并且可以计算出目标的半径。如果目标运动过程中，如果目标残缺，则使用霍夫变换，以为半径在目标丢失前的图像区域附近进行圆形检测。实验表明，使用该方法，当目标在相机视野中残缺时仍然可以检测到目标，并且运行效率较高，检测结果如图2.9所示。图2.9显示了目标被遮挡与目标部分偏离相机视野时的识别效果，图中的粉红色表示识别出的标志。可见此时虽然2.2.2小节中的目标识别方法失效，但是仍然可以用霍夫变换识别出图像中的目标，并得到目标在图像中的位置。图2.9 目标被遮挡或者在相机视野中残缺时的识别效果2.2.4 目标识别算法实时性分析为了验证目标识别算法的实时性，本文分别记录了基于神经网络分类的目标识别算法的运算时间与霍夫变换圆形检测的运算时间，结果如图2.10与图2.11所示。图2.10 基于神经网络分类的目标识别算法的运算时间图2.11 霍夫变换圆形检测的运算时间图2.10与图2.11可以看出，基于神经网络分类的目标识别算法所需要的运算时间平均约为2.8ms左右，霍夫变换圆形检测所需要的运算时间约为3ms。因此，当标志残缺时，首先使用基于神经网络分类的目标算法进行目标识别，如果未识别