基于计算机视觉及深度学习的无人机手势控制系统

【摘

要】在当今社会的诸多领域，无人机应用已日益普及，涵盖了影视、航测等多个方面。然而，传统无人机的人机交互相对复杂，并且需要大量的专业设备和训练，这使得很大一部分用户无法直接应用便捷的无人机。此时就需要一种便携、易学习和使用的控制系统和方式。其中，基于计算机视觉及深度学习的无人机手势控制系统可以避免过往无人机控制和使用中的诸多困难，并且有助于去除复杂背景以及相机漂移的影响，使得控制更加便捷和有效，对无人机的应用和控制水平提升具有重要意义和价值。文章旨在深入探讨和分析基于计算机视觉及深度学习的无人机手势控制系统。【关键词】计算机视觉;深度学习;无人机控制;手势控制一、器材选取与工作平台搭建本系统研究初级阶段，采用妙算Manifold作为机载处理器进行图像的处理和识别，搭载在大疆M100飞行器上，利用大疆开发者平台，实现手势识别结果到对无人机飞行姿态及操作命令的映射，从而实现无人机的手势操控：（一）Manifold模块Manifold模块是DJI推出的一款高性能计算模块，模块集成了强大的核心处理器和预装内置系统，可以支持复杂的图像处理、SLAM算法和深度学习等计算密集型任务。Manifold模块的核心处理器采用了NVIDIA的TegraK1SoC处理器，拥有4个ARMCortex-A15核心和一个NVIDIAKeplerGPU，具有强大的计算能力和低功耗特性。同时，该模块还支持多种接口和通信协议，包括HDMI、USB、Ethernet、CAN总线、UART和SPI等，能够方便地与其他设备进行通信和数据交换。Manifold模块预装了DJI的内置系统和软件开发工具，提供了丰富的API和SDK，方便开发者进行应用开发和调试。开发者可以基于Manifold模块，使用Python、C++等编程语言，快速开发各种智能应用，如机器人视觉导航、目标追踪、SLAM算法、深度学习等。此外，Manifold模块还支持ROS（RobotOperatingSystem），ROS用于控制M100无人机及摄像头的运转工作，这为本系统研究和开发奠定了良好基础。（二）ROS模块通过ROS，开发者可以使用ROS提供的各种功能包和工具，快速构建机器人应用程序。对DJI的无人机，ROS提供了一个DJISDK的ROS接口，可以直接与DJI无人机进行通信和控制。开发者可以使用ROS的命令行工具或编写ROS节点，通过调用DJISDK的API实现无人机的起飞、降落、定位、导航等功能，这使得手势控制系统能够实现的功能变得比较多。譬如，通过ROS的灵活性和可扩展性，开发者可以将无人机的控制与其他传感器、算法等模块进行集成，实现更复杂的机器人应用。例如，可以结合视觉传感器和SLAM算法，实现无人机的自主导航和避障;也可以结合深度学习算法，实现无人机的目标识别和跟踪等功能。在Ubuntu14.04系统下选择安装ROSIndio版本，此外需要预先安装C、C++编译器及相关开发工具和CMake3.2及更高版本。二、图像预处理（一）定位手势位置在基于计算机视觉及深度学习的无人机手势控制系统研究中，为克服使用者手部特征比较少和拍摄中轮廓变化比较大的问题，本系统采用简捷方法实现手势位置的定位。首先使得系统进行人脸识别，在拍摄图片中找到人脸，随后在人脸的特定位置定位手势。在人脸识别方面，使用OpenCV提供的物体检测功能，库中还自带一系列的检测参数，包含人脸、眼睛、嘴巴等。其次，在训练阶段，决策树通过已知的正确、错误图片进行优化。最后，通过系统方法，系统可以在照片中找到人脸，并且进行圆圈标记，随后进行计算，假设圆圈半径为R，在人脸作者创建一个边长为2R的正方形区域。仅此区域内的手势能够被精确定位和截取，从而间接实现了手势的模糊定位。这一方法在现实环境中的应用得以验证。（二）识别截取手势图片在上述创建正方形区域后，区域内不一定存在手势，因此在这一区域需要进行进一步识别，以确定区域中是否存在手势。BGR直方图是基于图像的RGB颜色空间的三个通道，即蓝色、绿色和红色通道。通过统计图像中每个通道的像素强度分布情况，可以得到一个三维的颜色直方图。在手势位置定位中，可以通过对图像进行颜色分割，提取出手部区域，并使用BGR直方图对手部区域的颜色特征进行匹配，以确定手势的位置。HSV直方圖是基于图像的HSV颜色空间的三个通道，即色调、饱和度和亮度值。HSV颜色空间将颜色的表示方式从原始的RGB空间转换为更加直观和易于处理的形式。色调表示颜色的种类或类型，饱和度表示颜色的纯度或鲜艳程度，亮度值表示颜色的明暗程度。通过计算图像中每个通道的像素分布情况，可以得到一个三维的HSV颜色直方图。在手势位置定位中，可以利用HSV直方图对手部区域的颜色特征进行匹配，以准确定位手势位置。因此，通过这种方式，系统可以捕捉到手部区域的颜色特征，并通过对比和匹配来确定手势的位置。相比于BGR直方图，HSV直方图在处理颜色变化和光照变化时更具鲁棒性，因为HSV颜色空间将颜色信息与亮度信息分离开来，更适合于对颜色特征的提取和匹配。在手势识别时用这些H-S肤色直方图进行匹配。如果在照片中匹配率达到50%以上，截取图片。否则判定指定区域内无手势。（三）减轻背景干扰由于手势背景相对复杂，不利于识别，因此需要将背景简化，利于识别，提升识别准确性和有效性。系统使用反向投影，先计算某一特征的直方图模型，然后使用模型去寻找图像中存在的该特征的方法。所使用的模型为预先获取的H-S肤色直方图。三、手势识别（一）卷积神经网络结构系统卷积神经网络结构使用谷歌发布的人工智能系统Tensorflow平台进行搭建，建立一个输入层、两个卷积层、两个池化层、两个全连接层、一个输出层，具体如以下所示：1.输入层输入层为一组图片input，目的在于加快系统的训练速度，并且可以在一定水平方面避免过拟合现象和问题。本系统输入张量为：[50，28，28，3]。2.第一卷积层第一卷积层将图片张量与一卷积核做卷积操作，第一卷积层的卷积核weight_1为[5，5，3，64]的张量，偏置为一[50，28，28，64]的张量bias_1。经卷积后，得到一[50，28，28，64]的特征圖map_1。3.第一池化层池化大小为3×3，每次移动2个像素点，得到一[50，14，14，64]的特征图map_pool_14.第二卷积层第二卷积层的卷积核为一[5，5，64，64]的张量weight_2。偏置为一[50，14，14，64]的张量bias_2。经卷积后，得到一[50，14，14，64]的特征图。5.第二池化层池化大小为3×3，每次移动2个像素点，得到一[50，7，7，64]的特征图map_pool_2。6.第一全连接层将[50，7，7，64]的张量变成一个[50，3136]的张量tensor_1。权重张量weight_3大小为[3136，448]。偏置张量bias_3大小为[50，448]，得到一[50，448]的张量tensor_2。7.第二全连接层该层权重张量weight_4大小为[448，6]。偏置张量bias_4为[50，6]。得到一[50，6]的张量X。8.输出层将张量中的三个元素做softmax运算，得一新的[50，6]张量y，此张量中的每个值代表概率。（二）训练过程训练过程包含3600张图片，以一个batch（50张图片）为单位提取图片。为降低网络中参数对图片对比度、拍摄角度、使用左手或右手的敏感度的影响，会在一定范围内随机改变图像的亮度，并对其进行角度变化和翻转。将分好类的图像读入神经网络。为减少loss值并达到批量化的参数优化，采用Tensorboard显示训练过程中loss的变化折线图。通过观察loss的变化，可以调整学习率以确保稳步下降，以充分利用图像数据而避免过拟合。同时，Tensorboard还可以展示数据在网络结构中的完整流动过程。训练过程完成后，保存训练过程中的参数，即可将其运用在图像的测试过程中，输出手势分类结果，具体的参数训练过程和初期loss值变化如（图1和图2）所示：四、项目研究成果人工控制无人机的位置使其稳定后，可以通过摄像头进行图像截取，当视野中出现静态手势时，能完成识别，并控制无人机飞行，对摄像头传回的图片，识别正确率接近80%。五、结语通过摄像头进行图像截取和静态手势识别以及对无人机飞行的控制。这些技术的综合应用使得无人机能够实现基于手势的控制，为无人机应用领域带来了新的可能性。首先，人工控制无人机的位置稳定是实现准确的图像截取和手势识别的关键。通过精确控制无人机的飞行姿态和位置，保持相对稳定的拍摄环境，可以提高后续图像处理和手势识别的准确性。其次，利用摄像头进行图像截取能够获取实时的视觉信息。摄像头将实时传回的图像用于后续的手势识别，为静态手势的检测和识别提供数据支持。在图像截取过程中，需要考虑图像质量、光照条件和摄像头参数等因素，以确保图像清晰度和准确性。静态手势识别是本项目的关键任务之一。通过对截取到的图像进行图像处理和计算机视觉算法的运用，可以识别出图像中出现的静态手势。静态手势的识别准确率接近80%，这表明算法在处理不同手势姿势和背景条件下具有一定的鲁棒性。最后，通过静态手势的识别结果，可以实现对无人机飞行的控制。根据识别到的手势类型和位置信息，可以制订相应的飞行指令，实现无人机的起飞、降落、悬停、前进、后退等操作。这为无人机