智能机器人创新实践 课件 第八章 移动机器人视觉追踪

智能机器人创新实践第八章

移动机器人视觉追踪

18移动机器人视觉追踪2主要实现EAIbot移动机器人追踪网球移动的项目。这个项目的实验效果如下图所示。这个项目旨在帮助读者进一步掌握RGB-D相机的使用，通过两种视觉目标检测实现方法，完成移动机器人视觉追踪的任务。8移动机器人视觉追踪3本次实验为实现视觉追踪的效果，采用了如下两种方法实现：采用OpenCV实现目标检测

首先借助OpenCV将摄像头所取每一帧图像转换为BGR格式图片，通过目标网球在图片中的位置和面积大小来控制EAIbot机器人的运动。采用EasyDL物体检测模型实现目标检测

在百度AI开放平台EasyDL图像中的物体检测模块创建并训练好目标检测模型，然后通过调用百度API接口完成目标检测，最后利用移动机器人的目标跟踪算法对目标网球进行自动跟踪。具体的项目执行步骤如下图所示。8移动机器人视觉追踪4视觉追踪原理：传统目标检测算法

传统目标检测算法分三步：选取区域，提取图像特征和分类器分类。常用的图像特征有四种：颜色、形状、梯度和模式。颜色特征主要有RGB如图、HSV和Colornames三种。RGB的优点是能直观表达颜色，如下图。8移动机器人视觉追踪5视觉追踪原理：传统目标检测算法

HSV(色调H、饱和度S和明度V)的优点是受明亮度变化影响小（如下图），ColorNames比RGB能更好的表达颜色。常见的有Color空间不变特征（color-SIFT）算法、HSV空间不变特征（HSV-SIFT）算法、色调直方图不变特征（Hue-SIFT）算法。8移动机器人视觉追踪6视觉追踪原理：基于深度学习的目标检测算法

基于深度学习的目标检测主要是通过各种神经网络来实现目标检测，也可以细分为三种：基于候选区域的目标检测算法、基于回归的目标检测算法和基于增强学习的目标检测算法。基于回归的目标检测算法包括YOLO系列算法和SSD算法。①

其方式就是彻底去掉了region思想，直接在一个神经网络中进行回归分类。②

其特点是算法速度快，但是检测多个目标时，有时会忽略较小的目标而影响精度。8移动机器人视觉追踪7基于EasyDL的物体检测模型：EasyDL平台简介

EasyDL是一个专业面向于企业客户和面向个人开发者用户的零基础门槛定制AI应用开发服务平台，为所有零算法基础门槛的应用开发者客户提供了定制高精度AI模型应用的专业服务，包括数据处理、模型开发训练、服务管理、模型应用部署功能模块，在本次实验中要用到其中的物体检测功能。8移动机器人视觉追踪8基于EasyDL的物体检测模型：模型训练

在本项目中，选取黄绿色网球作为目标检测对象，采取在不同环境下不同明亮程度所拍摄的网球图片作为数据集。8移动机器人视觉追踪9基于EasyDL的物体检测模型：模型训练及评估

导入已创建好的数据集并进行标注。在全部图片标注完成后，配置训练环境为TeslaGPU_P4_8G现存单卡_12核CPU_40G内存，数据增强策略选取默认配置。8移动机器人视觉追踪10基于EasyDL的物体检测模型：模型训练及评估

在模型训练完成后，另外选取不在数据集中的网球图片，进行模型校验，查看模型目标检测的准确度。完成模型校验，即可查看完整的模型评估报告。在报告中，可以看到模型训练的整体情况说明，包括基本结论、mAP、精确率、召回率。8移动机器人视觉追踪11机器人视觉追踪实