【《基于外形特征微小变化的AGV定位分析》4700字】

1 基于外形特征微小变化的AGV定位分析目录TOC\o"1-3"\h\u21728基于外形特征微小变化的AGV定位分析 1239531.1目标检测方法概述 2153291.2基于YOLOv3的定位导航方式 2310921.2.1YOLOv3算法 2128391.2.3数据集 47671.2.4训练结果 4291991.3基于目标检测的AGV导航定位算法 5186251.1.1卡尔曼滤波原理 5161211.1.2ORB算法 6316381.1.3基于卡尔曼滤波和ORB特征点的中心点定位 7320921.1.4评价器设计 8207121.1.5基于目标检测定位流程 932331.4全局视觉下AGV转弯角度计算 10利用全局视觉对车间AGV进行导航，根据AGV外形变化是否明显可以将定位任务分为外形特征微小变化的AGV定位和外形不确定的AGV定位。外形特征微小变化的AGV主要指AGV空载时和承载较小物料时的AGV，此时AGV外形信息容易获得，可通过目标检测等方式直接定位；外形特征不确定的AGV指AGV负载较大物料时，全局视觉捕捉到的AGV外形为物料俯视图，因物料种类复杂，采集外形信息训练需要耗费大量时间，此时无法直接通过目标检测的方式对AGV定位。本文通过第三章和第四章分别对这两种情景下的AGV设计定位算法。当AGV外形确定并且能够获得大量训练素材时，可使用基于深度学习的目标检测对其进行识别定位。基于深度学习的目标检测采用卷积提取特征，相对于手动设计特征更加深层次，受光照影响较小，准确性较高，但速度相对较低。为提高检测速度，一般采用目标检测+目标追踪的方式或间隔几帧检测的方式进行定位，本文摄像头采集到的视频分辨率为1920×1080，实验测得通过KCF的追踪方式在不同分辨率下追踪AGV速度如表1.1所示，KCF进行目标追踪时，追踪速度与图像分辨率、目标大小相关，在1920×1080下对AGV进行目标追踪速度较慢，无法满足实时定位要求。间隔几帧检测的方式在不检测时会丢失AGV实时位置，AGV容易失控。本章采用间隔几帧检测，其余帧通过ORB特征点与卡尔曼滤波结合的方式定位，并设计评级器判断定位结果是否准确。表1.1不同分辨率下KCF追踪速度比较视频1视频2视频31080×19202fps5fps8fps540×96026fps15fps14fps270×48050fps56fps42fps1.1目标检测方法概述传统目标检测方法主要基于物体固有特征或者手动设计特征，比较经典的有SIFT特征和HOG特征，特征不够深层次，准确率低于基于深度学习的检测方式。基于深度学习的目标检测方法基本框架如图1.1所示，检测方法主要分为基于回归的One-Stage和基于区域候选的Two-Stage方法[44]。One-Stage方法主要包括YOLO、SSD两种。Two-Stage方法主要包括R-CNN、FastR-CNN、R-FCN等[45]。Two-Stage方法主要包括特征提取、生成候选框、分类、定位回归四个任务，One-Stage方法不生成预选框，可同时进行目标分类和定位[46]。因此One-Stage方法相较于Two-Stage方法检测速度更快，但精确度有所下降。图1.1基于深度学习的目标检测基本框架1.2基于YOLOv3的定位导航方式相比于two-stage的方法，one-stage在保证较高准确率的前提下，实时效果较好。本文检测的AGV目标较大，YOLO可以在准确率较高的前提下对AGV进行实时检测，因此本文选择YOLOv3作为目标检测的方法对AGV进行定位。1.2.1YOLOv3算法YOLOv3算法实现了端到端的目标检测，采用Darknet-53的网络结构提取图像特征[47]，Darknet-53网络结构如图1.2所示。图像在训练过程中会得到三个不同尺度的特征图，小尺度特征图的感受野比较大，所以可以检测大尺寸目标，而大尺度的特征图适合检测小尺寸的目标。将特征图划分为S×S的网格，对于不同尺度和数量的特征图使用不同尺寸的先验框，每个网格负责去检测那些中心点落在该网格内的目标。特征图中每个网格会预测3个边界框，每个边界框要预测的信息包括：边界框位置信息(x,y,w,h)，其中x、y为边界框中心点坐标，w和h为边界框的宽和高[48]；物体识别度Pr(object)，当目标中心点恰好落入该网格内，则Pr(object)=1，否则为0；对象类别，voc数据集有20类，coco数据集有80类。图1.2Darknet-53边框位置信息(x,y,w,h)可以通过先验框解码得到，具体计算公式如下： 3-(1)式中为边界框相对于特征图的位置和大小，σ为激活函数sigmoid，和是先验框中心点与左上角格点的偏移量，为先验框的宽和高，是尺度缩放。将计算结果乘以特征图采样率后即可得到正式检测框信息。置信度可以度量框中是否存在对象的概率和边界框位置的准确度，计算公式如下：3-(2)表示第i个网格中第j个选择框的置信度，表示真实框与预测框的交并比。网络通过Dropout结构和非极大值抑制算法进一步提高预测框位置准确度，从而检测出各类目标，输出最佳的检测结果。1.2.3数据集本文使用900张AGV图片作为数据集训练YOLOv3网络，数据集如图1.3所示。图1.3采集AGV图像1.2.4训练结果YOLO中损失函数包括分类损失、定位损失和置信度损失，通过加权得到总Loss。IOU可以衡量模型检测某个结果的好坏程度，代表预测框与实际物体位置的交集和并集之比，当为1时说明两者完全重合。目标训练过程中loss曲线和AvgIOU曲线如图1.4所示。图1.4训练过程图本文训练次数为5000次，在实验场景周围随机摆放杂物作为机台周围环境模拟，当AGV上方承载不承载货物和承载较小货物，不影响外形信息时，检测效果如图1.5。图1.5训练结果图1.3基于目标检测的AGV导航定位算法当直接使用YOLOv3对AGV定位时，速度较慢，本文在1920×1080图像上检测速度为17fps。采用关键帧检测可以极大的提高检测速度，并且提高效果与间隔帧数有关，间隔越多速度越快，但中间间隔帧数过多时，无法对AGV进行检测和监控状态，容易偏离预定路线发生撞击。本文中间帧采用卡尔曼滤波和ORB特征点结合进行定位，由于间隔n帧目标检测一次会矫正检测位置，因此中间帧检测精度较低，速度要求较高。1.1.1卡尔曼滤波原理卡尔曼滤波(Kalmanfiltering)认为观测值可信度模型、控制模型是一个正态分布，信号是线性变化的，在运算过程中仅通过上一时刻的最优估计和此时刻的测量值进行迭代，而不涉及过去时刻的状态值与观测值，有效减小了运算过程的计算量，因此它具有计算量小、递推性好等优点。卡尔曼滤波是由实际观测值重新构造系统的状态向量，并用状态空间模型来表述系统的信号过程。在本文中，AGV在t时刻的状态是卡尔曼滤波器根据方程3-(3)从t-1时刻先验状态进行递归计算：3-(3)式中xt是AGV在t时刻的状态向量，ut是包含任何控制输入的矢量，是状态转移矩阵,它将时间t-1时的每个系统状态参数对t时刻的系统状态的影响,是控制输入矩阵,它将向量中的每个控制输入参数对状态向量的影响，是包含状态向量中每个参数的过程噪音项的向量。假设过程噪音来自零均值多元正态分布，协方差由协方差矩阵表示。卡尔曼滤波算法分为两步：预测：假设t时刻为当前时刻，滤波器通过当前时刻AGV状态的预测值来估计AGV在下一时刻的状态，从而得到预先估计值，公式如下：3-(4)更新：在t时刻，系统通过传感器可以测量AGV当前状态，将此状态输入到卡尔曼滤波器中，对之前的预先估计值进行矫正，得到t时刻状态的最优估计值，同时计算AGV在下一时刻的预先估计值，如下式所示：3-(5)AGV在车间行驶速度较慢，卡尔曼滤波预测当前时刻状态比较准确，AGV定位过程主要关心中心点位置。本文仅预测中心点位置，由于卡尔曼滤波不支持多步预测，当间隔帧数过多时，中心点位置会发生漂移，如图1.6所示。图1.6中心点漂移1.1.2ORB算法为解决卡尔曼滤波多步预测不准确的问题，本文通过中心点与特征点间空间位置关系重新计算中心点位置，作为测量值输入的卡尔曼滤波中。特征点代表图像中带有特征性质的点，具备旋转或尺度不变性或小的仿射变换的不变性。特征点寻找技术有很多，例如SIFT、SURF、FAST、ORB等。由于ORB算法速度快，受噪声影响较弱，因此本文选用ORB特征点。ORB(OrientedFastandRotatedBrief)算法可以对图像中的特征进行提取和创建向量，这些特征向量可以用来识别图像中的对象。ORB首先会通过FAST算法从图像中检测特征点，为了解决FAST算法提取的特征点不具备尺度不变性的问题，对不同尺度的图片检测特征点[49]。ORB通过BRIEF算法(BinaryRobustIndependentElementaryFeatures)将一组特征点转换为二元特征向量，向量中仅含0、1两个值，可以高效存储在内存中，便于快速计算。为使描述子具备旋转不变性，ORB以特征点为原点，以特征点和取点区域的质心的连线为x轴建立坐标系[50]。使用ORB算法分别在模板图像和目标图像上创建描述符，根据描述符之间距离可以进行匹配，在目标图像上识别目标。1.1.3基于卡尔曼滤波和ORB特征点的中心点定位由于两次检测之间间隔帧数不会过大，因此认为AGV在图像上短时间内不会发生形变，AGV上各点相对位置不发生变化，AGV外形宽和高不变，即选择框大小不变。目标检测框选的AGV区域作为感兴趣区域，提取ORB特征。以预测中心为选择框中心，选择区域并提取特征，与目标检测结果匹配，通过中心点与目标检测区域特征点位置关系，计算中心点在目前帧的位置，将计算的中心点坐标作为测量值输入到卡尔曼滤波。目标检测中中心点O1坐标为，中心点O2坐标为，特征点A1的的坐标为，A1在当前帧对应匹配对的特征点A2坐标为，特征点B1坐标为，在当前帧对应匹配对的特征点B2坐标为，求解当前帧AGV中心点坐标，将A2O2看作由A1O1平移旋转而来。则求解如式3-(6)所示。3-(6)式中T为平移矩阵，R为旋转矩阵，tx、ty分别为将A1点平移到A2点x、y轴的平移量，θ为平移后A1B1与A2B2夹角。A1、B1点距离不应太近，为保证计算的精确度，可选择多对特征点计算。图1.7为间隔25帧使用YOLO检测一次时仅使用卡尔曼滤波与根据ORB特征点定位中心点效果对比，图中红色边框为仅使用卡尔曼滤波结果，黑色边框为结合ORB特征点定位后的结果，边框中心点为预测或定位的AGV中心点位置。图1.7基于卡尔曼滤波和ORB特征点的中心点定位该方法与特征匹配方式相比有以下优点，利用卡尔曼滤波提前定位AGV位置，仅需对选择框进行调整移动即可准确定位AGV，不必搜索整幅图像进行匹配，比直接模板匹配更加快速。当两幅图像匹配不上时，使用YOLO检测定位目标，当YOLO也无法检测到AGV时，说明目标丢失，发送停止命令，直至再次检测到AGV。MOSSE目标追踪算法检测一帧图像花费21.46ms，本方法花费时间为19.04ms。当多AGV运行时，可根据数据库记录上次停车位置，选择目标AGV。定位过程可参考SORT算法进行多目标追踪，通过最大交并比IOU关联目标，使用匈牙利指派算法关联检测框到目标，通过特征点和卡尔曼滤波进一步提高运行速度。1.1.4评价器设计通过卡尔曼滤波结合ORB算法对AGV定位可能由于ORB特征点匹配错位，导致定位不准确，因此需要一个评价器来判断定位是否准确。巴氏系数(Bhattacharyyacoefficient)可以测量两个样本之间的相似性，本文通过巴氏系数计算定位结果与YOLO检测结果的相似度，当相似度小于阈值时，则认为本次定位结果不准确，重新使用YOLO进行识别定位。巴氏系数计算公式如下所示： 3-(7)式中p为模板的颜色直方图，q为待检测图像的颜色直方图。越大说明两图片越相似，当为同一张图像时。如图1.8所示，(a)为检测结果作为模板，(b)和(c)分别作为待评价区域，利用评价器对(a)、(b)、(c)评价结果分别为1、0.912、0.809，本文通过对多组图片进行实验选取0.9作为阈值。模板(b)待测区域1(c)待测区域2图1.8待评价区域1.1.5基于目标检测定位流程基于目标检测的AGV定位算法整体流程如图1.9所示，本文间隔n帧通过YOLO检测AGV进行定位，中间帧通过卡尔曼滤波和ORB特征点相结合的方式定位。首先通过YOLO目标检测选定目标AGV