【基于外形不确定的AGV定位方法设计案例6800字】

基于外形不确定的AGV定位方法设计案例目录TOC\o"1-3"\h\u14472基于外形不确定的AGV定位方法设计案例 1207351.1常用移动目标识别方法及比较 2191581.1.1帧差法 29111.1.2光流法 2222321.1.3背景减除法 3215171.1.4结果比较 4268611.2目标追踪 4286111.2.1目标跟踪方法 425741.2.2KCF相关滤波 5289801.3基于改进背景减除法的移动目标检测 647051.4基于移动目标检测的AGV导航方式研究 102431.1.1图像下采样 10320311.1.2显著性目标检测提高精度 13139221.1.3基于目标追踪的定位 15125301.1.4基于移动目标检测定位流程 16直接使用目标识别的方式对AGV定位，需要大量训练或制作特征，此外AGV上方可能承载货物，所以摄像头拍摄到的AGV外观可能不同，如图1.1所示，这种情况下直接对AGV使用目标检测的方式进行定位在车间实际应用不易实现，因此本文采用基于移动目标检测的方式对AGV进行定位，设计一种不需提前训练检测模型，就可以对未知外形AGV定位的算法，并可以在本定位流程的基础上采集AGV目标检测训练素材。本算法首先基于移动目标识别算法来确定AGV初始位置，之后利用目标追踪方式等方式不断对行进中的AGV进行定位，并实时矫正位置。图1.1AGV负载物料本章定位方法可以基于目标检测定位方法前使用，在使用过程中搜集训练素材，对于外形不确定问题，AGV在长时间使用中，运输物料种类不会频繁更改，在训练模型的素材足够充足的情况下，同样可以选择基于目标检测的定位方式。1.1常用移动目标识别方法及比较针对未知外形AGV，本文通过移动目标检测确定AGV所在位置，在接受的运送任务时，首先向AGV发送低速前进的指令，使其由静止状态转变为运动状态，然后进行移动目标检测。移动目标检测可以从视频中检测出运动目标，本论文采用监控摄像头捕捉图像，摄像头位置固定不变属于静态背景，车间内主要影响运动目标识别的因素有光照、阴影及杂乱背景。常用的移动目标检测方法有帧差法、光流法、背景减除法[51]。1.1.1帧差法帧差法可以通过对图像序列中相邻两帧或者三帧进行差分运算检测出运动目标[52]。以两帧差分法为例，在视频序列中第n帧灰度图像为，第n-1帧灰度图像为，两帧图像相减得到差分图像，计算公式如下： 4-(1)对差分图像处理后进行二值化操作即可得到移动目标，帧差法原理简单、计算量小，但易受目标速度、噪声影响，一般较少单独应用。1.1.2光流法常见的光流计算方式按照基础理论不同大致可以分为基于匹配、频率以及梯度的方法[51]，方法对比如表1.1所示。表1.1常用光流计算方法对比方法计算方式优点缺点基于匹配通过匹配的区域或特征的位移计算当光照变化剧烈和目标过大时检测效果好光流稀疏基于频率根据与带通速度调谐滤波器的输出计算光流速度估计精确，空间分辨率高算法复杂度高基于梯度利用视频序列的时空微分计算像素的速度矢量计算简单，应用广泛需要人工选取参数1.1.3背景减除法背景减除法通过对比当前帧和生成的背景模型，区分出视频序列中变化较大的运动物体，其中背景模型随场景变化实时更新[53]。常用的背景模型建立方法有GMM(GaussianMixtureModeling)[54]、KNN(K-nearestneigbours)[55]、VIBE(visualbackgroundextractor)[56]等，本文选取常用的基于混合高斯模型的方法检测运动的AGV。混合高斯模型通过多个高斯概率分布函数线性组合来表示像素在时域概率分布模型，其分布模型如式4-(2)所示: 4-(2)式中代表位置的像素点x在t时刻的像素值，为t时刻第k个高斯分布的加权系数，且，表示t时刻期望值为，标准差为，表达式如4-(3)所示。 4-(3)将每个像素点x与此时可的背景模型进行比较，当像素点与第k个高斯模型匹配时，像素为背景，否则为移动目标，并与一个新的分布替换模型中权重最小分布。具体比较公式如下： 4-(4)权重更新公式如下式所示： 4-(5)式中α称为更新因子，当匹配成功时为1，否则为0。当匹配成功后，模型按式4-(6)更新参数。 4-(6)1.1.4结果比较常用移动目标检测算法效果比较如表1.2所示，考虑车间光照环境、检测速度准确性的要求，本文选用基于背景差分法的移动目标检测方式。表1.2常用移动目标检测方法比较算法帧间差分法背景差分法光流法实时性快快慢使用范围摄像头固定摄像头固定摄像头固定/运动鲁棒性好较好差优点原理简单，运算速度快，抗干扰能力强速度快、准确、容易实现，室内环境下检测效果较好算法复杂性高，可以在相机运动时使用，计算时不需要场景信息缺点运动目标检测不完整，相邻帧目标重叠时会有空洞会产生阴影区域，抗干扰能力弱易受光照、图像噪声的影响1.2目标追踪在通过移动目标检测处理得到AGV当前外形及位置后，如果继续采用基于移动目标检测的方式进行定位，在定位过程中易受光照影响，定位结果不稳定，因此，本文通过基于移动目标检测的方式定位到AGV后，采用目标追踪的方式对AGV进行定位。目标跟踪在无人驾驶、交通控制、无人机侦察等领域发挥着重要作用[57]，其主要任务有单目标跟踪、多目标跟踪、行人重识别、多目标多摄像头跟踪姿态跟踪等。本文实验场景仅一台AGV属于单目标跟踪。1.2.1目标跟踪方法目标追踪方法按照模式划分可分为生成式跟踪和鉴别式跟踪两类[57]。生成式跟踪根据追踪目标建立目标模型或者提取目标特征，在后续帧中寻找与目标最相似的候选区域作为追踪目标，如光流法、粒子滤波、Meanshift算法、Camshift算法等[58]。但这类方法没有充分利用图像的背景信息，在目标发生旋转、尺寸变化、遮挡等情况时，追踪效果不好。鉴别式模型相较于生成式模型加入了背景信息，因此追踪结果更加准确[59]。2014年之后相关滤波方式广泛在目标跟踪广泛应用，如MOSSE[60]、CSK[61]、KCF、BACF[62]、SAMF[63]等，速度和精度相较于生成式都要高。因为卷积提取的特征比HOG或CN特征更加全面，因此基于深度学习的追踪方法精度更高，但速度相对于相关滤波慢。本文采用目标追踪算法主要是为了提高定位速度，且在定位过程中AGV外形基本不变，因此本文采用基于核相关滤波的目标追踪方式。本文对生成式跟踪方法中的Camshift算法通过测试发现追踪过程容易丢失目标，无法满足车间环境使用要求。本文对几种常用跟踪方法在摄像头采集的视频上测试，结果如表1.3所示.其中除KCF、MOSSE、MIL外都有追踪目标丢失现象，MOSSE速度最快，KCF是在MOSSE算法基础上采用HOG多通道特征和高斯核函数改善跟踪效果，速度偏慢，但更精确。本章在移动目标检测确定AGV初始位置后，主要依靠目标追踪定位，在考虑速度的情况下，精度应尽可能的高，因此本文采样KCF算法进行目标追踪。表1.3常用目标追踪算法速度对比算法BOOSTINGMILKCFTLDMEDIANFLOWMOSSEfps13.477.4110.31.5630.1246.61.2.2KCF相关滤波相关滤波操作计算了两个信号在某个特定特征空间的相似度，其相似度越高相关响应值越高[64]。由于傅里叶域下的两个图像块对应元素点乘操作等价于两个图像的卷积操作，相关滤波通过将测试样本和决策模型转化到傅里叶域，然后通过点乘和傅里叶逆变换操作，来避免卷积操作带来开销。KCF算法是将CSK算法由像素特征这种单特征通道拓展为多特征通道HOG特征，利用循环矩阵在频域里可对角化的性质将矩阵转化为向量点乘运算，使得跟踪速度大大提高，同时设计了多类特征融入该算法的通道模式，其数学模型如下[65]：线性回归模型通过最小化岭回归损失来学习追踪线性回归函数，训练样本集为，4-(7)xi与yi为第i个训练样本及其对应的回归目标，ω为预测模型权重系数，λ为正则化项的权重。该问题具有封闭解，ω的计算公式为：4-(8)其中，矩阵X的每行是一个样本xi，I是单位矩阵。为了加速计算将训练样本集转换到复数域，则该预测模型计算为:4-(9)其中，X*是X的复共轭矩阵。非线性回归模型线性回归函数权重系数的求解利用核技巧映射到非线性的高维空间φ(x)求解，即，从而优化变量而不是w。核技巧的岭回归的解为:4-(10)K为核矩阵，是系数形成的向量。用循环矩阵带入上式中，于是对于样本图像z，检测的响应用以下公式机算得到：4-(11)最大响应值对应的坐标就是目标位置。1.3基于改进背景减除法的移动目标检测由于基于高斯混合模型的背景减除法具有准确、速度快和易实现的优点，因此本文采用该方法检测移动AGV。在本文采集的图像上进行移动目标检测和去噪后结果如图1.2所示，原图MOG (b)检测结果 (c)去噪后结果图1.2MOG检测移动目标结果由图1.2可见，基于混合高斯模型检测移动目标时，受光照影响较大，容易将阴影区域检测为移动目标，并且会出现鬼影现象，本文针对该情况，对移动目标区域再次检测，通过计算像素点为移动目标的概率重新检测。对于移动目标检测，主要目标是针对前景目标，对于背景环境的变化不太关注。本文将除要检测的目标外都划为背景，因此将识别结果的像素点状态可分为移动的前景和背景两类，每个像素点为移动前景的概率为P，PA为前景的概率，PB为移动的概率，当一个像素点为背景像素时，它大概率是不移动的，移动事件与背景事件是相关事件，此外像素为背景时移动的概率无法计算，因此本文通过公式4-(12)计算概率P： 4-(12)式中PAX和PBX为存在移动目标区域内像素为移动目标概率的测量值，都具有一定误差。PAX通过像素为区域内前景的概率得到，PBX通过区域内像素移动的概率得到，则α和β分别为PAX和PBX的置信度，α+β=1。为提高运算速度，本文将MOG算法检测出的移动目标区域框选出来，既能减少不必要区域的计算，又能选择出存在移动目标区域，存在移动目标区域如图所示。图1.3存在移动目标区域本文假设此时选择出的存在移动目标区域已足够小，且该区域内前景目标大部分是移动的，因此采用图像显著图表示概率PAX。本文使用的显著性检测方法为FT(Frequency-tuned)。将图像傅里叶变换将时域图像转换到频域，在频域图像可以分为代表图像的整体信息的低频部分和反映了图像的细节信息高频两部分[66]。显著性区域检测主要使用低频部分信息，因此FT方法采用高斯平滑来去除图像高频。将图像有RGB颜色空间转换为LAB颜色空间，计算整幅图像L、A、B的平均值，并计算每一个像素点与平均值间的欧式距离，得到显著图[67]，本文区域显著图如1.4所示。像素的显著性计算公式如下： 4-(13)将显著图通过每一点显著值除以最大显著值归一化后，每一个点对应数值作为PAX，即： 4-(14)图1.4区域显著图存在移动目标区域内现在已有MOG算法的检测结果，对其进行高斯模糊后，看作将该结果每一像素点值作为存在移动目标区域内移动的概率，结果如图1.5所示。此时像素点范围为0到255，对其归一化，归一化后结果作为PBX。图1.5区域移动目标检测结果对于置信度α和β本文对不同情况效果如图1.6所示，对结果进行二值化操作，概率P大于0.5时，像素置为白色，否则为黑色。在本文采集的视频上，α=0.6，β=0.4时的效果好于其他权重效果。α=0.3，β=0.7 (b)α=0.4，β=0.6 (c)α=0.5，β=0.5α=0.6，β=0.4 (b)α=0.7，β=0.3图1.6不同置信度效果对比本文在α=0.6，β=0.4时与基于高斯混合模型和KNN的背景减除法进行对比，对图1.2对应的视频基于高斯混合模型方式检测速度为17.38fps，基于KNN方式21.27fps，本文改进方法为13.65fps，视频分辨率大小为1960×1080，结果如图1.7所示，可以看出改进后的算法可以消除背景阴影及鬼影影响，但对检测结果出现空洞的问题改善效果较小，改进方法需要对存在移动目标区域内的检测结果进行重新运算，因此检测速度低于原方法，并且与区域面积和矩阵计算方式有关。基于高斯混合模型 (b)基于高斯混合模型改进算法 (c)基于KNN图1.7背景减除法效果对比本文提出的改进方法虽然可以提高检测效果但置信度参数需要手动设定，如何计算自适应的置信度是进一步改进的方向，另外如何结合像素值和像素位置消除空洞也需要进一步研究。1.4基于移动目标检测的AGV导航方式研究当AGV外形未知时，通过移动目标检测对AGV进行定位主要是如何分辨移动移动物体为目标AGV，AGV在拍摄图像中代表的面积可能会改变，但AGV一定会有一个最小面积，提前设定AGV最小面积为Smin，在数据库中每次停车时记录小车位姿，可以有效缩小目标AGV搜索范围。移动目标检测主要目的为定位AGV初始位置选择框，从而后续帧可进行目标追踪定位。由于相机抖动、光照变化等原因，检测结果存在大量噪点，通过本文提出的改进方法可以检测出移动目标，但速度较慢，无论原方法还是改进后方法都无法满足实时性要求。为提高检测速度并进一步提高检测精度，本文基于图像下采样减少背景信息，去除噪点检测目标。1.1.1图像下采样通过对图像下采样降低了图像的分辨率，构建图像金字塔，可以将图像中噪点过滤掉，虽然丢失了一部分细节信息，但整体大的特征依旧保留。本文采用的下采样方式为首先对上一层图像进行高斯模糊，然后去除所有偶数行和列，即可得到下采样图像。该方法输出图像为原图四分之一，不仅减少了细节噪声，而且对于高分辨率图像可以提高程序运行速度。对图像进行下采样后结果如图1.8所示。原图像下采样一次下采样两次图1.8图像下采样图像下采样次数过少时会导致背景噪点去除不彻底，检测速度提高较少。当下采样次数过多时，会使采样后的图像与原图像尺寸相差过大，当将采样后检测结果投影到原图像时误差过大。对于下采样次数本文通过图像静止时检测出的运动区域作为指标，选择合适下采样次数。表1.4为三段不同视频在不同下采样次数下无运动物体时检测出区域数量，其中视频1、2分辨率为1960×1080，视频3分辨率为1080×540。表1.4不同下采样次数下检测出区域数量视频编号原图像区域数下采样一次区域数下采样两次区域数17859814860287866203203192800在下采样图像上利用高斯混合模型改进的背景建模法进行移动目标检测，可以有效去除原图像检测时出现的噪点，提取移动目标所在区域。对于本文采集的视频下采样一次后即可去除大部分背景噪声，两次后检测不会出现噪点，但图像将会变得模糊。在下采样视频上进行移动目标检测结果如图1.9所示，检测速度分别为21.38fps和32.25fps，在下采样两次图像上检测结果空洞增多。下采样一次下采样两次图1.9在下采样图像进行移动目标检测由于在下采样一次图像上本文改进算法即可满足检测速度要求，因此本文在此图像上检测，然后将选择框位置投影到原图像上。为了多个AGV工作时能够准确选择目标AGV，每次AGV到达一个目的地停止后，将该地址记录到数据库中，下次该位置AGV启动时，调用该位置P，将检测到的运动区域中心与点P计算距离，如果距离小于阈值T，则认为该区域位于P点附近，为AGV部分区域。本文设定AGV在像素坐标系下最小面积为Smin=28000，初始选择框坐标扩大两倍，在原图像上检测结果如图所示，选择框位置正确。图1.10初始框定位结果本文改进方法在大多数光照变化不剧烈的情况下可以准确定位，但是由于背景减除法本身原理限制，在光照变化剧烈或相机抖动明显时，会出现下图1.11选择框位置具有较大偏差的情况，为提高定位准确度，本文通过显著性目标检测进一步实验提高检测精度。图1.11选择框不准确情况1.1.2显著性目标检测提高精度当AGV移动时，检测出的目标位置移动区域经常比AGV实际区域大，要对AGV进行目标追踪，首先需要框选AGV初始位置，选择框不应过大或过小，过大会夹杂太多的背景信息，影响后续定位精度，过小会使追踪结果陷入局部最优解，本文已通过设定选择框最小面积Smin的方式防止选择框过小情况出现。运动框选区域内可能存在部分其他物体，但该区域面积已相对较小，运动框选区域内最显著的目标为AGV，其余多是背景或小目标，因此可以直接使用显著性目标检测获取位置。显著性目标检测的目的是为了从图像中识别出最明显的物体，本文使用几种常用的传统显著性目标检测和基于深度学习的显著性目标检测效果如图1.12所示。框选运动区域(b)SaliencyFineGrained(c)SpectralResidual (d)F3Net图1.12显著性目标检测效果对比SaliencyFineGrained方法[68]和SpectralResidual方法[69]作为传统方法检测效果不如基于深度学习的F³Net方法好，F³Net主要由交叉特征模块(CFM)和通过最小化新像素位置感知损失(PPA)训练的级联反馈解码器(CFD)组成，来解决不同卷积层的接受域不同，生成的特征存在较大差异可能导致次优解的问题，检测一张图像需要11.26ms，网络结构如下图1.13所示