【《基于相关滤波的判别式目标跟踪算法分析》4900字】

基于相关滤波的判别式目标跟踪算法分析目录TOC\o"1-3"\h\u172431.1引言 1103441.2VGG-Net-19网络的分层卷积特征 2164841.2.1VGG-Net-19网络介绍 2177201.2.2不同分辨率的卷积特征 3107101.3相关滤波目标跟踪 8221121.1.1线性岭回归模型 9262431.1.2循环矩阵 9179231.1.3快速检测 11174661.4结合不同分辨率卷积特征的相关滤波跟踪算法 12200011.4.1卷积特征与相关滤波结合 12211791.4.2位置估计 1436341.4.3模型更新 14121411.4.4算法流程 141.1引言相关滤波判别式分类器是一种回归判别模型。Hester等人[59]首次提出相关滤波器，将滤波器与提取的候选样本进行卷积计算，得到响应最大的位置即认定为目标的位置，为相关滤波在目标跟踪中的应用奠定了理论基础。Bolme等人[60]首次将相关滤波器应用到跟踪算法中，提出了最小输出平方误差和滤波器，根据峰-旁瓣比率检测目标是否被遮挡，这使跟踪器可以暂停并恢复到物体再次出现时停止的位置。Danelljan等人[61]研究了颜色特征在检测跟踪框架中的应用，作者将视频图像的RGB空间扩展为十一维彩色空间，对每个通道的特征进行单独处理后再融合，颜色属性的添加使得跟踪能够应对更多的复杂场景。相关滤波算法的优势是跟踪速度快，而卷积特征表征能力强，CF2[63]算法就是提取深度特征，之后利用相关滤波器确定目标位置，跟踪精确度和成功率明显提高。但是该算法的不足之处是目标发生形变、超出视野范围、快速运动和运动模糊等复杂情况是跟踪算法不能很好的进行解决。因此，针对上述问题，本文采用VGG-Net-19卷积神经网络提取的多分辨率卷积特征结合相关滤波跟踪框架来提高目标跟踪的鲁棒性，首先介绍了VGG-Net-19网络的结构，然后用不同分辨率的卷积特征分别进行目标跟踪，比较并分析使用不同分辨率卷积特征时的跟踪性能，根据分析结果提出融合不同分辨率卷积特征的目标跟踪算法。1.2VGG-Net-19网络的分层卷积特征1.2.1VGG-Net-19网络介绍本文使用的网络模型是VGG-Net-19，19表示网络中的16个卷积层以及3个全连接层。网络结构如图3-1所示，16个卷积层主要由5组卷积层（Conv1~Conv5）组成。其中，从Conv1到Conv5的每组卷积层分别有2、2、4、4、4层卷积，每组卷积层都使用3*3的卷积核，每组卷积层后进行一个2*2的最大池化。这样的设计，既可以保证感受视野，又能减少卷积层的参数。VGG网络的特点是普遍使用多层叠加的小卷积核（3*3）替代大卷积核。多层叠加的小卷积核替代大卷积核的优势如下：（1）与大卷积核有着相同的感受野；（2）加深了网络深度，增强了网络容量和复杂度，学习到的特征更精细；（3）减少模型参数个数。VGG-Net-19网络各层参数如图3-2所示。图3-1VGG-Net-19网络结构图Fig.3-1IllustrationofNetwork图3-2VGG-Net-19网络的各层参数图Fig.3-1Parameterofeachlayerofthenetwork1.2.2不同分辨率的卷积特征本文使用VGG-Net-19卷积神经网络的卷积特征来表示目标的外观信息。随着卷积神经网络的加深，用于精准定位的空间分辨率则不断降低。VGG-Net-19网络结构中，包含5组卷积层，每组卷积层都会输出一组输入图像的特征数据，这5组卷积层输出的特征对图像的特征描述情况不同，因此选择合适的卷积层提取特征对提高目标跟踪算法性能十分重要。本节首先对VGG-Net-19的每一个卷积层提取的特征做了一个可视化，如图3-3所示，(a)为输入图像，(b)~(f)分别为神经网络第一层至第五层提取的特征。对于视觉目标跟踪而言感兴趣的是目标对象的准确位置而不是其语义类别，因此没有使用全连接层，因为全连接层显示的空间分辨率很小，只有1*1的像素，本文仅使用卷积层中的分层特征。a.原图b.conv1层的输出c.conv2层的输出d.conv3层的输出e.conv4层的输出f.conv5层的输出图3-3分层深度特征的可视化Fig.3-3Visualizationofhierarchicaldepthfeatures通过图3-3的实验结果发现低卷积层（conv1和conv2）主要提取的是图像表面纹路与色彩信息，分辨率高，容易分辨出目标外观大小和发生的变化。高卷积层（conv3、conv4、conv5）主要包含高层语义特征信息，对旋转变形具有不变性，但分辨率低，无法准确找到目标所在位置，对平移和尺度具有不变性。第五个卷积层的特征在识别目标时是有效的，即使有明显的背景变化也可以区分目标。因此接下来通过将各层特征用于相关滤波目标跟踪中对其进行验证。为了深入了解卷积神经网络的各层特征的表征能力，分别将VGG-Net-19网络的单层卷积特征应用到相关滤波跟踪算法中，对跟踪结果进行对比分析。分别提取第一、第二、第三、第四、第五层卷积特征，通过使用每层的卷积特征单独训练相关滤波器，并且使用单层训练的相关滤波器来跟踪视频序列。本实验采用标准的KCF框架描述的方法，只是将人工提取的特征替换为VGG-Net-19网络的各层卷积特征。评估是在OTB数据集中所有50个视频序列上进行的，这50个视频被分为11个不同挑战属性（关于这11种不同挑战属性的具体介绍在本文第二章），评价标准采用第二章中的VTB评价准则中的精确度和成功率。实验结果如图3-4所示。a.光照变化（illuminationvariation）b.平面外旋转（out-of-planerotation）c.运动模糊（motionblur）d.目标尺度变化（scalevariation）e.目标遮挡（occlusion）f.快速运动（fastmotion）g.非刚性形变（deformation）h.超出视野(outofview)i.平面内旋转（in-planerotation）j.低分辨率(lowresolution)k.背景杂波干扰（backgroundclutters）图3-4不同卷积层基于11种属性的精确度和成功率曲线图Fig.3-4Plotsofaccuracyandsuccessrateofdifferentconvolutionallayersbasedon11attributes根据图3-4得到的不同卷积层基于11种不同属性下的精确度与成功率的曲线对比图比较可以很明显的发现发现存在以下几个问题：(1)在具有低分辨率（lowresolution）属性的序列中：表现最好的前三个层是conv5、conv4、conv2层,且conv4层跟踪的结果比源程序中三个层融合后的性能表现更佳。(2)在具有超出视野（out-of-view）属性的序列中：精度图中表现最好的是conv4、conv5、conv2层，成功率图中表现最好的三个是conv4、conv2、conv3。而且conv4层跟踪的结果比源程序中三个层融合后的性能表现更佳。(3)在具有快速运动（fastmotion）和运动模糊（motionblur）属性的序列中：conv4层跟踪的结果比源程序中三个层融合后的性能表现更佳。综上分析，本文采用Conv2-2、Conv4-4、Conv5-4层卷积特征用于相关滤波目标跟踪算法中，以此来进一步提高跟踪算法在低分辨率、目标超出视野、快速运动、运动模糊这几个属性下的跟踪性能。1.3相关滤波目标跟踪相关滤波跟踪算法的框架如图3-5所示，第一帧初始化之后，在随后的每一帧中，在先前估计位置的图像块被裁剪为当前输入,通过提取视觉特征作为目标的外观模型。采用余弦窗口来平滑窗口的边界效果，然后利用卷积定理得到输入信号与学习滤波器的相关关系。FFT（快速傅里叶变换）用于将信号转换为频域，图中符号表示按元素计算。接着通过IFFT（快速傅里叶反变换）得到空间置信图，其峰值可以作为目标的新位置进行预测。最后，提取新的图像块估计位置特征，对相关滤波器进行训练和更新。图3-5相关滤波跟踪算法框架Fig3-5Correlationfiltertrackingalgorithmframework1.1.1线性岭回归模型核相关滤波算法利用岭回归训练目标检测器，训练的目的是找到一个函数使得误差函数最小。(3-1)式（3-1）中为用于控制过拟合的一个正则化系数，将式（3-1）表示为矩阵的形式如下：(3-2)式（3-2）中的每行表示一个用于训练的样本向量，代表对应样本预测输出，为单位矩阵，对式（3-2）求导可得：(3-3)将式（3-3）转换到复数域中，可以表示成如下形式：(3-4)式（3-4）中表示复共轭转置矩阵。一般来说，上述问题的求解需要解高纬度的线性方程组，计算量过大，不能达到实时性要求。岭回归模型的训练需要用到大量样本，而在目标跟踪中，提供大量样本是一直以来的难题，核相关滤波就是利用循环矩阵来解决这一难题。1.1.2循环矩阵循环矩阵不仅涉及到目标采样，而且在傅里叶空间具有可对角化的性质，该性质将矩阵的运算转化为元素的点乘，在计算量上减少了很多时间，为算法的运算效率提升做出了很大贡献。用一个1*n维向量表示目标的图像块，定义为目标的基础样本。对目标的基础样本进行平移操作可得到多个负样本，对目标基础样本和得到的负样本进行训练，使得分类器逐渐具有对目标和背景的区分能力。通过置换矩阵可以对目标基础样本的平移操作进行模拟，置换矩阵为：对于二维图像，可以通过对轴和轴的移动实现不同方向的循环移位，轴置换矩阵表示为：将基础样本多次乘上置换矩阵可得到n个循环移位的采样样本向量，也即的循环矩阵，表示成：中的每一行是对矩阵中上一行向右移一位得到的。二维图像的循环移位效果如图3-6所示。图3-6循环矩阵示意图Fig.3-6Schematicdiagramofcirculantmatrix图中，每一行是一个一维向量图像的循环平移。相同的性质可以承接到二维图像的循环移位。如图3-7所示,（c）是基样本，基样本在水平或垂直方向的循环移位可以产生虚拟样本，（b）和（d）分别是基样本向下循环移位15像素和向上循环移位15像素得到的，（a）和（e）分别是基样本向下循环移位30像素和向上循环移位30像素得到的。通过循环移位的方法就可以构造出大量的训练样本。图3-7二维基样本的纵向循环移位示例Fig.3-7Exampleoflongitudinalcyclicshiftoftwowikisamples循环矩阵具有在傅里叶空间可对角化的性质，表示如式（3-5）：(3-5)将式（3-5）代入式（3-4）得到傅氏对角化简化的脊回归，如式（3-6）：(3-6)亦或是：（3-7）1.1.3快速检测构建所有训练样本和所有候选图像块之间的核矩阵，的每一个元素表示为。容易证明此核矩阵满足循环矩阵的条件，只需要第一行来定义核矩阵：（3-8）于是就可以得到所有候选图像块下的回归函数：（3-9）其中是一个向量，包含所有的循环移位的输出。转化到频域为：（3-10）核相关是计算两个输入向量所有位置的匹配相应结果，特别地，当核函数为高斯核时，可以得到高斯核相关：（3-11）转换后，算法的计算量减少，由原先的减少到。1.4结合不同分辨率卷积特征的相关滤波跟踪算法通过对1.2节内容对各层卷积特征的分析，综合考虑低层特征和高层特征的优势，本文采用不同分辨率特征融合的方式来作为跟踪过程中的特征表示，综合利用高低层特征的优点，在相关滤波框架下实现基于不同卷积层融合的相关滤波目标跟踪算法，使目标跟踪算法更具准确性和鲁棒性。1.4.1卷积特征与相关滤波结合不同分辨率卷积特征的融合示意图如图3-8所示,本文使用第二，第四和第五个卷积层作为的目标表示。将每个层与学习的滤波器进行卷积生成位置响应图，其最大值位置为估计的目标位置。采用双线性插值融合不同分辨率的多层卷积特征，由粗到细地推断出目标位置。conv5-4，conv4-4，conv2-2层的融合权值分别设置为0.5、1和0.25。图3-8卷积特征的融合Fig3-8Thefusionofconvolutionalfeature用表示第层提取的特征，大小为M×N×D，M，N和D分别代表宽、高、通道数。将沿着M和N维度的的所有循环移位作为训练样本，每个样本具有高斯函数标签。然后通过求解式（3-12）中的最小化问题来学习具有和相同大小的相关滤波器：（3-12）其中正则化参数（）。可使用快速傅里叶变换在每个单独的特征通道中对其进行求解，在第个卷积层的第（）个通道中的频域中的学习滤波器可以写为：（3-13）在公式3-13中，是的傅里叶变换形式（是高斯标签的频域表示）以及表示的复合共轭。操作符是Hadamard（逐元素）点积。通过计算第个卷积层的相关响应：（3-14）运算符表示逆FFT变换，可以搜索大小为M×N的相关响应图的最大值的位置，以此来估计第个卷积层上的目标位置。由于网络中的池化操作，会对提取的卷积特征进行逐层压缩，以此来提出一些不重要的冗余信息，来简化网络的复杂性，但是随着网络层的加深，池化操作也会相应的使得目标的空间分辨率降低。低的空间分辨率不足以准确定位目标。因此本文通过使用双线性插值对不同卷积层提取的特征在不同方向进行插值操作，将每个特征图调整为相同的尺寸来解决不同分辨率特征的融合问题。表示池化操作后的特征映射图，表示经过上采样以后的特征映射，第个位置的特征向量表示为公式（3-15）：（3-15）为插值权重，这个插值是发生在空间域的，可以看做是对目标位置的插值。1.4.2位置估计给定一组相关响应映射图，推断每一层的目标位置，最后一个卷积层的最大响应位置作为一个正则化参数帮助搜索前一层的最大响应位置。设表示第层上最大值的位置，第（-1）层中目标的最佳位置表示为：