CN110619655A 一种融合光流信息和Siamese框架的目标跟踪方法及装置 （深圳大学）

一种融合光流信息和Siamese框架的目标跟本发明提供一种融合光流信息和Siamese框前第N帧及当前帧的前面的三帧的光流信息，再2将第j帧中的运动信息通过光流网络映射到第i帧，然后再将得出的光流结果图与第j帧图i所述时序打分模型具有池化层，其中的池化层可以执所述这全局平均池化操作输出一个T×1维的向量，构3将所述全局平均池化中间矩阵和所述全局最大值池化中2.如权利要求1所述的融合光流信息和Siame其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}表示为了更好的提取候选检测帧的图像特征，所述将第j帧中的运动信息通过光流网络映射到第i帧，然后再将得出的光流结果图与第j帧图i4所述时序打分模型具有池化层，其中的池化层可以执所述这全局平均池化操作输出一个T×1维的向量，构将所述全局平均池化中间矩阵和所述全局最大值池化中所述时序打分模型是由卷积神经网络模型根据损失函数进行训练的，所述损失函数其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}表示为了更好的提取候选检测帧的图像特征，所述56[0001]本发明涉及图像识别领域，尤其涉及一种融合光流信息和Siamese框架的目标跟尔曼、粒子滤波器和特征点匹配的生成式模型算法到现在的基于相关滤波框架和Siamese算精度不高，有遮挡时特征点会消失；基于Siamese框架的全卷积网络模型算法计算速度[0004]为解决上述技术问题，本发明提出了一种融合光流信息和Siamese框架的目标跟于Siamese框架的全卷积网络模型算法无法跟踪背景复杂以及剧烈运动的对象的技术问息后得到的最终的检测帧，wj->i表示由时序打分模型计算并输出的候选检测帧的特征权7[0022]将所述全局平均池化中间矩阵和所述全局最大值池化中间矩阵[0029]其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}8息后得到的最终的检测帧，wj->i表示由时序打分模型计算并输出的候选检测帧的特征权9[0048]将所述全局平均池化中间矩阵和所述全局最大值池化中间矩阵[0052]进一步地，所述时序打分模型是由卷积神经网络模型根据损[0054]其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}[0061]根据本发明的上述方案，基于整合了光流信息的特征图并结合Siamese框架进行[0062]上述说明仅是本发明技术方案的概述，为了能够更清楚了解[0064]图1为本发明一个实施方式的融合光流信息和Siamese框架的目标跟踪系统的结计算光流(所述TVNet光流网络可参见VALMADREJ,BERTINETTOL,HENRIQUESJ,etal.End-to-endrepresentationlearningforcorrelationfilterbasedtracking[C].Honolulu,Hawaii,USA.2017.ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2017:2805-2813)，得到Flow1、Flow2、Flow3。并对[0088]将所述全局平均池化中间矩阵和所述全局最大值池化中间矩阵[0097]其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}[0100]以下结合图4说明本发明的融合光流信息和Siamese框架的目标跟踪方法，图4示j->i是将第j帧中的运动信息通过光流网络映射到第i帧，然后再将得出的光流结果[0117]将所述全局平均池化中间矩阵和所述全局最大值池化中间矩阵[0122]其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}息后得到的最终的检测帧，wj->i表示由时序打分模型计算并输出的候选检测帧的特征权[0143]将所述全局平均池化中间矩阵和所述全局最大值池化中间矩阵[0147]进一步地，所述时序打分模型是由卷积神经网络模型根据损[0149]其中v表示训练集中等待训练的图像的候选响应图每个点的真实值，y∈{+1,-1}[0151]本发明实施例进一步给出一种融合光流信息和Siamese框架的目标跟踪系统，包装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或