CN116664623B 基于孪生网络联合跟踪与检测的视频目标长期跟踪方法 （河南科技大学）

基于孪生网络联合跟踪与检测的视频目标本发明涉及基于孪生网络联合跟踪与检测传统的基于孪生网络的目标跟踪算法往往无法2分别送入RPN网络，通过分类分支与回归分支分别输出17x17x10和17x17x20的两个响2.如权利要求1所述的一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法，3.如权利要求1所述的一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法，放目标概率的响应图，得到17x17x5的得分4.如权利要求3所述的一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法，其特征在于，步骤S3中的跟踪器阈值用来判断当前帧目标是否存在，设定为一个5维列向5.如权利要求3所述的一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法，36.如权利要求5所述的一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法，7.如权利要求5所述的一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法，4[0002]视频目标跟踪技术是根据视频序列在第一帧给出的任意方向梯度直方图(HistogramOfOrientedGradient,HOG)、Haar_like特征和局部二值特生网络(SiameseNetwork)的目标跟踪算法已成为视频目标跟踪领域的一个重要研究方5长期跟踪方法(ALong_TermVisualTrackingAlgorithmBasedonSiameseNetwork特征分别通过RPN网络，分类分支与回归分支分别输出17×17×10和17×17×20的两个响概率的响应图，得到17×17×5的得分图，对得分图进行全局最大池化(GlobalMax6得分矩阵与对应的置信度矩阵逐元素相乘作为最[0028]图6是在UAV20L数据集仿真实验中本发明方法(SiamTD)与其他部分方法的精度和[0030]本发明提供一种基于孪生网络联合跟踪与检测的视频目标长期跟踪方法(ALong_TermVisualTrackingAlgorithmBasedonSiameseNetworkUsingJointTrackingandDetectionStrategy，SiamTD)，当视频序列中待跟踪目标被完全遮挡或离开视野区7特征分别通过RPN网络，分类分支与回归分支分别输出17×17×10和17×17×20的两个响修改后的AlexNet(Alex网络是由AlexKrizhevsky等人在2012年提出的一种卷积神经网络[0038]S2.4、分别将分类与回归分支中的模板特征图作为卷积核与搜索特征图进行卷8h为预测出的中心坐为0.01，使用随机梯度下降算法(StochasticGradientDescent,SGD)迭代训[0054]步骤S3中的TDS模块用来判断当前帧目标是否消失，并对不同情况使用不同跟踪概率的响应图，得到17×17×5的得分图，对得分图进行全局最大池化(GlobalMax9得分矩阵与对应的置信度矩阵逐元素相乘作为最[0065]以下通过仿真实验对本发明的效果进行验证，仿真实验采用OxUvA和UAV20L数据[0067]1.TLD(基于检测的在线学习视频目标跟踪方法)，参见文献[1].KalalZ,MikolajczykK,MatasJ.Tracking_learning_detection[J].IEEETransactionsonSoftwareEngineering,2011,34(7):1409_1422.L,ValmadreJ,HenriquesJF,etal.Fully_ConvolutionalSiameseNetworksforObjectTracking[J].2016.[0069]3.LCT(长期相关性跟踪方法)，参见文献[3].ChaoM,YangX,ZhangC,etal.Long_termcorrelationtracking[C],2015IEEEConferenceonComputerVisionandPatternRecognitiB.LearningMulti_DomainConvolutionalNeuralNetworksforVisualTracking[J].IEEE,2016.[0071]5.SINT(基于孪生网络模板匹配的视频目标跟踪方法)，参见文献[5].[1]RanTao,EfstratiosGavves,ArnoldW.M.Smeulders.SiameseInstanceSearchforTracking.[J].CoRR,2016,absG,KhanFS,etal.ECO:EfficientConvolutionOperatorsforTracking:IEEEComputerSociety,10.1109/CVPR.2017.733[P].2016.F,LiH.BeyondLocalSearch:TrackingObjectsEverywherewithInstance_SpecificProposals:IEEE,10.1109/CVPR.2016.108[P].2016.FaggA,LuceyS.LearningBackground_AwareCorrelationFiltersforVisualTracking[J].IEEEComputerSociety,2017.[0075]9.Staple(基于互补学习器的目标跟踪方法)，参见文献[9].BertinettoL,ValmadreJ,GolodetzS,etal.Staple:ComplementaryLearnersforReal_TimeTracking[C]//ComputerVision&PatternRecognition.IEEE,2016.L,YanJ,WeiW,etal.HighPerformanceVisualTrackingwithSiameseRegionProposalNetwork[C]//2018IEEE/CVFConferenceonComputerVisionandPatternZhu,QiangWang,BoLi,WeiWu,JunjieYan,andWeimingHu.Distractor_awaresiamesenetworksforvisualobjecttracking.InEuropeanConferenceonComputerVision,pages101–117,2018.Z,ZhongB,LiG,etal.SiameseBoxAdaptiveNetworkforVisualTracking[J].2020.[0079]仿真实验结果参考附图5和附图6，图5为在UAV20L数据集上的预测精度和成功率对比图，图5中左图横坐标表示算法估计的目标位置(boundingbox)的中心点与人工标注(groundtruth)的目标的中心点距离阈值，纵轴表示小于此阈值的帧数所占总帧数百分比，即预测精度；图5中右图横坐标表示算法估计的目标边界框面积与人工标注(ground目标消失且跟踪器判断正确为TrueNegative(TN)，纵坐标和[0082]图6的其他两图(中间图和下图)评估了跟踪器的长期跟踪性能，横坐标分别