CN117173219B 一种基于可提示的分割模型的视频目标跟踪方法 （浙江大学）

一种基于可提示的分割模型的视频目标跟一种基于可提示的分割模型的视频目标跟踪方型后在服务器上对所述单目标跟踪模型进行训模型对待跟踪的视频序列中指定的单个目标进2配器建立一个图像特征提取器，将输入的搜索帧ps和模板帧pt分别用该图像特征提取器提取特征得到搜索帧特征xs和模板帧特征S14、将所述目标物体的特征fobj和增强的搜索帧特征Fs输入到可自优化的目标框解码2.根据权利要求1所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在S21、对基于可提示的分割模型的图像编码器中视觉Transfo对位置编码重新训练以匹配256x256和384x384的图像分辨率；的搜索帧和模板帧分别用该图像特征提取器提取特征得到ER为绝对位置3.根据权利要求2所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在34.根据权利要求1所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在5.根据权利要求4所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在拼接为并加入绝对位置编码然后送入2个自注意力单元进行处理；6.根据权利要求5所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在的提示编码器提取特征根据目标框提示的特征和增强的模板帧特征利用可提示的分割模型中的掩膜解码器获取目标物体的分7.根据权利要求6所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在S51、对所述目标物体特征向量fovER"和增强的搜索帧特征FSE求余弦s的背景点，选取S(C,i,j)最大值对ec,通过全卷积网络得到目标的目标分类得分图局部偏移图0e[0,1)2"、归一化尺寸图se[01),4S54、利用所述初步的目标物体边界框bbox0作为提示，将所述目标导向的搜索帧特征seR,通过全卷积网络得到目标的目标分类得分图局部偏移图0'e[0,1)2⃞s、归一化尺寸图8.根据权利要求7所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在界的部分用像素平均值进行填充，最后将该矩形图像缩放到256x256或384x384，以此构9.根据权利要求8所述的一种基于可提示的分割模型的视频目标跟踪方法，其特征在56[0003]现有的一种视频目标跟踪范式如图1a所示，首先采用孪对搜索帧和模板帧进行特征提取，然后将提取到的特征进行搜索帧和模板帧的特征交互，[0004](1)模板帧和搜索帧之间的交互是图像级的而并不是对象级的，这不可避免地引[0005](2)边界框预测头不具备自优化的能力。这种跟踪范式都是通过预测头直接得到块拼接在一起然后送入一系列视觉Transformer编码块进行特征提取与特征交互。这种范[0008]为了实现上述目的，本发明提供一种基于可提示的分割模型的视频目标跟踪方7[0017]S11、基于可提示的分割模型的图像编码器，结合自然语言处理领域中常用的工具适配器建立一个图像特征提取器，将输入的搜索帧ps和模板帧pt分别用该图像特征提和相对位置编码重新训练以匹配256×256和38输入的搜索帧和模板帧分别用该图像特征提取器提取特征8拼接为并加入绝对位置编码然后和增强的模板帧特征F:eRC,利用可提示的分割模型中的掩膜解分类得分图局部偏移图oe(01),、归一化尺寸图se(0,1)2s,特征输入到可提示的分割模型的掩膜解码器，输出最终的搜索帧特征9类得分图局部偏移图归一化尺寸图s'e[0,1y,寸和距离划分出一块区域作为搜索帧图像，将模板帧图像和搜索帧图像输入到网络模型，帧更加关注于所要跟踪的目标物体而免受模板中背景信息的影响，提高了跟踪的鲁棒性。于可提示的分割模型的编码器的设计、模板和搜索区域特征的自注意力增强单元的设计、[0077]S11、基于可提示的分割模型的图像编码器，结合自然语言处理领域中常用的工具适配器(Adapter)建立一个图像特征提取器，将输入的搜索帧ps和模板帧pt分别用该图像特征提取器提取特征得到搜索帧特征xs和码器中视觉Transformer的绝对位置编码和相对位置编码重新训练以匹配256×256和384器(Adapter)的视觉Transformer(ViT)块的结构如图3c所示。使用适配器搭配可提示的分割模型中的图像编码器作为图像特征提取器，将输入的搜索帧和模板帧分别用该图像特征提取器提取特征得到搜索帧特征和模[0089]模板和搜索区域特征的自注意力增强单元由2个自注意力单元组成，每个自注意拼接为并加入绝对位置编码然后[0098]本实施例中，步骤S3的模板和搜索区域特征的自注意力增强单元增加了跳跃连[0103]根据目标框提示的特征和增强的模板帧特征FrER,利[0110]S51、对所述目标物体特征向量和增强的搜索帧特征FseRC求余seRct:目标分类得分图pe[o,1]s、局部偏移图归一化尺寸图特征输入到可提示的分割模型的掩膜解码器，此时解码的时候并不输出分FseR,即为：RC,通过全卷积网络得到目标的目标分类得分图局部偏移图o'e归一化尺[0133]S61、利用服务器进行图像裁剪和数据增强。对已完成标注的单目标跟踪数据集视频边界的部分用像素平均值进行填充，最后将该矩形图像缩放到256×256或384×384，寸和距离划分出一块区域作为搜索帧图像，将模板