CN113705588B 基于卷积自注意力模块的孪生网络目标跟踪方法与系统 （南昌工程学院）

基于卷积自注意力模块的孪生网络目标跟本发明提出一种基于卷积自注意力模块的模板分支上的目标图像特征以及搜索区域目标板分支中提取目标图像特征以及搜索区域目标2步骤二：通过所述特征融合网络模型中的所述步骤四：利用经预训练后的所述特征融合网络标图像特征以及所述搜索区域目标图像特征引入到带有锚点的区域建议网络的分类分支步骤五：利用区域建议网络分别对提取后的所在模板分支与搜索分支上分别应用具有1×1核卷积层的嵌入矩阵进行变换，以分别生成查询WO-[X,Z小,，键和值W,=[X,2小W,；根据引入的相对位置编码对所述局部关系矩阵进行增强以得到增强的局部关系矩3相似局部相对矩阵以及多个值ww,聚合起来，通过局部矩阵其中均为参数矩阵，与d,的默认参数为32，C,与cn表示头数与通道数，表示所述多头自注意力模块的输出结果，concat(y,…,yz)表示聚合c,个头所输出的特征图Y的结果，表示所有头串联聚合后的特征图，表示最终输出的所有头串联聚合后的特征图的结果。2.根据权利要求1所述的基于卷积自注意力模块的孪生网络目标跟踪方法，其特征在类分支和回归分支上分别进行深度互相关卷积计算，以得到对应的相似度得分的步骤中，其中，表示提取后的所述目标图像特征与所述搜索区域目标图像特征在分类分支上进行深度互相关卷积计算的相似度得分值；表示提取后的所述目标图像特征与所述搜索区域目标图像特征在回归分支上进行深度互相关卷积计算的相似度得分值，k表示锚点数，2k与4k分别表示对应k个锚点的输出特征图的通道数，bn表示值提取模板分支上的目标图像特征与搜索分支上的搜索区域目标图像特征后的输出特性，Z,X分别表示模板分支以及搜索分支上输入的目标图像以及搜索区域目标图像。3.根据权利要求2所述的基于卷积自注意力模块的孪生网络目标跟踪方法，其特征在与neg，pos与neg分别表示提取后的所述目标图像特征与所述搜索区域目标图像特征上相4应位置的每个锚点的正候选块以及负候选块；为一个4k通道向量，在回归分支后的所述目标图像特征与所述搜索区域目标图像特征上相应位置的每个锚点的中心点的4.根据权利要求2所述的基于卷积自注意力模块的孪生网络目标跟踪方法，其特征在在所述模板分支与所述搜索分支上分别应用卷积根据引入的相对位置编码对所述局部关系矩阵学习模块，用于通过所述特征融合网络模型中提取模块，用于利用经预训练后的所述特征融合网所述目标图像特征以及所述搜索区域目标图像特征引入到带有锚点的区域建议网络的分计算模块，用于利用区域建议网络分别对提跟踪模块，用于利用在分类分支和回归分支上获取到的在模板分支与搜索分支上分别应用具有1×1核卷积层5图像特征和搜索区域目标图像特征输入的2D特征图上相对位置区根据引入的相对位置编码对所述局部关系矩阵进行增强以得到增强的局部关系矩相似局部相对矩阵以及多个值ww,聚合起来，通过局部矩阵其中均为参数矩阵，d与d,的默认参数为32，C,与cn表示头数与通道数，表示所述多头自注意力模块的输出结果，concat(y,…,yz)表示聚合c,个头所输出的特征图Y的结果，表示所有头串联聚合后的特征图，表示最终输出的所有头串联聚合后的特征图的结果。6.根据权利要求5所述的基于卷积自注意力模块的孪生网络目标跟踪系统，其特征在对提取后的所述目标图像特征以及所述搜索区域目标图像特征在分类分支和回归分6其中，表示提取后的所述目标图像特征与所述搜索区域目标图像特征在分类分支上进行深度互相关卷积计算的相似度得分值；表示提取后的所述目标图像特征与所述搜索区域目标图像特征在回归分支上进行深度互相关卷积计算的相似度得分值，k表示锚点数，2k与4k分别表示对应k个锚点的输出特征图的通道数，bn表示值提取模板分支上的目标图像特征与搜索分支上的搜索区域目标图像特征后的输出特性，Z,X分别表示模板分支以及搜索分支上输入的目标图像以及搜索区域目标图像。7.根据权利要求6所述的基于卷积自注意力模块的孪生网络目标跟踪系统，其特征在与neg，pos与neg分别表示提取后的所述目标图像特征与所述搜索区域目标图像特征上相应位置的每个锚点的正候选块以及负候选块；为一个4k通道向量，在回归分支后的所述目标图像特征与所述搜索区域目标图像特征上相应位置的每个锚点的中心点的7[0006]本发明实施例提供了一种基于卷积自注意力模块的孪生网络目标跟踪方法，其8述目标图像特征以及所述搜索区域目标图像特征引入到带有锚点的区域建议网络的分类特征融合网络模型的第一层与第二层采用的是所述卷积神经网络模型中的深度残差网络，提取后的所述目标图像特征以及所述搜索区域目标图像特征在分类分支和回归分支上分[0016]其中，表示提取后的所述目标图像特征与所述搜索区域目在分类分支上进行深度互相关卷积计算的相似度得分值；表示提取后的所述目标图像特征与所述搜索区域目标图像特征在回归分支上进行深度互相关卷积计算的相似提取模板分支上的目标图像特征与搜索分支上的搜索区域目标图像特征后的输出特性，Z,X分别表示模板分支以及搜索分支上输入的目标图像以及搜索区域目标图像。示提取后的所述目标图像特征与所述搜索区域目标图像特征上相应位置的每个锚点的正9目标图像特征以及搜索分支上的搜索区域目标图像特征输入的2D特征映射为x,zeRi"[0022]根据引入的相对位置编码对所述局部关系矩阵进行增强以得到增强的局部关系所述相似局部相对矩阵以及多个值聚合起来，通过局部矩阵乘法计算得到聚合后的特征[0026]在所述模板分支与所述搜索分支上分别应用具有1×1核卷积层的嵌入矩阵W,WW,分别为所输入的三个不同的嵌入矩阵；[0029]其中c,表示多头自注意力模块的头数，目标图像特征和搜索区域目标图像特征输入的2D特征图上相对位置区域的高度和宽度的[0030]根据引入的相对位置编码对所述局部关系矩阵进行增强以得到增强的局部关并将所述相似局部相对矩阵以及多个值ww,聚合起来，通过局部[0037]其中均为参数矩头注意力模块的输出结果，concat(x,…,yz)表示聚合c,个头所输出的特征图Y的结果，表示所有头串联聚合后的特征图，表示最终输出的所有头串联聚合后的特征图的结果。后的所述目标图像特征以及所述搜索区域目标图像特征引入到带有锚点的区域建议网络的相似度得分，其中所述深度互相关卷积计算表示在分类分支与回归分支上分别进行卷[0046]对提取后的所述目标图像特征以及所述搜索区域目标图像特征在分类分支和回[0049]其中，表示提取后的所述目标图像特征与所述搜索区域目在分类分支上进行深度互相关卷积计算的相似度得分值；表示提取后的所述目标图像特征与所述搜索区域目标图像特征在回归分支上进行深度互相关卷积计算的相似提取模板分支上的目标图像特征与搜索分支上的搜索区域目标图像特征后的输出特性，Z,X分别表示模板分支以及搜索分支上输入的目标图像以及搜索区域目标图像。示提取后的所述目标图像特征与所述搜索区域目标图像特征上相应位置的每个锚点的正[0052]图1为本发明第一实施例提出的基于卷积自注意力模块的孪生网络目标跟踪方法[0053]图2为本发明第一实施例提出的基于卷积自注意力模块的孪生网络目标跟踪框架[0055]图4为本发明第二实施例提出的基于卷积自注意力模块的孪生网络目标跟踪系统块组成。在残差网络的最后一阶段瓶颈块中，通过利用多头自注意力模块的全局自注意力特征融合网络模型，所包含的卷积神经网络模型以及多头自注意力模块，可统称为卷积自注意力模块。自注意力模块的全局自注意力方式对所捕获的特征图中包含[0067]在模板分支与搜索分支上分别应用具有1×1核卷积层的嵌入矩阵[W,WW,分别标图像特征和搜索区域目标图像特征输入的2D特征图上相对位置区域的高度和宽度的大[0073]S1023，根据引入的相对位置编码对所述局部关系矩阵进行增强以得到增强的局聚合后的特征图Y。[0084]其中均为参数矩头注意力模块的输出结果，concat(x,…,yz)表示聚合c,个头所输出的特征图Y的结果，表示所有头串联聚合后的特征图，表示最终输出的所目标图像特征以及所述搜索区域目标图像特征引入到带有锚点的区域建议网络的分类分[0091]其中，表示提取后的所述目标图像特征与所述搜索区域目在分类分支上进行深度互相关卷积计算的相似度得分值；表示提取后的所述目标图像特征与所述搜索区域目标图像特征在回归分支上进行深度互相关卷积计算的相似提取模板分支上的目标图像特征与搜索分支上的搜索区域目标图像特征后的输出特性，Z,X分别表示模板分支以及搜索分支上输入的目标图像以及搜索区域目标图像。图像特征与搜索区域目标图像特征上相应位置的每个锚点的正[0096