CN114842028B 一种跨视频目标跟踪方法、系统、电子设备以及存储介质 （深圳先进技术研究院）

本申请涉及一种跨视频目标跟踪方法、系像以及初始目标模板图像输入训练好的深度孪训练好的地理映射模型将视频图像映射到统一地理坐标空间中，得到视频图像的全局地理坐图像的重叠区域对应的视频图像中利用跟踪目时间持续稳定的跟踪目标，保证了跟踪的实时2将所述视频图像以及初始目标模板图像输入训练好的深度孪生网络述深度孪生网络跟踪模型输出跟踪目标在所述视频图像中的基于映射后的视频图像，通过多边形裁剪法计算两两视频图像之间的重叠区频图像中利用跟踪目标交接算法进行跨视频目所述深度孪生网络跟踪模型包括骨架网络、自注意力网络、目标估所述骨架网络的输入为目标模板图像和目标搜索图像，所述骨所述目标估计网络包括偏置回归头、尺度预测头和目标分类头三个网所述动态模板网络包括三层前馈神经网络，其输入为所述自注意力令所述目标模板图像和目标搜索图像通过一个共享的卷积核Conv_1配置三个深度可分离卷积层DwConv_1、DwConv_2和DwConv_3层包括逐通道卷积和逐点卷积；DwConv_1、DwConv_2和DwConv_3的输入为特征图T1,S1，将所述第一特征图输入多路复用卷积模块，所述多路复用卷积模块包括三层卷积层，所述解码器包括第二前馈网络、第二残差归一化模块、第二多头自3所述目标分类图的值代表跟踪目标在低分辨率离散化情况下6.根据权利要求1至5任一项所述的跨视频目标跟踪通过ArcGIS在所述视频图像中选取设定数量的地理控制点，将所述通过多边形裁剪算法计算两两视频图像之间的重叠区域，将所有视将所述视频图像加入初始的视频集z[m]，在任意一个视频图像上手4地理坐标映射模块：用于利用训练好的地理映射模型将所述视频图像跨视频目标交接模块：用于基于映射后的视频图像，通过多边形裁剪测图像的重叠区域对应的视频图像中利用跟踪目标交接算法进9.一种电子设备，其特征在于，所述电子设备包括处所述存储器存储有用于实现权利要求1-7任一项所述的跨视频目标跟踪方法的程序指所述处理器用于执行所述存储器存储的所述程序指令以控制跨视频目5(Human–ComputerInteraction)和无人驾驶(AutonomousDrivin6过所述深度孪生网络跟踪模型输出跟踪目标在所述视频图像中[0010]基于映射后的视频图像，通过多边形裁剪法计算两两视的视频图像中利用跟踪目标交接算法进行跨[0011]本申请实施例采取的技术方案还包括：所述深度孪生网络跟踪模型包括骨架网[0015]所述动态模板网络包括三层前馈神经网络，其输入为所[0016]本申请实施例采取的技术方案还包括：所述骨架网络利用深度可分离卷积模块、多路复用卷积模块和倒置残差模块输出所述目标模板图像和目标搜索图像的一维特征图卷积层包括逐通道卷积和逐点卷积；DwConv_1、DwConv_2和DwConv_3的输入为特征图T1,[0020]本申请实施例采取的技术方案还包括：所述自注意力网7的输出，且所述偏置回归头、尺度预测头和目标分类头分别包含三个1x1卷积层和一个[0031]通过薄板样条函数将点集Pi的像素坐标转换为地理坐标点集P8标预测图像的重叠区域对应的视频图像中利用跟踪目标交接算法进行跨视频目标的像素点到统一地理坐标映射模型，结合多边形裁剪法计算视频与视频之间的重叠区域，9跨视频目标交接算法具体为：通过地理映射模型将像素点坐标和统一地理坐标进行映射，从而将多个不同视频的像素点坐标对应到统一地理坐标系下，以对跟踪目标进行精确定[0059]S200：将视频图像以及初始目标模板图像输入训练好的通过孪生网络目标跟踪模型输出跟踪目标在视频图像中的板图像和354*354*3的目标搜索图像。首先令目标模板图像和目标搜索图像通过一个共享道；逐点卷积中的卷积核设置为1*1*28，用于在通道方向上进行信息融合。DwConv_1和DwConv_2的stride设置为1，padding(填充)设置为same，DwConv_3的stride设置为2，padding设置为1，DwConv_1、DwConv_2和DwConv_3的输入为特征图T1,S1，DwConv_1和[0064]本步骤中，如图1所示，多路复用卷积模块包括三层卷积层，分别为MPConv_1、MPConv_2和MPConv_3。每一层卷积层分别包括三个倒置残差模块InvResidual__1、InvResidual_2、InvResidual_3以及两个多路复用模块MultiplexingBlock1和寸为输入的一半，并将通道数翻倍。第一特征图T2,S2依次通过三层卷积层MPConv_1、络是一种基于编码器-解码器(Encoder-Decoder)的特征提取架构，可以充分提取时序信编码器和解码器两个部分，其中，编码器包括第一多头自注意力模块(Multi-headSelf-[0070]基于上述，本申请实施例的自注意力网络的核心模块为多头注意力模块(Multi-头和尺度预测头分别用于目标框回归和尺度回归，输出分别为偏置回归图和尺度预测图，该分数大于设定的阈值τ,且间隔帧数达到Fu以上时，才会触发动态模板网络更新目标模u＝200。[0102]S300：利用训练好的地理映射模型将所有视频图像映射匹配点，并应用薄板样条函数将N个匹配点形变到对应位置，同时给出整个空间的形变函[0109]其中，N为控制点的数量，lp代表了原点经过形变函数计算之后和[0113]ωi代表对不同径向基函数的加权。式(15)可以理解为使用M和m0两个参数去拟合[0115]p(p:)=qi(17)变形之间重叠区域的图形学问题。多边形裁剪算法(Sutherland-Hodgman)采用了分割处[0121]其中PolyC代表两个视频图像之间的重叠区域的顶点数组。假设对七幅视频图像[0125]其中，点集Pi为空表示在视频集z[m]上的任一视频图像上都跟踪不到跟踪目标，gggggg果点在多边形内部，则从点出去的射线第一次一定是穿出多边形；(2)如果点在多边形外[0133]基于上述，本申请实施例的跨视频目标跟踪方法通过构建一种基于自注意力网图像的重叠区域对应的视频图像中利用跟踪目标交接算法[0138]请参阅图8，为本申请实施例的电子设备结构示意图。该电子设备50包括处理器[0143]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申