CN117745761B 一种点追踪方法、装置、电子设备和存储介质 （上海人工智能创新中心）

US2015146917A1,2015.05.28质点的当前位置信息确定待追踪点在当前视频帧定待追踪点在当前视频帧片段中对应的时空依赖特征以及预设迭代次数对初始特征轨迹和初频帧序列中依次确定待追踪点对应每个视频帧的时空依赖特征以及采用预设自适应滑动窗口2基于待追踪点的当前位置信息确定所述待追踪点在当前视频帧片段中对应的初始特确定所述待追踪点在所述当前视频帧片段中基于预设自适应滑动窗口策略、所述时空依赖特征以及预设迭基于所述目标位置轨迹确定所述待追踪点在所述当前视频帧片段中最后一帧图像的其中，所述基于预设自适应滑动窗口策略、所述时空依赖特将所述时空依赖特征作为前馈神经网络层的输入，生成当前迭前迭代次数下更新后的所述初始特征轨迹和所述初在进行所述预设迭代次数的迭代更新后，得到所述目标特征轨迹和所述目标位置轨将所述目标特征轨迹依次输入至线性层和Sigmoid激活层，确定在当前所述预设窗口在所述位置遮挡状态满足预设窗口更新条件时，按照所述预设重新确定所述新的当前视频帧片段对应的新的目标至所述新的目标特征轨迹对应新的位置遮挡状态不满足所述预调用预训练的点追踪模型的卷积神经网络提取所述当前视频帧片段中的每一帧图像按照所述当前位置信息确定所述待追踪点在所述当前视频帧片段的第一帧图像中的在所述第一帧图像对应的初始特征图中，调用预设双线性采3确定所述初始特征轨迹中所述待追踪点的特征向量与对应时间步的初始特征图之间将所述相关矩阵、所述初始特征轨迹和所述初始位置轨迹拼接述基于待追踪点的当前位置信息确定所述待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤，直至确定出所述待追踪点对应视频帧序列的最终位置轨迹，目标位置信息确定所述待追踪点在所述下一组视频帧片段的第一帧图像中的初始位置坐将所述下一组视频帧片段作为所述当前视频帧片段，并返回执行所述在所述视频帧序列中依次确定所述待追踪点将各所述目标位置轨迹按照时间维度拼接为所述最轨迹初始化模块，用于基于待追踪点的当前位置信息确定所述待追踪特征确定模块，用于确定所述待追踪点在所述当前视频帧片段中对应的时空依赖特述目标特征轨迹对所述当前视频帧片段对应的预设窗口大小进最终轨迹确定模块，用于基于所述目标位置轨迹确定所述待追位置信息确定所述待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的4轨迹更新单元，用于将所述时空依赖特征作为前馈神经网络层迹更新量得到所述当前迭代次数下更新后的所述初始特征轨迹和所述第一目标轨迹确定单元，用于在进行所述预设迭代次数的第二目标轨迹确定单元，用于重新确定所述新的当前视所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_6中任一项所述的9.一种计算机可读存储介质，其特征在于，所述5[0006]基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特和初始位置轨迹进行迭代更新，生成当前视频帧片段对应的目标特征轨迹和目标位置轨[0009]基于目标位置轨迹确定待追踪点在当前视频帧片段中最后一帧图像的目标位置6于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始以及捕获跨点之间的复杂依赖关系，有效提升了在目标遮挡情况下的点追踪精度和效率；[0021]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特7员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0035]图1为本发明实施例一提供了一种点追踪方法的流程图，本实施例可适用于对视踪装置可以采用硬件和/或软件的形式实现，该点追踪装置可配置于有计算能力的电子设[0038]初始特征轨迹可以是指利用待追踪点的当前位置信息在前视频帧片段对应的特[0039]初始位置轨迹可以是指利用待追踪点的当前位置信息对当前视频帧片段进行初标所构成的序列。8编码器(Encoder)提取当前视频帧片段中的每一帧图像分别对应的特征图，再采用双线性[0042]其中，时空依赖特征可以理解为用于表征待追踪点在时间和空间的相关性的特频帧片段的最后一帧图像的遮挡情况去自适应调整当前视频帧片段对应的预设窗口大小，若预测到待追踪点在最后一帧图像中被遮挡，则增加当前视频帧片段对应的预设窗口大迹和初始位置轨迹作为对应的目标特征轨迹和目标[0047]目标特征轨迹和目标位置轨迹可以分别是指针对当前视频帧片段的初始特征轨迹和初始位置轨迹进行迭代更新后的特征轨[0048]在本发明实施例中，可以采用滑动窗口的方式一次处理一组连续视频帧进行处9进行预设迭代次数的迭代更新，生成当前视频帧片段对应的目标特征轨迹和目标位置轨迹，然后根据目标特征轨迹去预测待追踪点在当前视频帧片段的最后一帧图像的遮挡情位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤，直至确定出待追踪点对应视频帧序列的最终置轨迹可以由多个视频帧片段对应的目标位置轨迹按照时间维度待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始以及捕获跨点之间的复杂依赖关系，有效提升了在目标遮挡情况下的点追踪精度和效率；[0055]图2为本发明实施例二提供的一种点追踪方法的流程图，基于上述实施方式进一[0058]在本发明实施例中，可以调用预先训练好的CNN网络从当前视频帧片段中提取出每一帧图像分别对应的特征映射即初始特征图，其中，CNN网络的具体模型参数例如层数[0062]在本发明实施例中，可以在当前视频帧片段的第一帧图征轨迹的初始化，即在时间维度上将上述特征向量平铺至每一帧图像对应的初始特征图行迭代更新过程中，可以确定初始特征轨迹中待追帧)的初始特征图之间的内积结果，并调用空间金字塔算法在上述内积结果提取出多尺度以调用Transformer解码器分别获取融合特征对应的时间自注意力和空间自注意力，再将和XK-1分别表示上一次迭代更新后得到的初始特追踪模型的线性层和Sigmoid激活层中，以获取在当前预设窗口大小下的待追踪点对应最[0080]S2100、重新确定新的当前视频帧片段对应的新的目标特征轨迹和新的目标位置标位置信息确定待追踪点在下一组视频帧片段的第一帧图像中的初始[0084]S2120、返回执行确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始一目标在不同时间步的特征表示之间的距离，同时最大化不同目标或背景特征之间的距当前视频帧片段的第一帧图像中的初始位置坐标，并将初始位置坐标平铺至每一帧图像，内积结果，并从内积结果提取出多尺度相似度特征以构建当前视频帧片段对应的相关矩满足预设窗口更新条件；利用预设窗口大小在视频帧序列中滑动得到下一组视频帧片段，并按照目标位置信息确定待追踪点在下一组视频帧片段的第一帧图像中的初始位置坐标；返回执行确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤，[0092]图3为本发明实施例三提供的一种点追踪方法的流程图，本实施例在上述实施例过在首帧特征映射中的给定坐标(即当前位置信息)内双线性采样来计算待追踪点的特征当前视频帧片段的每一帧图像中，进而得到待追踪点对应当前视频帧片段的初始位置轨模型的多点信息交互模块确定待追踪点对应当前视频帧片段的目标特征轨迹和目标位置特征Ffuse对应的时间自注意力Ftraj[0102]同时，将自适应滑动窗口(AdaptiveSlidingWindow，ASW)策略无缝地集成到对应当前视频帧片段的目标特征轨迹和目标段中对应最后一帧图像的位置坐标作为下一组视频帧片段的第一帧图像中的初始位置坐[0105]S360、在视频帧序列中依次确定待追踪点对应每个视频是在处理时间序列数据时保持目标特征的一致性，本发明实施例采用了时间对比损失机[0110]本发明实施例提出的点追踪方法通过在FlyingThings++、CroHD、BADJA和TAP_Vid_DAVIS等多个基准数据集上的定量评估表现出卓越的点追踪性能。相对于现有点追踪视觉领域的点追踪问题提供了有效的解决方[0111]如图7所示，本发明实施例提出的点追踪方法在严重遮挡和大幅度运动变化场景轨迹初始化模块初始化得到待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹；在对当前视频帧片段对应的初始特征轨迹和初始位置轨迹进行迭代更新过程中，基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和定模块基于目标位置轨迹确定待追踪点在当前视频帧片段中最后一帧图像的目标位置信[0139]本发明实施例所提供的点追踪装置可执行本发明任意实施例所提供的点追踪方[0141]图9示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备至少一个处理器执行的计算机程序，处理器51可以根据存储在只读存储器(ROM)52中的计算机程序或者从存储单元58加载到随机访问存储器(RAM)53中的计算机程序，来执行各种如因特网的计算机网络和/或各种电信网络与其他设[0144]处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0147]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域