CN114998989B 一种基于动态实例交互头的稀疏时序动作检测方法 （杭州电子科技大学）

一种基于动态实例交互头的稀疏时序动作本发明公开了一种基于动态实例交互头的解决由于每个行为时间跨度不同对实验结果造等数量的N个候选框，在计算性能之前不用使用2所述的基于时序特征金字塔结构的动态实例交互头网络模型，包括时序所述的时序特征金字塔由自下而上以及自上而下两部分构所述的动态实例交互头接收时间特征金字塔网络生成的多级特征，然后预根据最佳二分匹配方法，对模型输出的特征向量进行一对一的标2.根据权利要求1所述的一种基于动态实例交互头的稀疏时序动作检测方法，其特征练的I3D模型分别提取图像和光流对应的特征和其中N表示不同视频具有不同的时序长度，1024则代表每个视频片段经过预训练的I3D模型提取后输3.根据权利要求2所述的一种基于动态实例交互头的稀疏时序动作检测方法，其特征3金字塔结构中传统的自下而上的路径实质为一个下采样卷动态实例交互头的输入包括三个内容：一是时序金字F1，其中FeR",FeR⃞",FeR",FzeR⃞",Fea＝2048是上述提到的可学习的提案框最终被用作候选提案；这些提案框被初始化为0-1的二维bmm为对输入的两个参数进行矩阵乘法；因此，交互过程能够立两个并行分支即分类分支和回归分支，得到动作实例的最终分类分数和边界回归预测；44.根据权利要求3所述的一种基于动态实例交互头的稀疏时序动作检测方法，其特征L1+λiou5.根据权利要求4所述的一种基于动态实例交互头的稀疏时序动作检测方法，其特征根据步骤(2)得到的预测特征和时序预测框，利用步骤(3)中的6.根据权利要求3所述的一种基于动态实例交互头的稀疏时序动作检测方法，其特征5[0001]本发明涉及一种针对时序行为检测(TemporalActionLocalization，TAL)的基于动态实例交互头(Dynamicinstanceinteractivehead)的稀疏段并预测动作的类别。[0005]基于边界的方法(boundary-based)：以自下而上的方式变化大的问题。基于最近查询的方法RTD-Net在查询特征和全局编码特征之间采用全局关6注，二次计算复杂性阻止其构建多尺度特征。其他一些工作构建了时序特征金字塔网络TFPN)的动态实例交互头(Dynamicinstanceinteractivehe层构建更高的分辨率，并采用横向连接的方式解决由于不断上下采样造成目标偏移的问P1-P4四个特征层用以多尺度地预测行7预训练的I3D模型分别提取图像和光流对应的特征和其中N表示不同视频具有不同的时序长度，1024则代表每个视频片段经过预训练的I3D模型提取[0026]金字塔结构中传统的自下而上的路径实质为一个下采样卷积神经网络的前馈计大感受野的特征图做上采样，步长与最大池化操作相同都为2，上采样时用线性插值的方FieR",FeR⃞",Fea=8[0033]上述提到的可学习的提案框最终被用作候选提案。这些提案框被初始化为0-1的提案特征为条件。PK进行自注意力生成卷积核参数PKconv，然后生成的卷积核参数PKconv与9L1+λiou动作持续时间与真实框之间的l1损失和IoU损失。λcls、λL1和λiou分别是各类损失的权重系交互头模块仅仅将提案特征与局部特征进行稀疏交互，就可以很好的学习有价值的信息，取图像帧，同时使用TVL-1算法抽取视频的光流。对于抽取好的的图像和光流，使用基于Kinetics数据集预训练的I3D模型分别提取图像和光流对应的特征，然后将这两个特征在在保持纵横比的情况下将每张图像的最小边缩放到256像素大小，同时中心剪切到224×态实例交互头输出的结果利用具有relu激活函数和具有三层隐藏层的感知方法计算回归是我们最终只取最后一次迭代的结果用于标签的分类和边界框L1+λiouiou[0