CN114494314B 时序边界检测方法及时序感知器 （南京大学）

余问题，并将二次模型的复杂度降低到线性级结构；提出基于交叉注意力计算的对齐损失函21)由骨干网络生成检测样例：对视频间隔采样得到视频图像序列以每一网络对输入的视频段生成视频特征和连续性打分Fi和Si分别为视频2)由检测模型基于视频特征F和连续性打分S进残差结构；对于编码器获得的压缩特征H，解码器通过变换解码器结构进行时序边界点解34)检测：将待测试数据的视频特征序列和连续性打分输入到训练完成的检测模型中，失函数基于最后一层交叉注意力图计算，利用边界查询量和边界区域特征数量一致的条3.根据权利要求1或2所述的时序边界检测方法，其视频图像序列，将视频图像序列分为Nf个长度为24.根据权利要求3所述的时序边界检测方法，其特征是先利用de5.根据权利要求1或2所述的时序边界检支的自注意力模块，通过键和查询参数的自乘和Softmax归一化形成注意力矩阵并与值参4的自注意力模块，通过键和查询参数的自乘和Softmax归一化形成注意力矩阵并与值参数加作为键参数输入交叉注意力模块，在模块中通过键和查询参数的交叉相乘并Softmax归一化后形成注意力矩阵并与值参数相乘，经过残差结构和Bj'相加归一化后得到更新的边8.时序感知器，其特征是具有计算机存储介质计算机程序被执行时实现权利要求1-7任一项所述的时5的弥合长视频和短视频理解之间差距的技术，其目的在于将长视频分割为一系列视频片[0006]1)由骨干网络生成检测样例：对视频间隔采样得到视频图像序列以骨干网络对输入的视频段生成视频特征和连续性打分Fi和Si分别为6输入特征的压缩和编码，得到压缩特征H=Hwes特征的解析，得到时序边界提名表示B=BWS边界时刻序列。7[0019]本发明提出了一种通用的无类别时序边界检测范式，基于变换结构和注意力机8帧以τ帧为间隔进行采样，得到视频图像序列在视频图像序列Lf上采集Nf个长度为2k帧的视频段，其中第i个视频段为由第i帧图像的前后各连续k帧组成的图像序列如下：[0037]使用denseflow对原视频抽取图片帧，对视频的所有图片帧以3帧为间隔进行采所有视频段组成的视频段序列记为将视频段Ls,i来，得到整个视频的特征FeR"r2048和连续性打分seR1。视频特征和连续性打分通9个Encoderj包含一个多头自注意力层MSAj、一个多头交叉注意力层MCAj、一个线性映射层FFNj和三次由加合与层归一化操作形成的残将键参数和查询参数相乘并Softmax归一化得到交叉注意力权重Ac，值参数与交叉注意力的输出H/j和隐特征查询量Qe之和，权重矩阵Ac∈RN×M,记MCAj经过残差结构之后的输出为。编码器E通过堆叠Ne＝6个编码层，实现输入特征的压缩和编码，最后一层编码层fcproj为视频特征从输入维度D＝2048变为模型维度Dmodel＝512所使用的线性投影层,下标)+H/j)s,h表示第h个分支的自注意力矩阵。)＝yhWv,hAc,hhx,h区域特征和上下文区域特征的定义基于连续性打分S，视频特征根据S的降序重新排序后，注意力层和压缩特征H交互，经过残差结构-线性映射层-残差结构变换后得到更新后的边数为压缩特征H和作为压缩位置编码的隐特征查询量Qe之和H+Qe，值参数为H，查询参数为MSAj的输出B/j和提名查询量Qd之和，权重矩阵记MCAj经过残差结构之后的输)+B/j)pospospos,npos,n[0105]4)测试阶段：将待测试数据的视频特征序列和连续性打分输入到训练完成的具体实施例进行进一步说明。经过在TAPOS数据集、Kinetics-GEBD数据集和MovieNet/MovieScenes数据集上的训练和测试达到了高推理速度和高准确性，优选使用Python理。使用denseflow对视频进行图片帧的抽取，以τ=3为间隔采样图片帧序列，使用特征和连续性打分被分割为一系列相同长度的视频窗口片段送示的定位和分类分支中得到位置和置信度打分。定位分支包括三层全连接层(fc)和一个集上进行微调骨干网络，得到视频特征和连续性打分；在第二阶段训练Temporal用基于ResNet50的骨干网络进行RGB特征提取。所使用的测试指标在不同任务的数据集上差在相对距离内的样本即可算为预测正确。AP(AveragePrecision)的计算依据是召回值从0到1对应的平均精度值。Miou为预测边界和真值边界的距离和真值场景长度的交并比加[0116]在随机选取的来自MovieNet数据集的三个视频上，如图6所示，TemporalPerceiver相比经典工作LGSS拥有7倍快的每秒场景推理速度和近200倍小的浮点数计算次数，体现出模型稀疏预测、无需后处理模块的优势；和Transformer变体相比，TemporalPerceiver也拥有着更快的每秒场景推理速度和更少的浮点数运算次数，体现出特征压缩指标，TemporalPerceiver的性能均高于前state-of-the-art工作PC，其中在Kinetics-高出12.6在TAPOS数据集上，基于平均f1of-the-art工作PC高出9展现了TemporaMovieNet数据集上更加具体的预测可视化如图9所示，TemporalPerceiver的预测避免了