CN115223082B 一种基于时空多尺度Transformer的航拍视频分类方法 （重庆邮电大学）

ClassificationwithWindowSemant一种基于时空多尺度Transformer的航拍视涉及一种基于时空多尺度Transformer的航拍视特征偏移模块和池化多头自注意力模块的多尺2将预处理后的航拍视频数据输入到训练好的基于多尺度Transformer的航拍视频识别其特征在于，基于多尺度Transformer的航拍视频识别模型包括将2Dtransformer网器位于2Dtransformer网络尾部，所述特征提取模块和所述空洞时间特征提取模块ETM位于2Dtransformer网络中部，且所述空洞时间特征提取模块ETM插入特征提取模块与全连计算空洞时序自注意力的过程包括在CLStoken序列左右拼2.根据权利要求1所述的一种基于时空多尺度Tran3.根据权利要求1所述的一种基于时空多尺度Tra3息序列拼接视频分类特征构成长度为T+1的CLStoken序列，并将CLStoken序列输入至空4.根据权利要求3所述的一种基于时空多尺度TransformS31：将带有分类标记CLStoken的视频帧序列构成输入序列输入至特征偏移模块FSS32：将偏移后的输入序列输入至池化多头自注意力模块PMHA或标准多头自注意力模5.根据权利要求4所述的一种基于时空多尺度Tra一分类标记矩阵cls进行降维操作得到第二分类标记矩阵cls,，设置维度与第二分类标记和第二部分的通道沿着时间维度方向相反进行偏移，将由于偏移导致分类标记CLStoken6.根据权利要求4所述的一种基于时空多尺度Transf列的分类标记CLStoken；再对剥离分类信息后的序列和各个张量QKV进行最大池化操作；维度上得到包含分类标记CLStoken的多尺度时空7.根据权利要求3所述的一种基于时空多尺度TraC=Max(fc(cls'))45[0009]将预处理后的航拍视频数据输入到训练好的基于多尺度Transformer的航拍视频[0010]基于多尺度Transformer的航拍视频识别模型包括将2Dtransformer网络作为主6头自注意力模块PMHA或者标准多头自注意力模块MHA；其中一个特征偏移模块FS位于该层编码块的头部，另一个特征偏移模块FS插入在多层感知器MLP与池化多头自注意力模块PMHA或者与标准多头自注意力模块MHA之间，且池化多头自注意力模块PMHA少于标准多头自注意力模块MHA；所述预编码模块位于2Dtransformer网络头部，所述分类器位于2Dtransformer网络尾部，所述特征提取模块和所述空洞时序自注意力模块位于2DFS模块插入每个编码块中；将原本网络中的部分多头自注意力模块MHA替换为池化多头自重关注高分辨力下图像的低级视觉信息，后期着重关注低分辨率下图像的深层语言信息，入序列。用窗口自注意力既减少了计算复杂度，同时直接避免无关token的注意力分配，提升准确7[0024]图2是本发明实施例提供了的一种基于时空多尺度Transformer的航拍视频分类视频片段以固定频率提取视频帧，生成长度为T的视频帧序列的同时调整视频帧分辨率大Transformer的航拍视频识别模型训练一次所依据的样本视频，样本视频的数量可以为一8[0032]本发明实施例中的航拍视频数据的获取方式不加以限定，自行获取视频的方式[0033]图3为本发明基于时空多尺度Transformer网络结构示意图，基于时空多尺度力模块PMHA或者标准多头自注意力模块池化多头自注意力模块PMHA少于标准多头自注意力模块MHA，也即是池化多头自注意力模视频的特点；所述预编码模块位于2Dtransformer网络头部，所述分类器位于2Dtransformer网络尾部，所述特征提取模块和所述空洞时序自注意力模块位于2D9类信息序列拼接视频分类特征构成长度为T+1的CLStoken序列，并将CLStoken序列输入[0048]步骤S3中，采用多尺度时空特征提取模块对输入的带有分类标记CLStoken的视[0050]S32：将偏移后的输入序列输入至池化多头自注意力模块PMHA或标准多头自注意力模块MHA中，通过计算池化多头自注意力或标准多头自注意力得到不同尺度下的自注意性的输入序列的维度变换关系引入非线性映[0055]然后将通过预编码模块的序列输入至第一个编码块结构，首先提取输入序列中三部分的通道保持不变，通过赋值得到偏移后的分类标记CLStoken所对应的第三分类标个与cls,相同大小的且初始时为全零矩阵的第三分类标记矩阵S，通过对cls,的偏移，将stage拥有不同的分辨率和通道数，在每个stage第一个编码块中使用池化多头自注意力[0062]将偏移后的序列根据编码块先通过LayerNormalization进行归一化，然后根据在编码块的层级判断计算池化多头自注意力PMHA模块或自注意力MHA模块，这里主要说明[0063]对通过偏移模块FS的输出序列进行线性映射得到查询张量Q、[0067]X⃞=cat(p(x;),cls)Q=cat(p(Q'),cls)[0068]K"=cat(p(k"),cls)V"=cat(p(v"),cls)[0076]最后一层编码块的输出为长度为t的CLStoken序列xeRTX768,将序列X输入空可行性，且初始输入的Xj为多尺度时空特征提取模块的输出序列即CLStoken序列xeRTX768。clsieR1x768,将最后一层编码块输出的clsj视频分类特征输入一个全连接层便可得到