CN119478756A 一种文本交互上下文特征的弱监督视频异常检测方法 （天津理工大学）

一种文本交互上下文特征的弱监督视频异本发明为一种文本交互上下文特征的弱监督视频异常检测方法，包括全局局部上下文框架；获取异常检测视频数据集和对应的文本字局局部上下文框架中生成正常/异常上下文视频模态交互框架中生成文本引导视频特征；把正常/异常的上下文视频特征、文本引导视频特征对应进行融合在特征融合和多实例学习框架中2获取异常检测视频数据集和一一对应的文本组成的文本字典，并分所述全局上下文注意力模块采用Transformer注意力模块，捕获视频片段的全局上下所述局部上下文注意力模块也采用Transformer注意力模块，并在其中加入mask掩蔽vv正常视频数据集和异常视频数据集分别通过I3D特征提取网络得到在跨模态交互框架中，视频数据集和对应的文本字典分别从CLIk表示视频特征v'中第k帧的文本条件权重，f'k表示视频特征v'中第k帧的时序在特征融合和多实例学习框架中，把正常上下文视频特征和正常文本引导视频特征、异常上下文视频特征和异常文本引导视频特征分别进行融合起来进行多实例学习损失排3上下文模块的输出经过自适应融合模块处理后通过归一化与I3D特征提取网络的输出进行其中λ和1_λ分别代表全局上下文特征A和局部上下文特征的上下文构建正常/异常行为分类模型，将正常融合特征和异常融合特征分别输入多层感知器t多实例学习损失函数采用二元交叉熵损失，获得频4[0003]目前的弱监督视频异常检测方法分为两种：基于多实例学习(MIL)的一阶段方法和基于伪标签自训练的两阶段方法。基于多实例学习的方法在模型训练中无需生成伪标[0005]如CN118196694A公开了一种文本提示学习下的弱监督视来构造正常/异常事件分类器，但弱标注数据(5[0011]所述全局上下文注意力模块采用Transformer注意力模块，捕获视频片段的全局[0012]所述局部上下文注意力模块也采用Transformer注意力模块，并在其中加入mask6应融合模块处理后通过归一化与I3D特征提取网络的输出进行残差连接，最后经过多层感知机MLP和层归一化LN处理后获得上下1_λ分别代表全局上下文特征A和局部上下文特征的上下文的融合权重，X为自适应融合[0029]构建正常/异常行为分类模型，将正常融合特征和异常融合特征分别输入多层感7[0035](2)本明方法与CN118196694A方法相比，本发明方法将全局注意力机制和局部上[0036](3)本发明方法与CN117351392A方法相比，本发明方法通过全局局部上下文注意[0044]本发明一种文本交互上下文特征的弱监督视频异常检测方法，总框架有三大框特征，接着进入全局、局部上下文模块以及自适应融合模块生成正常/异常上下文视频特8[0048]使用I3D特征提取网络对输入的正常和异常视频数据进行特征提取，获得时空多[0050]所述的局部上下文模块包括Transformer注意力模块、mask掩蔽操作和时序Mask模块和局部上下文模块的输出经过自适应融合模块处理后通过归一化与I3D特征提取网络[0053]所述的跨模态交互模块包括Transformer编码器的交叉注意力机制，相似度计算trunkofavanandwascrushedbythecarbehind,thenthenearbycrowdscame觉编码器PV和CLIP文本编码器pt得到正常/异常的视频特征和文本特征；码器PV和CLIP文本编码器得到正常视频特征v'和文本特征t'；[0057]接下来生成文本引导视频特征，计算正常视频9[0061]通过第一流的GLCA输出正常/异常上下文视频特征分别表示和[0062]通过第二流的CIM输出正常/异常文本引导视频特征分别表示和[0067]利用多实例学习模块，将正常特征融合Fa和异常特征融合Fn进tt[0079]将正常视频数据集序列定义为ve=((vf,y)烂,其中包含Ma个正常视频片段征xrsp=RNF,其中N表示正常视频数据集或异常视频数据集中视频片段的数量，F表[0084]通过全局上下文注意力模块采用Transformer注意力模块，捕获片段的全局上下[0085]时空多尺度特征XI3D首先在线性投影层利用不同的线性层投影获得查询向量Q[0089]因为Transformer模型中的注意力机制允许模型在处理视频序列时，能够同时考[0091]局部上下文注意力模块也采用Transformer注意力模块，并在其中加入了mask掩[0094]定义线性投影后的查询向量Q和键向量K分别与各自的权重矩阵WQ[0098]利用自适应融合模块将全局上下文特征A和局部上下文特征进行融合，实现局X=(1⃞2)7+AA(4)[0100]其中，λ和1_λ分别代表全局上下文特征A和局部上下文[0108]首先数据集定义D＝{V,T}为一个异常检测视频数据集和[0109]对于提取文本特征，给定一个包含Nw个单词的输入文本利用预训练的CLIP模型的文本编码器pt提取单词特征t'=P:(t)eRNWO;然后将[EOS]嵌入单词特征中作为句子特征eRP,其中D表示特征维度；文本编码器pt的输出为文本特征;[0110]对于提取视频特征，首先将一个包含Nt帧的视频样本分割成固定大频帧送入预训练的CLIP模型的视频编码器PV提取帧特征；接着将[CLS]token和帧特征结[0119]对于正常视频数据集与相应的文本特征，经过CIM处理后获得正常文本引导视频特征Ff,对于异常视频数据集与相应的文本特征，经过CIM处理后获得异常文本引导视频和F?eRNF;上述第二部分，通过跨模态交互框架CIM输出文本引导视频特征FfeRD和[0127]将正常融合特征和异常融合特征分别输入多层感知器和因果卷积层来预测视频[0131]接下来采用基于多实例学习的损失作为基本目标函数，[0132]对于正样本袋(positivebag)，选择前k=[TI16+1」个异常分数的均值来计[0136]B代表的是小批量中的视频样本数量，而不是单个视频样本。每个小批量(mini