CN119516266A 一种非结构化视频数据自动分类方法 （北京卓识网安技术股份有限公司）

24.根据权利要求3所述的一种非结构化视频数据自动分类S216，位置编码：使用Sinusoidal位置编码通3X,＝reshape(X)＝X[np.newaxis]；5.根据权利要求4所述的一种非结构化视频数据自输入门和候选记忆计算：输入门的值决定被写入记忆的数量，使用tant-1ict-16.根据权利要求5所述的一种非结构化视频数据自动分LSTM时间步处理：在每个时间步，LSTM网络接收当前步的输4学习视频帧之间的时序关系：在训练过程中，通过LSTM网络学习7.根据权利要求6所述的一种非结构化视频数据其中，表示将视频特征和音频特征从维度dy和da以及dt，投影到更低的维度D上的全连接层，位置编码k代表的是K的维度I58.根据权利要求7所述的一种非结构化视频数据自动S251，特征联合：对经Transformer处理后带有时序信息的视频特征、音频特征其中，表示连接视频特征Xv和联合的特征表示J的可学习的权重矩阵，其中，表示连接音频特征Xa和联合的特征表示J的可学习的权重矩阵，其中，wjrER""表示连接文本特征Xt和联合的特征表示J的可学习的权重矩阵，ER,t分别是视频模态的注意力图和音频模态的注意力图；6att,aS32，全连接层映射：采用全连接层对Xatt进行处理c和bc分别为全连接层的类别x维度权重矩阵和偏置向量；S33，位置编码的应用：使用位置编码为Transfor7[0002]数据是企业最重要的资产之一，企业的业务往往涉及到89⃞=tanh(w·[hr-1,x]+b);[0046]输出门和隐藏状态更新：输出门ot控制从记忆单元中提取信息来更新隐藏状态，]+bo)；视频特征和音频特征从维度dy和da以及dt，投影到更低的维度D上的全连接层，位置编码k代表的是K的维度I[0080]S251，特征联合：对经Transformer处理后带有时序信息的视频特征、音频特征[0081]J=[XG;X(;X{]eRd:[0083]S252，计算联合视频特征矩阵：通过利用视频特征Xv和联合的特征表示J进行计W,ER""表示连接视频特征Xv和联合的特征表示J的可学习的权重矩[0086]S253，计算联合音频特征矩阵：通过利用音频特征Xa和联合的特征表示J进行计waeR""表示连接音频特征Xa和联合的特征表示J的可学习的权重矩[0089]S254，计算联合文本特征矩阵：通过利用文本特征Xt和联合的特征表示J进行计[0091]其中，wjrER""表示连接文本特征Xt和联合的特征表示J的可学习的权重矩weR"*,计算得出Hv、t分别是视频模态的注意力图和音频模态的注意力图；Xatt,aatt,t]。[0123]下面结合附图和具体实施例对本发明进行详细描述。同处理后的矩阵为X通过在最前面增加一个批次维度[0149]np.newaxis是用于在矩阵的第一个维度(批量[0152]音频采样，通过自动语音识别(ASR)将音频文件中的语音转换为文本。文本预处[0154]将预处理后的文本输入到预训练的BERT模型，得到每个词的上下文嵌入向量cir=f-ci-1+i:G:]+bo)；[0186]此阶段是输入为前面两个阶段的输出。视频的视觉输入为x,eR"(4v,音频输入序列为xaeR"da,视频的文本输入序列为w代表来自这段视频中的视频特征和音频特征从维度dv和da以及dt，投影到更低的维度D上的全连接层，位置编码标记动词，表示为CLS,eR0,另一个用来标记名词，表示为CLsneRI,并且加上位置k代表的是K的维度；[0217]经Transformer处理后带有时序信息的视频特征、音频特征[0218]J=[XG;X(;X{]eRd:W,ER""表示连接视频特征Xv和联合的特征表示J的可学习的权重矩阵，[0227]waER""表示连接音频特征Xa和联合的特征表示J的可学习的权重矩阵，wrER""表示连接文本特征Xt和联合的特征表示J的可学习的权重矩阵，weR"*,计算得出Hv、t分别是视频模态的注意力图和音频模态的注意力图；Wha+Xa；获得特征Xat