CN114037946B 视频分类的方法、装置、电子设备及介质 （北京邮电大学）

络，得到待分类视频对应的图像特征和音频特征、音频特征以及文本特征输入至融合学习网Softmax分类器，并将分类器输出的分类结果作2将所述待分类视频数据输入至音视频学习网络，得到所述待分将所述图像特征、所述音频特征以及所述文本特征输入至融合将所述融合特征向量输入至Softmax分类器，并将所述分类器输出的分类结果作为所其中，所述将所述待分类视频数据输入至文本学习网络，所述将所述图像特征、所述音频特征以及所述文本特征输入至融合学特征向量的方式为对所述图像特征向量、所述音频特征向量以及所述文本特征向量求生成多个权重系数向量，并对所述多个权重系数向量进行归多次利用所述融合权重系数，对所述第一融合特征向3将所述待分类视频数据按照预设间隔时长划分为多个将所述关键帧图像集合中的多个关键帧图像按照时间顺序依次将所述待输入图像数据输入至所述音视频学习网络，得到所述5.如权利要求1或4所述的方法，其特征将所述待处理音频数据输入至音视频学习网络，得到所述待分类视频对应的音频特生成模块，被配置为将所述待分类视频数据输入至音视频融合模块，被配置为将所述图像特征、所述音频特征以及所所述融合模块，还被配置为分别对所述图像特征、所述音频特征以及处理器，用于与所述存储器以执行所述可执行指令从而完成权利要求1-5中任一所述4[0004]然而，相关技术中存在的由计算机实现对视频进行自动[0010]将所述融合特征向量输入至Softmax分类器，并将所述分类器输出的分类结果作[0014]基于所述第一融合特征向量以及所述第二融合特征向量，得到所述融合特征向5[0026]将所述one-hot向量输入至所述文本学习网络进行深度语义特征提取，得到所述67[0059]下面结合图1-图2来描述根据本申请示例性实施方式的用于进行视频分类的方[0061]图1示意性地示出了根据本申请实施方式的一种视频分类的方法的流程示意图。[0063]S102,将待分类视频数据输入至音视频学习网络，得到待分类视频对应的图像特[0067]一种方式中。随着计算机视觉的发展，尤其是卷积神经网络(ConvolutionalNeuralNetwork,CNN)在图像分类任务中取得了显著进展，相关技术中开始尝试使用深度学习方法解决视频分类问题。但现有方法在短视频的分类实践中却难以取得预期的效果。[0068]针对以上问题，本申请提出一种基于多网络结构的短视频分类方法(MultimodalMicro-videoClassificationBasedonMulti-networkStructure,MMS)。可以理解的，8送入Transformer编码器得到音频特征向量。文本网络具备文本信息的深度语义特征抽取[0076]基于所述第一融合特征向量以及所述第二融合特征向量，得到所述融合特征向9[0088]将所述one-hot向量输入至所述文本学习网络进行深度语义特征提取，得到所述[0097]一种方式中，音视频学习网络或视觉学习网络负责捕捉视频中呈现出的行为信待分类视频数据以RGB帧形式存储，为了减少计算量，要对待分类视频数据进行一定预处个子视频数据中随机取出一帧作为这段子视频数据[0100]另外，将取出的各子视频数据的关键帧按时间维度顺序排列形成大小为T×H×W用深度卷积网络获得潜在的音频表征，将音频表征看作文本的特殊形态输入transformer信息转化为one-hot向量输入文本学习网络进行深度语义特征已有的BERT模型可以满足文本处理需求，因此文本网络在结构方面借鉴改进后的BERT模第一个token，使用特殊标记对非连续的token序列进行分隔，并将处理完成的token送入[0127]基于所述第一融合特征向量以及所述第二融合特征向量，得到所述融合特征向[0139]将所述one-hot向量输入至所述文本学习网络进行深度语义特征提取，得到所述电子设备的处理器执行以完成上述示例性实施例中所涉及的其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理[0153]存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存[0154]电子设备300集成的模块如果以软件功能模块的形式实现并作为独立的产品销售计算机可读指令可存储于一计算机可读存储介质中，该