CN115391511B 视频问答方法、装置、系统及存储介质 （京东方科技集团股份有限公司）

对第二视频特征向量和第二文本特征向量进行2针对输入的视频提取视频特征向量，针对问题文本与候选答案文本提取文本特征向将所述第二拼接特征向量分成第二视频特征向量和第二文本特频特征向量和第二文本特征向量输入模态融合模型，所述模态融合模型通过互注意力机根据所述问题文本与候选答案文本生成序列串，所述序列串包文本与候选答案文本中的每个单词或字符对应一个或多通过多个自监督任务对所述第一预训练模型进行预训练，多个所述度Transformer编码器级联神经网络，隐藏层维度为1024，注意力头数为16，通过来自将所述第二视频特征向量作为查询向量，将所述第二文本特征向量将所述第二文本特征向量作为查询向量，将所述第二视频特征向量3通过关键词匹配或注意力机制模型，从常识知识图谱中查询与所述问对所述视频特征向量和/或所述文本特征向量进行处理，以使得在将所述视频特征向处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至11中任一项所述的所述监控系统，被配置为获取一个或多个监控视频，根据指令文本对所述视频问答装置，被配置为接收问题文本和监控视频，根据所述45[0018]在示例性实施例中，所述第一预训练模型为24层的深度Transformer编码器级联BERT预训练出的参数对所述第一预训练[0032]对所述视频特征向量和/或所述文本特征向量进行处理，以使得在将所述视频特6述视频特征向量和所述文本特征向量之间的跨模态信息，得到编码后的第二拼接特征向频特征向量和第二文本特征向量输入模态融合模型，所述模态融合模型采用互注意力机[0052]计算机视觉(CV)和自然语言处理(NLP)是人工智能的两大分支，它们专注于在视7二视频特征向量和第二文本特征向量输入模态融合模型，模态融合模型通过互注意力机[0063]在一些示例性实施方式中，第一预训练模型可以为24层的深度Transformer编码每个编码器的网络块由一个多头注意力(Attention)子层和一个前馈神经网络子层组成。8[0066]本公开实施例的第一预训练模型采用多层Transformer编码器级联结构。示例性的，第一预训练模型可以为24层的深度Transformer编码器级联神经网络，隐藏层维度为的一种自然语言预训练模型)一致，因此可以直接用BERT等自然语言预训练模型的预训练视频流可以理解成一组快速播放的图片，其中每一幅图片定义为帧(Frame)。对于视频信EfficientNetB3提取视频特征向量(VisualFeatures)。可选的，本公开实施例也可以用MobileNet或者ResNet101等预训练模型对输入的视频提取视频选答案文本中的每个单词或字符对应一个或多个序列；其进行序列表标记，将每个单词或字符转化为一个或多个序列，问题文本与候选答案文本以在0至n_vocab_1之间。例如，将“当前是什么道路类型小道高速公路马路街道”转化为第一预训练模型可以为初始化后的第一预训练模型)，得到n_word*1024的文本特征向量，时，拼接特征向量的输入形式可以为[CLS]Video_frame[SEP]Question_Answer[SEP]，其9型进行预训练阶段以及对视觉语言跨模态模型进tag的预测标签，与真实标签计算二元交叉熵损失(BinaryCrossEntropyloss，BCE务做分类任务。由于希望mask的预测帧在整个批处理(batch)内的所有帧范围内与被mask的帧尽可能相似，因此，本公开实施例基于噪声对比估计(NCE，NoiseContrastive则将[CLS]V[SEP]Q+A[SEP]输入VLP模型得到的编[0085]E=VLP(V田Q用A);模型中，查询向量(Query)来自一个模态，而键向量(Key)和值向量(Value)来自另一个模[0090]将第二视频特征向量作为查询向量，将第二文本特征向[0091]将第二文本特征向量作为查询向量，将第二视频特征向[0120]通过关键词匹配或注意力机制模型，从知识图谱中查询与问题文本匹配的三元二拼接特征向量；将所述第二拼接特征向量分成第二视频特征向量和第二文本特征向量；用处理器可以是微处理器或者该处理器也可以是任何常[0130]在实现过程中，处理设备所执行的处理可以通过处理器510中的硬件的集成逻辑征向量和第二文本特征向量；将第二视频特征向量和第二文本特征向量输入模态融合模结合监控系统和知识库进行语义理解和多模态交互推理给出相应的代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示