CN114428866B 一种基于面向对象的双流注意力网络的视频问答方法 （杭州电子科技大学）

US2021406592A1,2021.12.30一种基于面向对象的双流注意力网络的视本发明公开了一种基于面向对象的双流注还包括对象的时空编码和对象所在场景的上下提取的时候可以探索到对象之间的相对时空关了此前视频问答模型只考虑对象静态特征而缺2输入待问答的视频片段，首先使用卷积网络提取出视频帧的静态外采用双流机制来对视频特征进行编码，其中双流分别为目标对象的在每个流中，分别将目标对象的特征，目标对象的时空编利用循环神经网络对问题进行编码获取每个单词的局部编码以及问题句子的全局编在每个流中，首先将目标对象的高阶特征输入自注意力网目标对象高阶特征和重构的问题特征输入问题指导的注意力网络中探索词汇与对象特征将目标对象静态外观流的高阶特征和动态行为流的高阶特征进行融合得到视频的双将视频的双流高阶特征与问题全局编码进行融合得针对不同的问题类型采用不同的解码方式，对于开放式问2.根据权利要求1所述的一种基于面向对象的双流注意力网络的视频问答方法，其特输入待问答的视频片段，将视频片段分为固定个数的视频帧，并静态外观特征提取和动态行为特征提取，得到视频帧的静态外观特征Fframe和动态行为特征FHomer作为目标对象的上下文表示特征；之后在目标对象的位置信息b，再使用RoIAlign对齐网络将位置信息分别对齐到视频帧的静态外观特征和动态行为特征上得到每个对象的静态外观特征Oa和动态行为33.根据权利要求2所述的一种基于面向对象的双流注意力网络的视频问答方法，其特采用双流机制表示视频的特征编码，平行地对对象的静态外观特征和给定视频中目标对象的特征和目标对象的位置信息集合首先将目标对象的位置信息b传入空间位置编码网络和时间位置编码网络分别得到对象的空间位置编码ds和时间位置编码dt，其中空间位置编码网络由多层感知机构成，时间位置编码网络采用不同频率的正弦和余弦函数编码目标对象的时间位置；ppp之后，将目标对象的特征和目标对象的时空位置编码进行结合得p之后，将目标对象的特征和目标对象的时空位置编码进行结合得将目标对象的带有位置感知的特征与视频帧的特征进行结合得到带有上下文感知的在得到每个对象的带有位置信息和上下文信息的特征后，以每个对象的特征作为节之后在所建的无向完全图上进行两次图卷积操作得到对象的高阶特征，图卷积公式4.根据权利要求3所述的一种基于面向对象的双流注意力网络的视频问答方法，其特4q首先将问题中的每个单词映射到由GloVe初始化的300维的词向量空间中得到每个单q5.根据权利要求4所述的一种基于面向对象的双流注意力网络的视频问答方法，其特wf,wf,分别为可学习的参数矩阵；之后，将步骤(2)得到的高阶特征Fa/m传入定义的自注意力网络中来最后将问题的全局特征编码与视频的双流特征进行融合得6.根据权利要求5所述的一种基于面向对象的双流注意力网络的视频问答方法，其特对于开放式问题，采用一个线性分类器来预测答案集合中的每个答案对于计数类问题，采用一个线性回归器进行答案的预测，使用均方差作对于多项选择问题，采用一个线性分类器来预测每个56细挖掘视频中目标对象的特征以及它们之间的交互关系的模型就外观信息和动作信息进行建模来提高模型回答问题答方法，该方法能够平行地对视频中前景对象的静态外观特征和动态行为特征进行学习，7[0013]利用循环神经网络对问题进行编码获取每个单词的局部编码以及问题句子的全构的目标对象高阶特征和重构的问题特征输入问题指导的注意力网络中探索词汇与对象[0016]将目标对象静态外观流的高阶特征和动态行为流的高阶特征进行融合得到视频应的静态外观特征提取和动态行为特征提取，得到视频帧的静态外观特征Fframe和动态行为特征作为目标对象的上下文表示特征。之后在每个帧上使用目标检位出目标对象的位置信息b，再使用RoIAlign对齐网络将位置信息分别对齐到视频帧的静态外观特征和动态行为特征上得到每个对象的静态外观特征Oa和动态行8[0028]给定视频中目标对象的特征和目标对象的位置信息集合首先将目标对象的位置信息b传入空间位置编码网络和时间位置编码网络分别得到对象的空间位置编码ds和时间位置编码dt，其中空间位置编码网络由多层感知机构成，时间位置编码网络采用不同频率的正弦和余弦函数编码目标对象的时间位置。pppp[0034]将目标对象的带有位置感知的特征与视频帧的特征进行结合得到带有上下文感[0041]进一步的，步骤(3)所述的利用循环神经网络对问题进行特征编码，具体过程如[0042]首先将问题中的每个单词映射到由GloVe初始化的300维的词向量空间中得到每qq9[0062]对于多项选择问题，采用一个线性分类器来预测每个候选答案为正确答案的概的图卷积操作进行深层特征提取的时候可以探索到对象之间的相对时空关系与上下文感为特征Fomes作为目标对象的上下文表示特征。之后在每个帧上使用目标出目标对象的位置信息b，再使用RoIAlign对齐网络将位置信息分别对齐到视频帧的静态外观特征和动态行为特征上得到每个对象的静态外观特征Oa和动态[0080]给定视频中目标对象的特征和目标对象的位置信息集合首先将目标对象的位置信息b传入空间位置编码网络和时间位置编码网络分别得到对象的空间位置编码ds和时间位置编码dt，其中空间位置编码网络由多层感知机构成，时间位置编码网络采用不同频率的正弦和余弦函数编码目标对象的时间位置。pppp[0086]将目标对象的带有位置感知的特征与视频帧的特征进行结合得到带有上下文感[0094]首先将问题中的每个单词映射到由GloVe初始化的300维的词向量空间中得到每qqns=ll-all(公式14)[0113]对于多项选择问题，采用一个线性分类器来预测每个候选答案为正确答案的概的I3D网络进行视频帧的动态行为特征提取。最后用RoIAlign方法将每个目标对象的候选框分别映射到ResNet-152的Conv5层的特征图和I3D的最后一层卷积层的特征图上得到目的静态外观特征和动态行为特征集合Oa/m＝视频帧行为特征计算每个目标对象的带有位置感知和上下[0121]根据公式2、公式3、公式4分别计算每个目标对象的空间位置编码和时间位置编[0124]步骤(3)对输入的自然语言问题进行编码表示、将自然语言问题中的每个单词嵌qq[0130]