CN110609891A 一种基于上下文感知图神经网络的视觉对话生成方法 （合肥工业大学）

一种基于上下文感知图神经网络的视觉对本发明公开了一种基于上下文感知图神经上下文感知图神经网络的视觉对话生成网络模更细粒度的文本语义信息来推理图像中不同对2步骤1.2、从分割后的单词中筛选出词频率大于阈值的所有单词，并构建单词索引表Voc；再对所述索引表Voc中的每一个单词进行one-hot编码，得到one-hot向量表O＝[o1,weR,其中dw代表词向量的维度；利用词嵌入矩阵We将one-hot向量表中的每个单词的编码向量映射到相应的词向量上，从而得到步骤2.1、从视觉对话数据集中获取任意一个图像I及其对应的历史对话U＝[u1,前问题Q的句子长度，wQ,i表示当前问题Q中的第i个单词在所述词向量表中所对应的词向并取长短期记忆网络LSTM的最后一个步长输出的隐状态特征作为当前问题Q的句子级问题特征向量q，qeR";其中hQ,i表示长短期记忆网络LSTM并取长短期记忆网络取LSTM的最后一个步长输出的隐状态特征hx作为第r段对话ur的句子级特征hr，h,eRhr,,hR]，HeRg;其中wr,i表示第r段对话ur中第i个单词2为第r段对话ur的句子长度，hr,i表示长短期记忆网络LSTM的第i个步长输出的隐3ha=αHT式(2)中，表示句子级问题特征向量q与历史对话特征H之间的相似度矩阵，式(3)中，表示句子级问题特征向量q对应的待训练参数，B,eR"表示历步骤4.1、利用所述历史对话上下文特征向量ha和视觉对象特征V构对所述上下文感知图G进行T轮迭代更新，并得到更新后的上下文感知图节点集合N(T式(6)中，表示在第t轮迭代更新时当前问题Q的自注意力语义矩阵，n,"e"表示自注意力语义矩阵所对应的待训练参数，并有：式(7)中，表示在第t轮迭代更新时词级别注意力处理中当前问题Q所对应4"与上下文感知图G中所有其它节的K个邻居节点集s",1≤i≤M：s"中接收到的总消息特征M",M"eR",1≤i≤M：节点,"到第i个节点之间的连接边的归一化权值，邻居节点表示邻居式(11)和式(12)中，表示邻居节点,"所对应的待训1≤i≤M：5式(14)中，"e"表示在第t轮迭代更新时的上下文特征向量，表示中间变eg=α式(16)中，zzeR"表示句子级问题特征向量q与更新后的上下文感知图节点集合N(T隐状态特征序列其中hA,i为长短期记忆网络LSTM的第i个步长3为真实答案标签AGT的句子长度；映射到与所述one-hot向量表O同一维度的空间中，得到预测答案的单词向量集合其中yi表示预测答案中第i个单词的映射向量，且向量长度与步骤8.1、根据所述单词one-hot向量表O对真实答案标签AGT中的单词构建向量集合其中j,表示真实答案标签AGT中第i个单词的映射向量，且向步骤8.2利用式(21)计算预测答案与真实6步骤8.3、利用随机梯度下降法将所述损失代价E进行优化求解，使损失代价E达到最对所述预测答案的单词向量集合使用贪心解码算法得到第i个单词的映射向量yi中最大值所对应的位置，并根据最大值所对应的位置在单词索引表量集合Y所对应的预测答案，并以所述当前问题Q和单词向量集合Y所对应的预测答案作为7本组成的多模态语义信息从而对人类提出的问题给出合理的回答是视觉对话任务的关键。[0003]随着现代图像处理技术和深度学习的发展，视觉对话技术也[0005]例如2017年，JiasenLu等作者在顶级国际会议ConferenceandWorkshoponNeuralInformationProcessingSystems(NIPS2017)上发表的文章《BestofBothWorlds:TransferringKnowledgefromDiscriminativeLearningtoaGenerative是该方法在处理当前问题的文本信息时只考虑了句子层面的语义，没有考虑词层面的语[0007]例如2019年，ZilongZheng等作者在顶级国际会议IEEEConferenceonComputerVisionandPatternRecognition(CVPR2019)上发表的《ReasoningVisual8[0010]本发明一种基于上下文感知图神经网络的视觉对话生成方法的特点是按如下步利用词嵌入矩阵We将one-hot向量表中的每个单词的编码向量映射到相应的词向量上，从[0017]步骤2.1、从视觉对话数据集中获取任意一个图像I及其对应的历史对话U＝[u1,前问题Q的句子长度，wQ,i表示当前问题Q中的第i个单词在所述词向量表中所对应的词向[0018]步骤2.2、使用目标检测序列并取长短期记忆网络LSTM的最后一个步长输出的隐状态特征作为当前问题Q的句子级问题特征向量q，qeR";其中hQ,i表示长短期记忆网络并取长短期记忆网络取LSTM的最后一个步长输出的隐状态特r,i表示第r段对话ur中第i个单词在所述词向量表中所对应的2为第r段对话ur的句子长度，hr,i表示长短期记忆网络LSTM的第i个步长输出的隐9[0026]式(2)中，z,eR"表示句子级问题特征向量q与历史对话特征H之间的相似度矩[0028]式(3)中，W,e"表示句子级问题特征向量q对应的待训练参数，wneR表[0040]式(6)中，表示在第t轮迭代更新时当前问题Q的自注意力语义矩阵，[0045]式(8)中，分别表示相关的K个邻居节点集s",1≤i≤M：点集s"中接收到的总消息特征Mf"eR",1≤i≤M：示邻居节点到第i个节点之间的连接边的归一化权值，邻居节点"表示邻居节点eR"表示邻居节点N,"所对应的待训练参数，的第i个节点N")eR",1≤i≤M：zzeR"表示句子级问题特征向量q与更新后的上下文感知图节点集案的隐状态特征序列其中hA,i为长短期记忆网络LSTM的第i个案的单词向量集合其中yi表示预测答案中第i个单词到第i个单词的映射向量yi中最大值所对应的位置，并根据最大值所对应的位置在单词索词向量集合Y所对应的预测答案，并以所述当前问题Q和单词向量集合Y所对应的预测答案下文感知的图神经网络，并利用该图网络去学习图像中不同视觉对象之间的相互依赖关[0088]步骤1.1、从网上获取视觉对话数据集，目前公开的数据集主要有VisDial符。对所有单词按照顺序构建单词与序号的对应表；再对索引表Voc中的每一个单词进行W.eR",其中dw代表词向量的维度；利用词嵌入矩阵We将one-hot向量表中的每个单词的编码向量映射到相应的词向量上，从[0093]步骤2.1、从视觉对话数据集中获取任意一个图像I及其对应的历史对话U＝[u1,[0094]步骤2.2、使用目标检测局部视觉特征进行特征提取；Faster-RCNN所提取的局部视觉特征在许多视觉任务上都取序列并取长短期记忆网络LSTM的最后一个步长输出的隐状态特征作为当前问题Q的句子级问题特征向量q，qeR":其中hQ,i表示长短期记忆网络并取长短期记忆网络取LSTM的最后一个步长输出的隐状态特征hx作为第r段对话ur的句h,eR";则总的历史对话特征为H＝[h1,h2,...,hr,..wr,i表示第r段对话ur中第i个单词在词向量表中所对应的词向量，L2为第rr,i表示长短期记忆网络LSTM的第i个步长输出的隐状态特征；[0102]式(2)中，表示句子级问题特征向量q与历史对话特征H之间的相似度矩[0106]步骤4.1、利用历史对话上下文特征向量ha和视觉对象特征V构建上下文感知图GN,eR"表示节点集合N中的第i个节点；[0111]对上下文感知图G进行T轮迭代更新，并得到更新后的上下文感知图节点集合N(T[0114]式(5)中，表示在第t轮迭[0116]式(6)中，"eR"的表示在第t轮迭代更新时当前问题Q的自注意力语义矩阵，[0121]式(8)中，分别表示集合N(t)所对应的不同待训练参数，BeR"表示注意力关注的词级问题特征向量所点集s"中接收到的总消息特征34",M"eR',1≤i≤M：示邻居节点N"到第i个节点N"之间的连接边的归一化权值，邻居节点表示邻居节点eR"表示注意力关注的词级问题特征向量9"所对应的待训练参数；的第i个节点N"e",1≤i≤M：[0137]利用式(15)对更新后的上下文感知图节点集合N(T+1)进行注意力处理，得到注意[0141]式(16)中，z,e"表示句子级问题特征向量q与更新后的上下文感知图节点集隐状态特征序列其中hA,i为长短期记忆网络LSTM的第i个步长映射到与one-hot向量表O同一维度单词向量集合其中yi表示预测答案中第i个单词的映射向量，[0149]步骤8.1、根据单词one-hot向量表O对真