CN118779438B 融合领域知识的数据智能问答方法及系统 （北京北龙青云软件有限公司）

本发明提供融合领域知识的数据智能问答与每个候选答案子图的语义嵌入向量进行匹配候选答案子图进行优化排序,得到答案排序列2获取用户提出的自然语言形式的问题,利用预训练的语言模型对所述问题进行语义增息;根据所述语义向量表示,在预先构建的多粒度知识图谱中进行多跳寻址,检索出与所述问题在语义上最相关的多个候选答案子图;对于每个所述候选答案子图,利用图神经网络对其进行表示学习,得到该候选答案子图的语义嵌入向量，所述图神经网络用于聚合所将所述问题的语义向量表示与每个候选答案子图的语义嵌入向量进行匹配计算,得到各候选答案子图与所述问题的语义相关度打分;构建基于强化学习的排序模型，根据所述语义相关度打分,利用所述排序模型对所述候选答案子图进行优化排序,得到答案排序列表;其中，所述基于强化学习的排序模型以各候选答案子图与所述问题的相关度打分获取用户提出的自然语言形式的问题,利用预训练的语言模型对所述问题进行语义增获取用户提出的自然语言形式的问题,利用预定义的词表或词典,通过正向最大匹配或逆向最大匹配方式将问题切分为词语序列，并将所述词语序列转化为令牌序列;将所述关键词的频率区分度值、构建词语共现图并运行文本排序算法以及利用双向编码器表示的转换器的显著性得分从多个候选关键词中选择目标关计算所述第一语义向量与每个关键词向量之间的注意力权重,通过将所述第一语义向量与关键词向量进行点积、双线性变换或多层感知机计算得到注意力权重;根据所力权重对所有关键词向量进行加权求和,得到第二语义向量;将所述第一语义向量与所述根据所述语义相关度打分,利用所述排序模型对所述候选答案子图进行优化排序,得以所述候选答案子图集合为初始状态,利用排序模型的解码器对候选答案子图进行优根据每个待选候选答案子图在当前排序列表中的位置,计算对应的排序位置折扣系添加至已生成排序列表,计算添加后更新的排序列表中相邻候选答案子图嵌入的平均余弦将每个待选候选答案子图的语义相关度打分、排序位置折扣系数与3时奖励,通过归一化函数预测下一时刻要选择的候选答案子图概率分布;根据概率分布采样得到下一时刻要选择的候选答案子图,添加至已生成排序列表,并将其从候选答案子图重复执行所述解码步骤,直至排序列表包含所有候选答案子图,得到按照语义相关度由高到低优化排序的候选答案子图列表;输出所述优化排序的候选答案子图列表,作为对建词语共现图并运行文本排序算法以及利用双向编码器表示的转换器对问题进行处理,基于频率区分度值、文本排序的重要性得分和双向编码器表示的转换器的显著性得分从多与区分度因子的差值确定,其中频率因子由词语在问题中的出现频次的对数值与频率因子权重系数的乘积确定,区分度因子由语料库中包含该词语的问题数与语料库中问题总数之比的对数值与区分度因子权重系数的乘积确定;根据预设的阈值选取频率一区分度值更高的A个候选关键词作为目标关键词;行文本排序算法迭代计算每个候选关键词的重要性得分,所述文本排序算法通过计算节点接收到的其他节点的得分加权和并乘以阻尼系数得到该节点新的得分,根据预设的阈值选取重要性得分更高的B个候选关键词作为目标关键将所述问题输入双向编码器表示的转换器，所述双向编码器表示的转换码器对输入序列进行建模,利用多头自注意力机制学习词语的上下文表示,得到词语的显对特定领域的结构化、半结构化和非结构化文本数据进行实体链接,通过深度学习模型对输入文本编码获得词语的上下文表示向量,利用双向长短期记忆网络得到词语间的长距离依赖关系,并使用条件随机场模型识别文本中的实体提及,基于注意力机制将实体提根据链接结果,利用关系抽取技术从文本数据中确定候选实体之间的语义关系,对文本数据进行依存分析获得词语间的依存关系树,将其转换为有向无环图后使用图卷积网络进行编码,得到每个节点的低维表示向量,并通过注意力机制聚合实体对在有向无环图中最短路径上的节点和边信息,生成实体对的关系表示向量,使用多层感知机对关系表示向使用双向编码器表示的转换器对非结构化文本数据编码得到词语的上下文表示向量,的属性值,根据属性值在文本中的位置和上下文信息判断其对应的属性类型,基于注意力采用基于图神经网络的方法对候选实体、关系类型和属性信息进行融合,将其表示为4知识图谱中的节点,通过异构图神经网络进行编码学习节点和边的低维表示向量,并使用类型感知的注意力机制聚合节点和边的邻居信息,同时利用基于翻译嵌入的知识表示学习方法将候选实体、关系类型和属性信息映射到同一向量空间,基于规则的逻辑推理机制对知识图谱进行补全和优化,得到包含实体节点及其属性信息、实体间多种语义关系及关系粒度知识图谱中进行多跳寻址,检索出与所述问题在语义上最相关的多个候选答案子图，使用语义向量表示作为初始查询向量,在多粒度知识图谱的节点和边的低维语义表示上进行多跳寻址,其中每一跳寻址过程通过注意力计算函数计算当前查询向量与知识图谱中节点的最终隐藏状态表示之间的相关性得到归一化注意力权重,根据归一化注意力权重对多粒度知识图谱中所有节点的最终隐藏状态表示进行加权求和得到当前跳的聚合表示；将当前查询向量与聚合表示通过非线性变换更新得到下一跳查询向量,通过多跳寻址操作在多跳寻址过程中利用基于子图密度的评分机制,对多粒度知识图谱中生成的每个候选答案子图计算其密度得分,密度得分基于候选答案子图的结构密度、语义向量表示与候选答案子图表示之间的相似度确定,其中候选答案子图的结构密度通过子图内部边的数量与节点数量的比值计算得到,候选答案子图表示通过对子图中所有节点的最终隐藏状态表示进行平均池化操作获得,候选答案子图与语义向量表示之间的相似度通过候选答案子图设置平衡因子，基于平衡因子调整所述密度得分，所述平衡因子和结构紧凑性对密度得分的贡献程度,根据候选答案子图的调整后密度评分对其进行降序排序,从所有候选答案子图中筛选出选择调整后的密度评分最高的前K个候选答案子图作将候选答案子图中每个节点的属性特征与节点类型的嵌入表示进行拼接,通过门控单特征向量和问题相关嵌入作为输入,经过参数矩阵变换和归一化函数处理,输出一个0到1之间的融合系数,将融合系数与节点拼接得到的特征向量和问题相关嵌入进行加权求和,以融合后的节点初始特征向量为输入,利用多层异构图卷积神经网络对候选答案子图进行信息传递和特征提取,异构图卷积神经网络的每一层根据当前节点通过不同语义关系连接的邻居节点的上一层隐藏状态,以及当前节点的上一层隐藏状态和偏置项,经过关系特定卷积核和自连接权重矩阵变换、归一化常数约束以及激活函数处理,更新得到当前节在异构图卷积神经网络的每一层邻居聚合过程中通过多头注意力计算当前节点与邻居节点在不同语义关系下的注意力权重,将节点间的语义关联建模为注意力权重经过归一化后的概率分布形式;针对异构图卷积神经网络提取的节点最终隐藏状态进行全局5池化，得到该候选答案子图的语义嵌入向量,全局注意力池化通过注意力参数6.融合领域知识的数据智能问答系统，用于实现前述权利要求1_5中任一项所述的方第一单元，用于获取用户提出的自然语言形式的问题,利用预训练的语言模型对所述半结构化和非结构化文本数据,利用实体链接、关系抽取以及属性挖掘技术构建多粒度知第二单元，用于根据所述语义向量表示,在预先构建的多粒度知识图谱中进行多跳寻利用图神经网络对其进行表示学习,得到该候选答案子图的语义嵌入向量，所述图神经网第三单元，用于将所述问题的语义向量表示与每个候选答匹配计算,得到各候选答案子图与所述问题的语义相关度打分;构建基于强化学习的排序到答案排序列表;其中，所述基于强化学习的排序模型以各候选答案子图与所述问题的相其中，所述处理器被配置为调用所述存储器存储的指令，以执行序指令被处理器执行时实现权利要求1至56[0002]传统的问答系统主要基于关键词匹配和浅层语义们开始探索融合领域知识的方法,利用知识图谱、本体等知识库增强问答系统的理解和推[0004]知识库的构建和维护成本较高,难以覆盖所有领域和场景;知识库与问答系统的融合方式较为简单,缺乏对领域特点的深入挖掘和建模;问答系统对领域知识的理解和应用能力有限,难以处理复杂的推理和分析类问题;问答系统生成的答案缺乏可解释性和可[0008]获取用户提出的自然语言形式的问题,[0009]根据所述语义向量表示,在预先构建的多粒度知识图谱中进行多跳寻址,检索出与所述问题在语义上最相关的多个候选答案子图;对于每个所述候选答案子图,利用图神经网络对其进行表示学习,得到该候选答案子图的语义嵌入向量，所述图神经网络用于聚[0010]将所述问题的语义向量表示与每个候选答案子图的语义嵌入向量进行匹配计算,得到各候选答案子图与所述问题的语义相关度打分;构建基于强化学习的排序模型，根据所述语义相关度打分,利用所述排序模型对所述候选答案子图进行优化排序,得到答案排序列表;其中，所述基于强化学习的排序模型以各候选答案子图与所述问题的相关度打分7[0013]第一单元，用于获取用户提出的自然所述问题进行语义增强,得到融合了问题中关键信息的语义向量表示;基于特定领域的结[0014]第二单元，用于根据所述语义向量表示,跳寻址,检索出与所述问题在语义上最相关的多个候选答案子图;对于每个所述候选答案进行匹配计算,得到各候选答案子图与所述问题的语义相关度打分;构建基于强化学习的排序模型，根据所述语义相关度打分,利用所述排序模型对所述候选答案子图进行优化排[0024]1.通过利用预训练的语言模型对用户提出的自然语言问题进行语义增强,得到融合了问题关键信息的语义向量表示,可以更加准确地捕捉用户问题的语义信息,为后续[0026]3.在预先构建的多粒度知识图谱中进行多跳寻址检索,能够发现与问题在语义及其属性信息,使答案子图可以用语义嵌入向量的形式表示。将问题的语义向量与答案子[0028]5.构建基于强化学习的排序模型,将问题与候选答案子图的相关度打分作为环8化学习排序等一系列技术的有机结合,能够显著提升智能问答系统的准确率和效率,使系[0034]图1为本发明实施例融合领域知识的数据智能问答方法的流程示意图，如图1所构化和非结构化文本数据,利用实体链接、关系抽取以及属性挖掘技术构建多粒度知识图[0036]S102.根据所述语义向量表示,在预先构建的多粒度知识图谱中进行多跳寻址,检索出与所述问题在语义上最相关的多个候选答案子图;对于每个所述候选答案子图,利用图神经网络对其进行表示学习,得到该候选答案子图的语义嵌入向量，所述图神经网络[0037]S103.将所述问题的语义向量表示与每个候选答案子图的语义嵌入向量进行匹配计算,得到各候选答案子图与所述问题的语义相关度打分;构建基于强化学习的排序模答案排序列表;其中，所述基于强化学习的排序模型以各候选答案子图与所述问题的[0038]本申请通过利用预训练的语言模型对用户提出到融合了问题关键信息的语义向量表示,可以更加准确地捕捉用户问题的语义信息,为后本数据构建多粒度知识图谱,知识图谱包含实体节点及其属性、实体间多种语义关系以及[0039]在预先构建的多粒度知识图谱中进行多跳寻9[0040]构建基于强化学习的排序模型,将问题与候选[0042]获取用户提出的自然语言形式的问题,匹配或逆向最大匹配方式将问题切分为词语序列，并将所述词语序列转化为令牌序列;将所述令牌序列输入预训练的语言模型,经过多层编码器的计算,得到所述问题的第一语义表示的转换器的显著性得分从多个候选关键词中选择目标关键[0045]计算所述第一语义向量与每个关键词向量之义向量与关键词向量进行点积、双线性变换或多层感知机计算得到注意力权重;根注意力权重对所有关键词向量进行加权求和,得到第二语义向量;将所述第一语义向量与捕捉问题中的关键信息。本文采用预训练的语言模型BERT对问题进行编码,得到问题的语[0047]具体地,给定用户提出的自然语言问题Q,首先利用预定义的词表或词典,通过正[0049]其中,[CLS]和[SEP]分别为句首和建候选关键词之间的共现关系图,利用图排序算法计算每个候选关键词的中心度,反映其[0054](3)候选关键词w_i的双向编码器表示的显著性得分S(w_i)。利用双向LSTM编码表示向量拼接,v_q为问题的BERT语义向量。显著性得分S(w_i)刻画了候选关键词与整个[0058]为了将目标关键词的语义信息融入到问题表示中,本文计算问题语义向量v_q与[0061]基于注意力权重,对目标关键词向量进行加权求和,得到融合关键信息的语义向[0063]最后,将问题的原始BERT语义向量表示v_q与融合关键信息[0065]通过以上步骤,得到了融合问题关键信息的语义增强向量表示,为后续构建知识得分和双向编码器表示的转换器的显著性得分从多个候选关键词中选择目标关键词，包因子与区分度因子的差值确定,其中频率因子由词语在问题中的出现频次的对数值与频率因子权重系数的乘积确定,区分度因子由语料库中包含该词语的问题数与语料库中问题总数之比的对数值与区分度因子权重系数的乘积确定;根据预设的阈值选取频率一区[0069]构建所述问题的词语共现图,以候选关键词为节点,词语间的共现频次为边的权重,运行文本排序算法迭代计算每个候选关键词的重要性得分,所述文本排序算法通过计算节点接收到的其他节点的得分加权和并乘以阻尼系数得到该节点新的得分,根据预设的向编码器对输入序列进行建模,利用多头自注意力机制学习词语的上下文表示,得到词语[0071]示例性地，为了从候选关键词中精准地筛选文提出了一种多策略融合的关键词提取算法。该算法综合考虑了候选关键词的统计特征、种常用的关键词权重计算方法,综合考虑了词语在问题中的出现频率和在全部问题集合中包含w_i的问题数。λ_tf和λ_idf分别为频率因子和区分度因子的权重系数,用于调节两个值θ_tfidf,选取TF_IDF值大于θ_tfidf的Top_A个候选关键词作为目标关键词,其中A为预构重要性得分。TextRank算法基于投票机制,假设一个词语的重要性由与其相连的词语的重要性决定。TextRank算法通过计算节点接收到的其他节点的得分加权和并乘以阻尼系初始时,所有节点的TextRank得分都被设置为1。根据预设的阈值θ_tr,选取TextRank得分大于θ_tr的Top_B个候选关键词作为目标关键词,其中B为预定义的目标关键词数量。本文[0081]最后,本文利用预训练的双向编码器表示的Transforme关键词与整个问题的语义相关性。将问题Q作为输入,通过BERT的多层双向Transformer编后一层隐层状态记为h_cls,候选关键词w_i的语义显著性得[0084]通过以上三种策略,从统计特征键词进行评估,筛选出最终的目标关键词集合。为了将目标关键词的语义信息引入问题表示,本文利用预训练的词向量模型,如Word2Vec或GloVe,将每个目标关键词映射为其对应[0085]多策略融合的关键词提取算法能够从多个角与问题高度相关的目标关键词,并将其语义信息融入问题表示中,为后续构建知识图谱和[0088]对特定领域的结构化、半结构化和非结构习模型对输入文本编码获得词语的上下文表示向量,利用双向长短期记忆网络得到词语间的长距离依赖关系,并使用条件随机场模型识别文本中的实体提及,基于注意力机制将实[0089]根据链接结果,利用关系抽取技术从文本数据中确定候选实体之间的语义关系,对文本数据进行依存分析获得词语间的依存关系树,将其转换为有向无环图后使用图卷积网络进行编码,得到每个节点的低维表示向量,并通过注意力机制聚合实体对在有向无环图中最短路径上的节点和边信息,生成实体对的关系表示向量,使用多层感知机对关系表[0090]使用双向编码器表示的转换器对非结构化文本数据编码得到词语的上下文表示向量,并使用双向长短期记忆网络_条件随机场模型对非结构化文本数据进行标注识别出文本中的属性值,根据属性值在文本中的位置和上下文信息判断其对应的属性类型,基于[0091]采用基于图神经网络的方法对候选示为知识图谱中的节点,通过异构图神经网络进行编码学习节点和边的低维表示向量,并使用类型感知的注意力机制聚合节点和边的邻居信息,同时利用基于翻译嵌入的知识表示学习方法将候选实体、关系类型和属性信息映射到同一向量空间,基于规则的逻辑推理机制对知识图谱进行补全和优化,得到包含实体节点及其属性信息、实体间多种语义关系及多种语义关系及关系属性信息组成。为了构建全面、准确的知识图谱,需要从海量用图神经网络和知识表示学习方法对这些信息进行融合,最终构建包含多粒度[0093]实体链接旨在将文本中的实体提及与知识库中及的歧义性,确定其指代的唯一实体。本文采用基于注意力机制的深度学习模型进行实体语的上下文表示向量。然后,利用双向长短期记忆网络(BiLSTM)学习词语间的长距离依赖[0094]对于每个识别出的实体提及,从知识库及语义最相关的实体,本文使用基于注意力机制的匹配模型。将实体提及及其上下文表示为一个查询向量q,将候选实体的描述信息表示为一组键值对(k_i,v_i),其[0098]最后,使用余弦相似度等度量方法计算查询向量q与聚合表示向量v的相似性,选[0099]基于注意力机制的实体链接方法能够充分利用实体提及的上下文信息和候选实[0100]关系抽取旨在从文本数据中识别出实体对之间的语[0101]在DAG上应用GCN进行编码,通过聚合节点过注意力机制聚合实体对在DAG最短路径上的节点和边信息,生成该实体对的关系表示向量。具体地,设实体对的节点表示向量为h_s和h_t,最短路径上第i个节点和边的表示向量为n_i和e_i,则实体对的关系表示向[0107]最后,将关系表示向量r输入到多层感知机(MLP)中进行分类,预测实体对之间的[0110]基于GCN和注意力机制的关系抽取方法能够充分挖掘文本数据中的结构信息,学[0111]属性挖掘旨在从非结构化文本数据中同时考虑词语的上下文信息和标签间的约束关系,在属性值识别任务上取得了较好的性[0112]为了判断识别出的属性值对应的属性类型,需要用BERT分别对这些上下文片段进行编码,得到不同粒度的上下文表示矩阵H_c,H_w和重矩阵A_c,A_w和A_p:[0117]根据注意力权重矩阵对不同粒度的上下文表示矩[0119]最后,将属性值的多粒度融合表示向量v输入到MLP中进行分类,预测其对应的属[0122]基于多粒度融合的属性挖掘方法能够充分利用不同粒度文本单元的上下文信息,加权融合,可以自适应地突出最有效的上下文线索。多粒度融合策略有助于提高属性类型[0123]通过以上步骤,从多源异构数据中抽取出了知识图谱所需的关键信息,包括实体[0124]将抽取出的实体、关系和属性映射为异关系构建异构邻接矩阵。在异构知识图谱上使用HetGNN进行编码,通过聚合不同类型邻居[0125]此外,本文还引入了类型感知的注意力机制,根据节点和边的类型动态调整邻居与邻居节点j之间的类型感知注意力权重,通过将节点嵌入向量与类型嵌入向量进行拼接[0128]在HetGNN的基础上,本文进一步使用基于翻译嵌入的知识表示学习方法TransE,入向量≈尾实体嵌入向量。TransE模型能够很好地保持知识图谱中的结构信息和语义关引入类型感知的注意力机制和翻译嵌入的表示学习方法,构建多粒度、语义丰富的知识图[0132]根据所述语义向量表示,在预先构建的多粒度知识图谱中进行多跳寻址,检索出[0133]使用语义向量表示作为初始查询向量,在多表示上进行多跳寻址,其中每一跳寻址过程通过注意力计算函数计算当前查询向量与知识图谱中节点的最终隐藏状态表示之间的相关性得到归一化注意力权重,根据归一化注意力权重对多粒度知识图谱中所有节点的最终隐藏状态表示进行加权求和得到当前跳的聚合表示；将当前查询向量与聚合表示通过非线性变换更新得到下一跳查询向量,通过多跳寻[0134]在多跳寻址过程中利用基于子图密度的评分机制,对个候选答案子图计算其密度得分,密度得分基于候选答案子图的结构密度、语义向量表示与候选答案子图表示之间的相似度确定,其中候选答案子图的结构密度通过子图内部边的数量与节点数量的比值计算得到,候选答案子图表示通过对子图中所有节点的最终隐藏状态表示进行平均池化操作获得,候选答案子图与语义向量表示之间的相似度通过候选答案关性和结构紧凑性对密度得分的贡献程度,根据候选答案子图的调整后密度评分对其进行降序排序,从所有候选答案子图中筛选出选择调整后的密度评分最高的前K个候选答案子图作为与所述问题在语义上最相关的多个候选[0136]示例性地，在获得问题的语义向量表示谱区域,捕捉问题与答案之间的复杂语义关联。同时,本文引入了基于子图密度的评分机[0137]本文使用问题的语义向量表示q_0作为初始查和边的低维语义表示上进行多跳寻址。设知识图谱G状态表示为h_i^0,可以通过知识图谱表示学习方法如TransE或GraphSA[0138]在每一跳寻址过程中,首先通过注意力计算函数计算当前查询向量q_t与所有节[0144]然后,根据归一化注意力权重对所有节点的最终隐藏状态表示进行加权求和,得[0146]接下来,将当前查询向量q_t与聚合表示r_t通过非线性变换更新,得到下一跳查[0149]通过多跳寻址操作,查询向量能够在知识图谱中逐步扩展与问题语义相关的区得到了T个候选答案子图G_1,G_2,,G_T。[0150]为了从候选答案子图中筛选出与问题语过对子图中所有节点的最终隐藏状态表示进行平均[0154]\cos(q_0,r_t)表示初始查询向量q_0与子图语义表示r_t[0155]根据候选答案子图的密度评分对其进行降序排序,选择得分最高的前K个子图作为最终的候选答案。这些候选答案在语义上与问题高度相关,且保留了知识图谱中的结构[0156]综上所述,本文采用基于多跳寻址的方法在多粒度知识图谱中检索候选答案,利用注意力机制聚焦与问题语义相关的图谱区域,同时引入子图密度评分机制平衡语义相关[0158]对于每个所述候选答案子图,利用图神经网络对其进行表示学习,得到该候选答[0159]将候选答案子图中每个节点的属性特征到1之间的融合系数,将融合系数与节点拼接得到的特征向量和问题相关嵌入进行加权求[0160]以融合后的节点初始特征向量为输入,利用多层异构子图进行信息传递和特征提取,异构图卷积神经网络的每一层根据当前节点通过不同语义关系连接的邻居节点的上一层隐藏状态,以及当前节点的上一层隐藏状态和偏置项,经过关系特定卷积核和自连接权重矩阵变换、归一化常数约束以及激活函数处理,更新得到当[0161]在异构图卷积神经网络的每一层邻居聚合过程中通过多头注意力计算当前节点与邻居节点在不同语义关系下的注意力权重,将节点间的语义关联建模为注意力权重经过归一化后的概率分布形式;针对异构图卷积神经网络提取的节点最终隐藏状态进行全意力池化，得到该候选答案子图的语义嵌入向量,全局注意力池化通过注意力参数将节点[0162]示例性地，为了进一步提炼候选答性、节点类型以及节点间复杂语义关联,本文提出了一种基于图神经网络的候选答案表示学习方法。该方法首先通过门控单元融合节点属性和类型特征,然后利用多层异构图卷积神经网络对子图进行信息传递和特征提取,并在邻居聚合过程中引入多头注意力机制建模[0163]对于候选答案子图G_t中的每个节点i,首先将其属性特征x_i与节点类型的嵌入[0168]其中,W_g和b_g为门控单元的参数矩阵表示逐元素乘积。门控单元接收节点的初始特征向量和问题语义向量作为输入,经过参数变换和sigmoid函数处理,输出一个(HeterogeneousGraphConvolutionalNetwork,HGCN)对候选答案子图进行信息传递和特征提取。HGCN能够处理包含多种节点类型和关系类型的异构图,充分利用图的结构信息[0170]设异构图卷积神经网络共有L层,候选答案子图[0171]h_i^{(l)}=\sum_{r=1}^R\sum_{j\inN_i^r}\frac{1}{c_{i,r}}W_r^种语义关系对应的卷积核参数矩阵,W_0^{(l)}是自连接权重矩阵,b^{(l)}是偏置项。c_[0174]归一化常数可以缓解不同类型节点度分布不均衡的问题,提高模型的泛化性能。每一层神经网络聚合了节点通过不同语义关系连接的邻居节点的信息,同时也考虑了节点[0175]为了进一步建模节点间的语义关联,本文在HGCN的头注意力机制。多头注意力能够从不同语义子空间的角度计算节点间的关联强度,增强模[0176]对于第l层神经网络,节点i与邻居节点j在第r种语义关系下的第k个注意力头的[0178]α_{i,j,r}^{(k)}=\frac{\exp(e_{i,j,r}^{(k)})}{\sum_{m\inN_i^r}\exp[0179]其中,\vec{a}_r^{(k)}和W_r^{(k)}是第r种语义数向量和变换矩阵,e_{i,j,r}^{(k)}表示节点i与邻居节点j的注意力相关性。采用LeakyReLU激活函数和softmax函数对注意力相关性进行非线性变换和归一化,得到节点间[0182]每个注意力头学习到节点间在不同语义子空间的关联[0183]在异构图卷积神经网络提取节点特征后,需要进答案子图的语义表示。本文采用全局注意力池化(GlobalAttentionPooling,GAP)实现[0184]全局注意力池化通过注意力参数将节点隐藏状态[0186]β_i=\frac{\exp(\mathrm{score}_i)}{\sum_{j\inV_t}\exp(\mathrm{score}_[0188]其中,\vec{q},W_p和b_p是可学习的注意力参数,\mathrm{score}_i表示节点i的重要性得分。通过softmax函数将重要性得分归一化为节点权重β_i,然后与节点的最终[0189]全局注意力池化能够自适应地为不同节点分配权重,突出关键节点的贡献,得到更加准确和有效的候选答案表示。与简单的平均池化或最大池化相比,全局注意力池化能[0190]综上所述,本文提出了一种基于图过门控单元融合节点属性和类型信息,利用多层异构图卷积神经网络对子图进行特征提取,并引入多头注意力机制建模节点间的语义关联,最后通过全局注意力池化聚合节点信[0192]根据所述语义相关度打分,利用所述排序模型对所述候选答案子图进行优化排[0193]以所述候选答案子图集合为初始状态,利用排[0194]根据每个待选候选子答案图在当前排序列表中的其添加至已生成排序列表,计算添加后更新的排序列表中相邻候选答案子图嵌入的平均余及即时奖励,通过归一化函数预测下一时刻要选择的候选答案子图概率分布;根据概率分布采样得到下一时刻要选择的候选答案子图,添加至已生成排序列表,并将其从候选答案[0196]重复执行所述解码步骤,直至排序列表包含所有候选答案子图,得到按照语义相关度由高到低优化排序的候选答案子图列表;输出所述优化排序的候选答案子图列表,作[0197]示例性地，在获得候选答案子图的语义嵌入向关度对候选答案进行排序,以得到最终的答案排序列表。本文提出了一种基于排序模型的候选答案优化排