CN115033662B 一种分布式注意的时序知识图谱推理方法 （华中科技大学）

本发明涉及一种分布式注意的时序知识图力机制使查询事实赋予历史重复事实以第一层2将时序知识图谱以时间戳为顺序进行时间序列化重组，并通过采用注意力机制构建预测时间戳的事实并对历史重复事实赋予初始的第一基于随时间戳演变的历史频次信息的统计构筑第二层注意力，其中，所述采用注意力机制构建预测时间戳的事实并对历史重对同一批次内每一个查询的历史重复事实序列进行通过含有多个隐藏单元的全连接前馈神经网络补充深所述基于随时间戳演变的历史频次信息的统计构筑第二层注意力，并根据历史频次信息的改变表征最近知识的发展变化，以对第一层注将时序知识图谱划分为时间顺序的知识子图序列，以使时序知识图通过稀疏矩阵记录预测事件在相似场景下的不同时期的历史模式，初始化查询变换矩阵、键值变换矩阵以及线性变换系数将时序知识图谱的推理补全视为以实体集大小为分采用交叉熵损失函数和AMSGrad优化器对多分类任务的参数进行学习以确定其中得分采用全局未曾出现的关系-实体对填充不足批次内最大长度的序列，以通过识别标记3采用缩放点积注意力运算，通过查询矩阵Q与键矩阵K进行点积并除与值矩阵V进行点积以获得表征注意力的值矩阵，所述值矩阵中的每一维向量为针对处理单元(2)，配置为采用注意力机制构建预测时间戳的事实并对历史重复事实赋予其中，所述采用注意力机制构建预测时间戳的事实并对历史重对同一批次内每一个查询的历史重复事实序列进行通过含有多个隐藏单元的全连接前馈神经网络补充深所述基于随时间戳演变的历史频次信息的统计构筑第二层注意力，并根据历史频次信息的改变表征最近知识的发展变化，以对第一层注当所述一个或多个计算机程序被所述一个或多个处理器(101)执行，使得所述一个或多个处理器(101)实现如权利要求1～5任一项所述的分布式注意的时序知识图谱推理方8.一种包含计算机可执行指令的存储介质计算机处理器执行时用于执行如权利要求1～5任一项所述的分布式注意的时序知识图谱4[0002]时序知识图谱在传统的知识图谱的基础上加入时间维度，由实体(节点)、关系士队在2018年夺得了NBA(美国职业篮球联盟)的总冠军，进而时间维度极大地丰富了知识序知识图谱实际上是一个时间顺序的知识子图序列，每一个时间戳子图都具有独立的实[0005]注意力机制(AttentionMechanism)的研究起源于认知心理学(Cognitive信息的过载，这是人类可以利用有限资源从大量信息中快速筛选出有价值信息的一种能5基于节点表和关系表提供了一种高效地针对异构分布式知识图谱的[0009]CN112364108A公开了一种基于时空架构的时序知识图谱包括以下步骤：将待补全时序知识图谱按照其知识的时间标注划分为若干静态的知识集演化模式；RE-GCN通过对最近历史时间戳的子图序列建模来学习包含进化信息的实体表[0011]然而上述的时序知识图谱推理方法受限于编码器-解码器架构工作，时序知识图请人保留在背景技术中增加相关现有技术之权利。6[0015]将时序知识图谱进行时间序列化，并通过稀疏矩阵存储实序列进行掩码填充。具体而言是用全局未曾出现的关系-实体对填充不足批次内最大长[0025]通过一个含有较多隐藏单元的全连接前馈神经网络补充[0028]基于新历史更新后的频次统计信息，对历史中没有出现过的事实赋予注意力惩7[0033]调节单元，配置为基于随时间戳演变的历史频次信息的指令在由计算机处理器执行时用于执行如本发明所述集大小为分类数的多分类任务，采用交叉熵损失函数和AMSGrad优化器对多分类任务的参[0043]图1是本发明提供的一种优选实施方式的基于分布式注意的时序知识图谱的推理8[0044]图2是本发明提供的一种优选实施方式的基于分布式注意的时序知识图谱的推理[0045]图3是本发明提供的一种优选实施方式的基于分布式注意的时序知识图谱的电子是大小为T的时间戳集合，那么将其进行时间序列化的方法是按照时间戳顺序将其划分为时序子图序列其中每一个子图是一个完整的静态知识图谱。针对[0056]进一步地，采用稀疏矩阵的方法对历史子图的分布非重复的分布信息。由于单个事实仅有特定的时间范围且在单个时间戳中仅可能发生一tn-1)}和历史频次信息M",g"是一个N维的向量，其每一个维度表示为相应的实体在9qqv多个子空间的角度学习多重的语义效果。前馈神经网络采用隐藏层为2048的全连接网络则非参数倍数映射所获得的顺序时间序列的低维向量嵌入可以表示为T＝{e，2e，3e，小为N的多热向量，模型将会选取向量中得分最高的事实作为未来事件预测的结果：o=L=-zrerzieezreeofInp('IS,p,tn),其中，表示第t个时序子图Gt中第l个基准实体(即预测的正确结果)，表示为是实体集ε中第j个实体(编号为j[0072]处理单元2，配置为采用注意力机制使查询事实对历史重复事实赋予初始的第一[0075]根据一种优选实施方式，本实施例中，排布单元1被配置为可执行如下所述的步大小为T的时间戳集合，那么将其进行时间序列化的方法是按照时间戳顺序将其划分为时序子图序列其中每一个子图是一个完整的静态知识图谱。针对一[0076]进一步地，排布单元1可基于稀疏矩阵方法对历史子图的分布进行存储。具体包i[0078]根据一种优选实施方式，本实施例中，处理单元2被配置为可执行如下所述的步vi]生成键[0079]进一步地，处理单元2基于注意力机制使查询事实对历史重复事实赋予可学习的多个子空间的角度学习多重的语义效果。前馈神经网络采用隐藏层为2048的全连接网络[0082]根据一种优选实施方式，本实施例中，调节单元3被配置为可执行如下所述的步没有出现过的事实赋予注意力惩罚。具体而言是在其得分的基础上加上一个较大的负值，)赋予注意力奖励。具体而言是在其第一层注意力得分的基础上根据频次统计信息输出得分范围，进而使两层注意力都能够发挥作用，则最终的推理预测得分可以表示为[0083]根据一种优选实施方式，本实施例中，训练单元4被配置为可执行如下所述的步个时间戳2014/1/1的嵌入向量为e，则非参数倍数映射所获得的顺序时间序列的低维向量C=-zrerzieezesofInp('IS,p,t),其中，表示第t个时序子图Gt中第l个基准实体(即预测的正确结果)，表示为是实体集ε中第j个实体(编号为j[0088]图3示出了一种用于实现上述实施例1中所述的分布式注意的时序知识图谱推理[0095]根据一种优选实施方式，处理器101包括但不限于CPU(CentralProcessingUnit)、MPU(MicroProcessorUnit)、MCU(MicroControlUnit)以及SOC(Systemon[0096]根据一种优选实施方式，存储器102包括但不限于易失性存储器形式的计算机系可以通过一个或者多个数据介质接口与通信总线少一组程序模组108或是至少一个实用工具109。这些程序模组108可以配置在存储器102[0100]根据一种优选实施方式，电子设备10可以通过通信接口104与至少一个外部设备[0101]根据一种优选实施方式，电子设备10可以通过网络适配器112与一个或多个网络由计算机处理器执行时用于执行实施例1所述的一种分布式注意的时序知识图谱推理方行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语该居民的病