CN116521882B 基于知识图谱的领域长文本分类方法及系统 （中国人民解放军网络空间部队信息工程大学）

Wang,YF(Wang,Yifei);Wang,YW基于知识图谱的领域长文本分类方法及系统关系图神经网络输出增加实体关系类型信息的熵损失函数优化模型，通过softmax函数得到分2步骤3、将知识图谱和依存关系图分别输入实体关系图神经网络和依赖关系图神经网个类型ri,j映射到其嵌入e;,;基于注意力机制计算GCN中第l层节点i和j之间连接的权重pj3"将实体关系类型嵌入个类型ti,j映射到其嵌入e;,:基于注意力机制计算GCN中第l层节点i和j之间连接的权重qdf"和u"的计算公式如下："将依赖关系类型嵌入映射到与"是词语xj在GCN第l_1步骤5、采用交叉熵损失函数优化模型，通过softmax有句子表示进行求和并取平均值作为最终的B4BERT编码最后4层得到的向首先通过TextRank算法提取文本的关键词，同时通过K-Means聚类算法对文本进行聚hdep,gcn,j表示节点i和j之间初始化词向量获得模块，用于利用BERT模型对输入文本知识图谱和依存关系图构建模块，用于使用训练好的实最终词向量获得模块，用于将知识图谱和依存关系图分别输入实边类型向量获得模块，用于使用图结构掩码模型随机将两个节点之间57.一种计算机装置，包括存储器、处理器及存储在67[0010]将知识图谱和依存关系图分别输入实体关系图神经网络[0012]采用交叉熵损失函数优化模型，通过softmax函数得到分类概率实现领域长文本[0018]首先通过TextRank算法提取文本的关键词，同时通过K-Means聚类算法对文本进[0020]设置节点初始特征矩阵其中ndoc是文本节点数，nentity是抽取实体n"是词语xj在GCN第l-1层的输出，W(l)是可训练矩阵，b(l)是第l层8将每个类型ri,j映射到其嵌入基于注意力机制计算GCN中第l层节点i和j之间连接的权"将实体关系类型嵌入映射到与n"相同的维度，n"是词语xj在GCN将每个类型ti,j映射到其嵌入e',:基于注意力机制计算GCN中第l层节点i和j之间连接的权9映射到与n""相同的维度，n"是词语xj在GCN[0050]进一步地，通过图结构掩码模型分别得到实体关系类型向量和依赖关系类型向码训练输出的依赖关系类型向量，hrel,gcn,i；hrel,gcn,j表示节点i和j之间的实体关系边，dep,gcn,j表示节点i和j之间的依赖关系边；GCN的文档向量共同计算损失并反向传播。为进一步提升模型对于字词之间语义依赖的学S101的初始化词向量与增加边类型信息的词向量融合得方法结合人工归纳、借鉴高质量通用图谱和专家指导细化修改实体类型并定义其实体关[0089]然后使用B＝(ri,j)n×n表示实体关系类型，将每个类型ri,j映射到其嵌入基于注意力机制计算GCN中第l层节点i和j之间连n"将实体关系类型嵌入e:,映射到与n"相同的维度，n""是词语xj在GCN[0100]最后使用C＝(ti,j)n×n表示依赖关系类型，将每个类型ti,j映射到其嵌入e',:基于注意力机制计算GCN中第l层节点i和j之间连"将依赖关系类型嵌入映射到与"是词语xj在GCN码训练输出的依赖关系类型向量，hrel,gcn,i；hrel,gcn,j表示节点i和j之间的实体关系边，dep,gcn,j表示节点i和j之间的依赖关系边。[0122]交叉熵损失函数(CrossEntropyLossFunction)是深度学习中的一种常用的损计语言Java和直译式脚本语言JavaScr现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0147]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特