CN119443224A 跨模态的知识图谱构建方法以及装置 （北京市农林科学院信息技术研究中心）

心本发明提供一种跨模态的知识图谱构建方整体特征序列；将整体特征序列输入至多模态输出的综合特征向量；将综合特征向量输入至2对所述文本数据、所述图像数据以及所述结构化数据分别进行预处对所述文本特征向量、所述图像特征向量以及所述结构化特征向量将所述整体特征序列输入至多模态Transformer模型，得到所述多模态Trans将所述综合特征向量输入至Bi_LSTM_CRF模型，得到所述Bi_LSTM基于所述实体与所述关系标签构建知识图谱，其中，所述知识图对所述嵌入文本特征向量、所述嵌入图像特征向量以及所述嵌入结3通过多模态Transformer模型，对所述多模态特征融合注意力进行线性变换与层归一基于所述有效服务组织在所述知识图谱中构建新增节点，其基于所述有效服务记录在所述知识图谱中构建新增边，其中，所述新预处理模块，用于对所述文本数据、所述图像数据以及所述结构拼接模块，用于对所述文本特征向量、所述图像特征向量以及所述映射模块，用于将所述综合特征向量输入至Bi_LSTM_CRF模型，得到所述B8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述跨模态的知行时实现如权利要求1至6任一项所述跨模态的知识图4得到所述多模态Transformer模型输出的综合特征向量；将所述综合特征向量输入至Bi_5[0009]根据本发明提供的一种跨模态的知识图谱构建方法，所述对所述文本特征向量、Transformer模型输出的综合特征向量；映射模块，用于将所述综合特征向量输入至Bi_机程序被处理器执行时实现如上述任一种所述跨模态的知识图6业产业中的实体及其服务资源的复杂关系，进而解决了相关技术中的知识图谱构建方法，存在难以准确表示多模态数据之间复杂关系78户生成不同的知识图谱数据展示界面。该方法降低了知识图谱构建过程中的人工参与程谱的全面性和实用性。且该方法未详细说明如何处理数据的实时更新。乡村特色产业的信过BERT模型将处理后的文本转换为高维向量表示即文本特征向量。9[0052]步骤104，将整体特征序列输入至多模态Transformer模型，得到多模态[0053]在本发明实施例中，设计一种多模态Transformer模型进行特征编码，多模态[0059]双向长短期记忆网络是一种特殊的循环神经网络（RNN它能够同时捕捉序列中[0060]条件随机场是一种用于序列标注的判别式模型，它能够在给定输入序列的条件[0080]将农业社会化服务类型一级分类划分为农业投入品供应服务，种子繁育推广服文本数据：{"品种名称":"闽茶25","描述":"品种描述文本","时间":"2023_06_[0083]结构化数据：{"服务类型":农业生产服务_飞防,"服务组织":"生态茶业有限公06_10T10:05:00Z","地点":[34.0522,[0088]{"服务类型":"农业生产服务_飞防","服务组织":"生态茶业有限公司","服务对象":"生态家庭农场","时间":"2023_06_10T10:10:00Z","地点":[34.0522,_118.2437],"em表示嵌入结构化特征向量。[0107]通过多模态Transformer模型，对多模态特征融合注意力进行线性变换与层归一[0111]输入特征序列X与位置编码PE相加得到的新的特征序列，具体可以参考以下公式[0114]在本发明实施例中，设计一种多模态Transformer模型进行特征编码，多模态Transformer模型通过自注意力机制将不同模态的特征进行融合，具体可以参考以下公式[0127]每个头headi可以看做是不同模态特征融合后的注意力输出的计算，具体可以参[0130]在本发明实施例中，将多模态特征融合后的注意力输出进行线性变换和层归一[0138]数据预处理与特征提取包括通过BERT模型进行文本预处理得到文本特征，通过[0139]特征嵌入包括，将文本特征(1024维)、图像特征(1024维)以及结构化数据特征em]。[0141]根据本发明提供的一种跨模态的知识图谱构建方法，在将综合特征向量输入至[0152]根据本发明提供的一种跨模态的知识图谱构建方法，将综合特征向量输入至Bi_[0158]其中，xt是输入的综合特征向量在时间步t的表示，ht是该时间o:)+trans(yr-,y))(21)t为了将跨模态融合的特征向量与TransE的嵌入结合，假设综合特征向量为vt，在本发明实施例中，融合特征向量vf可以[0170]sim(r;,G)=maxgeccosine_similarity(r,g)（25）cosine_similarity(r,g)表示服务记录r与图谱节点g的余弦相似度。如果sim(r,G)超过设[0174]采用边的动态权重调整机制，根据服务记录的频率和重要性动态调整边的权关系，通过多模态融合模型生成综合特征向量，结合Bi_LSTM_CRF模型进行实体和关系识知识图谱构建装置与上文描述的跨模态的知识图述多模态Transformer模型输出的综映射模块405，用于将所述综合特征向量输入至Bi_LSTM_CRF模型，得到所述Bi_对本实施例中与方法实施例相同的部分及有益效果完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行跨模态的知识图量以及结构化特征向量；对文本特征向量、图像特征向量以及结构化特征向量进行嵌入拼接，得到整体特征序列；将整体特征序列输入至多模态Transformer模型，得到多模态标签。[0189]此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以序列输入至多模态Transformer模型，得到多模态Transformer模型输出的综合特征向量；将综合特征向量输入至Bi_LSTM_CRF模型，得到Bi_LSTM