CN119441281A 一种多模态知识图谱的智能可视化与文本关联方法 （辽宁蒲公英教育咨询有限公司）

一种多模态知识图谱的智能可视化与文本本发明公开了一种多模态知识图谱的智能可视化与文本关联方法，涉及信息处理技术领2S1.获取目标企业内部数据库中多模态数据并进行数据预处理和特征提取，生成多模S2.通过跨模态嵌入算法将多模态特征向量映射到统一的向量空间，将多模态数据之S3.将多模态知识图谱与输入的文本进行双向关联与多模态联合查询，获取对应的多S4.根据新增的多模态数据，通过图推理算法分析关联关系，动态更新多模态知识图所述通过跨模态嵌入算法将多模态特征向量映射到统一的向量空间的映射逻通过跨模态嵌入算法将语义特征向量、视觉特征向量和视频动态特通过对比损失函数对不同模态的嵌入向量进行特征对齐，并将经过对通过对齐并融合语义嵌入向量、视觉嵌入向量和视频动态嵌入向量通过图卷积网络对节点嵌入进行特征传播，构建节点间的关联边，2.根据权利要求1所述的一种多模态知识图谱的智能可视化与文本关联方法，其特征3.根据权利要求2所述的一种多模态知识图谱的智能可视化与文本关联方法，其特征通过3D卷积神经网络捕捉视频中的时序动态变化，提取测试视频的视频动态特征向4.根据权利要求3所述的一种多模态知识图谱的智能可视化与文本关联方法，其特征基于多模态知识图谱的节点表示，通过语义匹配算法计算文本嵌基于多模态语义匹配指数进行双向语义关联，筛选与输入文本高通过多模态联合查询机制，获取与文本关联的多模态数据集，并35.根据权利要求4所述的一种多模态知识图谱的智能可视化与文本关联方法，其特征通过语义匹配算法分别计算文本嵌入向量与语义嵌入向量、视觉嵌6.根据权利要求5所述的一种多模态知识图谱的智能可视化与文本关联方法，其特征通过图推理算法对新增的多模态数据进行节点扩展，识别与新增数据45取对应的多模态数据的具体过程如下：通过文本嵌入模型对输入的文本进行语义向量化，算文本嵌入向量与语义嵌入向量、视觉嵌入向量和视频动态嵌入向量之间的语义相似度；提升了后续处理的效率与准确性。避免了直接使用原始数据可能导致的格式不兼容问题，6成对应的多模态特征向量。这些特征向量将用来表示各模态数据在后续步骤中的处理基7[0027]本实施方案中，技术文档转换为语义特征向量：通过预设的自然语言处理模型复杂的语言信息转化为数值形式的特征向量，使得计算机能够处理和理解。这些语义特征向量反映了技术文档的核心主题和语义结构，便于与其他模态的数据进行对齐。提取产品8通过对比损失函数对不同模态的嵌入向量进行特征对齐，并将经过对齐的语义嵌入向量、函数旨在最大化相似模态嵌入向量之间的距离，同时最小化不同模态嵌入向量之间的距量进行特征对齐的公式如下参数9similarity:用于计算嵌入向量之间的相似度，通常为余弦相似度或欧氏距离。动态嵌入向量Eayn在融合过程中的权重系数。反映了视频动态特征在多模态知识图谱构的形式。计算多模态语义匹配指数:利用语义匹配算法计算生成的文本嵌入向量与多模态Msem=wsem*stext-sem十wvis*stext-vis十wvid*stext-via；其中，stext-sem:文。通过图推理算法对新增的多模态数据进行节点扩展，识别与新增数据相关联的现有节点；[0037]本实施方案中,节点扩展：在涉及识别新增数据与现有节点之间的关系。相关联的现有节点识别：通过相似度计算或基视频动态特征来计算。识别出与新增节点相关联的现有节点后，为后续的特征更新和推理提供基础图卷积网络（GCN采用图卷积网络对多模态知识图谱中的节点和边进行特征聚合相邻节点的特征来更新每个节点的表示。这一特征聚合能够考虑到节点之间的关系，并的表示将被更新，以反映新增的多模态数据及其与现有节点的关系。更新后的节点表示将包含更丰富的结构和语义信息，从而提高知识图谱的准确性和完整性。应用推理规则和关推理规则可能包括逻辑推理、统计推理等，能够从现有的节点和边中推导出新的关系。例该技术文档与测试视频之间可能存在隐含关系。增强知识图谱的结构和语义信息：通过推骤得到的更新节点表示和隐含关系，动态更新多模态知识图谱。这意味