CN119474322A 自适应性图数据库多模态电力知识问答方法及系统 （国网智能科技股份有限公司）

自适应性图数据库多模态电力知识问答方本发明涉及电力行业的智能化数据处理与识结果和数据结果，通过大语言模型的生成函2对于语义嵌套树中的数据查询子任务，对自然语言查询进行智能纠错对于语义嵌套树中的知识查询子任务，将数据结果与图知识库中的节点进行匹配后，对于电力行业自然语言查询及其相关的图像，分别通过大语言模型3行时实现如权利要求1_6中任一项所述的自适应性图数据库多模态电力知识问答方法中的利要求1_6中任一项所述的自适应性图数据库多模态电力知识问4[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技(1)当前技术在多模态数据融合方面表现出明显的局限性。传统的智能问答系统户输入的自然语言查询的解析能力较弱，尤其是在处理电力行业专业术语和复杂表达时，56程序被处理器执行时实现如上述所述的自适应性图数据库多模态电力知识问答方法中的7序时实现如上述所述的自适应性图数据库多模态电力知本发明创新性提出结合电力行业特有知识库的语义解析技术和大语言模型（如音频节点和分割区域节点等在内的图知识库，支持电力行业多模态数据与文本的联合检本实施例提供了自适应性图数据库多模态电力知89和视频等模态的特征向量，例如实例i的文本特征xtexti、图像特征ximagei、音频特征xaudioi和视频特征xvideoi。正样本对即为同一实例的多模态特征对，如(xtexti,ximagei)和(xaudioi,xvideoi)；而负样本对则由不同实例的模态特征组成，例如s(xa,xc)则用于最小化负样本对的相似度。一实例的不同模态特征在时间和空间上保持一致。假设实例的模态特征包含时间信息t和这一公式确保了同一实例的多模态特征在时空上的一致性，使得多模态特征对齐更为合[0057]在本实施例的知识图谱的构建过程中，对于图像数据或视个相同节点之间已经存在一条边(vi,vj)，则新添加的边权重w'e与现有边权重we进行合并：ue=max(ue,w)。征提取技术生成其语义特征表示。设新增的多模态数据集合为Dnew={d1,d2,,[0070]将新增数据的特征表示xdi与知识库中对应节点的特征向量xvj进行语义相似度或音频变化等类型。设变化点的分类函数为c(di)，则每个变化点被标记为特定的更新类[0075]进一步地，针对每个变化点di，生成对应的增量更新信息，设增量更新信息为U反映节点之间的实际关联强度。设边的初始权重为winit，根据节点的相似度对其进行调[0088]多通道处理模块包含两个核心子系统：数据问答系统专注于处理设备运行数据、[0089]协同处理模块通过任务动态分解与协同处理主要聚焦于复杂查询的分解与多通[0106]多模态图的构建公式：E={(os,z),(ve,z)其中[0112]超节点特征更新公式从场景图聚合的信息；[0117]具体地，智能纠错与查询优化主要依赖于超图神经网络（HypergraphNeural[0119]查询增强与多轮交互优化中，重点在于通过检测用户输景下获得更丰富的分析视角。的回答。假设最终的响应包含文本回答Tresp和图像示例Iresp，则生成的多模态响应为：。。[0138]知识问答系统利用以下公式将数据查询结果与步骤1得到的图知识库中的知识节[0142]其中，LMknowledge是专用于知识生成的大语言模型，其输入包括最相关节点的上下文适应能力和自然语言到数据语言的转换精度。并将自然语言转化为精确的SQL或多模态语义解析技术和电力行业专有知识图谱，对查询的上下文和潜在意图进行深度理[0154]此处需要说明的是，本实施例中的各个模块与实施例一理器执行时实现如上述实施例一所述的自适应性图数据库多模态电力知识问答方法中的所述处理器执行所述程序时实现如上述实施例一所述的自适应性图数据库多模态电力知任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0159]这些计算机程序指令也可