大模型技术深度解析(微课版) 课件8.2图提示学习

图提示学习主要内容一、图提示学习的概念、核心任务与动机二、图提示学习的相关技术三、图提示学习的分类四、图提示学习的方法五、图提示学习局限分析一、图提示学习的概念、核心任务与动机图提示学习的概念图提示学习（GraphPromptLearning）作为新兴的研究方向，借鉴了提示学习的核心理念，旨在通过设计适合图结构数据的提示形式，提升大模型在相关任务上的表现。当大模型与图神经网络相结合时，能够进一步提升处理图数据的效果：大模型通过其强大的生成能力和跨领域知识融合，可以为图神经网络提供更加丰富的先验知识和上下文信息，而图神经网络则能有效地捕捉和利用图结构的局部与全局特征，进而加强对图数据的建模能力。一、图提示学习的概念、核心任务与动机图提示学习的核心任务图信息的有效转化与输入构造：图提示学习首先要求将图结构中的信息（如实体、关系、推理路径等）转化为可以被LLM理解的提示输入。基于图的推理路径和语义关系的构建：通过多个实体和关系的串联来描述逻辑推理过程，通过图中的语义信息，帮助LLM理解不同实体之间的语义联系。优化LLM推理能力与知识获取：图结构可以帮助模型找到答案所需的关键实体和关系，通过图中的推理路径引导LLM做出准确的推理。跨模态推理与信息融合：图结构与其他类型的数据（如文本、图像等）结合形成多模态图数据。一、图提示学习的概念、核心任务与动机图提示学习的动机二、图提示学习的相关技术图卷积网络图卷积网络（GraphConvolutionalNetwork，GCN）是最基础的GNN模型之一。其灵感来自卷积神经网络（CNN），但为了适应图结构数据，GCN将卷积操作扩展到图数据上。GCN通过对每个节点的邻居节点进行特征聚合，来更新节点的表示。信息聚合：通过邻域节点的特征更新节点表示。线性变换：在每一层应用线性变换（如权重矩阵）进行特征更新。层次结构：GCN通过堆叠多层来逐步提升节点表示的表达能力。二、图提示学习的相关技术图注意力网络图注意力网络（GraphAttentionNetwork，GAT）通过引入注意力机制来加权邻居节点的特征，从而解决了GCN中邻居节点特征均等对待的问题。在GAT中，每个节点对其邻居节点的影响力根据“注意力”权重来加权计算，这些权重是通过训练得到的。这种方式使得模型能够自适应地决定不同邻居的重要性，进而更加灵活和精细地进行信息聚合。动态加权：通过注意力机制为每个邻居节点分配不同的权重。可解释性：注意力权重可以帮助理解哪些邻居节点对当前节点的表示更新更为重要。二、图提示学习的相关技术图自编码器图自编码器（GraphAutoencoder，GAE）是一种基于自编码器的图神经网络，其目标是通过图的结构信息来学习图节点的低维表示。GAE通过编码器将输入图的节点特征映射到低维空间，并通过解码器还原图的结构。编码-解码框架：通过编码器将节点特征映射到低维空间，再通过解码器还原图的结构。无监督学习：可以在没有标签的情况下学习节点表示。二、图提示学习的相关技术图生成对抗网络图生成对抗网络（GraphGAN）借鉴了生成对抗网络（GAN）的思想，用于生成图结构数据。通过构造一个生成器和一个判别器，生成器负责生成图结构，而判别器则判断生成的图是否与真实图数据相符。生成对抗训练：通过生成器和判别器的对抗训练生成图数据。图结构生成：不仅生成节点特征，还生成图的边结构。三、图提示学习的分类三、图提示学习的分类基于知识图谱的图提示方法主要目标：知识图谱通过连接实体和关系，形成丰富的语义网络，帮助LLM更好地理解复杂的推理任务。这些方法通过将图谱中的语义关系或推理路径转化为自然语言提示，推动模型进行更精准的推理和答案生成。三、图提示学习的分类基于图神经网络的图提示方法主要目标：通过捕捉图的局部和全局信息，增强图的表征能力，提高图数据在下游任务中的应用效果。该方法通过结合图结构信息和节点特征来提升LLM对图数据的理解。三、图提示学习的分类基于图与LLM协同的提示框架主要目标：通过将图数据与文本数据进行跨模态融合，提升了复杂推理任务的处理效果。这种框架强调图与LLM之间的协同作用，以实现更高效的推理和生成任务。四、图提示学习的方法基于知识图谱的图提示方法---基于语义的图谱提示核心思想：侧重于利用知识图谱中蕴含的实体、关系及其语义信息，通过将这些信息转化为可理解的提示输入到LLM中，增强模型在各种任务中的推理能力。KG-LLM方法：将结构化的知识图谱数据转换为自然语言，利用自然语言提示对LLM进行微调，从而有效提升了多跳链接预测任务的效果。Amar方法：自通过对齐模块和相关性门控模块，检索与实体、关系及子图相关的信息，并将这些信息转化为图提示嵌入，从而增强LLM的推理能力。

KAPING方法：基于问题与其相关事实之间的语义相似度，从知识图谱中检索与输入问题相关的事实，再将检索到的事实以提示的形式预先附加到输入问题上，最后将其传递给LLMs来生成答案。四、图提示学习的方法基于知识图谱的图提示方法---基于推理路径的图谱提示核心思想：通过知识图谱中的推理路径来指导LLM的推理过程。Paths-over-Graph方法：通过动态的三阶段多跳路径探索与三步剪枝技术，确保所有推理路径都包含从KGs中提取的高度相关信息。GIVE方法：通过提示LLM将查询拆解为关键概念和属性，构建相关实体的实体组，并通过探测这些实体组中节点对之间的潜在关系，构建增强的推理链。

GRL-Prompt方法：通过构建知识图谱来更好地编码用户查询与候选上下文示例之间的相关性，并定义了一个策略网络，通过选择奖励较高的上下文示例来构建提示。四、图提示学习的方法基于图神经网络的图提示方法---图神经网络的表征增强核心思想：提高图神经网络在处理图数据时的表征能力。WGDN方法：将Wiener滤波器引入图解码器中，充分利用其在信号恢复中的最优性，有效地解决了传统图解码器在图谱恢复中的局限性，从而增强了图数据的表征能力。SC-FGCL方法：通过联邦学习的方式，通过自适应聚类方法探索每轮训练中的最佳节点嵌入更新方案，有效避免噪声节点的干扰，并增强了图嵌入的丰富性。

GROVER方法：通过随机掩蔽目标节点/边的局部子图与嵌入预测基元的出现概率，在无监督的情况下有效学习大规模未标注分子数据的图表示，并提升泛化能力。四、图提示学习的方法基于图神经网络的图提示方法---LLM的提示微调核心思想：通过软提示、硬提示或跨模态对齐技术，增强LLM在图表示学习中的表现。CGP-Tuning方法：通过引入类型感知的嵌入策略，能够有效地捕捉源代码图中的语义信息，并通过跨模态对齐模块，将图数据和文本数据的表示进行精准对齐。GNNavi方法：通过在提示词中引导信息流的聚合与分布，利用图神经网络层将期望的信息流结构“硬接入”到图神经网络中，确保在处理提示时信息流能够高效地传播。四、图提示学习的方法基于图与LLM协同的提示框架---基于复杂推理的图提示核心思想：通过结构化图表示和推理路径的构建，有效地将图结构与LLM的推理能力相结合，从而提升了推理精度和效率。GraphOTTER方法：针对复杂表格问答任务，将表格中的数据结构化为图形式，将每个数据单元表示为图节点，而节点之间的关系通过边来表达，使得表格数据能够以更清晰的方式传递给LLM。Graph-DPEP方法：面向基于LLM的文档级关系抽取任务，过将关系抽取任务分解为图结构中的节点和边关系，并通过类型空间分解减少关系类型的复杂性。在Graph-DPEP中，图提示的生成和推理路径的设计减轻了LLM在区分多个关系类型时的难度。四、图提示学习的方法基于图与LLM协同的提示框架---基于多模态协同的提示核心思想：通过融合图结构与语言信息，能够更好地处理涉及视觉、文本和图形数据的任务。GOT4Rec方法：面向推荐任务，识别并利用用户历史序列中的三类关键信息：短期兴趣、长期兴趣和来自其他用户的协同信息，让LLMs独立地基于这三种不同类型的信息进行推理并生成推荐结果，最终在思维图框架内聚合这些结果，得出最终的推荐项。MAIL方法：使用LLM将图像嵌入成一个包含详细视觉特征的场景图，从而结构化地表达图像中的实体及其关系。并构建了一个耦合的概念图，图中的实体与外部的知识图谱信息进行了链接，以增强推理的语境支持。五、图提示学习局限分析图结构的噪声问题：图数据往往包含一些不完整或噪声信息，某些冗余或不相关的节点和边可能会影响模型的推理效果。图提示与LLM之间的协同问题：图提示学习方法依赖于图结构与LLM之间的有效协作，但二者的任务和潜在空间表征存在差异。可通过解耦图与LLM的交互，独立处理各自任务来