大模型技术深度解析(微课版) 课件4.1大模型幻觉

大模型幻觉主要内容一、大模型幻觉的分类二、大模型幻觉的来源三、幻觉的检测方法四、幻觉的评估方法五、幻觉的解决策略一、大模型幻觉的分类从表现角度分类输入冲突幻觉上下文冲突幻觉事实冲突幻觉一、大模型幻觉的分类三种幻觉的概念输入冲突幻觉输入冲突幻觉主要考虑模型生成的内容是否忠实于用户输入或指令，强调生成内容与输入源之间的直接偏离问题。比如用户要求总结一段文字或回答一个具体问题，但模型生成的内容却与输入信息不符。上下文冲突幻觉上下文冲突幻觉聚焦于模型是否能够在多轮对话或长文本生成中保持前后信息的一致性，反映了模型在长时间记忆或上下文管理能力上的不足。事实冲突幻觉事实冲突幻觉关注模型在知识调用和生成时的可信度问题，例如生成了与已知历史、科学或事实知识相矛盾的内容。一、大模型幻觉的分类基于模型行为的分类事实性幻觉忠实性幻觉一、大模型幻觉的分类两种幻觉的解释事实性幻觉事实型幻觉指的是模型生成的内容与外部世界的真实事实不一致，主要表现在生成内容无法通过外部知识验证，或者与客观事实相矛盾。这种幻觉主要是训练数据中的信息可能是错误的或不完整的。或者是模型推理机制中存在缺陷，无法正确调用外部知识。忠实性幻觉忠实性幻觉指的是生成内容与输入数据之间存在不一致，表现为模型没有正确反映输入信息，导致生成结果对输入的歪曲或误解。摘要生成、翻译任务以及基于输入文本生成的任务中尤为常见。二、大模型幻觉的来源来自数据数据质量不一致或错误缺乏代表性的数据数据预处理与噪声数据多样性与不均衡来自训练模型架构的复杂性假设与偏见的引入过拟合与数据不均衡训练目标与优化策略数据规模与训练周期的挑战二、大模型幻觉的来源来自推理上下文跟踪错误与多轮推理问题多模态推理中的信息整合问题生成任务中的不确定性与多样性反馈循环与自我矛盾模型的有限推理深度三、大模型幻觉的检测方法基于语义熵的幻觉检测基于多模态一致性的幻觉检测基于置信度估计的事实检测其他检测方法黑盒重复推理检测数据增强与检测器微调探针模型与离线一致性检测基于逻辑一致性的检测方法三、大模型幻觉的检测方法基于语义熵的幻觉检测方法步骤获取不同的输出，增加样本多样性。使用双向蕴含关系，将句子分类为语义相似的组。根据生成概率计算语义熵，高熵值表示较高的不确定性。创新点关注语义层面的不确定性，避免误判表述不同的相同语义句子。无需任务特定数据，适用于多种任务和数据集。优势无监督学习，不需要标注数据。在

知识问答、生物医学问答、数学推理

等任务中表现出良好鲁棒性。提高准确性：通过拒绝高熵回答，提高模型生成内容的可靠性。三、大模型幻觉的检测方法基于多模态一致性的幻觉检测方法步骤1.多模态输入处理：框架接收用户的文本和图像输入，通过工具提取输入中潜在的属性和场景信息。2.逻辑一致性验证：使用自然语言推理工具（如NLI模块）和证据检索系统，通过生成问题和对答案的一致性验证，检测生成内容是否逻辑一致。3.幻觉检测与纠正：通过工具自动化分析生成的属性和场景描述，标记和修正可能存在的不一致性，特别关注幻觉内容。创新点1.多工具验证：使用NLI工具和证据检索系统验证生成内容的真实性，避免对训练数据和模型参数的依赖。2.无需额外训练：无需任务特定的数据集或额外训练，具有较强的通用性。三、大模型幻觉的检测方法基于置信度估计的事实检测五种量化置信度的方法1.训练探针：从模型隐状态提取信息，最准确。2.序列概率3.口头化置信度4.代理令牌概率5.输出一致性创新点提供了一种系统化的实验框架，通过多种方法量化置信度，全面评估生成内容的可靠性。三、大模型幻觉的检测方法黑盒重复推理检测主要步骤InterrogateLLM通过多次提问生成的答案进行比较，检测模型生成内容中的幻觉现象。其核心方法基于一致性假设：如果输出含有幻觉，模型在多次重构答案时会表现出不一致性。该方法生成答案后，反向推导问题并进行多轮提问，量化问答间的一致性差异。无需外部知识或标注数据，直接使用模型生成能力，适用于快速、自动化评估，尤其在评估无监督模型（如Llama-2）幻觉率时具有高准确性和效率。创新点提供了一种系统化的实验框架，通过多种方法量化置信度，全面评估生成内容的可靠性。三、大模型幻觉的检测方法数据增强与检测器微调主要步骤1.生成数据：利用语言模型生成两种类型的响应：忠实版本（真实信息）和幻觉版本（通过扰动忠实响应生成幻觉特征，如替换或删除信息）。2.微调T5模型：使用生成的忠实和幻觉数据对T5模型进行微调，以提高幻觉检测的准确性，并适应不同的语言模型版本。3.实验验证：通过实验验证，发现该检测器在准确性和速度上优于现有方法，且合成数据生成的幻觉特征接近真实数据。创新点消除了人工标注的依赖，能够快速适应不同语言模型版本，生成的幻觉数据多样化，增强了检测器的表现。三、大模型幻觉的检测方法探针模型与离线一致性检测主要步骤1.离线生成伪标签：通过离线一致性检查生成同一问题的多次回答，并使用对比分析生成伪标签。这些伪标签用于训练探针模型。2.训练探针模型：利用生成的伪标签，训练探针模型来预测模型生成内容的真实性。3.避免高计算开销：通过离线一致性检查，PINOSE避免了在线一致性检查中需要多次生成响应的高计算开销，从而提高了效率。4.分析模型内部状态：该方法通过分析模型的中间状态，能够更全面地检测生成内容的潜在问题，尤其适用于跨数据分布的任务。创新点1.离线生成伪标签：避免了人工注释的高成本。2.高效性：避免了多次响应生成的计算开销，提升了效率。3.全面性：通过分析模型中间状态，提供了对生成内容更全面的检测。三、大模型幻觉的检测方法基于逻辑一致性的检测方法主要步骤1.对象提取：从模型的初始回答中识别出所有相关的对象。2.“对象到属性”的询问：针对每个目标对象，提出问题来获取该对象的详细属性描述。3.“属性到对象”的询问：基于前一步提取的属性，提出反向问题，探索哪些对象符合这些属性。4.逻辑一致性检查：检查从“对象到属性”和“属性到对象”的回答是否能够形成逻辑闭环。如果缺少逻辑闭环，表示生成内容可能存在幻觉。5.幻觉判断和修正：根据逻辑闭环的比率，判断是否存在幻觉，并对幻觉内容进行修正或剔除。创新点1.逻辑闭环检测：通过双向询问（从对象到属性、从属性到对象）来验证生成内容的逻辑一致性，有效识别虚构的对象或属性。2.无需额外训练：不依赖外部模型或额外的训练，具有较高的通用性，能够无缝适配现有的LVLMs。高解释性：问题生成和检查过程使得用户能够清晰理解模型的生成逻辑，提高了方法的解释性。四、大模型幻觉的评估方法基于知识图谱的评估方法基于检索增强生成的评估方法面向对话摘要任务的忠实性评估多模态幻觉评估方法细粒度幻觉注释器中文无约束生成评估方法HaluEval2.0基准四、大模型幻觉的检测方法基于知识图谱的评估方法主要步骤GraphEval的核心创新在于利用大规模知识图谱（KGs）自动化地生成问答对，并利用轻量级的评估模型对模型的回答进行真实性分类。优点相比传统方法，GraphEval凭借知识图谱的结构化数据，涵盖更广泛的领域并提供高效的自动化评估能力，同时能够深入分析大语言模型在特定关系或实体类型上的表现。四、大模型幻觉的检测方法基于检索增强生成的评估方法（RAGTruth）主要步骤RAGTruth是专为检索增强生成（RAG）场景设计的细粒度评估框架，其核心是检测生成内容与检索内容间的事实性偏离。通过收集18,000条生成响应并对其进行细粒度人工标注（包括单词级别的幻觉强度和错误类型），RAGTruth能够系统性地分析不同大语言模型的表现。优点研究发现，微调模型能够显著降低幻觉率，同时保持生成质量。RAGTruth在检测模型生成和参考内容冲突时表现优异，但需要依赖高质量的参考文档和人工成本较高的标注过程，因此适合需要高精度和细粒度检测的场景。四、大模型幻觉的检测方法基于检索增强生成的评估方法（RAGTruth）方法流程图RAGTruth的方法流程图如下：四、大模型幻觉的检测方法面向对话摘要任务的忠实性评估主要步骤针对对话生成任务中大语言模型生成内容的忠实性，提出了对话摘要幻觉评估框架，研究特别关注生成内容中基于情境推断（CircumstantialInference）的幻觉问题，这种推断虽然看似合理，但往往缺乏直接证据。通过对两个数据集（SAMSum和DialogSum）中的生成内容进行人工标注，研究揭示了大语言模型（如GPT-4）比传统模型更倾向生成复杂但可能偏离事实的推断信息。该方法通过对情境推断的精确分类，为捕捉对话场景中隐性错误提供了重要工具，但由于需要专家注释，适用于小规模高精度任务。四、大模型幻觉的检测方法面向对话摘要任务的忠实性评估方法流程图对话摘要幻觉评估框架的方法流程图如下：四、大模型幻觉的检测方法多模态幻觉评估方法（VHTest）主要步骤VHTest是一种专为多模态语言模型（MLLMs）设计的评估工具。主要通过生成对抗样本构建多样化的视觉幻觉场景来测试模型的表现。该工具利用文本到图像生成技术（如DALL-E），创建复杂视觉场景，并基于这些场景提出问题以评估模型对图像内容的理解能力，例如物体数量、位置和颜色等。研究表明，微调模型可有效降低视觉幻觉率，且不会影响其他任务性能。VHTest适用于视觉问答等多模态任务，但由于场景设计和数据生成需要大量计算资源，构建成本较高。VHTest的基本步骤如下：四、大模型幻觉的检测方法细粒度幻觉注释器（ANAH）ANAH提供了一种中英双语的细粒度幻觉标注方法。该方法适用于知识型生成任务中生成内容的深度分析。其注释数据集覆盖了约12,000条句子级注释，包括参考片段的检索、幻觉类型判断（如矛盾、无法验证）以及错误内容的修正。研究发现，幻觉在生成内容中逐渐累积，并提出使用生成式注释（GenerativeAnnotator）训练模型以更高效地完成注释任务。ANAH的精细化注释为幻觉分析和检测提供了重要工具，但其构建过程需要大量人力资源，适用于深度分析和模型改进。四、大模型幻觉的检测方法细粒度幻觉注释器（ANAH）方法流程图ANAH的方法流程图如下：四、大模型幻觉的检测方法中文无约束生成评估方法（UHGEval）UHGEval针对中文语言模型设计。通过开放场景下生成内容，检测模型在真实使用环境中的幻觉表现。其核心是构建一个基于新闻文本的自由生成评估框架，包括超过5000条标注的生成内容和幻觉实例。UHGEval通过对比幻觉生成和非幻觉生成的隐状态差异，揭示了大语言模型在无约束环境下的幻觉生成规律。研究发现，该方法能够更好地模拟真实场景，但需要较高的计算资源，并且数据构建耗时较长。适用于中文生成任务以及开放场景下的真实评估。四、大模型幻觉的检测方法中文无约束生成评估方法（UHGEval）方法流程图UHGEval的方法流程图如下：四、大模型幻觉的检测方法HaluEval2.0基准HaluEval2.0是一个扩展的幻觉评估基准，覆盖五大领域（如生物医学、金融、科学等），包含8,770个问题及其模型响应。通过分解检测任务（提取事实性声明并评估可信度），该方法有效评估了模型在不同训练阶段（预训练、微调、RLHF）中的幻觉生成表现，并探讨了生成多样性与事实性间的平衡问题。创新点HaluEval2.0提供了一个全面、细致的幻觉评估框架，尤其在评估模型生成内容的多样性与事实性之间的平衡方面具有重要的研究价值。通过分解检测任务和评估不同训练阶段的模型表现，它为研究者提供了系统化的工具来识别和改进生成内容中的幻觉。五、大模型幻觉的解决方案自我校准与自评估使用上下文选择减少幻觉多模型协作与竞争基于知识图谱的推理增强事实增强的强化学习生成验证链对比解码策略跳过段落换行减缓幻觉不确定性量化与调整五、大模型幻觉的解决方案自我校准与自评估主要步骤

该技术通过大模型生成候选内容并进行自我评估，将生成内容分解为原子陈述并验证其事实性。每个陈述通过问题形式进行评估，生成可信度分数。然后，利用直接偏好优化（DPO）方法对模型进行微调，通过排序可信与不可信的回答来优化生成偏好。同时，引入自我知识调优（SK-TUNING）机制，通过多领域训练提升模型的校准能力。该方法在基准数据集上显著提高了事实准确性，尤其在多选问答、短文本和长文本生成任务中表现突出优点。五、大模型幻觉的解决方案自我校准与自评估方法亮点

这种方法的亮点在于通过自我评估和可信度评分，显著提升了生成内容的事实准确性。它通过将生成的内容分解为原子陈述并逐一验证，确保信息的真实性。同时，结合直接偏好优化（DPO）和自我知识调优（SK-TUNING）机制，进一步优化模型的生成偏好和校准能力。这种多步骤的验证和优化过程在基准数据集上表现出色，有效提高了模型在多选问答和文本生成任务中的准确性。该方法流程图如下：五、大模型幻觉的解决方案使用上下文选择减少幻觉主要步骤TACS(Truth-AwareContextSelection)是一种通过细粒度检测输入上下文信息真实性的高效方法。首先，它基于模型内部的参数化知识对上下文进行真实性检测，并将信息映射为模型各层的表示向量。然后，通过SVM分类器评估每个位置的真实性，并生成相应的真实性得分。TACS将来自不同层的预测结果进行集成，选择最佳层的预测结果加权平均，得到最终的得分。根据这些得分，TACS构建一个注意力掩码，只保留高真实性的部分，屏蔽低真实性的信息，从而减少虚假信息的传播。该方法还扩展到句子级别，通过评估整体句子的真实性，进一步增强了模型的抗干扰能力。此外，TACS引入了干扰适应率（DARate）评估指标，全面衡量模型接受真实信息与抵抗虚假信息的能力。实验表明，TACS在提高生成准确性和抗干扰能力方面表现显著，是一种高效且易于扩展的解决方案。五、大模型幻觉的解决方案使用上下文选择减少幻觉方法亮点TACS的亮点在于通过细粒度的真实性检测和基于注意力的掩码，有效减少虚假信息的传播。它结合多层表示和SVM分类器，提升了真实性评估的准确性。同时，引入干扰适应率（DARate）评估指标，增强了模型的抗干扰能力，显著提高了生成任务的准确性。这种方法流程图如下：五、大模型幻觉的解决方案多模型协作与竞争主要步骤

多模型协作方法的步骤包括两个主要模式：合作模式和竞争模式。在合作模式中，主模型首先生成初始答案，并通过与多个辅助模型的合作，利用这些辅助模型提供的领域知识和反馈来评估答案的可靠性。主模型整合反馈信息后，决定是否接受初始答案或选择放弃。在竞争模式中，主模型生成初始答案后，辅助模型提供可能的候选答案和支持知识。主模型根据这些候选答案与初始答案的冲突信息重新评估答案，如果多数冲突测试导致初始答案被改变，主模型则选择放弃回答，否则保留初始答案。这两种模式利用模型间的协作与冲突，优化生成内容，无需额外训练数据，提升了知识密集型任务中的一致性和真实性。。五、大模型幻觉的解决方案多模型协作与竞争方法亮点

多模型协作方法的亮点在于通过模型间的协作和冲突机制，有效提高了答案的可靠性和准确性。在合作模式中，模型之间的知识互补性被充分利用，提升了回答的准确性和一致性。而在竞争模式中，模型间的冲突验证机制进一步增强了答案的可信度，避免了虚假信息的传播。这两种模式无需额外的训练数据，依靠现有模型的交互即可实现高效的内容优化，尤其在知识密集型任务中，显著提升了生成内容的真实性。这种方法流程图如下：五、大模型幻觉的解决方案基于知识图谱的推理增强主要步骤MindMap框架结合知识图谱（KGs）通过提供显式的知识结构支持来提升模型的推理能力。首先，框架通过识别用户问题中的关键实体，并利用知识图谱检索相关的路径子图和邻域子图。这些证据子图为推理提供了显式的知识支持，克服了语言模型仅依赖隐式知识的限制。接下来，MindMap将这些子图聚合成一个推理图，整合多链式推理路径，为模型生成最终答案提供基础。最后，MindMap输出答案并生成一张思维导图，展示推理路径和证据来源，从而提升推理的透明性并减少幻觉现象的发生，尤其在高风险场景如医学问答中表现突出。五、大模型幻觉的解决方案事实增强的强化学习主要步骤

Fact-RLHF方法通过结合视觉输入和事实性知识，利用强化学习和人类偏好反馈，确保生成内容与现实世界的事实一致。首先，模型处理用户问题和视觉输入（如图像），提取视觉信息（如字幕、标签等），并形成视觉上下文。接着，从知识图谱或数据库中检索相关的事实信息，将其与视觉输入结合，构建多模态联合表示。随后，通过强化学习框架，引入人类偏好反馈来优化奖励信号，重点关注生成内容的视觉一致性、事实准确性和推理透明性。最后，模型通过多链推理生成答案，并提供解释性信息（如思维导图），确保推理过程既可信又可解释。通过这种方法，Fact-RLHF在多模态任务中显著减少了幻觉生成，并提高了准确性和透明性，特别适用于高风险场景。五、大模型幻觉的解决方案事实增强的强化学习方法流程图

Fact-RLHF方法流程图如下：五、大模型幻觉的解决方案生成验证链主要步骤

COVE（Chain-of-Verification）方法旨在减少大型语言模型生成幻觉。它通过四个步骤实现：首先生成初稿；然后规划并回答验证问题，检查初稿中的事实；接着独立验证信息，避免依赖原始回答；最后根据验证结果生成最终回答。COVE特别适用于长文本生成任务，能显著减少幻觉内容并提高准确性。其关键创新是通过“Factored”验证策略独立验证事实，并使用“Factor+Revise”方法交叉检查一致性，确保高质量输出。五、大模型幻觉的解决方案对比解码策略ICD（InstructionContrastiveDecoding）

ICD利用标准指令和干扰指令生成的分布之间的对比，检测和抑制幻觉内容。通