模型基础及其安全 9

大模型的幻觉第七章

大模型幻觉的定义与分类7.1大模型幻觉的产生根源7.2大模型幻觉的检测7.3大模型幻觉的抑制策略7.4

大模型幻觉的定义与分类7.17.1大模型幻觉的定义与分类幻觉原指个体对在现实中不存在的实体或者事件的感知。简单来说，就是人

“看到”“听到”“感觉到”了实际上并不存在于周围环境中的事物。定义在大模型训练或推理的过程中，由于模型参数规模庞大、训练数据不完备、推理能力以及解码策略等因素的限制，导致大模型在生成输出时产生了与真实世界知识或上下文不一致甚至完全虚构内容的现象。事实性幻觉主要涉及大模型对客观事实的错误表述或虚构，例如，提供不准确的历史事件描述、科学原理解释等。指大模型的输出与用户所提供的指令以及上下文信息之间的一致性方面出现问题，同时生成内容的逻辑连贯性上也存在矛盾冲突。事实性幻觉忠实性幻觉7.1大模型幻觉的定义与分类事实性幻觉主要涉及大模型对客观事实的错误表述或虚构，例如，提供不准确的历史事件描述、科学原理解释等。事实性幻觉7.1大模型幻觉的定义与分类Identity事实性矛盾事实性捏造实体错误幻觉关系错误幻觉无法验证幻觉夸大其词幻觉7.1大模型幻觉的定义与分类Identity实体错误幻觉关系错误幻觉无法验证幻觉夸大其词幻觉指在大模型生成的内容中，包含了与实际不相符的内容。也就是说，模型在生成内容时，所提及的人物、地点、事物等具体实体对象出现了差错，与真实世界中的正确信息存在偏差。7.1大模型幻觉的定义与分类Identity实体错误幻觉关系错误幻觉无法验证幻觉夸大其词幻觉指大模型生成的内容中，所涉及到的实体之间的相互关系存在错误。即对于不同实体之间理应存在的逻辑联系、关联方式等，模型给出了不符合事实的描述，导致生成的内容在表达事实关系层面出现了误导性的信息。7.1大模型幻觉的定义与分类Identity实体错误幻觉关系错误幻觉无法验证幻觉夸大其词幻觉大模型生成的内容要么在现实世界中根本不存在，要么即便存在，也由于各种原因无法凭借现有的可获取资源来对其真实性进行查证判断。7.1大模型幻觉的定义与分类Identity实体错误幻觉关系错误幻觉无法验证幻觉夸大其词幻觉大模型生成的内容包含了一些因受到主观偏见影响而缺乏普遍认可的内容。具体而言，模型可能会在输出中过度强调或歪曲某些方面，使得所表达的观点或陈述超出了客观事实的范围，仅反映了模型在训练过程中可能受到的某种特定倾向或局限性，而不具备在广泛范围内被认可为真实和有效的特性。指大模型的输出与用户所提供的指令以及上下文信息之间的一致性方面出现问题，同时生成内容的逻辑连贯性上也存在矛盾冲突。忠实性幻觉7.1大模型幻觉的定义与分类上下文不一致性逻辑不一致性指令不一致性7.1大模型幻觉的定义与分类上下文不一致性逻辑不一致性指令不一致性模型没有准确理解并遵循用户明确表达的指令内容，生成的内容与用户期望得到的信息方向或内容存在偏差，未能在用户设定的指令框架内提供合理且符合预期的答案。7.1大模型幻觉的定义与分类上下文不一致性逻辑不一致性指令不一致性大模型的输出内容与用户提供的上下文信息无法相互匹配和契合。大模型在生成内容时，未能充分考虑到用户提供的背景信息、前文提及的相关内容等上下文，从而导致输出结果与既定的上下文情境不相符，破坏了信息的连贯性和逻辑性，使得交互过程中信息的传递出现断层或矛盾。7.1大模型幻觉的定义与分类上下文不一致性逻辑不一致性指令不一致性大模型的输出内容在其自身内部的逻辑结构上存在矛盾和混乱。特别是在推理任务中较为常见，模型在进行逻辑推导和结论生成的过程中，出现前后逻辑不连贯、自相矛盾的情况。

大模型幻觉的产生根源7.2数据因素从数据因素来看，错误与偏见、知识边界的模糊以及数据对齐与质量问题，都可能成为诱导幻觉产生的源头。在训练阶段，无论是预训练、监督微调还是对齐过程，都有可能因算法设计或实施不当而引发幻觉；在推理过程中解码策略的不完善、模型的过度自信与决策偏差、归一化函数的瓶颈以及推理失败等因素，也可能导致大模型输出与预期不符的幻觉现象。训练过程推理过程7.2大模型幻觉的产生根源数据因素模仿性虚假信息和社会偏见知识边界低质量训练数据假新闻无端谣言偏见长尾知识限制时效性知识局限版权限制7.2大模型幻觉的产生根源需要精心标注预训练阶段

因果语言建模长距离和短距离依赖、曝光偏差微调阶段对齐过程过度拟合无法拒绝回答过度自信谄媚行为7.2大模型幻觉的产生根源训练过程解码策略的不完善Softmax函数的瓶颈推理的失败推理过程7.2大模型幻觉的产生根源过度自信

大模型幻觉的检测7.3事实性幻觉检测旨在评估大模型的输出是否与现实世界的事实相符。典型的方法通常可分为两类：证据检索和不确定性评估。证据检索是通过检索与幻觉相关的支持证据来完成事实检测；而不确定性评估则侧重于通过内部不确定性信号来检测事实上的不一致性。事实性幻觉的检测Identity证据检索不确定性评估FActScoreFacTool链式验证（CoVE）事实性自我对齐框架7.3大模型幻觉的检测外部证据检索模型自我评估基于大模型内部状态基于大模型行为ASTSN、KOK、SLAG…7.3大模型幻觉的检测FActScore：一种新的语言模型评估方法，旨在衡量由给定知识源支持的原子事实（即信息片段）占整体内容的百分比。计算FActScore分为两个步骤：FActScoreFacTool链式验证（CoVE）事实性自我对齐框架基于大模型行为ASTSN、KOK、SLAG…将生成内容分解为一系列原子事实，每个原子事实包含一条简短的信息陈述为每个原子事实分配一个二元标签，从而实现对事实精确度的细粒度评估。7.3大模型幻觉的检测FActScoreFacTool链式验证（CoVE）事实性自我对齐框架基于大模型行为ASTSN、KOK、SLAG…FacTool例如在数学问题中，数学解决方案中的每个主张被定义为在已知实数之间执行的算术运算过程例如，对于数学问题提示大模型将所有数学运算转换为可执行的Python代码片段。收集由数学运算导出的代码片段的执行结果在数学问题中编译每个代码片段的执行结果。如果任何代码片段返回“False”，则将相关的生成文本x分类为假。1.主张提取2.查询生成3.工具查询与证据收集4.一致性验证一种工具增强的框架，旨在检测事实错误，并能够跨多种任务采用统一的方法。7.3大模型幻觉的检测FActScoreFacTool链式验证（CoVE）事实性自我对齐框架基于大模型行为ASTSN、KOK、SLAG…步骤一步骤二步骤三生成初始响应以收集偏好数据利用大模型的固有知识来评估给定提示x下生成的候选响应创建偏好数据并通过直接偏好优化（DPO）对齐大模型。其核心是通过对比“优选响应”和“非优选响应”的生成概率差异，引导模型参数调整，从而提升模型输出的质量。.7.3大模型幻觉的检测FActScoreFacTool链式验证（CoVE）事实性自我对齐框架基于大模型行为ASTSN、KOK、SLAG…词元概率的平均值词元概率的归一化乘积词元概率的最小值基于大模型内部状态。ASTSN：此方法通过计算模型的logit输出值来评估模型对识别概念的不确定性。该方法从模型输出的数值角度来衡量对概念的不确定性，通过logit输出值这个指标来实现评估。具体而言，考虑一个由n个词元组成的概念，这些词元在n个词元位置上的最大softmax概率分别为p1，p2，p3，...，pn。可以通过以下三种方式计算概念的概率分数：

7.3大模型幻觉的检测然而，这种方法受限于直接查询策略，可能无法全面揭示模型的不确定性。为克服这一局限，除了上述方法外，还可以采用间接查询策略，通过提出开放式问题诱导模型提供更多信息，从而更全面地评估多个模型输出或不同模型之间的一致性。这种方法能够更深入地揭示模型的内在不确定性，为幻觉检测提供更可靠的依据。FActScoreFacTool链式验证（CoVE）事实性自我对齐框架基于大模型行为ASTSN、KOK、SLAG…仅能通过应用程序接口交互可以通过自然语言提示和分析模型行为反应间接探测大模型的不确定性，将相同提示提交给模型并收集多个响应，通过评估这些事实陈述的一致性来检测幻觉。大模型的输出不仅要符合事实，更要不能答非所问，因此确保大模型在遵循给定的上下文或用户指令时保持忠实，对于提升其实际效用至关重要。忠实性幻觉的检测基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测1.n-gram匹配、BLEU、ROUGE、METEOR2.实体的指标：precision-source分数3.关系的指标：事实性精确率（factualaccuracy）基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测给定一个问题Q和一个答案A，可以通过推理分类器C来计算答案A是否包含幻觉内容H的概率，即p(H)=FC(Q,A)。基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测基于问答的检测方法通过模拟问答过程来评估生成文本与源文本之间的信息一致性。步骤一步骤二步骤三从大模型的输出中提取关键信息以形成目标答案利用这些信息构建问题并从源文本中生成相应的答案通过比较源答案与目标答案的相似度来评估大模型响应的忠实度基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测通常以熵和对数概率等统计特征为核心指标，来量化模型输出的不确定性。一种不确定性感知的集束搜索算法通过在模型解码过程中对预测不确定性进行惩罚，从而减少生成幻觉的可能性。下面从幻觉概率、幻觉概率与预测不确定性的关系以及不确定性分解三个步骤简要描述此方法。1.幻觉概率在给定新输入x时生成句子y，任务是学习条件分布p(y|x)，大多数神经网络方法将概率分解为一系列单个词汇的预测：当前步骤的幻觉概率：基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测2.幻觉概率与预测不确定性的关系

基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测3.不确定性分解将总不确定性分解为认知不确定性和偶然不确定性。（a）为具有高偶然不确定性但低认知不确定性的示例。（b）为具有高认知不确定性但低偶然不确定性的示例。认知不确定性偶然不确定性基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测基于大模型的幻觉检测技术是一种新兴的方法，其核心在于利用大模型在指令遵循方面的能力来评估生成内容的忠实性。该方法通过提供具体的评估指南，并将模型生成的内容与源内容作为输入，使大模型能够对生成内容的忠实性进行自动化评估。基于分类器的检测基于问答的检测策略基于事实基础的检测7.3大模型幻觉的检测基于不确定性的检测基于大模型的检测例如，对ChatGPT的摘要生成能力进行评估时，可以采用以下四种评估方法：给定一个源文档和一个生成的摘要，标注者会从多个维度对摘要进行评分。每个摘要单独评估，不与其他摘要进行直接比较。评估维度通常包括事实一致性、信息丰富度、流畅性等，评分等级通常为1（最差）到5（最好）李克特量表评分成对比较二值事实性评估Pyramid方法给定一个源文档和两个生成的摘要，标注者选择质量更高的一个，这种方法常用于基于人类反馈的强化学习摘要任务中。一种基于参考摘要设计的摘要评估方法。在人类标注之前，从参考摘要中提取若干语义内容单元（SemanticContentUnits,SCU）。对于每个SCU，标注者判断其是否出现在生成的摘要中。对于单文档摘要，其最终分数为生成摘要中包含的SCU的比例。一种评估摘要事实正确性的方法。给定一个源文档和生成摘要中的句子，标注者判断该句子是否忠实于源文档。如果句子与源文档一致，则标记为“正确”；否则标记为“错误”。

大模型幻觉的抑制策略7.4数据层面的幻觉抑制在数据层面，通过数据过滤与清洗、模型编辑与修正以及检索增强生成（RAG）优化数据质量与知识获取来阐述；在训练层面，采用预训练优化、任务特定微调和对齐技术（如RLHF）调整训练过程来降低幻觉风险；在推理层面，通过解码策略优化、外部知识整合和不确定性利用改进生成过程来确保内容准确性。训练阶段的幻觉抑制推理阶段的幻觉抑制7.4大模型幻觉的抑制策略数据过滤与去重模型编辑与纠正检索增强生成的应用7.4大模型幻觉的抑制策略数据层面的幻觉抑制数据过滤与去重7.4大模型幻觉的抑制策略随着预训练数据集的规模持续扩大，手动筛选数据逐渐成为一项艰巨的任务。鉴于学术或专业领域的数据通常具有较高的事实准确性，收集此类高质量数据成为当前的主要策略。典型的例子包括ThePile和“教科书式”数据源。ThePile由22个子数据集构成过滤7.4大模型幻觉的抑制策略ThePile数据集组成部分数据过滤与去重7.4大模型幻觉的抑制策略去重的目的是消除数据集中冗余的信息，避免重复数据对后续分析、建模等工作产生干扰，从而提升数据的可用性与处理效率。现有的去重方法通常分为两类：完全重复和近似重复。去重完全重复：用后缀数组近似重复：利用哈希函数来识别具有n-gram重叠的文档对，即近似全文匹配。7.4大模型幻觉的抑制策略模型编辑与纠正定位-编辑式定位-编辑式方法包含两个阶段：定位模型参数中的“错误”部分，对其进行更新以改变模型的行为。知识归因方法可以识别表达关系事实的神经元，这些神经元被称为知识神经元，如图所示。该方法将Transformer中的前馈网络（即两层感知器）模块视为键值存储器，并通过基于综合梯度的知识归因方法评估每个神经元对知识预测的贡献。7.4大模型幻觉的抑制策略模型编辑与纠正定位-编辑式

7.4大模型幻觉的抑制策略模型编辑与纠正定位-编辑式

7.4大模型幻觉的抑制策略模型编辑与纠正元学习式元学习方法通过训练一个外部超网络来预测原始模型的权重更新，从而实现对模型的编辑。如图所示,

MEND算法通过训练一系列多层感知器来修改模型梯度，从而产生局部模型编辑，这些编辑不会对不相关输入上的模型性能造成损害，从而实现可编辑性。与所编辑的模型相比，MEND使用的参数数量极少。7.4大模型幻觉的抑制策略检索增强生成的应用检索增强生成（Retrieval-AugmentedGeneration，简称RAG）通常遵循“检索后阅读”的操作流程。在此流程中，检索器首先从外部知识源中搜集相关信息，随后生成器结合用户查询与检索所得的文档，生成最终的响应文本。RAG通过将外部知识资源与大模型分离，巧妙地缓解了因知识鸿沟而引发的幻觉现象，同时确保了大模型的处理能力不受影响。依据检索时机的不同，RAG的实施策略可划分为三种类型：一次性检索、迭代检索以及事后检索。7.4大模型幻觉的抑制策略检索增强生成的应用一次检索MindMap框架具备理解知识图谱输入的能力，能够结合隐式知识与外部知识进行推理，并激发大模型生成基于知识本体的思维导图，从而揭示其推理路径。该框架由三个主要组件构成：证据图挖掘证据图聚合基于思维导图大模型推理1.思维链提示7.4大模型幻觉的抑制策略检索增强生成的应用迭代检索在面对多步推理和长文本问答等复杂任务时，传统的一次性检索方法往往难以满足需求。为解决此类高要求的信息检索问题，迭代检索方法应运而生，它允许在生成过程中持续收集知识，从而动态优化检索结果。例如：基于检索的再思考（Retrieval-basedRethinking），这是一种基于思维链（Chain-of-Thought）的后处理技术。以下是一个具体的示例来说明此过程：例如，针对问题“亚里士多德使用过笔记本电脑吗？”，思维链提示会生成完整的推理路径：“亚里士多德于公元前322年去世。第一台笔记本电脑于1980年发明。因此，亚里士多德没有使用过笔记本电脑。所以答案是‘否’。”7.4大模型幻觉的抑制策略检索增强生成的应用迭代检索对于问题“亚里士多德使用过笔记本电脑吗？”，可能会生成以下多样化的推理路径：R1：亚里士多德于2000年去世。第一台笔记本电脑于1980年发明。因此，亚里士多德使用过笔记本电脑。所以答案是“是”。R2：亚里士多德于公元前322年去世。第一台笔记本电脑于2000年发明。因此，亚里士多德没有使用过笔记本电脑。所以答案是“否”。R3：亚里士多德于公元前322年去世。第一台笔记本电脑于1980年发明。因此，亚里士多德没有使用过笔记本电脑。所以答案是“否”。K1：亚里士多德（公元前384年—公元前322年）是古希腊古典时期的哲学家和博学多才者。……K2：第一台笔记本电脑——爱普生HX-20，于1980年发明。……2.推理路径3.知识检索7.4大模型幻觉的抑制策略检索增强生成的应用迭代检索4.忠实推理7.4大模型幻觉的抑制策略检索增强生成的应用迭代检索迭代检索还有一种自问自答方法自问自答的方法通常需要一次或少数几次的提示来展示如何回答问题。提示从示例开始，随后附上推理时的问题。在提示的末尾，插入短语“这里是否需要后续问题：”。模型随后输出响应，大多数情况下，它会首先输出“是。”，表示需要后续问题。接着，大模型会输出第一个后续问题并自行回答，产生中间答案，接着继续提问和回答的过程，直到它认为自己掌握了足够的信息。此时，模型会在提供最终答案之前输出“所以最终答案是：”，这使得最终答案易于解析，因为它出现在最后一行输出中的“：”之后。7.4大模型幻觉的抑制策略检索增强生成的应用事后检索在事后检索领域，可以通过后续检索的修正手段来优化大模型的输出结果。“验证与编辑”（VE）框架可用于对推理链进行后编辑，以生成更符合事实的预测。该框架包含五个步骤：将一致性低于平均水平的预测传递至下个阶段，而保持高度一致的预测不变；生成验证问题；检索外部知识；根据已知答案编辑推理依据；生成新的预测。预训练阶段的优化措施微调期间的优化措施训练阶段的幻觉抑制7.4大模型幻觉的抑制策略在预训练阶段，模型初步构建并开始学习海量知识，因此，模型架构的选择与训练方法的优化至关重要。一方面，不同架构对知识的处理与存储方式存在显著差异，若选择不当，模型在后续运行过程中可能产生与事实不符的输出，从而引发幻觉问题；另一方面，训练方法的优劣直接决定了模型学习的效率与质量，不恰当的训练方法可能导致模型学习路径偏离预期。预训练阶段的优化措施微调期间的优化措施训练阶段的幻觉抑制7.4大模型幻觉的抑制策略随着预训练的完成模型进入微调阶段。此时，模型已具备一定的知识基础，但面对不同应用领域的特定需求，仍然需要进一步调整与优化。不同领域的任务特点、语言风格以及知识重点存在显著差异，模型必须根据这些差异精准调整自身参数。通过精细化的微调可以确保模型在新的任务场景下能够输出符合实际的文本，从而有效规避幻觉风险。该阶段的重点在于针对具体任务的特点，对模型进行定向优化，以提升其在实际应用中的表现与可靠性。预训练阶段的优化措施处理长文档要求语言模型具备高效处理长序列的能力。现有的语言模型通常基于Transformer架构实现，但其内存占用和计算复杂度随序列长度的增加呈二次方增长。因此，Transformer语言模型通常采用相对较小的上下文窗口（通常在512到2048个标记之间）进行训练。期间的优化措施7.4大模型幻觉的抑制策略当相关信息出现在输入上下文的开头或结尾时，语言模型的性能达到最高；而当模型需要访问和使用输入上下文中间的信息时，性能显著下降。该现象进一步表明，当前的语言模型在处理长上下文时，对信息位置的敏感性较高，尚未完全实现对长上下文的稳健利用。预训练阶段的优化措施预训练阶段的优化措施7.4大模型幻觉的抑制策略预训练阶段的优化措施

当前的语言模型在预训练时通常通过将较短的文档集合随机连接起来，以创建更长的上下文窗口。然而，这种方法存在一个明显缺陷：由于前序文档无法为后续文档的预测提供有效信息，因此在处理不需要考虑文档间关联的任务时，会产生不必要的计算开销。为解决此问题，上下文内预训练（In-ContextPretraining）可以通过重新排序预训练文档，将多个语义相关的文档结合起来，从而构建一个连贯的输入上下文。这种方法使得语言模型能够接触到更长的相关上下文，并提供超越文档边界的预训练信号。预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施在模型微调阶段，幻觉问题的根源通常可归结为两大关键因素由信念错位引发的幻觉通常表现为“谄媚”行为，即大模型倾向于以不受欢迎的方式寻求人类认可。这种行为的产生可归因于人类反馈往往更倾向于奖励谄媚的输出而非真实的输出，从而导致模型为了获得更高奖励而倾向于生成此类回应。能力错位信念错位

为解决此问题，一种直接策略是改进人类的偏好判断，进而优化偏好模型。利用人工智能系统辅助人类评估的思路有许多，例如迭代放大、辩论和递归奖励建模等方法。预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施

为了减少模型倾向于生成谄媚行为的问题，还可以采用合成数据干预方法。构建提示需要生成一系列声明，并让模型对这些声明发表意见，这些声明可以通过现有自然语言理解任务中的输入-标签对来生成。

具体而言，将给定的输入-标签对格式化为“[输入]是/不是[标签]”的形式，从而形成真陈述或假陈述。例如，在一个情感分析数据集中，若将“这部电影很棒”标记为“正面情感”，则可以构建一个真陈述（“这部电影很棒”是正面情感）或一个假陈述（“这部电影很棒”不是正面情感”）。通过这种方式模型能够在微调过程中学习如何基于事实而非用户偏好生成输出，从而有效减少谄媚行为的发生。正面情感这部电影很棒是正面情感这部电影很棒不是预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施推理阶段的幻觉抑制事实性增强解码忠实性增强解码事实性增强解码通过优先考虑生成信息的真实性来优化解码过程，从而提升大模型输出信息的可靠性。其核心目标是使模型输出与已确立的现实世界事实紧密对齐，以最小化传播虚假或误导性信息的风险。忠实性增强解码着重于实现生成内容与给定上下文的连贯性与一致性，可以进一步分为两个方面：上下文一致性和逻辑一致性。预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码事实性解码

在开放式文本生成中，常用的采样算法（如top-p采样）在每个采样步骤中引入的“均匀随机性”可能会损害生成文本的事实性。事实核心采样算法通过动态调整随机性，能够在提高生成文本事实性的同时保持其质量。

假设在生成句子的后半部分时引入随机性比在生成句子开头时更不利于事实性解码。由于句子开头缺乏上下文，只要生成的文本符合语法和语境，语言模型生成任何内容都是相对安全的。然而，随着文本生成的进行，前提条件变得更加确定，能够保持句子事实性的词汇选择范围也随之缩小。预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码事实性解码

预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码事实性解码一种最小侵入式的控制方法——推理时干预（Inference-TimeIntervention，ITI），能够有效缩小模型“知道”与“说出”之间的差距，该方法分为两步：1.“真实性”探测，在网络的激活状态上训练一个分类器（即探测器），以区分特定类型的输入或输出，探测器的数学形式如下：“真实性”探测推理干预预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码事实性解码2.推理干预，过程具体如下：

预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码事实性解码还可以利用对比解码方法来放大模型中的事实性知识。具体而言，输出下一个词的概率是通过高层与低层之间的logits差异计算得出的。通过强调高层知识并淡化低层知识，能够使语言模型的输出更加符合事实，从而减少幻觉现象的发生。预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码后编辑解码验证链（Chain-of-Verification,CoVE）方法基于一个假设：尽管基础大模型可能容易产生幻觉，但它能够以少量样本或者零样本的方式接收一般指令。当给予适当的提示时，该模型能够生成并执行一个自我验证计划，以检查其生成的内容，并最终将分析结果纳入改进后的回答中。预训练阶段的优化措施7.4大模型幻觉的抑制策略微调期间的优化措施事实性增强解码后编辑解码如图所示，CoVE的工作过程包含以下四个核心步骤：生成基线回答：给定一个查询，使用大模型生成初始回答，示例中要求列举出生在安徽的文学家。计划验证：基于查询和基线回答，生成一系列验证问题，这些问题旨在帮助模型自我分析原始回答中可能存在的错误。针对示例中回答的四位文学家，计划验证每一位的出生地。执行验证：依次回答每个验证问题，并将答案与原始回答进行比对，以检查是否存在不一致或错误。生成最终验证回答：根据发现的不一致之处（如果有的话），生成一个纳入验证结果的修订回答。7.4大模型幻觉的抑制策略忠实性增强解码上下文一致性由于多样性与上下文归因之间存在固有的权衡，过分强调上下文信息可能会降低生成内容的多样性。为解决此问题，可以放宽在解码步骤中使用固定温度的限制，转而根据温度与源文档的相关性（通过KL散度衡量）动态调整温度。如图，该方法假设数据预处理器和特征转换器已为每个示例准备了两组输入，模型将执行两个并行的解码过程：底部解码过程在输入中包含上下文信息，而顶部解码过程在输入中不包含上下文信息。7.4大模型幻觉的抑制策略忠实性增强解码逻辑一致性自洽思维链蒸馏（Self-ConsistentChain-of-ThoughtDistillation,SCOTT）是一种知识蒸馏方法，旨在激发忠实的CoT推理能力。SCOTT不仅关注从大模型中学习推理以提升计算效率或者任务性能，还特别注重推理的忠实性。传统方法通常提示一个大模型（教师模型）为下游数据集生成推理理由，然后用这些数据训练一个小模型（学生模型）。然而，这些方法忽视了可能破坏理由忠实性的两个关键问题：语言模型容易产生幻觉，导致教师模型可能无法生成完全支持答案的切题理由；学生模型可能会将理由生成和答案预测视为两个独立的过程，从而利用问题与答案之间的虚假相关性作为推理捷径。这两个问题共同导致学生模型生成空洞的理由，并可能做出与理由不一致的预测。7.4大模型幻觉的抑制策略忠实性增强解码逻辑一致性为解决上述问题，SCOTT从两个方面进行了改进。首先，为了从教师模型中引出更多切题的理由，SCOTT采用了对比解码技术，鼓励教师模型在解码时仅当考虑答案时才生成更合理的词元，而非生成那些即使不考虑答案也看似合理的词元。其次，为了训练一个忠实的学生模型，SCOTT要求学生模型进行反事实推理，即根据不同的理由做出相应的预测。7.4大模型幻觉的抑制策略忠实性增强解码逻辑一致性（a）教师