CN119398181A 针对错误前提的幻觉缓解方法和装置 （中国科学院自动化研究所）

号本发明提供一种针对错误前提的幻觉缓解所述第二输入文本为将所述第一输入文本中的模型处理所述第一输入文本时每个注意力头的每个注意力头对大语言模型输出幻觉文本的影2获取第一输入文本和第二输入文本，所述第二输入文本为将所分别确定大语言模型处理所述第一输入文本时每个注意力按照目标处理方式确定每个注意力头对大语言模型输出幻觉文本的影其中，所述目标处理方式为：将所述大语言模型的第一注意力基于所述第一输入文本进行所述大语言模型的前向传播，并记录所基于所述第二输入文本进行所述大语言模型的前向传播，并记录所在一个注意力头的影响力大于所述显著性阈值的情况下，将所比较每个注意力头在多次测试中的影响频率和影响强度以确定注意力头在不同样本在所述大语言模型处理所述第一输入文本时，通过约束函数所述获取模块，用于获取第一输入文本和第二输入文本，所述第所述处理模块，用于分别确定大语言模型处理所述第一输入文其中，所述目标处理方式为：将所述大语言模型的第一注意力38.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至5任一项所述针对错误前提行时实现如权利要求1至5任一项所述针对错误前提的幻4[0001]本发明涉及自然语言处理技术领域，尤其涉及一种针对错误前提的幻觉缓解方[0002]尽管大型语言模型在众多任务领域中均展现出极为卓越临基于错误前提构建的问题情境时，倾向于生成与错误前提高度一致的幻觉性文本的问输入文本，所述第二输入文本为将所述第一输入文本中的错误前提替换为占位符的文本；5确定所述第一注意力头对大语言模型输出幻觉文本的力头的影响力大于所述显著性阈值的情况下，将所述一个注意力头确定为目标注意力头，每个注意力头在多次测试中的影响频率和影响强度以确定注意力头在不同样本中的影响6机程序被处理器执行时实现如上述任一种所述针对错误前提的幻7时每个注意力头的第一激活值，以及处理所述第二输入文本时每个注意力头的第二激活录这些激活情况得到第一激活值，就相当于记录下了模型内部在生成答案时的“思考步的具体影响。具体做法是在利用第一输入文本进行模型前向传播这个常规操作的过程中，8[0041]影响力数值的高低直观体现了第一自注意力头在处理错误假设幻觉这件事上的9数量，d为自注意力头的总隐藏维度，s是l层上错误假设幻觉集合，ij为错误假设部分起始和终止词元位置。限制函数f定义为当hes时，s0)将B中对应部分置零，以在不牺牲模型整体性能的前提下，有效减少模型在面对错误前提时生成幻觉文本的倾用统计分析方法确定显著性阈值；在一个注意力头的影响力大于所述显著性阈值的情况过约束函数冻结所述目标注意力头处理错误以在不牺牲模型整体性能的前提下，有效减少模型在面对错误前提时生成幻觉文本的倾[0063]此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以每个注意力头对大语言模型输出幻觉文本的影响力；基于所述影响力确定目标注意力头，每个注意力头的第一激活值，以及处理所述第二输入文本时每个注意力头的第二激活值；以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术