大模型技术深度解析(微课版) 课件5.2知识编辑技术

知识编辑技术主要内容一、引言二、知识编辑介绍三、知识编辑方法四、评价与基准五、知识编辑的不足引言-为什么需要知识编辑知识编辑LLMs显著进展

大型语言模型在自然语言处理领域取得显著进展，凭借数十亿参数及预训练能力，掌握丰富语言模式与世界知识，展现强大文本生成、翻译与问答能力。大型语言模型进展大型语言模型进展涌现能力引关注

随着模型规模扩大，LLMs展现出涌现能力，未经专门训练即可完成复杂任务如逻辑推理、代码编写和创意写作，这些能力引发了学术界和工业界的广泛关注。微调技术

更新预训练LLM的常用方法是微调，通过直接优化模型参数以编码新知识，该过程依赖于新数据，并以监督学习方式实施，确保模型持续学习与适应新环境。微调技术注入新知识微调挑战

微调技术虽被广泛采用，但存在计算资源需求高、过拟合风险及模型性能不稳定等缺点，这些挑战需要研究者关注并开发更高效的参数优化策略及过拟合缓解方法。(1)知识库静态性

LLMs面临知识库静态挑战，无法实时更新导致信息过时或错误，如误认为名人仍在世或忽略最新科研成果，这限制了其在现实世界应用中的准确性和可靠性。LLMs面临的挑战(2)生成文本幻觉

LLMs在生成文本时常出现与现实不符或虚构的幻觉，这影响了模型的可靠性，并可能导致误导性信息传播，需要研发更严格的数据验证和事实核查机制。LLMs面临的挑战(3)复杂任务推理错误

在处理复杂任务时，LLMs因知识不完整或不准确，易产生错误推理链，这强调了提高模型知识完整性和准确性的重要性，以支持更可靠的推理和决策制定。(1)知识编辑重要性

知识编辑成为提升LLMs实用性和可靠性的关键，通过有效更新模型知识，反映最新信息，避免错误引入，确保模型持续适应变化世界，提升实际应用性能。知识编辑研究热点(2)知识编辑的挑战

实现知识编辑面临着如何准确识别需要编辑的知识、有效注入新知识以及确保模型整体性能不下降等挑战，这些挑战需要持续的研究和创新来解决。知识编辑介绍知识编辑知识编辑定义

知识编辑旨在通过有效策略更新大型语言模型中的知识，确保模型能够反映最新信息，同时避免引入错误或不一致的知识。更新策略

编辑策略涵盖从微调模型参数到注入新知识，再到调整模型内部表示，旨在灵活应对知识更新需求，确保LLMs在快速变化的环境中保持准确性。知识编辑定义与目的目的与意义

通过知识编辑，LLMs能够更好地适应不断变化的世界，缓解LLMs产生的幻觉现象，提高在实际应用场景中的表现，从而满足用户对于准确、实时信息的需求。知识编辑定义与目的(1)知识三元组

知识编辑以知识三元组为核心，将新知识以“主体-关系-客体”形式纳入模型。这一表示法便于对知识的精细操控，实现知识的精准更新。知识三元组与编辑范围(2)编辑范围界定

界定编辑范围关乎精准更新，避免非编辑区域受扰。此过程复杂，因需精准识别需编辑知识点及其关联域，确保编辑效果集中且高效。知识三元组与编辑范围知识编辑样例知识三元组与编辑范围（3）识别挑战

当前方法难保全局最优，因知识交织难分彼此；领域特定编辑或成主流，限定范围控影响。高度专业化环境或助识别，但成本高昂需应对。模型修正与预测调整(1)模型修正策略

针对知识错误，采用模型参数微调、注意力机制调整及记忆增强等策略，精准定位并修正问题，确保模型输出准确反映最新知识状态。(2)预测调整方法

在预测层实施基于案例的推理、规则增强及混合专家系统等技术，灵活调整预测逻辑，以应对新知识、新情境，确保模型预测既准确又全面。实时性要求知识编辑需即时响应变化，如在线问答系统即需即时修正预测。这要求高效处理新信息，快速调整模型输出，确保用户获得最新、最准确的答案。知识编辑损失函数(1)知识编辑的目标

我们的最终目标是建立一个编辑后的模型

，以修正未编辑模型

。其中θ和e分别表示编辑前后的模型的参数。知识编辑损失函数(2)知识编辑定义

知识编辑可定义为:其中表示编辑范围内的知识及其相关的知识输入的集合,则表示与编辑样例无关的知识输入的集合。知识编辑损失函数(3)损失函数设计

知识编辑损失函数聚焦于最小化模型预测与真实结果间的差距，涵盖交叉熵、均方误差及自定义复杂损失函数，以精准衡量并优化编辑效果。

其中为一个具体的损失函数，其目标是最小化知识输入x经过模型前向传播得到的预测与该输入x相关联的正确查询结果

的差异。知识编辑损失函数(4)损失函数的优化目标

损失函数优化旨在提升模型拟合度与泛化力，通过梯度下降等算法调整参数，减少预测误差，实现对模型知识的有效更新和修正，确保模型在各类任务上表现优异，满足高准确性要求。知识编辑知识编辑方法知识编辑

在基于存储器的方法中，外部知识存储在独立于预训练大模型参数知识之外的存储器中，并通过预定义的模板进行文本的转换，使LLM可以在推理过程中根据实际情况及时更新修改该存储器3.1基于存储器的方法SERAC模型编辑方法：（1）显式记忆存储编辑​：SERAC将用户提供的编辑描述符（如输入-输出对或自然语言指令）存储在显式的内存中，而非直接修改基模型的参数。例如，编辑描述符可以是“TOPIC:VACCINESSENTIMENT:POSITIVE”，用于调整对话模型对特定主题的情感倾向。（2）范围分类器：判断新输入是否属于某个编辑的影响范围。例如，输入“WHOISTHEUKPM?”可能触发与“BORISJOHNSON”相关的编辑。通过嵌入相似性或者交叉注意力机制实现逻辑判断。知识编辑

基于扩展的方法通过使用附加参数来将修改后或新增的信息融入到原始语言模型中。这些附加参数旨在代表新加入的知识，或针对特定任务或领域的必要调整。与基于内存的方法相比，扩展式方法通过向语言模型中引入新参数，有效地增强并扩展了模型的功能。3.2基于扩展的方法T-Patcher:动态添加神经元​​：针对每个错误，在模型的最后一个前馈网络层添加一个神经元（称为​​patch​​），仅修改该层的参数，冻结其他所有参数。​​局部修正​​：通过设计特定的损失函数，确保每个patch仅在遇到对应错误时激活，从而调整输出，同时避免影响其他输入。序列模型编辑（SME）要求模型在持续接收错误反馈时逐步修正知识编辑序列编辑流程​​：​​持续修正​​：每当模型在新样本上犯错时，添加新的patch并训练，同时更新记忆集以包含历史错误样本的查询向量。​​高效性​​：每个patch仅需少量训练步骤，模型体积仅增加约1.4%-4.5%（取决于错误数量）。技术细节​​：​​FFN的结构分析​​：FFN可视为键值记忆网络，输入向量作为查询（query），第一层权重为键（keys），第二层权重为值（values）。中间层的激活值决定了值的加权组合。​​Patch的添加​​：在FFN的最后一层添加新的键值对（kp​,vp​）和偏置

bp​，修改后的输出为：其中

是patch的激活值，仅当输入与错误相关时非零。知识编辑

全局编辑会根据目标知识库对大部分甚至全部的模型参数进行更新。很多工作通常采用微调训练的方式进行全局编辑，这些方法侧重于外部知识的准确性和通用性，通过微调过程确保LLM在知识编辑方面取得令人满意的成效。3.3全局编辑方法MELO：MELO的核心思想是将模型编辑转化为动态LoRA模块的激活问题，通过以下两个关键技术实现：​​动态LoRA模块​​：不同批次的编辑任务被分配到非重叠的LoRA子模块中训练，避免灾难性遗忘。​​神经元索引向量数据库​​：通过聚类编辑样本的隐藏状态，建立索引以快速匹配输入与对应的LoRA模块。知识编辑编辑样本​​：输入（）：“HD98800属于哪个星座？”目标输出（​）：“Crater”。知识编辑MELO操作流程​​：​​提取隐藏状态​​：

将输入xe​输入模型，提取最后一层隐藏状态hl作为键（Key），例如得到一个768维向量。​​更新向量数据库​​：由于数据库为空，新建一个聚类：中心（即当前键的向量）。半径（假设初始半径=75.0）。值（Value）关联到LoRA块索引t=1。​​训练动态LoRA块​​：激活第1个LoRA块（对应和​），仅训练该块参数（如部分秩p=2）。更新后的模型输出="Crater"。​​输入​​：同义问题：“HD98800所在的星座是什么？”​​操作流程​​：​​提取查询键​​：

输入问题后，提取其隐藏状态​​​向量数据库搜索​​：计算Kq​与聚类中心C1​的距离

。假设距离为50.0（小于R1​=75.0），判定属于该聚类。​​激活LoRA块​​：加载第1个LoRA块（​和

​），模型输出变为

="Crater"，成功泛化。知识编辑推理阶段:知识编辑

局部编辑源自在预先训练的模型中识别和修改特定的相关权重以实现期望的输出的概念。主要目标是首先定位权重，该权重将关于输入的知识存储在预先训练的模型中。之后通过调整这些权重，就可以依靠相同的输入生成正确的输出，而无需重新训练或微调整个模型。近年来，研究者将局部修改策略推广到了线性学习机中，使得预训练的线性学习机的信息更新效率得到了显著提高。3.4局部编辑方法ROME：该框架提出了一种定位和编辑GPT模型中事实关联的方法，主要包含两个核心技术：​​因果追踪（CausalTracing）​​和​​秩一模型编辑（ROME）。可以通过一个例子进行解释：想象大模型是一个巨大的图书馆，书架上存储了各种知识（比如“埃菲尔铁塔在巴黎”）。当有人问“埃菲尔铁塔在哪里？”时，图书管理员（大模型）需要找到正确的书架，取出对应的书来回答。但如果我们想偷偷修改书里的内容（比如把“巴黎”改成“东京”），需要解决两个问题：​​找到书的位置​​：书藏在哪个书架的哪一层？​​修改内容且不影响其他书​​：改完这本书后，其他书（比如“自由女神像在纽约”）的内容不能出错。知识编辑​​1.因果追踪（CausalTracing）——找到书的位置​​​​原理​​：通过“破坏-修复”实验定位关键位置。​​正常情况​​：问“埃菲尔铁塔在哪里？”，管理员直接找到正确的书（回答“巴黎”）。​​破坏实验​​：把问题中的“埃菲尔铁塔”几个字模糊掉（比如替换成乱码），管理员找不到书，只能瞎猜（比如回答“罗马”）。​​修复实验​​：在模糊词的基础上，手动把某个书架的某一层恢复原样，看能否让管理员重新找到正确的书。如果能，说明这层书架是关键位置。​​操作效果​​：

中间几层的书架（对应模型的中间层）在读到“埃菲尔铁塔”最后一个词（比如“塔”）时，会激活和位置相关的知识。这些书架专门存储“某东西在哪里”这类事实。知识编辑2.秩一模型编辑（ROME）——精准修改书的内容​​​​原理​​：直接修改书架上对应位置的内容，但保持其他书不变。​​找到书的标签（Key）​​：通过多次提问“埃菲尔铁塔”相关的问题，确定模型在中间层读到“塔”这个词时，激活的特定神经元组合（类似书的标签）。​​写入新内容（Value）​​：把“巴黎”改成“东京”，并确保修改后：问“埃菲尔铁塔在哪里？”时，只会取出这本修改后的书。问其他问题（如“自由女神像在哪里？”）时，不受影响。​​操作效果​​：

修改后的模型会回答“东京”，即使换一种问法（比如“埃菲尔铁塔所在的城市是？”），也能正确回答。同时，其他知识（如“自由女神像在纽约”）保持不变。知识编辑指标和基准知识编辑(1)可靠性

可靠性衡量编辑后模型对编辑输入生成所需预测的能力，是评估知识编辑任务的关键指标之一。通过知识编辑成功率来衡量，确保模型能正确更新或纠正特定知识点。

知识编辑定义解析

可靠性衡量后编辑模型对编辑输入生成所需预测的能力，确保模型能正确更新或纠正特定知识点。通过知识编辑成功率来衡量，体现模型在编辑任务中的有效性。评估维度

评估知识编辑的可靠性需考虑模型是否准确识别编辑知识点并生成新正确输出，同时确保在面对相关问题时保持一致性，如历史事件的时间点修正需连贯。知识编辑(2)局部性

评价模型本地编辑能力，确保仅改变相关实例输出，不影响不相关实例。通过引入额外记忆模块或注意力机制等技术实现，确保编辑精准且不影响模型整体。

知识编辑指标意义

局部性衡量模型保留不相关知识能力，确保仅改变相关实例输出。在KME中，通过设计对照实验和统计分析，评估编辑操作对非相关知识的影响程度。实现挑战

实现高局部性需准确定位并隔离知识点，避免“灾难性遗忘”。研究人员开发额外记忆模块、注意力机制等技术，确保独立修改特定知识，保护整体结构。知识编辑(3)泛化性

评估模型在编辑后是否能正确响应语义相似提示，将更新知识推广至新情境。通过设计复杂测试用例和长期运行场景模拟，确保模型表现稳健、通用。

知识编辑指标要求

泛化性要求编辑后模型能准确响应语义相似提示，将更新知识推广至新情境，确保表现稳健通用。这涉及捕捉深层次语义特征，并灵活应用于相似情境。

测试设计

评估泛化性时，设计复杂测试用例涵盖多种情况，包括语义相似问题、多步推理及对抗性测试，以检验模型识别、推理和鲁棒性，确保编辑操作提升知识水平。

知识编辑(4)流畅性

衡量后编辑模型生成自然、连贯输出的能力，避免重复和冗余，确保语言质量。通过设计主观和客观测试用例全面评估，优化编辑方法，提高用户满意度。

知识编辑指标定义

流畅性强调后编辑模型输出语言质量，要求语法正确、语义清晰、上下文连贯，避免重复和冗余，确保输出内容简洁明了。符合人类语言习惯和逻辑结构。

评估方法

流畅性评估结合主观和客观测试，主观评估由人类评审员评分语言自然度等，客观评估用自动化工具和算法量化流畅性水平，对比实验观察编辑影响。

知识编辑总结-现状和未来知识编辑范围与自动识