基于后训练优化的语言模型对齐研究综述

基于后训练优化的语言模型对齐研究综述大语言模型的能力边界在近年来的技术迭代中持续突破，从基础的文本生成到复杂的逻辑推理、多模态交互，其性能提升的同时，对齐问题逐渐成为制约模型落地的核心瓶颈。所谓对齐，即确保模型的输出与人类的价值观、伦理规范、任务预期保持一致，避免出现有害内容、事实错误、偏离用户意图等问题。后训练优化作为预训练之后、部署之前的关键环节，通过有针对性的调整模型参数或输出策略，成为当前实现语言模型对齐的主流技术路径。后训练优化的对齐技术框架大致可分为三个层级：数据层优化、算法层优化与评估层迭代。数据层是对齐的基础，其核心是构建高质量的人类偏好数据集；算法层是对齐的核心，通过不同的学习范式将偏好信息注入模型；评估层则是对齐的保障，通过多维度的指标验证对齐效果并反馈到前两个环节，形成闭环迭代。数据层：偏好数据集的构建与治理对齐效果的上限往往由数据质量决定，后训练阶段的数据集与预训练阶段的大规模无标注语料存在本质区别，其核心是包含人类价值判断的偏好标注。目前主流的偏好数据主要分为三类：比较级数据、排序级数据与结构化反馈数据。比较级数据是当前应用最广泛的标注形式，通常是针对同一输入给出多个模型输出，由标注员判断哪个输出更符合人类偏好。这种标注方式的优势是成本较低、标注速度快，普通标注员经过短期培训即可完成任务，适合大规模构建数据集。比如针对“如何快速缓解胃痛”这一问题，两个输出分别是“可以服用适量的非处方胃药，同时避免食用辛辣生冷食物，若症状持续建议就医”和“直接吃止痛药就行，多喝冰水也能缓解”，标注员只需要判断前者更优即可完成标注。但比较级数据的缺陷也十分明显：仅能体现两个输出的相对优劣，无法反映优劣的程度差异，也难以覆盖多个维度的价值判断，比如输出的安全性、有用性、简洁性之间可能存在权衡，仅靠二元比较无法完整传递复杂的偏好信息。排序级数据则是对同一输入的多个输出进行整体优先级排序，能够传递更丰富的偏好梯度。例如针对同一个科技问题的四个回答，标注员可以按照“事实准确性>可读性>简洁性>趣味性”的优先级进行排序，这种标注方式能够让模型学习到更细粒度的偏好层级。不过排序标注的成本会随着待排序输出数量的增加呈指数级上升，同时对标注员的专业能力要求更高，因此目前这类数据集的规模普遍小于比较级数据集，更多应用在专业领域的模型对齐中，比如医疗、法律等对输出准确性要求极高的场景。结构化反馈数据是近年来新兴的标注形式，不仅要求标注员判断输出的优劣，还需要标注问题所在的具体维度、给出修改建议甚至重新撰写正确输出。比如针对一个错误的医疗建议，标注员需要指出错误属于“事实错误”还是“伦理风险”，错误的具体位置在哪里，以及正确的表述应该是什么。这类数据能够为模型提供更精准的调整方向，尤其在纠正模型的事实幻觉、逻辑错误方面效果显著。其缺点是标注成本极高，需要专业领域人员参与，因此通常作为比较级数据的补充，用于对齐过程中的精调阶段。数据层的另一个核心问题是标注偏差的治理。标注员的个人背景、文化认知、主观偏好会不可避免地带入到数据中，比如不同地区的标注员对“合理言论边界”的判断可能存在差异，不同专业背景的标注员对同一技术问题的优劣判断也可能不同。针对这一问题，当前的主流解决方案包括：建立多轮交叉标注机制，对同一数据样本由多个标注员独立标注，仅保留标注一致性高于阈值的样本；构建分层标注团队，针对不同领域的内容由对应专业背景的标注员处理，比如医疗领域的标注需要具备执业医师资格的人员参与；引入偏差检测算法，对已标注的数据集进行自动化扫描，识别出标注结果明显偏离整体分布的样本进行二次校验。算法层：主流对齐范式的技术演进后训练对齐算法在过去几年经历了快速迭代，目前已经形成了以强化学习为基础、多范式融合发展的技术格局，其中最具代表性的包括基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）、检索增强对齐以及多模态对齐扩展四大类。RLHF是首个实现大规模落地的对齐技术框架，其基本流程分为三个步骤：首先使用标注好的偏好数据训练一个奖励模型，该模型的作用是对任意模型输出给出符合人类偏好的评分；其次将预训练语言模型作为策略网络，在与环境交互的过程中生成输出，由奖励模型给出奖励信号；最后通过强化学习算法更新策略网络的参数，最大化奖励信号的同时，约束更新后的模型与原始预训练模型的分布偏差，避免出现能力遗忘问题。RLHF在ChatGPT等产品中的成功应用证明了其有效性，能够显著提升模型输出的有用性和安全性，但其缺陷也十分突出：训练过程复杂，需要分别训练奖励模型和策略网络，计算成本极高；奖励模型本身可能存在偏差，容易导致模型为了获得高分而生成“讨好型”输出，甚至出现奖励黑客问题，即模型通过钻奖励模型的漏洞获得不合理的高分；此外，RLHF的训练过程不稳定，超参数的微小调整可能导致最终效果出现大幅波动。针对RLHF的缺陷，直接偏好优化算法在2023年被提出，其核心思路是绕过奖励模型训练和强化学习的复杂流程，直接在偏好数据上对预训练模型进行微调。DPO通过构建二元交叉熵损失函数，将“人类偏好的输出概率高于非偏好输出”作为优化目标，直接调整模型的参数分布。与RLHF相比，DPO的训练流程大幅简化，计算成本仅为RLHF的三分之一到二分之一，同时训练过程更加稳定，不需要复杂的超参数调试，在多项对齐基准测试中取得了与RLHF相当甚至更优的效果。不过DPO也存在自身的局限性：其对偏好数据的质量要求更高，数据中的噪声会对最终对齐效果产生更大的影响；同时DPO在处理多维度偏好权衡时的能力弱于RLHF，当需要同时优化安全性、有用性、创造性等多个目标时，DPO的效果往往不如经过精心调优的RLHF。检索增强对齐是解决模型事实幻觉问题的核心技术路径。语言模型的知识完全来自于预训练语料，因此天然存在知识过时、事实错误等问题，仅靠参数优化难以从根本上解决。检索增强对齐的思路是在后训练阶段为模型植入检索能力，当模型需要回答涉及事实性的问题时，首先从外部可信知识库中检索相关信息，再基于检索结果生成回答。具体实现上分为两种路径：一种是在模型参数中注入检索能力，即在后训练阶段使用“查询-检索结果-回答”三元组数据对模型进行微调，让模型学会判断什么时候需要检索、如何构造检索query、如何整合检索结果生成回答；另一种是不修改模型参数，仅在推理阶段通过提示工程引导模型调用检索工具，再基于返回结果生成输出。检索增强对齐能够大幅降低模型的事实错误率，同时不需要对模型进行大规模参数更新，成本较低，目前已经成为事实类场景对齐的标配技术。多模态对齐是后训练优化的新兴方向。随着多模态大模型的普及，对齐的范围已经从纯文本扩展到文本、图像、音频、视频等多模态内容。多模态对齐面临的挑战远大于纯文本对齐：一方面需要确保不同模态的内容之间逻辑一致，比如生成的图片内容与文本描述相符，避免出现“文本描述猫但生成的图片是狗”的问题；另一方面需要确保多模态输出整体符合人类价值观，比如避免生成包含有害内容的图像、视频。当前的多模态对齐技术主要是将纯文本对齐的范式进行扩展，比如收集多模态输出的人类偏好数据，训练多模态奖励模型，再通过RLHF或DPO对多模态模型进行微调。不过多模态内容的标注成本远高于纯文本，同时多模态奖励模型的准确率仍有待提升，因此这一领域目前仍处于快速发展阶段。评估层：对齐效果的量化与验证对齐效果的评估是后训练优化的关键环节，只有能够精准量化对齐程度，才能实现对齐技术的闭环迭代。当前的对齐评估体系主要分为自动化评估、半自动化评估与人工评估三个维度，不同维度的评估方法适用于不同的对齐目标。自动化评估的优势是速度快、成本低，能够在训练过程中实现实时监控。针对不同的对齐目标，已经发展出了一系列专用的评估指标：针对安全性，常用的指标包括有害内容检出率、敏感话题拒答率、违规内容生成概率等，可以通过训练专门的安全检测模型对模型输出进行自动化扫描；针对事实准确性，常用的指标包括事实错误率、引用信息准确率、与知识库的匹配度等，可以通过将模型输出与外部知识库进行比对实现自动化评估；针对有用性，常用的指标包括问题解决率、信息完整度、用户任务达成率等，可以通过构建标准化的测试数据集，让模型自动完成测试任务并计算得分。不过自动化评估的局限性也很明显：对于开放性问题的回答质量、输出的人文关怀、复杂逻辑的合理性等难以量化的维度，自动化评估的准确率仍然较低，无法替代人工判断。半自动化评估是当前性价比最高的评估方式，其核心是“自动化初筛+人工复核”。首先通过自动化评估工具对大规模的模型输出进行扫描，筛选出可能存在对齐问题的样本，再由人工标注员对这些样本进行二次校验，判断是否真的存在对齐问题、属于哪一类问题。这种方式既能够利用自动化评估的速度优势，又能够保证评估的准确性，相比全人工评估成本降低60%以上，同时评估效率提升数倍。半自动化评估尤其适合在模型迭代过程中进行回归测试，即每次模型更新后，都在标准化的测试集上进行半自动化评估，确保新的更新不会引入新的对齐问题。人工评估是对齐效果的最终校验标准，通常包括众包评估和专家评估两类。众包评估适合评估通用场景的对齐效果，比如日常对话、通用问题回答等，通过大量普通标注员对模型输出进行打分，从有用性、安全性、可读性等多个维度进行评估，其结果能够反映普通用户的平均偏好。专家评估则适合评估专业领域的对齐效果，比如医疗建议、法律意见、金融分析等，需要对应领域的专业人员参与评估，重点判断输出的专业准确性、合规性。不过人工评估的成本高、速度慢，无法实现高频次的大规模评估，因此通常作为定期的全面校验手段，与自动化评估、半自动化评估配合使用。当前对齐评估面临的最大挑战是分布式对齐的验证，即如何确保模型在所有可能的输入场景下都能保持对齐，而不仅仅是在测试数据集上表现良好。由于语言模型的输入空间几乎是无限的，不可能通过枚举的方式测试所有场景，因此研究者们正在探索对抗测试、红队测试等方法：通过训练专门的对抗模型，自动生成可能诱导模型出现对齐问题的输入，再对模型进行压力测试；同时组建专业的红队团队，从攻击者的角度尝试突破模型的对齐防护，找到潜在的安全漏洞。这种主动测试的方式能够大幅提升对齐评估的全面性，提前发现隐藏的对齐风险。后训练对齐的前沿研究方向尽管后训练对齐技术已经取得了显著进展，但仍存在大量未解决的问题，当前的前沿研究主要集中在以下几个方向：其一是低成本对齐技术的探索。当前的对齐技术，尤其是RLHF，需要大量的标注数据和计算资源，只有少数头部企业有能力完成大规模模型的对齐，这极大地限制了对齐技术的普惠性。因此研究者们正在探索小样本对齐、零样本对齐、参数高效对齐等技术，希望在仅使用少量标注数据、仅更新模型少量参数的情况下，实现不错的对齐效果。比如最新的研究表明，使用低秩适配（LoRA）技术结合DPO算法，仅需要更新模型0.1%的参数，使用几千条偏好数据，就能够在7B规模的模型上实现与全参数RLHF相当的对齐效果，这极大地降低了对齐的技术门槛，使得中小团队也能够完成模型的对齐优化。其二是动态对齐技术的研究。当前的对齐方案大多是静态的，即模型在部署前完成后训练优化，部署之后对齐规则就固定不变。但人类的价值观、社会规范、任务需求都是动态变化的，比如新的法律法规出台、特定时期的公共政策调整、不同用户群体的个性化偏好差异，都要求模型的对齐规则能够动态更新。动态对齐技术的核心是实现对齐规则的热更新，不需要重新对模型进行大规模后训练，就能够快速调整模型的对齐策略。目前的探索方向包括：将对齐规则与模型参数解耦，通过外部的对齐策略引擎控制模型的输出；在推理阶段引入动态规则库，实时对模型的输出进行校验和调整；使用持续学习技术，让模型能够在部署之后持续学习新的偏好数据，不断更新对齐能力。其三是跨文化、跨领域的通用对齐框架构建。当前的对齐模型大多针对特定文化背景、特定领域进行优化，当应用到其他文化背景或其他领域时，对齐效果会出现大幅下降。比如针对中文用户优化的对齐模型，在处理英文用户的请求时，可能会出现不符合西方文化习惯的输出；针对通用场景优化的对齐模型，在处理医疗、法律等专业领域的请求时，可能会出现对齐策略与专业要求冲突的问题。因此构建能够适配不同文化背景、不同领域需求的通用对齐框架，成为当前的研究热点。这一框架需要能够灵活切换不同的对齐规则，同时避免不同规则之间的冲突，实现“在什么场景下使用什么对齐策略”的智能判断。其四是对齐的可解释性研究。当前的对齐技术大多是“黑箱”的，我们能够观察到模型的输出符合人类偏好，但不知道模型内部是如何实现对齐的，也无