CN119539082A 一种利用在线同步策略改进的大模型偏好对齐方法 (上海奇思信息技术有限公司)_第1页
CN119539082A 一种利用在线同步策略改进的大模型偏好对齐方法 (上海奇思信息技术有限公司)_第2页
CN119539082A 一种利用在线同步策略改进的大模型偏好对齐方法 (上海奇思信息技术有限公司)_第3页
CN119539082A 一种利用在线同步策略改进的大模型偏好对齐方法 (上海奇思信息技术有限公司)_第4页
CN119539082A 一种利用在线同步策略改进的大模型偏好对齐方法 (上海奇思信息技术有限公司)_第5页
已阅读5页,还剩12页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

一种利用在线同步策略改进的大模型偏好本发明提出一种利用在线同步策略改进的2集包括同一个用户指令下被选择和被拒绝的两个模型回答步骤2:对初始离线偏好数据集进行采样,通过似然估计对负的对数似然损失进行训的同一个模型和多次输入不同模型保存点或者不同参数配置的模型,以获得多个新的回步骤6将偏好对齐训练数据集输入至偏好学习模型进行主任务模型的逼近最优策略挖2.如权利要求1所述的一种利用在线同步策略改进的大模型偏好对齐方法,其特征在3.如权利要求2所述的一种利用在线同步策略改进的大模型偏好对齐方法,其特征在4.如权利要求1所述的一种利用在线同步策略改进的大模型偏好对齐方法,其特征在c5.如权利要求1所述的一种利用在线同步策略改进的大模型偏好对齐方法,其特征在6.如权利要求1所述的一种利用在线同步策略改进的大模型偏好对齐方法,其特征在3DPO代表偏好对齐损失函数,πθ,πref分表表示了参与训练过程的直接偏好优化模7.如权利要求1所述的一种利用在线同步策略改进的大模型偏好对齐方法,其特征在4离线学习与异步的采样策略导致模型对数据质量要求更严格,对于分布外的泛化能力降[0005]这一方法通过预先训练得到数学评价模型,并以此来对从而提高模型对训练数据的自适应性和持续训练下的5数据集包括同一个用户指令下被选择和被拒绝的两个模型回答的[0019]步骤6将偏好对齐训练数据集输入至偏好学习模型进行主任务模型的逼近最优策6c[0036]图3为本发明实施例提供的一种利用在线同步策略改进的大模型偏好对齐方法的[0038]如图3所示,本发明实施例提供一种利用在线同步策略改进的大模型偏好对齐方7[0042]初始化奖励模型参数θ,这里可以沿用监督微调后的模型结果或者更大参数的模[0051]基于步骤4得到的数据集对监督对齐训练后的模型进行直接偏好微调,从而获得c8[0055]LDPO代表偏好对齐损失函数,πθ,πref分表表示了参与训练过程的直接偏好优化模有的历史数据采样直接偏好对齐的方法不断逼近最优策略,从而充分挖掘数据的语义信t[0065]8、基于人工标注或奖励模型对生成的在线偏好数据执行步骤3中排序及分桶操[0068]基于同步策略和在线学习的方式,改进了原有的直接金[0071]2、在偏好数据质量不佳的情况下,及时对偏好对齐训练过程

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论