CN119494408A 基于差分隐私机制的大模型训练方法、介质及系统 （厦门理工学院）_第1页
CN119494408A 基于差分隐私机制的大模型训练方法、介质及系统 （厦门理工学院）_第2页
CN119494408A 基于差分隐私机制的大模型训练方法、介质及系统 （厦门理工学院）_第3页
CN119494408A 基于差分隐私机制的大模型训练方法、介质及系统 （厦门理工学院）_第4页
CN119494408A 基于差分隐私机制的大模型训练方法、介质及系统 （厦门理工学院）_第5页
已阅读5页，还剩34页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

本发明公开了一种基于差分隐私机制的大模型训练方法、介质和系统，其中方法包括：判断当前大语言模型是否满足训练要求；如果2S106，如果所述综合不公平指标值处于预设取值范对标注后的历史数据进行分词和词向量映射，并对映射得到的词向基于交叉熵损失函数计算所述预测结果与真实标签之间的误差，;表示类别数，x表示第i个样本在第;对所述梯度进行剪裁，并生成初始噪声，以及根据所述初始噪声基于所述加噪梯度计算初始不公平性指标值，并根据多次训练得3;;;通过以下公式对衰减后的平均不公平性指标值进;;其中，表示加权平均后的不公平性指标值，表示群体i和群体j之间的不公平性程度在整个数据集内的比重，yemsw()表示综合不公平性指标值。;;4;9.一种计算机可读存储介质，其特征在于，其上存练程序，该基于差分隐私机制的大模型训练程序被处理器执行时实现如权利要求1_8中任训练模块，所述训练模块用于基于训练数据集对大判断模块，所述判断模块用于判断所述综合不公平性指标值是否处于预设取值范围所述判断模块还用于在所述综合不公平指标值处于预设取值范5渐在数据分析和机器学习中得到了广泛应用。差分隐私通过在计算结果中添加随机噪声，6对映射得到的词向量进行序列长度处理和标;表示类别数，表示第i个样;述平均不公平性指标值进行衰减，并对衰减后的平均不公平性指标值进行加权平均计算，;ji对应的加噪梯度，表示数据群体j对应的加噪梯度；;7;通过以下公式对衰减后的平均不公平性指标值进;;其中，表示加权平均后的不公平性指标值，表示群体i和群体j之;;8图2是根据本发明另一实施例的基于差分隐私机制的大模型训练方法的流程示意9;i的权重为：;;;;;;;;i个样本的损失。述平均不公平性指标值进行衰减，并对衰减后的平均不公平性指标值进行加权平均计算，;i的噪i对应的加噪梯度，表示数据群体j对应的加噪梯度；;;通过以下公式对衰减后的平均不公平性指标值进;;其中，表示加权平均后的不公平性指标值，4表示群体i和群体s之;8;;;接着，对于任意两个数据群体i和j，定义一次训练中的不公平性，即初始不公平;j的噪声，表示符号函数，用于表示噪声的方向，表示数据群体i对应;;;"表示群体i和群体j之间;;;;;f();;;;;;;;;;[0067]S207，根据多次训练得到的初始不公平性指标值计算对应的平均不公平性指标;然后，初始噪声生成：根据差分隐私的(e,8)-DP定义，添加符合高;;;然后，对于任意两个数据群体i和j，定义一次训练中的不公平性，即初始不公平;;;;;;;;;[0084]综上所述，根据本发明实施例的基于差分隐私机制的大模型训练方法，首先，位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论