CN119150862B 模型微调方法、文本处理方法、介质、设备及程序产品 （北京火山引擎科技有限公司）

用目标词表，对文本样本进行分词和转索引操免服务端获取到嵌入向量和词元之间的对应关2从服务端获取大语言模型的词表和嵌入层参数，其中，预训练好的所将所述目标嵌入层参数发送至所述服务端，以由所述服务端将所将所述第一词元索引发送至所述服务端，以由所述服务端基于所述述新的大语言模型进行微调。针对所述聚类结果中的每一聚类簇，从所述置换嵌入层参数针对所述嵌入向量集中的每一嵌入向量，计算该嵌入向量与所根据所述置换嵌入层参数，分别计算所述当前词元与所述目标3将所述当前词元、以及与所述当前词元之间的第二相似度最高的若所述聚类簇的数量未达到N，则将所述目标词表的未被聚类的词元中的任一词元作返回所述根据所述置换嵌入层参数，分别计算所述当前词元与所针对所述目标词表中未被聚类的每一其他词元，根据所述置换根据所述语义相似度和所述编辑距离，确定该其他词元与所述当前词元所述将所述第一词元索引发送至所述服务端，以由所述服务端基于所述将所述第一词元索引和所述分类标签发送至所述服务端，一词元索引和所述分类标签对所述新的大语言模型进行所述服务端使用方对所述嵌入层参数进行混淆处理得所述响应于接收到所述服务端使用方发送的第一词元索引，基于所述响应于接收到所述服务端使用方发送的第一词元索引和所述文本样本对应的分类标4所述嵌入层参数包括输入嵌入层参数和输出将所述第二词元索引发送至服务端，以由所述服务端通过预先微调好根据所述目标词表，确定与所述预测词元索引对应的文本，得到装置执行时实现权利要求1_15中任一项所述处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求15所述服务端基于所述第一词元索引对所述新的大语言模型进行微调。6序被处理装置执行时实现本公开第一方面和第二方面提供的所述大语言模型微调方法的提供的所述大语言模型微调方法的步骤或者本公开第三方面提供的所述文本处理方法的理器执行时实现本公开第一方面和第二方面提供的所述大语言模型微调方法的步骤或者这项技术的便利。[0016]图3是是根据一示例性实施例示出的一种大语言模型微调和文本处理的过程示意7[0017]图4是根据一示例性实施例示出的一种应用于服务端使用方的大语言模型微调方[0018]图5是根据一示例性实施例示出的一种应用于服务端的大语言模型微调方法的流[0020]图7是根据一示例性实施例示出的一种应用于服务端使用方的大语言模型微调装[0021]图8是根据一示例性实施例示出的一种应用于服务端的大语言模型微调装置的框[0025]应当理解，本公开的方法实施方式中记载的各个步骤可义将在下文描述中给出。[0029]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性8[0040]主干网络通常为由多个Transformer结构串联而成的神经网络，比如基于变换器模型包含12层编码器_解码器(Encoder_Decoder)类型的T成模型的输出层通常包括一个输出嵌入层(称为Languagemodelhead或Output量矩阵转换为词表中各个Token的概率值，根据概率值的大小来决定下一个生成的Token，[0044]在推理阶段，通常只取主干网络的最后一个Transformer输出的最后一个嵌入向9量(即主干网络的最后一个Transformer输[0045]如图3所示，本公开中的大语言模型微调方法可以包括模型转换阶段和模型精调[0047]在模型精调阶段：服务端使用方利用目标词表对文本样本进行分词和转索引操索引对进行嵌入层参数更新后所得的大语言模型进行微嵌入层参数，即目标嵌入层参数包括混淆后的输入嵌入层参数和混淆后的输出嵌入层参引对新的大语言模型进行微调。这项技术的便利。目标词表，对置换得到的嵌入层参数(即置换嵌入层参数)进行加噪处理(即噪声扰动处[0074]在本公开中，可以根据置换嵌入层参数，采用近邻保距离加噪(Neighbor[0088]下面针对上述步骤(312)中的根据置换嵌入层参数，分别计算当前词元与目标词表中每一未被聚类的其他词元之间的第二相似度的具体实施方式进行详细说明。具体来入向量；然后，通过余弦度相似度、欧氏距离、曼哈顿距离、皮尔逊相关系数(Pearson[0092]由于计算两个字符串之间的编辑距离的具体实施方式属于本领域技术人员所公根据该其他词元的索引，从置换嵌入层参数中获取与该其他词元的索引对应的嵌入向量，[0099]下面针对上述步骤(32)中根据聚类结果，对置换嵌入层[0102]步骤(322)：利用差分隐私机制对与该聚类簇对应的嵌入向量集进行噪声扰动处[0107]下面针对上述步骤(322)中的利用差分隐私机制对与该聚类簇对应的嵌入向量集衡量该嵌入向量与嵌入向量集中每一嵌入向量之间的第一通过步骤(1)～步骤(3)来实现输入嵌入层参数的淆处理时所采用的隐私预算，可以与输出嵌入层参数混淆处理时所采用的隐私预算相同，[0131]下面针对上述服务端基于第一词元索引对新的大语言模型进行微调的具体实施标签对新的大语言模型进行微调。词表分词与索引之间的对应关系(如图3中所示对新的大语言模型进行微调。入层的输出作为主干网络的输入，将主干网络输出的嵌入向量矩阵的第一个向量作为MLP行微调。[0139]其中，服务端可以基于MLP输出的预测类别和上述文本样本对应的分类标签的差基于第一词元索引对新的大语言模型进行微微调：[0142]如图3所示，服务端可以将第一词元索引作为新的大语言模型的输入嵌入层的输行微调。[0143]其中，服务端可以基于输出嵌入层输出的预测词元索引[0144]图5是根据一示例性实施例示出的一种应用于服务端的大语言模型微调方法的流对新的大语言模型进行微调。服务端使用方对大语言模型的词表进行混淆处理得这项技术的便利。[0152]根据本公开实施例的应用于服务端的大语言模型微调方法中各个步骤的具体实现方式已经在根据本公开实施例的应用于服务端使用方的大语言模型微调方法中进行了这项技术的便利。[0167]图7是根据一示例性实施例示出的一种应用于服务端使用方的大语言模型微调装述服务端，以由所述服务端将所述大语言模型的嵌入层参数更新为所述目标嵌入层参数，大语言模型进行微调。这项技术的便利。[0177]图8是根据一示例性实施例示出的一种应用于服务端的大语言模型微调装置的框述服务端使用方对所述大语言模型的词表进行混淆处理得这项技术的便利。理装置执行时实现本公开提供的上述大语言模型微调方法的步骤或者本公开提供的上述行时实现本公开提供的上述大语言模型微调方法的步骤或者本公开提供的上述文本处理或服务器)700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电[0189]如图10所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)700操作所需的各种程序和数据。处理装置701、ROM702以及RAM703通过总线704彼此相[0193]在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransfer索引对所述新的大语言模型进行微调。样本生成，所述目标词表由所述服务端使用方对所述大语言模型的词表进行混淆处理得到。[0198]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、[0201]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例行微调。[0206]根据本公开的一个或多个实施例，示例4提供了示例3的方法所述根据聚类结述服务端基于所述第一词元索引和所述分类标签对所述新的大语言模型进行微调。端使用方发送的第一词元索引，基于所述第一词元索引对所述新的大语言模型进行微调，表由所述服务端使用方对所述大语言模型的词表进行混淆处理得的第一词元索引和所述文本样本对应的分类标签，基于所述第一词元索引和所述分类标有计算机程序，该计算机程序被处理装置执行时实现权示例1_15中任一项所述方法的步[0223]尽管已经采用特定于结构特征和/或方法逻辑动作的