CN119398109A 语言嵌入模型的领域知识注入方法、装置、设备及介质 （中金金融认证中心有限公司）

语言嵌入模型的领域知识注入方法、装置、个第一原始transformer层中选取并复制第一目嵌入模型进行小样本对比学习仅需更新领域知2获取与嵌入模型具有相同架构的目标语言模型，其中，从所述多个第一原始transformer层中选取并复制第一目标知识层，并将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层中，以生成新的语使用预设领域知识数据对所述新的语言模型的第一目标使用所述预设领域知识数据对所述新的第一嵌入模型进行小确定是否存在与所述嵌入模型具有相同架构当确定存在与所述嵌入模型具有相同架构的目标语言模型时，获取所述目标语言模的多个第二原始transformer层中选取并复制第二目标知识层，并将复制的所述第二目标使用所述预设领域知识数据对所述新的第二嵌入模型的第二目标知识层进行预训练，使用所述预设领域知识数据对所述新的第二嵌入模型的第二目标领域知识层进行小根据所述检索指令，采用所述目标嵌入模型进行对应的预设领域知4.根据权利要求1所述的方法，其特征在于，所述从所述多个第一原始按照预设知识层选取规则，从所述多个第一原始transformer层中选取并复制第一目将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对所述新的3所述使用所述预设领域知识数据对所述新的第一嵌入模型进行小样本对比学冻结所述新的第一嵌入模型的其他层的参数值，使用分别从所述目标语言模型的多个第一原始transformer层的不同位置获取不同数量的分别复制所述候选知识层，并将复制的所述候选知识层冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对每个所述将所述候选知识层插入所述嵌入模型的对应位置，并使用所述预在使用候选嵌入模型进行预设领域知识检索时，计算每个候将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层中，训练模块，用于使用预设领域知识数据对所述插入模块，用于将所述第一目标领域知识层插入所述嵌入模型的对比学习模块，用于使用所述预设领域知识数据对所述新的第一其中，所述存储器存储有可被所述至少一个处理器执行的指令，所4[0004]相关技术中,提出了从预训练到对比学习训从所述多个第一原始transformer层中选取并复制第一目标知识层，并将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层中，以生成新5确定是否存在与所述嵌入模型具有相同架构模型的多个第二原始transformer层中选取并复制第二目标知识层，并将复制的所述第二目标知识层插入所述嵌入模型的多个第二原始transformer层中，以生成新的第二嵌入模使用所述预设领域知识数据对所述新的第二嵌入模型的第二目标知识层进行预使用所述预设领域知识数据对所述新的第二嵌入模型的第二目标领域知识层进按照预设知识层选取规则，从所述多个第一原始transformer层中选取并复制第冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对所述所述使用所述预设领域知识数据对所述新的第一嵌入模型进行小样本对比学习，6分别从所述目标语言模型的多个第一原始transformer层的不同位置获取不同数冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对每个所述候选语言模型的候选知识层进行预训练，以确定所述候选知识层对应的候选参数值，[0014]在一个实施例中，可选的，所述嵌入模型包括Decoder_Only架构嵌入模型和生成模块，用于从所述多个第一原始transformer层中选取并复制第一目标知识层，并将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer程序，计算机程序被处理器执行时实现上述基于语言嵌入模型的领域知识注入方法的步7将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层中，[0020]图1示出了根据本申请的一个实施例的基于语言嵌入模型的领域知识注入方法的[0021]图2示出了根据本申请的另一个实施例的基于语言嵌入模型的领域知识注入方法[0022]图3示出了根据本申请的又一个实施例的基于语言嵌入模型的领域知识注入方法[0023]图4示出了根据本申请的一个实施例的预设知识层选取规则确定方法的示意流程[0024]图5示出了根据本申请的一个实施例的Decoder_Only架构嵌入模型的领域知识注[0025]图6示出了根据本申请的一个实施例的Decoder_Only架构嵌入模型下不同深度的[0026]图7示出了根据本申请的一个实施例的Encoder嵌入模型的领域知识注入方法的[0027]图8示出了根据本申请的一个实施例的Encoder嵌入模型下不同深度的网络层权重C_MTEB_T2Retrieval[0028]图9示出了根据本申请的一个实施例的基于语言嵌入模型的领域知识注入装置的[0030]为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描8[0035]领域知识注入：一般而言，嵌入模型在较为广泛的语料中经过预训练（pre_[0037]如图1所示，根据本申请的一个实施例的基于语言嵌入模型的领域知识注入方法[0038]其中，完成将语料内容转换为向量操作的AI模型，称为嵌入模型（embedding将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层中，按照预设知识层选取规则，从所述多个第一原始transformer层中选取并复制第编号，例如编号1_10，选取位置可以选取的具体编号，选取数量可以是选取的连续的9冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对所述从所述嵌入模型的多个第二原始transformer层中选取并复制第二目标知识层，并将复制的所述第二目标知识层插入所述嵌入模型的多个第二原始transformer层中，以生成新的型的多个第二原始transformer层中选取并复制第二目标知识层，并将复制的所述第二目步骤S401，分别从所述目标语言模型的多个第一原始transformer层的不同位置[0054]在该实施例中，可以从目标语言模型的多个原始transformer层的不同位置获取步骤S501，复制Decoder_Only架构大语言模型中的若干transformer层，并根据[0059]其中，针对transformer层的选取，在Decoder_Only架构下，可以选择Decoder_Only大语言模型中距离输入端最近的transformer层。C_Eval作为评估大语言模型在中文[0067]如图8所示，C_MTEB数据集用来评测嵌入模型在一般数据集上检索能力，对于[0068]通过本发明的上述技术方案，可以复制并训练语言模型或嵌入模型本身的知识[0069]图9示出了根据本申请的一个实施例的基于语言嵌入模型的领域知识注入装置的语言模型包括多个第一原始transfo生成模块92，用于从所述多个第一原始transformer层中选取并复制第一目标知所述获取模块用于：当确定存在与所述嵌入模型具有相同架构的目标语言模型并将复制的所述第二目标知识层插入所述嵌入模型的多个第二原始transformer层中，以按照预设知识层选取规则，从所述多个第一原始transformer层中选取并复制第冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对所述所述获取模块还用于：分别从所述目标语言模型的多个第一原始transformer层入所述目标语言模型的多个第一原始transformer层中的预设位置，以生成对应的候选语规则。程序，计算机程序被处理器执行时实现上述基于语言嵌入模型的领域知识注入方法的步[0083]上述的基于语言嵌入模型的领域知识注入装置可以实现为一种计算机程序的形用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列所述计算机可执行指令用于执行第一方面实施例中所述的[0092]需要说明的是，上述关于计算机可读存储介质或电子设备所能实现的功能或步通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机