CN112734050B 文本模型的训练方法、识别方法、装置、设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中所述预置聚合联邦模型对所述模型参数信息进2获取待训练集数据，基于所述待训练集数据训练预置语言模型，将所述模型参数信息加密并上传至预置聚合联邦模型，以获取所述对所述模型参数信息进行联邦学习后返回的聚其中，所述预置语言模型包括预置预训练语言模型和预置双重基于所述第一聚合模型参数信息更新所述预置预训练语言模型的第一模型参数信息，确定更新后的所述预置预训练语言模型和/或更新后的所述预置双重传播模型是否处若确定所述预置预训练语言模型和/或预置双重传播模型处于收敛状态，则将所述预置预训练语言模型作为文本编码模型和/或将所述预置双重传播模型作为文本识别模型，型用于根据所述第二文本语义向量信息确定所述待预测若所述预置预训练语言模型和/或所述预置双重传播模型未处于收敛状态，则根据预置待训练样本数据训练所述预置预训练语言模型和/或所述预置双重传播模型，得到训练后所述预置预训练语言模型的第三模型参数信息和/或所述预置双重传播模型的第四模型参数信息，并将所述第三模型参数信息和/或所述第四模型参数信息上传至所述预置聚合所述基于所述待训练集数据训练预置语言模型，得到所述预置语基于所述待训练文本训练所述预置预训练语言模型，获取所述预基于所述第一语义向量信息对所述预置双重传播模型进行训练所述将所述预置语言模型的模型参数信息加密并上传至预置聚合联邦述预置聚合联邦模型对所述预置语言模型的模型参数信息进行联邦学习后返回的聚合模将所述第一模型参数信息加密并上传至预置聚合联邦模型，获取所述型对所述第一模型参数信息进行横向联邦学习后返回的第一聚将所述第二模型参数信息加密并上传至预置聚合联邦模型，获取所述3型对所述第二模型参数信息进行横向联邦学习后返回的第二聚基于文本编码模型和所述待预测文本，获取所述文本编码模型基于文本识别模型和所述第二文本语义向量信息，获取所本识别模型为如权利要求1-3中任一项所述的基于联邦学习的文本模型的训练方法得到第二获取模块，用于将所述模型参数信息加密并上传至预置述预置聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合生成模块，用于基于所述聚合模型参数信息更新所述预置其中，所述预置语言模型包括预置预训练语言模型和预置双重基于所述第一聚合模型参数信息更新所述预置预训练语言模型的第一模型参数信息，确定更新后的所述预置预训练语言模型和/或更新后的所述预置双重传播模型是否处若确定所述预置预训练语言模型和/或预置双重传播模型处于收敛状态，则将所述预置预训练语言模型作为文本编码模型和/或将所述预置双重传播模型作为文本识别模型，型用于根据所述第二文本语义向量信息确定所述待预测若所述预置预训练语言模型和/或所述预置双重传播模型未处于收敛状态，则根据预置待训练样本数据训练所述预置预训练语言模型和/或所述预置双重传播模型，得到训练后所述预置预训练语言模型的第三模型参数信息和/或所述预置双重传播模型的第四模型参数信息，并将所述第三模型参数信息和/或所述第四模型参数信息上传至所述预置聚合第二获取模块，用于基于文本编码模型和所述待预测文本第三获取模块，用于基于文本识别模型和所述第二文本4码模型和所述文本识别模型为如权利要求1-3中任一项所述的基于联邦学习的文本模型的实现如权利要4所述的基于联邦学习的文本模型的识别方8.一种计算机可读存储介质，其特征在于，所邦学习的文本模型的训练方法的步骤，和实现如权利要求4所述的基于联邦学习的文本模5模型对所述模型参数信息进行联邦学习后返回的聚合述文本识别模型为上述的基于联邦学习的文本模型的训练6本编码模型和所述文本识别模型为上述的基于联邦学习的文本模型的训练[0027]图1为本申请实施例提供的一种基于联邦学习的文本模型的训练方法的流程示意[0029]图3是本申请实施例提供的一种多个第一模型参数信息加密和多个第二模型参数7[0031]图5为本申请实施例提供的一种基于联邦学习的文本模型的识别方法的流程示意[0032]图6为本申请实施例提供的一种基于联邦学习的文本模型的训练装置的示意性框[0033]图7为本申请实施例提供的一种基于联邦学习的文本模型的识别装置的示意性框[0040]请参照图1，图1为本申请的实施例提供的一种基于联邦学习的文本模型的训练8[0049]示范性的，该预置双重传播模型为BiLSTM模型（Bi-directionalLongShort-TermMemory是由前向LSTM与后向LSTM组合而成。在得到预置预训练语言模型输出待训置聚合联邦模型对所述模型参数信息进行联邦学习后返9[0053]在一实时例中，所述模型[0055]在通过公钥对各个预置预训练语言模型的第一模型参数信息和各个预置双重传预训练语言模型的第一模型参数信息和各个预置双重传播模型的第二模型参数通过该秘公钥加密的各个预置双重传播模型的第二模型参数和第二公钥加密的各个预置双重传播[0056]服务器对接收到加密后的各个预置预训练语言模型的第一模型参数信息和各个训练语言模型的第一模型参数信息和第二公钥加密的各个预置预训练语言模型的的第一各个预置预训练语言模型的第一模型参数信息和第二公钥加密的各个预置预训练语言模钥加密的预置预训练语言模型的第一模型参数信息和第二公钥加密的各个预置预训练语钥解密各个预置双重传播模型的第一模型参数信息和第二公钥加密的各个预置双重传播[0057]通过服务器中的横向联邦学习机制学习各个预置预训练语言模型的第一模型参向联邦学习机制学习各个预置双重传播模型的第二模型参数信息的交集特征对应的参数，[0061]子步骤S1031、基于所述第一聚合模型参数信息更新所述预置预训练语言模型的言模型的第一模型参数信息，将更新后的预置预训练语言模型生成对应的文本编码模型。[0063]子步骤S1032、基于所述第二聚合模型参数更新所述预置双重传播模型的第二模[0065]在一实时例中，所述生成对应的文本编码模型和/或生成对应的文本识别模型之若确定所述预置预训练语言模型和/或预置双重传播模型处于收敛状态，则将所述预置预训练语言模型作为文本编码模型和/或将所述预置双重传播模型作为文本识别模型；若所述预置预训练语言模型和/或所述预置双重传播模型未处于收敛状态，则根据预置待训练样本数据训练所述预置预训练语言模型和/或所述预置双重传播模型，得到训练后所述预置预训练语言模型的第三模型参数信息和/或所述预置双重传播模型的第四模型参数信者，该第二聚合模型参数信息与之前记录的第二聚合模型参数信息的差值小于预置差值，[0067]例如，将该第一聚合模型参数信息与之前记录的第一聚合模型参数信息进行比息和/或第四模型参数信息上传至聚合联邦模型进码模型和所述文本识别模型为上述的基于联邦学习的文本模型的[0081]在本发明实施例中，通过文本编码模型得到待预测文本的第二文本语义向量信获取所述预置聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合模型参数信邦模型对所述第一模型参数信息进行横向联邦学习后返回的邦模型对所述第二模型参数信息进行横向联邦学习后返回的[0094]基于所述第一聚合模型参数信息更新所述预置预训练语言模型的第一模型参数[0098]若确定所述预置预训练语言模型和/或预置双重传播模型处于收敛状态，则将所述预置预训练语言模型作为文本编码模型和/或将所述预置双重传播模型作为文本识别模[0099]若所述预置预训练语言模型和/或所述预置双重传播模型未处于收敛状态，则根据预置待训练样本数据训练所述预置预训练语言模型和/或所述预置双重传播模型，得到训练后所述预置预训练语言模型的第三模型参数信息和/或所述预置双重传播模型的第四述文本识别模型输出所述第二文本语义向量信[0111]非易失性存储介质可存储操作系统和计算机程序。该计模型对所述模型参数信息进行联邦学习后返回的聚合联邦模型对所述模型参数信息进行联邦学习后返回的聚合模型参数信息实现时，用于实邦模型对所述第一模型参数信息进行横向联邦学习后返回的邦模型对所述第二模型参数信息进行横向联邦学习后返回的[0130]基于所述第一聚合模型参数信息更新所述预置预训练语言模型的第一模型参数[0132]在一个实施例中，所述处理器所述生成对应的文本编码模型和/或生成对应的文[0134]若确定所述预置预训练语言模型和/或预置双重传播模型处于收敛状态，则将所述预置预训练语言模型作为文本编码模型和/或将所述预置双重传播模型作为文本识别模[0135]若所述预置预训练语言模型和/或所述预置双重传播模型未处于收敛状态，则根据预置待训练样本数据训练所述预置预训练语言模型和/或所述预置双重传播模型，得到训练后所述预置预训练语言模型的第三模型参数信息和/或所述预置双重传播模型的第四述文本识别模型为上述的基于联邦学习的文本模型的训练参照本申请基于联邦学习的文本模型的训练方法和基于联邦学