CN119474891A 通信和内存高效的大模型分布式训练方法、文本分类方法 （深圳市大数据研究院）

通信和内存高效的大模型分布式训练方法、本申请实施例提供了一种通信和内存高效向量和扰动超参数对原始本地分类模型进行模2获取扰动超参数，根据所述模型扰动向量和所述扰动超参数对根据所述文本类别标签、所述第一文本类别和所述第二文本类别计算将所述原始符号发送给所述服务器，并接收所述服务器对所述原始符号进根据所述目标符号、所述模型扰动向量和预设学习率对所述原始对所述原始本地分类模型的模型参数和所述参考扰动向量进对所述原始本地分类模型的模型参数和所述参考扰动向量进模型扰动向量和预设学习率对所述原始本地分类模型进行更新，得到目标分类模型之后，3若所述文本数量大于或者等于所述预设数量阈值，则获取所述语言文本的类别数量，若所述类别占比小于预设占比阈值，则接收所述服务器发送的根据所述第三损失调整所述目标分类模型的模型参数，得到候选分若所述类别占比大于或者等于所述预设占比阈值，则在所述通过目标分类模型对所述目标文本进行文本分类，得到目标文本所述目标分类模型根据权利要求1至6任一项所述的通信和内存高效的大模型分布式训练存高效的大模型分布式训练方法或者权利要求7所述模型分布式训练方法或者权利要求7所述的4[0003]本申请实施例的主要目的在于提出一种通信和内存高效的大模型分布式训练方根据所述文本类别标签、所述第一文本类别和所述第二文本类别计算损失差值，5类别标签和所述样本类别标签对所述目标分类模分类模型根据第一方面所述的通信和内存高效的大模型分布式训练6实现上述第一方面所述的通信和内存高效的大模型分布式训练方法或者第二方面所述的图4是本申请实施例提供的通信和内存高效的大模型分布式训练方法的另一流程7技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，[0021]本申请实施例提供的通信和内存高效的大模型分布式训练方法、文本分类方法、本申请实施例中的通信和内存高效的大模型分布术领域。本申请实施例提供的通信和内存高效的大模型分布式训练方法可应用于终端中，8[0024]图1是本申请实施例提供的通信和内存高效的大模型分布式训练方法的一个可选移位寄存器(LinearFeedbackShiftRegisters，LFSR)算法、线性同余生成器(Linear[0028]请参阅图2，在一些实施例中，步骤S130可以包括但不限于包括步骤S210至步骤9[0034]对于主题分类，输入的语言文本为“<待分类文本>Question:thisbelongsto[0039]请参阅图3，在一些实施例中，步骤S160可以包括但不限于包括步骤S310至步骤使得本地模型具有拜占庭攻击抗性以及数据S110至步骤S180利用新的数据集对目标分类模[0058]通过上述步骤S510至步骤S520，按照不同情况区分对目[0059]请参阅图6，在一些实施例中，步骤S520可以包括但不限于包括步骤S610至步骤选分类模型发送给服务器，并接收服务器对候选分类模型进行聚合得到的聚合分类模型，方法可以包括但不限于包括步骤S710根据所述文本类别标签、所述第一文本类别和所述第二文本类别计算损失差值，类别标签和所述样本类别标签对所述目标分类模通信和内存高效的大模型分布式训练方法或者可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现