CN114637847B 模型的训练方法、文本分类方法和装置、设备、介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中US2020320439A1,2020.10.08据第一原始数据和目标训练数据对预设的神经2根据所述第一原始数据和所述目标训练数据对预设的神经所述增强参数包括第一扰动比率和第二扰动比率；所述根据预设的增获取第一样本数据的第一句子长度，将所述第一句子长度和通过预设函数对所述第一原始数据和所述目标训练数据进行扰动计算将所述损失值作为反向传播量，调整所述神经网络模型的将所述目标文本数据输入至目标分类模型进行标通过所述目标分类模型的全连接层将所述目标文本数据映射到预设的向量空通过所述全连接层的分类函数和预设文本类别标签对所述目标文本向量进行标签分3数据增强模块，用于根据预设的增强参数对所述初始训练数据模型训练模块，用于根据所述第一原始数据和所述目标训练数据对预设所述增强参数包括第一扰动比率和第二扰动比率；所述根据预设的增获取第一样本数据的第一句子长度，将所述第一句子长度和标签分类模块，用于将所述目标文本数据输入至目标分类模型进行标上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通练方法或者如权利要求3至4任一项所述的文本4[0003]本申请实施例的主要目的在于提出一种模型的训练方法、文本分类方法和装置、[0014]根据所述第一扰动量对所述初始训练数据进行删减处理，得到所述增强训练数5[0025]将所述目标文本数据输入至目标分类模型进行标签分类处理，得到标签文本数[0026]在一些实施例，所述将所述目标文本数据输入至目标分类模型进行标签分类处[0027]通过所述目标分类模型的全连接层将所述目标文本数据[0028]通过所述全连接层的分类函数和预设文本类别标签对所述目标文本向量进行标[0038]标签分类模块，用于将所述目标文本数据输入至目标分类模型进行标签分类处到。6技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，7[0060]编码(Encoder):编码就是将输入序列转化成一个固定长度的向量；解码[0061]BERT(BidirectionalEncoderRepresentationsfromTransformers)：是一个语言表示模型(languagerepresentationmodel)。BERT采用了TransformerEncoder是能使距离相近的向量对应的物体有相近的含义，比如embedding(复仇者联盟)和8置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系9[0077]步骤S106，根据第一原始数据和目标训练数据对预设的[0079]在一些实施例的步骤S101类样本数据label1(即第二原始数据)的样本数量为n，则需置第一扰动比率r1为0.1，则根据第一句子长度s1和第一扰动比率r1计算得到第一扰置第二扰动比率r2为0.1，则根据第二句子长度s2和第二扰动比率r2计算得到第二扰为了提高数据增强的效率，同时选择上述两种数据增强方式对初始训练数据进行数据增[0098]在一些实施例的步骤S104中，可以采用BERT编码器对增强训练数据进行编码处[0100]请参阅图4，在一些实施例中，步骤S106可以包括但不限于包括步骤S401至步骤神经网络模型中，并设置神经网络模型的迭代次数(epoches_num)和数据批大小(batchri公式(2)[0120]在一些实施例的步骤S501[0123]步骤S601，通过目标分类模型的全连接层将目标文本数据映射到预设的向量空的MLP网络对目标文本数据进行语义空间到向量空间的映射处理，将目标文本数据映射到[0135]模型训练模块706，用于根据第一原始数据和目标训练数据对预设的神经网络模[0145]扰动计算单元，用于通过预设函数对第一原始数据和目标训练数据进行扰动计[0149]请参阅图8，本申请实施例还提供一种文本分类装置，可以实现上述文本分类方储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现