CN110717039A 文本分类方法和装置、电子设备、计算机可读存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中签预测模型对所述待分类文本对应的词向量集2通过预设的标签预测模型对所述待分类文本对应的词获取所述标签预测模型所输出的预测结果，所述预对所述语料分词词库中的各分词，分别通过快速文本模型的连续通过计算分词所对应快速文本向量和词嵌入向量的平按照设定比例，将待进行标签预测模型训练的对初始训练所得标签预测模型，分别通过所述训练集述标签预测模型所输出预测结果对所述训练集中标注根据修正得到的类别标签对所述训练集更新，且通过所述根据所述标签预测模型所输出结果，分别计算所述标在所述训练集和测试集对应的准确率均低于通过计算所述训练样本集合中预测结果正确且类别标签标注错误的概在所述预测概率值低于设定的概率阈值时，获取人3分词处理模块，用于通过对待分类文本进行分标签预测模块，用于通过预设的标签预测模型对所述待类别获取模块，用于获取所述标签预测模型所输出的预向量表达融合模块，用于通过计算分词所对应快速文本向量和词嵌入向量的平均向标注语料分配模块，用于按照设定比例，将待进类别标签修正模块，用于对初始训练所得标签预测模模型迭代训练模块，用于根据修正得到的类别标签对所述训练集存储器，所述存储器上存储有计算机可读指令，所述4[0003]文本分类是将自然语句按照一定的分类体系或标准进行自动分类且标记相应类于文本分类的处理过程繁杂，容易因为一些常见错误导致无法对自然语句进行准确分类。取所述语料分词词库中每一分词所对应向量5据所述训练集和测试集进行训练得到的，所述测试集用于修正所述训练集中的错误数据；6[0031]其中，文本获取客户端100与文本服务端200之间预先建立有线或者无线网络连[0032]文本获取客户端100用于获取文本信息，并将获取的文本信息传输至文本服务端[0035]文本服务端200在进行文本信息处理时，不可避免地需要对所接收的文本信息进[0037]图2是根据一示例性实施例所示出的一种服务器的框图。该服务器可以被具体实7申请的使用范围的任何限制。该服务器也不能解释为需要依赖于或者必须具有图2中示出实现中央处理器270对海量数据255的计算与处理，其可以是WindowsServerTM、MacOS[0044]中央处理器270可以包括一个或多个以上的处理器，并设置为通过总线与存储器[0050]如前所述，文本分类是对待分类文本按照一定分类体系进行自动分类标记的过8连续跳跃元语法模式(即skip-gram模式)对分词进行向量化训练得到的向量。需要说明的确子字以及错误子字(即错别字)会赋予类似的向量表达，因此在训练得到的词向量词典来说，在执行向量化训练时需要充分考虑分词之间的词序信息才能够得到准确的词向量，[0065]步骤350，通过预设的标签预测模型对待分类文本对应的词向量集合进行类别标9标签预测模型的训练中，由于训练集中的错误数据会影响所训练标签预测模型的准确度，CNN(Convolutionalneuralnetwork，卷积神经网络)模型或者LSTM(LongShort-Term[0071]其中，标签预测模型所输出的预测结果包括待分类文本可能对应的若干文本类[0073]图4是根据另一示例性实施例所示出的一种文本分类方法的流程词进行词向量训练时，需要将连续跳跃元语法模式下的子字长度参数(即subword)由默认[0084]在本实施例中，将快速文本向量和词嵌入向量融合至分词所[0088]图5是根据另一示例性实施例所示出的一种文本分类方法的流程[0097]步骤550，对初始训练所得标签预测模型，分别通过训练集和测试集进行组合训标签进行对比，能够分别获得标签预测模型分别对训练集和测试集进行标签预测的准确训练样本事先标注的类别标签错误，因此需要对训练集中标注错误的类别标签进行[0104]其中，通过测试集和更新所得到的训练集迭代执行标签预测模型的训练过程是测模型所输出预测结果对训练集中标注错误的类别标签进行修正的过程具体包括以下步[0117]步骤557，将训练样本集合中训练样本的类别标签修正为与标签预测模型输出的[0118]步骤559，获取人工输入的类别标签对训练样本集合中训练样本的类别标签进行[0120]通过本实施例所提供方法，实现了对训练样本中标注错误的类别标签的自动修[0122]分词处理模块610用于通过对待分类文本进行分词处理，获得待分类文本对应的[0123]向量化处理模块630用于根据预设的词向量词典对分词集合进行向量化处理，获[0124]标签预测模块650用于通过预设的标签预测模型对待分类文本对应的词向量集合[0125]类别获取模块670用于获取标签预测模型所输出的预测结果，该预测结果对应于[0129]向量表达融合模块用于通过计算分词所对应快速文本向量和词嵌入向量的平均[0130]词向量词典获取模块用于获取语料分词词库中每一分词所对应向量表达形成词