CN115344695B 一种基于领域bert模型的服务文本分类方法 （中国人民解放军空军工程大学）

US2021150340A1,2021.05.20一种基于领域BERT模型的服务文本分类方法涉及一种基于领域BERT模型的服务文本分类方入进BERT_BiLSTM模型的BERT词表后，将服务文本语料输入BERT_BiLSTM模型进行训练，实现服BiLSTM_attention、RCNN和Transformer模型2步骤2：在步骤1的基础上，建立BERT_BiLSTM模型，将步骤1提取的领域词汇输入进步骤3：根据步骤2的服务文本语料特性和分类结果，选3述步骤2.1中，BERT模型中的encoder层由transformerencoder结构组成，transformer其中，Concat为拼接操作，即将每个自注意力结果首尾相连，矩阵Q、K、V分别代表述残差连接和归一化层是将多头自注意力机制层的输入和输出相加并归一化为标准正态其中，input表示输入数据，output表示残差连接和归一化层的输出，Sublayer表示馈网络层是将残差连接和归一化层的输入数据通过两层线性映射和激活函数处理以提高述步骤2.1的BiLSTM层的结构由前向和后向两条LSTM网络组成，输入序列分别接入前向和表示在n时刻LSTM网络的正向输出，表示n时刻LSTM网络的反向输出，xn代表4nn分别为表示在n时刻正向LSTM网络输出的权重矩阵和n时刻反向LSTM网络输5服务类别实现服务检索和服务发现，从而保证面向服务架构(Service_Oriented[0003]目前，服务文本分类方法可以分为基于特征工程的方法和基于深度学习的方[0005](1)基于BERT模型的文本分类算法常依据模型自带的词表进行词向量生成。尽管[0006](2)针对服务文本语料库的不均衡性问题考虑不足。分类数据集常出现数据不均[0007]针对上述存在的在问题，本发明提出一种基于领域BERT模型的服务文本分类方6文章j中出现的频率，N表示语料库中文章的总个数，ni表示语料库中含有词汇i的文章个生成文本词向量，通过encoder层中的多头注意力机制和前馈神经网络层捕捉文本词汇特[0022]优选的，所述多头自注意力机制层主要通过权重的更新来强调文本中的不同部7iQiKV集特性和步骤2的分类结果，改变损失函数以得到最优结果，针对服务语料的数量不平衡8合BiLSTM(BidirectionalLongShort_TermMemorynetworks)模型的上下文特征捕捉能[0048](3)提出了一种可以根据数据集不均衡性动态调整的变焦损失函数。其优势在于[0049](4)为了验证所提出方法的有效性，在互联网爬取的真实数据集上进行了大量实9文章j中出现的频率，N表示语料库中文章的总个数，ni表示语料库中含有词汇i的文章个了101个占位符[unused]用以扩充词表。选取步骤1.2中词汇权值最大的前101个词汇对原BiLSTM模型组合而成，BERT模型操作完成后进入到BiLSTM模型，BERT模型依次包括入层生成文本词向量，通过encoder层中的多头注意力机制和前馈神经网络层捕捉文本词入(Embedding)，其中，BERT的输入由字嵌入(TokenEmbeddings)、段嵌入(Segment[0077]段嵌入标明了单词所属的句子，位置嵌入标识了单词在输入文本中的具体位iQiKV循环神经网络(RecurrentNeuralNetwork,RNN)的基础上，为解决传统RNN模型出现的梯]+bf)]+bo)t和ot使用的偏置项。[0101]在文本分类任务中，从当前词的上下文同时分析特征获取的特征信息更为准[0102]所述步骤2.1的BiLSTM层的结构由前向和后向两条L[0109]通过步骤2的BERT-BiLSTM模型训练后，通过分析步骤2中的服务文本语料特性和多少难易难样本与少易样本权值变化存在冲突，这使得损失函数难以为这两类样本赋予合适的权衡程度来调节损失函数的关注焦点。在步骤3.1确定服务文本语料数量不平衡性和难易不增大γ,使得损失函数更趋向于为难样本分配较大的权重。这使得变焦损失函数可以针对[0133]为获取服务描述文本的真实数据，本文使用爬虫工具从ProgrammableWeb[0136]本文实验采用的实验设备为Intel(R)Core(TM)i7_10875HCPU@2.30GHz；采用1.9.0版本pytorch深度学习框架进行模型建立。BERT模型版本采用了Google预训练的[0159]根据实验结果可以看出，本文使用的模型相比于原始BERT模型和BERT_Random模以更好地获取上下文信息，特征提取能力较强；相较于BiLSTM_Attention和RCNN模型[0184]图9和图10分别展示了不同模型在迭代过程中的损失值和Macro_F1的变化情况。型首先通过领域词汇增强的BERT_BiLSTM模型获取词向量上下文特征进行分类，最后提出