CN114676687B 基于增强语义句法信息的方面级情感分类方法 （重庆理工大学）

基于增强语义句法信息的方面级情感分类本发明具体涉及基于增强语义句法信息的练模型调整待测文本的词向量表示生成初级上上下文表示中的方面词最大池化作为细粒度表2其中，情感分类模型首先通过BERT预训练模型调整待其中wa是wc的子序列；cls表示BERT预训练模型通过池化值得到情感分类信息；h1,…,hn表示上下文的S211：通过多头自注意力网络聚合初级上下文表示中各个"表示第3g及初级词嵌入表示和次级词嵌入表示的方面词平均池化值和然后通过多粒度门g4骤S2中，通过如下公式将多粒度融合信息hg与初级上下文表示hse中的情感分类信息hcls融cls]+bf；f和bf表示学习参数。5[0003]现目前，基于依赖树的图神经网络(GNN)在方面级情感分类任务中已经取得了不根据句子文本的方面级特征表示得到文本的方面级情感类[0004]上述现有方案中的方面级文本情感分类方法采用卷积神经网络提取句子中的局6下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，生成多粒度融合信[0013]S201：将待测文本对应转换为上下文序列和方面词表示其中wa是wc的子序列；[0020]S211：通过多头自注意力网络聚合初级上下文表示中各"表示多头自注意力网络中l+1层的i个词向量；表示更新权重；wl表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函7化值和以及初级词嵌入表示和次级词嵌入表示的方面词平均池化值和g表示偏差项。gg8[0058]本发明通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的9和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度m方面词表示其中wa是wc的子序列；[0080]需要说明的是，本发明采用的BERT预训练模型是一个现有模型，其全称为[0081]BERT预训练模型强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的maskedlanguagemodel[0085]S211：通过多头自注意力网络聚合初级上下文表示中各"表示多头自注意力网络中l+1层的i个词向量；表示更新权重；wl表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函[0094]具体实施过程中，方面级情感分析最重要的方面是捕获目标方面的意见(即权[0095]更新初级上下文表示和次级上下文表示时，通过Mask向[0108]本发明通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的值和以及初级词嵌入表示和次级词嵌入表示的方面词平均池化值和g然后通过多粒度门机制结合如下公式计算对gg表示偏差项。gg]+bf；[0124]本发明通过上述训练损失函数，能够保证情感分类模型的训练效率和分类准确[0126]本实验在三个现有的基准数据集上进行，分别是SemEval2014的Laptop、[0129]本实验使用accuracy和F1来评判本发明的性能(其中，accuracy和F1值越高代表[0130]结合表2可知，本发明的模型在Semeval2014任务的Restaurant和Laptop以及训练模型相比，本发明的情感分类模型在Restaurant和laptop数据集上领先于所有模型，[0136]最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制