CN110569508A 融合词性和自注意力机制的情感倾向性分类方法及系统 （重庆邮电大学）

号融合词性和自注意力机制的情感倾向性分本发明涉及一种融合词性和自注意力机制S3：利用Transformer-Encoder模型学习文本语将学习到的语义特征和情感特征拼接作为最终22.根据权利要求1所述的融合词性和自注意力机制的情感倾向性分类方法，其特征在于：步骤S2中所述文本的向量表示是对分词得到的词语及其词性和位置信息映射成向量，每个词语wi通过WordEmbedding后得到词向量e;eRdwv,词语对应的位置信息通过PositionEmbedding得到位置向量词向量和位置向量相加得到词语最终的Embedding向量v1=le1+zlERV,而每个词对应的词性pi通过POSEmbedding得到词性3.根据权利要求2所述的融合词性和自注意力机制的情感倾向性分类方法，其特征在4.根据权利要求1所述的融合词性和自注意力机制的情感倾向性分类方法，其特征在5.根据权利要求4所述的融合词性和自注意力机制的情感倾向性分类方法，其特征在于：所述多头自注意力层利用多头自注意力机制学习句子内部词语间的长距离依赖关系；首先将Query向量和每个Key向量进行相似度计算得到每个Key向量对应Value向量的权重36.根据权利要求1所述的融合词性和自注意力机制的情感倾向性分类方法，其特征在对词性向量矩阵EpeRdpos进行一系列运算得到包含每种词性对应Attention权值的7.根据权利要求1所述的融合词性和自注意力机制的情感倾向性分类方法，其特征在j=o(wu+b)引入目标检测领域的FocalLoss作为损失函数，缓解样本不平衡问题对分类的影响，8.一种融合词性和自注意力机制的情感倾向性分分类层：将学习到的语义特征和情感特征拼接作4自动从数据中学习特征，越来越多的学者开始尝试用深度学习解决情感倾向性分类问题。[0005]现有的深度学习方法多是采用传统的卷积神经网络(ConvolutionalNeural准确度。5[0015]每个词语wi通过WordEmbedding后得到词向量词语对应的位置信息通过PositionEmbedding得到位置向量词向量和位置向量相加得到词语最终的Embedding向量v=[e;+z/eRdw,而每个词对应的词性pi通过POSEmbedding得到词性经网络组成的Transformer-Encoder模型中学习文本的语义特征，输出语义特征向量矩阵6[0029]进一步，步骤S4中所述词性注意力是利用词性信息挖掘词语[0030]对词性向量矩阵进行一系列运算得到包含每种词性对应Attention[0032]最终的向量表达μ经过Sigmoid激活函数映射成一个取值在[0,1]之间的数值概[0034]j=o(wu+b)[0039]另一方面，本发明还提供一种融合词性和自注意力机制的情感[0045]本发明的有益效果在于：本发明利用自注意力机制来学习文本多层次的特征表7[0061]其中步骤S1中预处理的具体实施步骤包括：利用分词工具进行分词和词性标注、到词向量e;eRdw,其中dw表示词向量维度；8个词语的位置编号，通过PositionEmbedding将序号为P的位置映射为一个dw维的位置向[0067]词向量和位置向量相加得到词语最终的Embedding向量其中向量表达进行学习。对于每个词对应的词性pi，通过POSEmbedding得到词性向量其中dpos为词性向量的维度。[0069]图3所示为本发明所述步骤S3利用Transformer-Encoder模型学S22所述的Embedding向量vi和训[0074]步骤S33、将步骤S32得到的相似度得分使用Softmax函数整理成所有元素权重之[0079]步骤S35、多头自注意力计算过程是将自注意力的步骤并行地做h次，然后将h次[0082]其中参数矩阵model为计算h次自注意力后拼接向量的维度。9[0088]步骤S42、矩阵H按列做Softmax(Column-Softmax)后得到表示每种词性相关程度[0101]j=o(wu+b)[0106]另一方面，本发明还提供