【《基于LSTM-GateCNN网络的中文文本情感分析中细粒度情感分析案例》4800字】

基于LSTM-GateCNN网络的中文文本情感分析中细粒度情感分析案例TOC\o"1-3"\h\u10394基于LSTM-GateCNN网络的中文文本情感分析中细粒度情感分析案例44501.1引言170071.2基于LSTM-GateCNN网络的细粒度情感分析模型293841.2.1输入层179671.2.2LSTM-ATT网络层209461.2.3Gate-CNN网络层173631.2.4输出层316791.3实验与分析10591.3.1对比实验32491.3.2实验结果分析1.1引言文本细粒度情感分析针对文本中可能存在的多个方面进行识别其对应的情感信息并判断情感极性，情感极性分为“正面”，“负面”以及“中性”。现有研究方法集中在构建基于深度神经网络情感分析模型，但依然存在很多不足：大多模型只将目标词或方面词转化为词向量后作为额外的部分直接放到模型中，或者将目标词或方面词向量与作为额外部分与原文本中每个词向量进行拼接后放到模型中。虽然此类方法在模型进行文本情感分析中获取到方面词信息的特征指导，但是忽略了方面词信息与句子中某些部分之间的关联依赖。并且作为额外部分的方面词是固定的，而在评论中方面词的描述是容易变化的，比如对于环境这一方面来说，用“环境布置”进行描述，同样可以描述为“装修布置”。因而，这类做法通常难以找到全面的方面词，同样将不恰当的方面词作为额外部分添加到模型中也会影响最终的分类结果。对于文本中提到评价方面有关的信息但是并没有出现明显的方面词时，例如“这家的菜真的很好吃，就是太贵了”，这句话中“太贵了”就是对“价格”方面的评价，但是“价格”这一方面词并没有出现在文本中，被称为隐式信息，对隐式信息的识别也是现在大多方法存在的不足，这需要根据已有的情感词或者方面词联系上下文语境进行区分哪一些情感信息是描述的那个方面。现有研究方法大多一次只能对一条文本中的某一个方面进行情感分析，在面对文本正出现多个方面词和情感信息的时候，缺乏能够有效的一次将分析出文本中多个方面及其情感信息都分析出来的模型。针对以上问题，本文提出基于LSTM-GateCNN网络的细粒度情感分析模型。利用LSTM学习连续序列的特点和区域CNN捕捉局部信息的特点，将它们结合并在模型中融入注意力机制对重要信息赋予权重值，能够突出方面词与文本情感信息的联系，该模型不需要额外附加外部方面信息，可以自主的将文本中的方面信息进行识别和定位，进而实现同时对文本方面信息和情感信息进行建模，能够一次对文本中出现的多个方面进行情感分析。1.2基于LSTM-GateCNN网络的细粒度情感分析模型本章提出的基于LSTM-GateCNN网络的方面情感分析模型，针对传统神经网络模型不能有效的对方面与情感提取特征信息的问题进行处理，在中文细粒度情感分析中，基于深度学习的细粒度情感分析的处理流程如图1.1所示：图1.1基于深度学习的细粒度情感分析流程图针对中文文本情感分析任务，首要步骤是将获取的文本数据进行预处理，转化为词向量进行深度学习建模，词向量作为模型的输入数据进行训练模型等建模拟合操作，再将模型参数等进行保存后进行模型测试。本章对构建模型进行研究，图1.1为本章提出的基于LSTM-GateCNN的网络模型的总体结构，在该模型中能够同时生成方面特征和情感特征，同时分析出多个不同方面词及其对应的情感信息。主要由输入层、LSTM-ATT网络、GateCNN网络、输出层4个部分组成。本节接下来对这四个部分进行详细地介绍。图1.1LSTM-GateCNN的网络模型结构图1.2.1输入层本文的研究目标是发现句子中不同方面词表达的情感倾向，使用word2vec对词进行编码，word2vec有两种创建词向量的方法有CBOW和Skip-gram[14]。这里使用了Skip-gram模型对数据进行词向量化处理，将目标词向量和句子词向量作为输入，获取关于目标词的上下文情感信息。对给定长度为n的句子，将每个单词映射为实值空间向量，对于每个单词，可以得到向量表示为，d表示为向量的维度。词嵌入处理后得到关于句子和目标词的向量表示分别为。1.2.2LSTM-ATT网络层LSTM-ATT网络层主要用于获取句子全局信息与方面词提取，通过加入自注意力机制关注句子目标词语的上下文信息。对于方面词提取，同第三章的方法一样，词向量输入到LSTM网络获得矩阵MA1，经过ReLU函数计算，若文本中方面词出现，MA1中的每一列向量会记录文本中的方面词信息数值和位置信息，若MA1中出现为负数或为0的数值，则表示为非方面信息。对矩阵MA1过滤后获得矩阵MA2，此时含有非方面信息全部数值设置为0表示丢弃，并提取出非0数值的方面信息和位置信息，将带有方面信息的MA2和原文本词向量拼接为MA3基，并作为下一层的输入进行情感分析。对于基于方面的情感信息提取，运用注意力机制以针对分析句子中与特定方面词相关度高的内容，比如与方面相关的情感词语或者相关的观点词，将词向量输入到LSTM中引入自注意力机制，通过计算文本中词语与词语之间的依赖关系，关注与情感词高相关的上下文信息并赋予权重，然后将目标词平均池化结果和上下单词的隐层信息经过非线性函数计算，从而获得上下文词语的权重，具体描述如下:4-（1）4-（3）4-（4）4-（5）4-（6）4-（7）其中tanh表示非线性函数，表示权重函数，表示上下文词语权重，表示目标词权重，和分别为上下文表示。通过上述方法获得最终句子表示作为下一层Gate-CNN的输入，描述如下：4-（8）1.2.3Gate-CNN网络层该网络层是设置了GateTanh-ReLU（GTRU）门控机制的区域CNN模型，该模型能够选择输出与方面信息相关的情感信息。模型由卷积层、门控单元、最大池化层和全连接层构成，在卷积过程中，滤波器将接受域的每个词语进行映射，滤当波器经过句子时会产生新的特征，如下式：4-（9）其中，ba为偏置，为激活函数，为卷积运算。与卷积层相连接的门控单元是两个非线性门tanh门和ReLU门（GTRU）这对门的特征是由一对卷神经元通过计算得到，每一个门控单元在每个位置都与两个卷积层相连接。ReLU门主要根据接收的方面特征信息来决定情绪特征信息的流向。具体来说，ReLU门通过激活函数计算接受的方面信息，而tanh门主要计算情感特征，计算通过在两个门的输出是以元素逐个相乘的方式进行，最终通过计算，输入到最大池化层中。计算特征如下：4-（10）4-（11）4-（12）其中是CNN网络计算的的方面信息，和分别负责获取情感特征和方面特征。ReLU门控单元避免了梯度爆炸和梯度消失问题，在处理文本分类的任务上更加有效。门控制着情感特征流向池化层（attentionpoolinglayer）的路径，在方面情感分析中经常出现多个带有不同情感的方面词，模型在通过在方面词上添加了一个卷积层，能够在多个词中提取重要特征，为控制门中情感特征流向提供方面信息。门控单元会根据方面相关的情感特征与方面特征的相关度计算输出分数，ReLU门在处理过程中对正输入不设置上限，但会负输入严格归0，若输入分数为0，控制门将会阻挡情感特征，若相反会相应的放大其情感特征。将门输出的特征信息作用于添加了注意力的池化层，最大池化层在特征中筛选出最大值生成固定的向量，而这个向量反映了句子中最突出的情感信息，添加的注意力机制对目标进行加权平均，更够更好的利用重要特征信息，极大程度的生成方面相关的显著情感特征，并且能够并行化处理。1.2.4输出层模型使用softmax的来预测情感极性，利用交叉熵损失函数来评估模型拟合程度，具体描述为：4-（13）其中i表示的是文本样本的索引，j表示情感索引。1.3实验与分析为了验证本章提出的模型在细粒度情感分析中的有效性，在本节进行了对比实验。实验采用的评分标准和使用的实验环境与第三章相同，详情请参考第三章，本章将会使用损失函数来对实验结果进行分析。1.3.1对比实验本文实验方法与以下方法进行比较，其中包括机器学习方法和深度学习方法：（1）LSTM：能够获取长距离语义信息的长短时记忆网络，拼接其每步隐藏层输出的向量并进行平均池化操作得到文本向量，进行分类。。（2）CNN：卷积神经网络，能够有效获取局部特征进行分类。（3）TD-LSTM:由两个LSTM构成的网络结构，主要针对目标词上下文信息建模，生成基于目标依赖的关系进行分类。（4）ATT-CNN：将自注意力机制融入CNN网络模型中，注意力权重帮助特征信息的提取后进行情感分类。（5）LSTM-ATT：融入自主注意力机制的LSTM模型计算隐藏层权重信息，对输出向量加权求和获得句子表示进行情感分类。（6）ATAE-LSTM：基于方面词注意力的LSTM，对方面词作为额外信息进行建模，引入注意力机制对方面词上下文计算权重以生成方面和情感特征向量。（7）GCAE：基于方面的门控CNN模型，将方面词作为额外信息转换为词向量后与CNN输出向量拼接，并具有门控功能对方面信息和情感特征信息进行计算。1.3.2实验结果分析本文模型与其他模型在AIChallenger2018中文数据集上的实验结果如表2所示：表2不同模型实验对比结果ModelF1LossAccLSTM0.4910.04530.521CNN0.5050.04370.533TD-LSTM0.5520.03650.583ATT-CNN0.5830.03040.604LSTM-ATT0.5970.02920.658ATAE-LSTM0.6340.03540.665GCAE0.6580.03070.687LSTM-GateCNN0.7020.02810.732从表2的实验结果可以看出通过比较以上Acc和F1指标，LSTM-GateCNN模型结果明显高于其他模型，CNN模型在局部特征提取上具有优势，但是对于长距离依赖关系无法获取，不利于提取方面词与情感词特征，而LSTM效果要优于CNN。ATT-CNN模型也加入了方面词注意力机制提升了准确率，由此验证了在方面级情感分析任务中，注意力机制能够有效提升分类准确率。TD-LSTM模型比LSTM模型效果要好，其使用两个LSTM对目标词上下文建模，加强了模型特征提取的能力。ATAE-LSTM模型在考虑文本上下文信息的情况下，利用注意力机制提升了网络提取重要信息的能力。GCAE设置门控单元有效对基于方面的情感信息进行计算，但是没有进行方面词提取，方面信息不全面。LSTM-GateCNN模型与其它单个神经网络模型和基于LSTM的模型相比都有更好的分类结果，这证明了将LSTM和注意力机制结合门控CNN能够更好的捕获目标词与句子整体语义下的信息，能够有效的在方面级情感分析任务中得到多个方面的情感信息。此外，能够通过门机制对方面和情感信息进行更细粒度的处理，区分多个实体的情感信息，从而提升了分类效果。为了验证GTRU门控单元的有效性，比较了三种门控单元在同一任务上的分类准确率，如表3所示：表1.1不同门控单元实验准确率GatingunitAccGTU0.623GLU0.607GTRU0.732从表3中实验结果可以看出三个门控单元都达到了较高的精度，GTRU较其他两个有明显的优势，它具有ReLU激活函数，对正输入无上限能够控制情感特征信号的幅度，能够对相关词语赋予权重，越相关的词语权重越大，从而具有较好的提取信息的效果，GTU和GLU中的S形函数可能不能很好的提取情感特征信息。为了更加直观地展示LSTM-GateCNN模型的方面信息提取模块和情感信息提取模块对文本重要信息的捕捉效果，对效果进行可视化。针对模型训练所用的语料进行了部分文本内容的截取，并列举了3个截取的测试实例文本，实例如下：文本一：“店内环境以红色为基调，给人感觉比较喜庆、干净舒适。"文本二：“店面环境很不错，态度服务也很好，点赞。希望味道再加强。”文本三：“周边交通便利，这家店门面算是比较小，招牌不显眼，不过东西还是比较便宜的。"下面将使用LSTM-GateCNN模型的可视化图对三个实例文本进行分析。图1.2文本一情感分析展示图针对数据集中包含的20个细粒度方面信息，对每条文本进行方面信息和情感信息提取，图1.2是对文本一中出现的方面及对应的情感信息的可视化展示图，文本一中只包含了一个方面的评价信息，图中直观地展示了“环境方面信息”及其对应的“情感信息”，其中颜色较深的区域代表了文本中出现的目标信息的强度及位置，这是由于在方面词提取和情感信息是对相关信息进行计算权重并保留，无关的信息权重值置为0。图1.3文本二情感分析展示图图1.3同样直观的展示了颜色较深的区域所在部分代表着出现的目标信息，与文本一不同的是，文本二包含多个方面信息，分别为“环境”、“服务”和“味道”方面，这些方面词都是以显式信息出现的，该模型联系上下文语境，突出方方面词与句子的关联关系，同时对多个方面进行情感分析。文本中提到方面信息时，模型根据方面信息利用门控机制对情感特征计算，并且有选择出与方面词