【《结合自注意力的BERT文本情感分析实验探究案例》2000字】

结合自注意力的BERT文本情感分析实验探究案例1.1BERT1.1.1TransformerTransformer模型是在Vaswani等针对NPL领域的机器翻译任务时首次提出,该模型基于注意力机制，模型结构是Encoder-Decoder。Transformer模型为连续操作中面临的长期问题提供了实质性的解决方案，在NLP研究领域打破了令人惊叹的速度。自2017年诞生以来，它已经在一些NLP应用中产生了许多SOTA结果，特别是由于其成分。Transformer模型的体系结构如图2.1所示。图1.1Transformer模型该模型由编码器和解码器块组成，具有软激活函数归一化输出概率。1.1.2预训练模型为了获取语义表示更加准确的词向量，本文选择BERT预训练模型用于获取词向量。因为BERT是一个深度双向Transformer模型，和传统的word2vec、GloVe等序列模型相比能够表达更加丰富准确的语义信息。同时传统的词嵌入技术获取的词向量是固定的，无法准确表达多义词或相同单词在不同位置的更加深层次语义信息。BERT可以根据每个文本序列动态生成每个词的字向量，相同的词在文本序列不同的位置会映射出不同的词向量。图1.2BERT预训练模型结构图目前谷歌官方已经针对不同语言不同应用场景发布了24个不同大小的预训练模型，开发者可以根据各自的任务选择合适的模型。因为本文主要进行中文评论情感分析，所以选择BERT-Base,Chinese作为数据集预训练模型。1.2结合自注意力的BERT情感分析模型通过上文实验，我们可以看出自注意力机制的有效性，引入自注意力机制模型的准确率均高于未引入模型，加入自注意力机制的模型能够更好的考虑文本与结果的相关性。Bert模型可以通过计算单词在不同位置的信息进而获得单词的词向量，有助于解决文本数据中存在一词多义的问题。并且本文在BERT预训练模型的基础上加入自注意力机制，使得文本情感分类更加准确。首先，利用BERT预训练模型对文本进行处理，得到文本的字向量、词向量和位置向量等信息，并将它们求和得到单词的向量信息，然后通过BERT预训练模型准确的获得文本的特征信息。而后通过引入注意力机制，对模型所提取出的特征信息进行加权，重点突出关键信息。最后通过Softmax函数对信息进行归一化处理，完成文本情感分类任务。模型结构如图所示。图1.3模型结构图1.3实验及结果分析1.3.1数据集实验延续上面的自注意力文本情感分析，选用weibo_senti微博情感数据集进行模型训练，与前面相似，仍从weibo_senti数据集随机抽样100000条语句，构造平衡语料作为本文的实验数据，其中weibo_senti数据集正负预料各50000条，训练集、验证集和测试集的数量不变。通过人工标注的方式将其中的10万条数据分为积极和消极评论，1表示积极评论，0表示消极评论。表4-1weibo_senti数据集示例labelreview1更博了，爆照了，帅的呀，就是越来越爱你！生快傻缺[爱你][爱你][爱你]1@张晓鹏jonathan土耳其的事要认真对待[哈哈]，否则直接开除。@丁丁看世界很是细心，酒店都全部OK啦。1姑娘都羡慕你呢…还有招财猫高兴……//@爱在蔓延-JC:[哈哈]小学徒一枚，等着明天见您呢//@李欣芸SharonLee:大佬范儿[书呆子]1美~~~~~[爱你]1梦想有多大，舞台就有多大![鼓掌]0厚道点行吗？[泪][泪][泪]，爱特我干嘛[抓狂]我想去西藏//@种桃得桃:@--IAmWhatIAm0[泪]//@郭小静gj:?0热得快￥%―……//@老毕V:近期校园宿舍失火的不少呀//@安徽苗同伟://@颍淮之最:在寝室的孩子们尤其要注意安全使用电器啊！//@江淮晨报李培:[抓狂]//@庐州老叫:转发微博。0[怒][怒骂]//@头条新闻:转发微博1.3.2实验过程我们选用谷歌预训练好的BERT模型（chinese_L-12_H-768_A-12），官网可直接下载。首先，对数据集进行预处理，由于微博评论数据中存在大量转发以及具体评论对象等无用信息，而这部分内容在实际情感二分类任务中所起作用不大，在数据预处理中，从“，”、“.”、“\”等显示中删除相关的内容，而在数据集中，可以看到用[]转换的字符的表情，我们可以看到其中包含明确的情感信息，但并不完全代表整个句子的情感倾向，还要对这个类型的数据进行保留处理，再进行上下文分析。对原始数据集进行去噪处理后，结合中文中的汉字数字数据的特点，进行分词、术语去除等操作，完成数据集的预处理。使用BERT模型对训练集和验证集的数据进行预训练，按照输入单词的顺序随机遮挡一定比例的的单词。举个例子，如果数据集有1000条，人为的制造150个遮挡词，然后再用模型预测人为的制造这150个遮挡词。1.3.3实验结果分析为了证明BERT在语言特征提取方面的有效性，以及证明使用的分类器的优势，我们设置了基于不同分类方法的对比实验，同时设置了主流模型的对比分析实验，结果如表4-2所示。表4-2对比结果组别分类模型Acc（%）Recall（%）F1（%）MachineLearningSVM81.8283.1582.84BERT-SVM88.7188.1888.62RNNLSTM81.785.0181.75BLSTM87.987.2587.86BLSTM-Att89.789.4389.61本文方法BERT-BLSTM-Attention90.690.7790.36从表4-2可以看出，无论是使用传统的MachineLearning方法，还是使用RNN分类器方法，引入BERT模型都能有效提高模型的准确率，而本文的方法BERT-BLSTM-Attention模型则要比其他的分类模型效果都要好。1.4本章小节对于传统的机器学习方法组，BERT模型的深度学习方法的效果优于传统的深度学习方法，表明引入BERT模型的深度学习方法在自动学习和获取文本隐藏信息特征方面，能力更强。对于RNIN组，BLSTM模型的准确率比LSTM模型高3.2%，而