【微博情绪识别-BERT与深度网络的结合策略与实现15000字论文】

微博情绪识别一BERT与深度网络的结合策略与实现期间网民微博文本展开情绪识别研究，实验基于BERT预训练(1)研究情绪识别领域的相关技术手段，学习已有的算法思想，研究深度(2)使用BERT预训练模型构建基本的算法模型，并将BERT与卷积神经网络和循环神经网络相结合，以探索性能更优的模型。本文使用pytorch框架对模型进行构建，使用5折交叉验证对模型进行训练。(3)在对模型性能的评估方法上，通过测试结果中预测值的准确率对模型要略好于BERT与循环神经网络相结合的实验模型，但二者的性能略差于纯关键字：情绪识别，BERT,微博，新冠疫情目录 I目录 I 11.1研究背景及意义 11.2国内外研究现状 21.3论文主要研究内容 3 第2章相关理论和技术 42.1卷积神经网络 4 52.3BERT预训练模型 6 62.3.2输入表示 92.3.3预训练任务 2.4数据集的划分处理 3.1基于BERT预训练模型 3.2数据预处理 3.2.2可视化 3.2.3对数据进行分词及向量化 3.3基于BERT预训练语言模型与CNN的情感分析模型 3.4基于BERT预训练语言模型与RNN的情感分析模型 3.5优化函数和损失函数设计 4.1情绪识别的性能评估指标 4.2实验环境与数据集的选取 4.2.1实验环境 254.2.2实验数据集 4.2.3实验模型参数设置 264.3模型的测试算法 4.4实验的结果与分析 4.4.1模型的实验结果 274.4.2实验结果分析 29 1第1章绪论社交媒体，网民的数量也在不断增加。根据中国互联网络信息中心于2021年2月3日发布的第47次《中国互联网络发展状况统计报告》指出，截至2020年12月，我国网民规模达到了9.98亿，互联网普及率达到了70.4%。其中，新浪Analysis),它又被称为倾向性分析或意见挖掘。文本情感分析是通过自然语言情感分类也可归为情绪识别，是情感分析领域的重要研究问题(成泽和，赵俊2019年12月以来，新冠肺炎疫情迅速席卷全球，新冠肺炎疫情已经成为全社交媒体平台成为此次疫情中人们宣泄情绪的出口和公众情绪的传播平台(杨一2目前，国内外对于文本情感分析的研究高速发展，关于文本分析领域，人们逐渐把研究重心从事实性文本分析转移到文本情感分析。现如今，文本情感分析随着技术的发展，目前对文本情感分析任务的解决方法大概分为四类：情感词典法、机器学习法、深度学习法、基于预训练模型微调。情感词典法I:经过对文本进行人工标注，生成带标签的情感词典。然后对文本进行切分，将句子切分为独立的单词，这在一定程度上透露了根据单词在情感词典中匹配对应的值，再通过权重计算整个句子的得分，最后根据得分的分布，得到句子的情感极性。情感词典法的优点(魏佳彤，吴宏远，2020):建模简单，能够对不同领域的任务灵活处理，运行速度快，模型的参数可以针对场景进行调整。该方法的缺点：在处理不同领域的任务时，需要有该领域的知识基础，再对特定领域的知识构建情感词典，这要花费大量的人工。前述的深入分析验证了本文的理论框架，尤其是在关键概念的阐释上，实现了理论层面的深化与拓展。这种深化不仅体现在对概念内涵的深入剖析，还延伸至对其外延的广泛探索。通过对相关文献的全面回顾和实证数据的深入分析，本文进一步明确了这些概念在理论体系中的地位和作用，以及它们之间的相互关系。同时，这种拓展也为本文的研究提供了新的视角和思考方向，有助于推动该领域理论的进一步发展。本研究还强调了理论与实践的紧密结合，通过将理论分析应用于实际问题的解决，验证了其有效性和实用性，为相关实践提供了有力的理论支撑。同时，该方法的迁移能力弱，模型的性能较差，其准确率、召回率等与其他模型相比均偏低(杨向阳，付泽凡，2019)。机器学习方法12:通过向量化操作，将文本转换为特征向量，再通过算法学习其中隐含的规律，并对结果进行分类，分类后的结果就是情感极性(赵俊天，成欣怡，2023)。机器学习就好比一个函数，通过对输入数据不断训练，这在某种程与情感词典相比，机器学习是对文本提取特征，利用特征向量对模型进行训练，这样的训练方式模型效果好，迁移能力也有所提升。其缺点是模型参数较多，对深度学习方法3:深度学习是基于神经网络发展起来的，是最近今年的研究热点。深度学习网络模型能够自己调节学习率和损失函数，在此类背景下进而对整个模型的参数进行调整，相比于机器学习，它减少了人工调参的工作量，同时3由于技术水平的提升，模型能在较短的时间周期内就获得不错的性能效果(朱晓彤，张昊天，2021)。卷积神经网络、循环神经网络等都是深度学习的代表算法，这在某种程度上展现它们在情感分析领域也有广泛应用。深度学习方法与机器学习相比，具有更好的模型效果，更强的泛化能力，对下游任务的迁移能力更强。但其需要大量高质量的数据进行训练，数据量不足可能会发生过拟合，质量差的基于预训练模型微调[4]:基于预训练模型的微调架构是近年来兴起的，它通过大量数据训练得到预训练模型，再通过微调让模型适应不同的下游任务。2018这在一定程度上阐明了预训练模型的优点是：使用方便简单，能够很快地训练出模型，且有许多模型可供使用。缺点是参数多，计算量大，模型复杂，很难对内本文的主要研究内容是使用BERT预训练模型，构建情感分析模型，对疫情期间微博上网民的微博正文进行分析，并得出其情绪类别。本文的具体研究任务主要分为以下几个部分。(1)研究涉及情感分析方面的文本的特征，学习文本分类技术和自然语言处理方面的技术。(2)通过学习BERT预训练模型的相关技术，构建出实验所需的网络模型，并对其结构进行分析。(3)研究疫情期间微博网民的微博正文的特征，对其文本内容的长度、词频等数据进行分析，对文本数据进行预处理，并将其运用到模型中。(4)通过学习深度神经网络模型，将多种神经网络与BERT相结合，对结合后的模型进行比较，分析在不同神经网络下的性能差异。1.4论文结构安排本文基于BERT语言模型，实现对疫情期间微博网民的微博内容的情感分析本文共分为四章，各章节具体安排如下。第一章为本论文的绪论部分，根据当前互联网的发展情况和在新型肺炎疫情的现状论述本次研究的背景、意义以及主要工作。第二章介绍了与本文相关的技术，包括BERT预训练模型、卷积神经网络模型和其他与本文相关的情感分析技术。第三章介绍了本文实验所需的网络模型的结构和设计细节，包括文本预处理部分、作为对比实验的模型结构和损失函数和优化函数的设计部分。第四章介绍了本文所构建的模型的测试实验结果，并对结果进行分析。在本章中提出对本次实验的评价指标，展示对比模型的测试结果，并对结果进行分析。第2章相关理论和技术卷积神经网络[7](ConvolutionalNeuralNetworks,CNN)是人工智能研究领域的一部分，它是深度学习研究领域的一个重要代表(韩一飞，陈梦瑶，2019)。目前，卷积神经网络在很多研究领域获得了应用，如图像识别、语音识别等，同时，卷积神经网络在自然语言处理领域也展现了强大的处理能力，从这些细节中看出相比于传统的机器学习，其模型效果更好，泛化能力也更强。其模型结构如图卷积神经网络主要由卷积层、池化层和全连接层组成，从这些现象中显示其中最基础的操作就是卷积，卷积通过使用不同大小的卷积核，对输入的张量进行卷积运算，以此来对数据进行特征提取(成羽辰，郭瑞倩，2019);为确保研究结果的真实可靠，本研究在各个阶段都采取了细致入微的控制措施。在研究构思阶段，本文精心策划了一个逻辑严密的研究体系，确保问题阐述的准确性和假设设定的科学性。数据收集时，本文综合运用了多种数据采集方式，提高了数据的可靠性和交叉验证的可能性，同时采用标准操作程序减少采集误差。数据分析中，本文采用了定量与定性相结合的方式，全面而客观地解释数据，并利用高级统计软件进行数据处理，减少技术性偏差。此外，本文也进行了敏感性分析，以评估结果对关键参数变化的稳定性。在卷积后一般会引入激活函数，对结果做非线性变化，用来加入非线性因素，使神经网络能够逼近任意函数(蔡奇朝，赵睿璇，2019);对数据进行激活后输出到池化层，池化是一种降采样技术，在这般的框架内它的作用是对数据进行降维，去除掉冗余信息，对特征进行压缩以提取更有价值的特征内容；然后再卷积，再池化，最后输出到全连接层，全连接的目的是为了对整个网络最终得到的结果进行分类，并映射到样本标记空间，最后输出最终的分析结循环神经网络8](RecurrentNeuralNetwork,RNN)是深度学习研究领域的另一个重要代表，它的输入通常为一系列的序列数据，这在一定程度上透露了按照序列推演方向向前做递归操作，网络中的循环单元通过链式连接(成怡倩，付向妍，2019)。循环神经网络被应用于自然语言处理、各类时序问题预测等领域，它与CNN等其他网络最大的区别就是它能够实现记忆功能，能够保存一定处理过的数据信息的记忆。其模型结构如图2-2所示(张一鸣，成奇倩，2022)。从这些方案中看出循环神经网络根据循环细胞单元的不同，主要分为LSTM模型和GRU模型。长短期记忆网络91(Long-ShortTermMemory,LSTM)通过引入门控算法，解决了传统RNN中的长期依赖问题，同时又可以对信息选择性遗忘。LSTM的循环细胞单元中有三个门限(付文博，赵向妍，2021):遗忘门、输入门和输出门。6门控循环单元网络(GatedRecurrentUnit)同样引入门控算法的长期依赖问题。GRU的循环细胞单元中有两个门：重置门和更新门。重置门2.3BERT预训练模型BERT预训练模型，它是通过无监督学习进行预训练，对大量的语料进行学BERT的模型架构是使用多层双向Transformer结构[6,它是一个基于词与词之间直接计算依赖关系，对句子的内部结构进行学习。Transformer的结Add&NormAdd&Norm图2-3Transformer结构它的结构为encoder-decoder结构，图2-3中左侧为encoder部分，它负责把输入的语言序列映射为特征向量，从这些细节中看出然后右侧的decoder部分再为了解决RNN无法并行实现且运行速度慢的问题，Transformer使用self-attention机制替代RNN。BERT模型中主要使用Transformer中的encoder部分，其结构如图2-4所示。输入输入输入这在一定水平上揭露从图2-4可以看出，编码器的输入是句子的词嵌入向量，把词嵌入向量和位置向量相加，把得到的向量经过self-attention加权之后输出，再把他们相加，做残差连接，从这些规定可以认识到然后将相加后的结果归一化为标准正态分布，最后将结果输出给全连接层，全连接层也有一个残差连接和归一化处理，得到的向量再输出给下一个encoder。此研究体现了跨学科交流的价值，整合了来自不同领域的理论资源和研究技巧，目标是扩大研究的广度和深度。跨学科探索不仅让本文能全面了解研究客体的多层次性质，也为本文揭开了隐藏在表面之下的新事实。研究中，本文将理论运用于实践，测试其在真实情境中的效果。通过结合统计数据与案例分析的方法，本文努力确保研究结论既具有科学性又具备实际应用价值，为政策制定者提供了有效的理论支持和决策指引。而BERT的模型结构如图2-5所示，其中的Trm模块即为图2-4中的encoder结构，其中E1,E2,…,EN表示输入句子的词嵌入，在经过Trm模块后，得2.3.2输入表示BERT的输入是一个线性序列，从这些现象中显示它是三个嵌入特和，三个嵌入特征分别是词嵌入(tokenembeddings)、分割嵌入(segment词嵌入使用的是带有30000个token词汇的WordPiece嵌入。分割嵌入是用尾添加一个分句符号[SEP]作为结束，在这般的框架内对于输入包含两句或两句以上的序列，会在句子中间插入分隔符[SEP],用于分隔开输入语料中的两个句入会在词向量中加入位置信息，使模型能够区分不同位置的单词(高怡宁，陈志我发烧害怕我图2-6BERT的输入表示2.3.3预训练任务模型的训练方式不同，BERT模型使用两个无监督任务进行训练，分别是MLM (MaskedLanguageModel)和N中看出该任务能够使BERT训练深度的双向特征。文章的创新之发展注入了新的动力，拓宽了理论研究的边界。BERT随机Mask掉输入语料中15%的token,其中被掩盖的词有80%概率被[MASK]替代，10%单词被任意的其他词替代，10%的单词不变，这样能避免模型在预训练阶段与后续微调阶段不匹(2)NSP任务是指给定两个句子A和B,判断句子B是否是紧跟在句子AMLM任务倾向于抽取token级别的特征，这在某种程度上展示不能直接获取句子级别的特征，因此NSP任务是为了使BERT模型学习到句子与句子之间的关选出句子A和句子B组成，50%的概率句子B是句子A的下文，剩下50%的时候句子B是语料库中的随机句子。然后把训练样例输入到BERT模型中进行训间的比例显得尤为重要。一般用一下方法进行数据集的划分(陈志远，高秋倩，2023)。70%训练集，30%测试集；如果需要划分为训练集、验证集和测试集，则该比例一般为6:2:2。进行数据集的划分，划分为k份后，每次选取其中一份作为测试集，其余的k-1份作为训练集，共需要进行k次。一般用5折和10折交叉验证。第3章情绪识别模型设计3.1基于BERT预训练模型由于BERT语言模型从维基百科的海量语料中进行了大量的无监督训练，使用BERT+分类层的深度学习模型，把BERT模型运用到有关于疫情的情感分数对模型的参数进行优化，当训练的batch数超过require_improvement且模型没训练阶段训练阶段训练阶段开始开始加载模型加载数据加载数据相同的预处理方法输入数据开始训练并优化模型输入数据对模型性能进行评估训练好的模型数据预处理BERT实验模型构建的核心代码如图3-2所示。definit(self,config):self.bert=BertModel.from_pretrained(config.bert_path)#BER3.2数据预处理本次实验的数据集使用的是DataFountain举办的疫情期间网民情绪识别比赛的数据集，该数据集包含了100万条数据，数据的内容是根据肺炎疫情在微博进行搜索并获取，其中有10万条数据是带标签的，标签有三类，0代表中代表消极，1代表积极；还有90万条数据不带标签，数据内容包含用户名的属使用Python中的re模块，该模块提供了正则表达式功能，这在一定程度上透露模块，Pandas模块是一个基于Numpy的出色的结构化数据分析工具集，它可以在载入数据集后，首先查看数据集的结构和基本特征，从这些方案中看出具体如表3-1所示。变量名数据量数据类型微博发布时间发布人账号微博中文内容微博图片情感倾向从表3-1可以看出，数据集由100000条7列的数据组成，但是微博中文内容和情感倾向部分有些数据为空，这说明有些微博没有文字内容，且有些数据的标签丢失。然后对情感倾向部分数据中的值进行统计，得到的结果如表3-2所示。表3-2情感倾向情感倾向统计数量0141119111从表3-2可以看出，这在某种程度上展示情感倾向中存在一些非法的异常值，这些异常的分类标签会对训练效果产生影响，需要对数据进行清洗，由于异常的在此类背景下将情感倾向属性改为整数型，将其转换为数值型。对异常数据清洗后得到99913条有效数据。研究过程中，本文提出了一种创新性的思考模式，通过融合历史上关于这一话题的重要发现来加深理解。经过对已有资料的详细审查，发现了几个有待进一步探索的重要议题和发展趋势。这不仅有助于完善现有的理论框架，也为构建新的理论视域铺平道路。运用最新科技手段，实现了对研究主题的立体化探究，突破了以往研究的局限，揭示了更加精细层次的现象特征，并参考了邻近领域的实践经验，为应对挑战提供了更为丰富的思想资源。得到有效数据后开始对微博中文内容进行数据清洗，根据多次对比实验最终确定了数据清洗方式，这在某种程度上展现主要是对5种类型进行去除，分别为(罗志天，钱慧敏，2022):(1)去除正文中的英文、数字及大部分非法的乱码字符，(2)去除正文中的“@”符号及跟在该符号之后的回复、转发中的用户名， (3)去除正文中的网址，(4)去除正文中无意义的词语，如“转发微博”、“展开全文”等，(5)合并正文中重复出现过多的空格。数据清洗的核心代码如图3-3所示。r1="[a-zA-Z'!【】「」\"#$%&'()*+,-.1:;<=>?@★[\\]^_`{l}forcom_strinf['微博中文内容']:com_str=re.sub(r"(回复)?(//)?\s*@\S*?\s*:","@"com_strcom_str=re.scom_str=com_str.replace("展开全文",'')com_str=com_str.replace("转发微博",'')com_str=com_str.replace("日网页链接",'')com_str=com_str.replace("?展开全文c",'')com_strcom_str='无'图3-3数据清洗核心代码数据清洗前后对比如图3-4所示。努力都喘不上气，濒死的感觉//@包子君(1)情感倾向的分布占比如图3-5所示。从这些细节中看出通过图3-5可以得出在数据集中有接近60%的用户是中立的，持积极态度的用户占25%,15%的用户持消极态度。(2)微博长度分布如图3-6所示。通过图3-4可以看出，这在一定水平上揭露微博的长度集中在150词左右，长度大于150的微博占比很小，因此在padding长度的设置上应大于150且小于200,以免丢失过多信息。本文将该值设置为170。文本分词就是按照特定的规则，将文本分割成一个个独立的词。而本次实验使用的BERT预训练模型是基于字的，因此需要对文本以字为单位进行分割，根据预训练模型中提供的词汇表，通过调用pytorch_对数据进行分词，从这些规定可以认识到再对分词后的数据在开头加上分类标记[CLS],分词后的数据如图3-7所示(唐泽博，陈婉如，2021)。结果如图3-8所示。token_ids[101,6821,token_ids[101,6821,6,749,1416,8024,2769,3295,3613,2697,1088,1355,4173,72154,8024,4717,6230,7008,3341,46952,2458,1993,1527,1596,803300,126,1146,7164,2340,138389,2582,720,1222,1213,6963,3698,8024,4085,3643.3基于BERT预训练语言模型与CNN的情感分析模型对于BERT预训练模型，除了直接使用外，还有两种应用方式，一种是据输入到BERT中，通过BERT对数据进行Embedding处理，再将输出的参考了何其飞教授相关主题的研究成果，主要体现在思路和方法上。在思路上，在多个环节融入了创新内容，研究设计阶段采取了更为丰富灵活的数据收集方法；数据分析时探索不同变量之间的复杂关系，使研究兼具理论价值和实践指导本次实验将采用第一种方式来构建对比模型，以探索更优的算法实现。具体流程为：先加载模型的配置参数，在这般的框架内包括文件路径等，再载入数据集文件，创建模型的数据集并创建数据集的迭代器，然后创建一个模型，这在一定程度上透露了对整个模型的参数进行初始化，再将数据集输入到BERT模型中以获得句子的Embedding向量，最后将得到Embedding向量输入到神经网络中在本次对比实验中，从这些方案中看出使用的是将BERT得到的Embedding向量输入到卷积神经网络中进行学习101,本次实验的卷积神经网络模型是基于Pytorch框架进行搭建，具体模型如图3-9所示(程博羽，陈梦瑶，2020)。预处理后预处理后预训练卷积层全连接层池化层卷积神经网络的详细构造设计如下：(1)卷积层设置在本次对比实验中，BERT模型输出的Embedding向量为二维数据内容，其大小为(pad_size,hidden_size),通道数为1,这在某种程度上展示因此使用二维卷积模型对数据进行卷积处理，卷积操作在行上卷积核的长度使用与hidden_size相同的长度进行卷积，在列上卷积核使用不同的高度对数据进行卷积(陆志远，何慧敏，2020)。在进行卷积操作之后，需要引入激活函数，在此类背景下对数据特征做非线性变换，加入非线性因素，使模型能更好地拟合数据。为提升研究发现的可靠程度和公信力，本文从广泛的国内外文献中提取信息，整理出了当前领域的研究趋势与理论支撑。基于研究目的，设计出一套包含数据搜集途径、样本筛选条件及分析结构的完善研究计划。利用多重数据源进行相互验证，准确反映研究实体的真实状况。使用先进的统计分析技术和工具对数据进行严格处理，确保研究结论的科学客观性。此外，也对可能发生的误差和偏见实施了敏感性检验，增强了研究结果的稳定性。对于卷积层，通过调用nn.Conv2d函数进行卷积操作，输入为Embedding向量，输入的通道数为1,这在某种程度上展现卷积核尺寸为filter_sizes,宽度为hidden_size,卷积核数目设置为num_filters。对于非线性激活函数，本次实验使用Relu函数对数据进行激活，通过nn.functional.relu实现激活函数的调用(韩雅(2)池化层设置对数据进行卷积操作后，得到的是高维的数据特征，其包含了输入数据的所有特征，这在一定程度上阐明了为了获得最具有代表性的特征值，需要对其进行压缩降维操作。因此将卷积后的数据送入池化层，以保留主要特征(吴怡霏，赵云时，2020)。关于池化操作，主要分为均值池化操作和最大池化操作，其中均值池化操作是对整个感受域进行分区，再对每个分区里的所有值求均值；从这些细节中看出而最大池化操作是选取每个分区中的最大值，以获得所在分区中最大的特在本次对比实验中，在池化层采用的是最大池化操作，通过调用(3)全连接层设置数据特征经过卷积、池化操作后，保留下来的就是最能代表某一分类的特征，需要把这些特征映射到样本的标签，以获取最终的分类信息，因此需要借由全连接层对特征进行全连接操作，这在一定水平上揭露全连接层起到“分类器”的作在本次对比实验中，在进行全连接操作前，先调用了nn.dropout函数对数据进行Dropout操作，该操作是神经元在训练时每次迭代都会以dropout的概率被失活，不参与训练，从这些规定可以认识到该操作用以防止模型出现过拟合现象(张雅慧，陈泽羽，2021);然后对特征的维度进行压缩，通过调用nn.Linear对特征进行全连接操作，使特征的维度降到num_classes得到最终的预测结果值。实验模型构造的核心代码如图3-10所示。self.bertself.fc_cnn=nn.Linear(cdefconv_and_pooL(self,x,conv):defforward(self,x):returnout3.4基于BERT预训练语言模型与RNN的情感分析模型在本次对比实验中，从这些现象中显示使用的是将BERT得到的Embedding向量输入到循环神经网络中进行学习，本次实验的循环神经网络模型是基于Pytorch框架进行搭建，具体模型如图3-11所示。预处理后预处理后的数据预训练模型输出结果循环神经循环神经网络的详细构造设计如下：(1)隐含层设置对于循环神经网络的模型选择一般为长短期记忆网络模型或门控循环单元模型，在本次实验中的隐含层采用的是LSTM模型作为Embedding输入的循环对于隐含层，在这般的框架内通过调用torch.nn.LSTM模块构建出层数为num_layers的LSTM循环神经网络，网络中使用双向传播，既能捕捉到后续的信息，也可以使用到以前的信息，最后将从BERT得到的Embedding向量输入到网(2)全连接层设置对于循环神经网络，这在一定程度上透露了同样也需要接入全连接层对得到的特征向量做分类处理，使学习到的分布式特征表示映射到样本标记空间。由于在隐含层使用了双向LSTM模型，从这些方案中看出输出是一个按时间顺序的hidden和一个按时间逆序的hidden拼接而成，因此全连接层的输入维度为在本次对比实验中，在进行全连接操作前，与卷积神经网络相同，先调用了nn.dropout函数对数据进行Dropout操作，这在某种程度上展示用以防止模型出现过拟合现象；然后对特征的维度进行压缩，通过调用nn.Linear对特征进行全连接操作，Linear的输入维度为rnn_hidden*2,输出维度为num_classes,使特实验模型构造的核心代码如图3-12所示。definit(self,config):(1)优化函数整个模型的参数进行调整优化，因此需要选择合适的优化函数(杨向阳，付泽BERT_RNN模型均采用BertAdam优化器作为模型的优化函数。在本次实验中，通过调用pytorch_pretrained库中的BertAdam模块对模型参(2)损失函数设计难样本，因此，本次实验引入了FocalLoss作为模型的损失函数11,具体做法为defforward(self,pred,targprob=self.target_=torch.zeros(target.size(0),self.class_num).batch_L0ss=-seLf.aLpha.double()*torch.pow(1-prob,seLf.gamma).double()*prob.L0g()batch_Loss=-torch.pow(1-prob,self.gamma).doubLe()*prob.Log().doubLe()*ta第4章疫情期间网民情绪识别4.1情绪识别的性能评估指标本次实验的预测结果有三类：-1(消极),0(中性),1(积极)。对于性能的评估指标采取Macro-F1值进行评价，详细评分算法如下：(1)准确率(2)精确率(P)(3)召回率(R)F1值计算公式如下：4.2实验环境与数据集的选取实验环境如表4-1所示。表4-1实验环境实验环境环境配置要求编程语言内存深度学习框架本次实验使用的数据集为DataFountain提供的和nCov_10k_test,从这些现象中显示其中第一个数据集包含了10万条人工标注的微博信息，第二个数据集包含了1万条未标注的待分类微博信息。本次实验采用的是5折交叉验证法对模型进行训练，对于第一份数据集采取4:1的比例划分为训练集和测试集。在这般的框架内对数据集进行去除含有非法数据的样本后获得的训练集与测试集数据数目如表4-2所示。训练集数据数目测试集数据数目消极中性积极总数参数名称参数值最大训练次数require_improvement类别数目num_classes33批次大小数目batch_size8最大语料长度pad_size学习率learning_rate隐藏层数目hidden_size参数名称参数值最大训练次数require_improvement类别数目num_classes33批次大小数目batch_size8最大语料长度pad_size学习率learning_rate隐藏层数目hidden_size卷积核尺寸filter_sizes卷积核数量num_filters随机失活率dropout(3)BERT_RNN实验模型参数如表4-5所示。参数名称参数值最大训练次数require_improvement类别数目num_classes3续表4-5批次大小数目batch_size最大语料长度pad_size学习率learning_rate隐藏层数目hidden_size随机失活率dropout隐含层维度rnn_hiddenLSTM层数num_layers3876824.3模型的测试算法测试算法是用于测试训练好的模型对未学习过的数据的分析能力，这在一定程度上透露了测试的结果也是模型性能评估的重要指标。首先对测试数据进行预处理，预处理的具体方法与训练阶段相同，包括数据清洗、向量化等操作，然后用已保存的最佳训练模型的参数初始化一个测试模型，从这些方案中看出将预处理后的测试数据输入到测试模型中，以获取对测试数据4.4实验的结果与分析根据前文的思路构建出实验所需的模型，分别对各个模型进行训练与测试，实验结果与分析如下。(1)基于BERT预训练模型、batch=8的实验结果如表4-6、4-7所示。表4-6基于BERT预训练模型、batch=8测试结果表4-7基于BERT预训练模型、batc(2)基于BERT预训练模型、batch=64的实验结果如表4-8、4-9所示。weightedavgTestLoss:0.59表4-9基于BERT预训练模型、batch=weightedavg表4-11BERT_CNN模型测试的混淆矩阵weightedavgTestLoss:0.61TestAcc:74.表4-13BERT_RNN模型测试的混淆矩阵(5)DataFountain还提供了在线评分的入口，通过对未标注文本进行添加标签后生成提交文件，各个模型的最终得分如表4-14所示。模型得分(1)由表4-6、4-7可以得出，BERT实验模型对情绪为中性的分类效果较好，但模型的整体分类效果较为一般，准确率只有67.96%,通过分析，发现可64后准确率从67.95%提升到了74.86%。(3)通过对比(1)和(2)及表4-14可以看出BERT模型本身的性能就已本文运用了BERT预训练模型，并将其与深度学习网络结合(1)介绍了当前国内外对于情感分