【《微博热点话题情感分析的算法设计分析案例》9000字】

微博热点话题情感分析的算法设计微博热点话题情感分析的算法设计分析案例目录TOC\o"1-3"\h\u283761微博热点话题情感分析的算法设计 实验设计及结果分析本文算法是运行在Hadoop集群上的，在本章对实验所要用到的Hadoop的集群搭建配置进行概述。之后根据算法流程进行实验，利用调用官方API接口采集到的数据设置实验，通过分析评价指标验证算法的有效性。2.1系统部署2.1.1硬件配置本文是利用阿里云服务器进行操作并实验的，该服务器为企业级实例，C6系列，2核4GB，内存为4GB，系统盘为40GB，1Mbps固定带宽，在该服务器上搭建Hadoop。2.1.2软件配置本实验的软件配置如表5-1所示：表5-1实验中的软件配置Tab.5-1SoftwareConfigurationinExperiment软件名称版本信息说明CentOSCentOS-7.6服务器系统HadoopHadoop-2.9.2实现平台JavaJDK1.8.0_251编程语言EclipseEclipse-java-mars-win64系统开发工具ZooKeeperZooKeeper-3.6.1（HBase自带）协调集群运转HbaseHBase-1.1.13数据存储和查询2.1.3环境配置我们首先需要完成Hadoop的搭建，然后再配置安装ZooKeeper和HBase，完成整个实验环境搭建。（1）配置主机hosts文件本实验环境的hosts文件的配置是用于映射节点的IP地址，名称和IP地址分别是Master:39.100.239.65。在Hadoop分布式系统中，Master作为主节点，主要负责运行NameNode和JobTracker守护进程，监督HDFS和MapReduce两个关键功能模块的。Slave作为从节点，主要负责所有数据存储和计算并运行DataNode和TaskTracker守护进程。（2）SSH免登陆配置在Hadoop集群成功启动后，NameNode需要和DataNode建立连接，为保证系统的正常运行需要唤醒所有DataNode的守护进程，这就意味着要在每个数据节点进行登录，极大的影响了工作进度，安装和配置SSH之后，可以运用无密码公钥认证的形式实现节点之间的互信，在节点之间输入指令的时候只需要在当前节点进行切换而不需要输入密码，极大的提高了操作效率。（3）安装Java环境在命令行使用命令将下载的JDK进行解压并进行安装，一般默认安装位置为用户本地的lib路径下。之后需要进行JAVA_HOME环境变量的配置，配置完成后执行source~/.bashrc命令使变量设置生效，使用java-version验证Java版本信息是否正确。（4）修改Hadoop配置文件Hadoop的配置文件通常存放在用户本地Hadoop的etc/hadoop路径下，主要修改文件core-site.xml中HDFS端口和文件系统依赖等基本配置、mapred-site.xml中的资源调度配置、hdfs-site.xml的权限和文件路径等来设置Hadoop的运行环境。配置完成后执行NameNode节点格式化，当控制台显示successfullyformatted标志着分布式文件系统格式化成功，之后在命令行输入./sbin/start-dfs.sh，点击回车后系统会将管理节点和数据节点的守护进程唤醒，通过jps指令查看运行中的进程，当显示NameNode、DataNode和SecondaryNameNode进程，则表示整个系统的运行环境搭建成功。2.2评价指标本文选取自然语言处理中常用的三种标准作为聚类和极性判断质量的评价指标，包括查准率P、召回率R以及将P和R综合起来进行评价的一种标准，即F值评价指标，将以上三个方法作为评价指标对文本结果进行评价。（1）查准率（Precision）查准率是对准确度的度量，计算过程如公式（5-1）。 （5-1）（2）召回率（Recall）召回率又称查全率，计算过程如公式（5-2）所示 （5-2）（3）F（F-Measure）为了防止查准率和查全率冲突，引入了F值作为综合评价指标，保证数据验证的可靠性，该值为查准率和查全率的加权调和平均，计算过程如公式（5-3）所示。 （5-3）式中，表示召回率，表示查准率，为调和系数，一般取值为1。2.3实验流程及结果分析2.3.1实验数据采集及处理本文通过利用新浪微博官方提供的API接口采集了微博话题榜数据进行实验，时间为2020年8月27日到9月7日，将采集到的数据进行筛选后，以每条微博存为一行的方式按行存储在HBase数据库中，作为聚类有效性和话题情感倾向判断的实验数据。采集微博数据时，抓取的内容包括该条微博的标题，微博的文本内容，发布时间和转评赞数目等，用到的微博属性如表5-2所示。表5-2微博属性Tab.5-2MicroblogProperties属性名称属性描述标识ID每条微博的唯一标识标题微博的标题发布时间微博的发布时间文本微博文本的具体内容转评赞转发、评论、点赞数目本文使用的是HBase数据库对外提供API接口进行数据存取，使用ANSJ汉语分词系统对HBase数据库中的文本进行中文分词和词性标注等处理。通过对分词后的结果和停用词表进行匹配去除停用词等操作得到文本的特征词集，分词后的部分数据如图5-1所示。图5-1分词结果示例Fig.5-1ExamplesofWordSegmentationResults2.3.2文本表示本文采用TF-IDF的方法计算特征词的权值并生成文本向量矩阵，权值越高的词语表明对于文本的贡献度越高。认为是特征项。经过文本向量化后，微博文本就从文本数据转变为便于计算处理的结构化数据。部分TF-IDF数据如图5-2所示。图5-2部分TF-IDF结果数据Fig.5-2PartialTF-IDFResultData2.3.3聚类有效性评价实验对热点话题进行情感分析就需要验证聚类算法的有效性，本文算法采用Canopy-Kmeans进行聚类。根据文本相似度公式，对处理过后的文本矩阵利用聚类算法进行相似性聚类,将近似的文本划为同一个话题簇之下，在数据库中同一个热点话题下的文本存入HBase数据库中的一行。依据实际的项目经验，本文将Canopy算法的T1和T2值分别设为0.018和0.017，聚类算法最大迭代次数设为20。对采集的数据进行话题聚类后，经过排序，根据热度选择热度前5的话题与新浪微舆情的话题榜进行对比，对比结果如表5-3所示。表5-3实验结果与新浪微博话题榜的比较Tab.5-3ComparisonofExperimentalResultsWiththeTopicListofSinaMicroblog热度排行新浪微博话题榜本实验结果1中国人民抗日战争胜利75周年中国人民抗日战争胜利75周年2中芯国际辟谣涉军报道腾讯微博将于9月28日晚停止运营3腾讯微博将于9月28日晚停止运营湛江考生伪造清华录取通知书事件4国产新冠疫苗亮相罗某某被曝强奸事件5新增确诊病例10例，均为境外输入《以家人之名》大结局6湛江考生伪造清华录取通知书事件国产新冠疫苗亮相7正当防卫认定新规来了慈溪被害女教师家连日被围堵实验结果证明，虽然本文聚类算法生成的热点话题与新浪微博生成的列表不完全一样，实验结果和新浪微博存在差异的原因可能是聚类算法不一样和爬虫采集的数据差异导致的。但是与之相同，结果展示的也是引起社会广泛关注的热点事件和热点话题，也具有较高的话题识别率。验证聚类方法的有效性还需要评估话题簇的文本聚类质量，本文根据评价指标，计算出本文聚类算法的召回率、查准率和F值，实验结果图5-3所示。图5-3聚类效果评价Fig.5-3EvaluationofClusteringEffect由聚类有效性评价实验结果可知，Canopy-Kmeans算法在聚类质量上优于K-means算法，这说明了引入Canopy算法聚类的有效性。综上所述，Canopy-Kmeans算法可以为接下来的微博热点话题情感分析提供较为可靠的话题文本数据，证明了本文聚类算法的有效性。2.3.4话题情感倾向判断有效性实验对生成的热点话题进行情感分析需要对话题内的每条微博进行情感计算。为了验证本文改进情感分析算法的有效性，设计了四组对比实验进行分析，根据评价指标进行效果评价。实验一：本文基础情感词典的构建是以知网HowNet情感词典为基础，该词典也是使用的最广泛的词典之一，因此实验一以HowNet情感词典为基础词典，利用该词典进行实验，实验结果如表5-4所示。表5-4基于HowNet情感词典的效果评价Tab.5-4EffectEvaluationBasedonHowNetSentimentDictionary实验方法微博情感类型查准率召回率F基于HowNet情感词典的微博文本的情感分析正向0.7160.7140.715负向0.7210.6980.709中性0.6420.6850.663实验二：由于目前中文情感分析还没有通用的情感词典，因此本文将现有的情感资源进行整理，得到一个相对完备的情感词典。实验二以本文构建的基础情感词典为核心进行实验，实验结果如表5-5所示。表5-5基于本文情感词典的效果评价Tab.5-5EvaluationoftheEffectBasedontheSentimentDictionaryofThisArticle实验方法微博情感类型查准率召回率F基于本文情感词典的微博文本情感分析正向0.7230.7180.720负向0.7260.7050.715中性0.6470.6880.667实验三：情感分析的研究方法分为基于情感词典和基于机器学习的分析方法，根据文献[22]中实证的对比结果：和其他机器学习方法相比，支持向量机对于文本情感分析可以取得较好的效果，因此实验三以支持向量机为基础进行实验，对实验数据按照二八原则划分为测试集和训练集，实验结果如表5-6所示。表5-6基于支持向量机的效果评价Tab.5-6EffectEvaluationBasedonSupportVectorMachine实验方法微博情感类型查准率召回率F基于支持向量机的微博文本情感分析正向0.7620.7510.756负向0.7540.7360.745中性0.6750.7320.702实验四：考虑进行文本分析时需要考虑句式语义搭配规则，本文新增了程度副词词典和否定词词典作为修饰词典，在引入了依存句法分析的概念后分析了文本的句型规则和句间规则，结合扩充后情感词典和语义规则对微博文本进行情感分析实验结果如表5-7所示。表5-7基于情感词典和语义规则的效果评价Tab.5-7EffectEvaluationBasedonSentimentDictionaryandSemanticRules实验方法微博情感类型查准率召回率F基于情感词典和语义规则的微博文本情感分析正向0.7830.7650.774负向0.7940.7690.781中性0.6930.7540.722为了更直观的进行实验结果的对比展示，本文将四组实验分为正向、负向和中性三类，通过柱状图进行对比。微博情感类型为正向的分析结果如图5-4所示。图5-4正向微博情感分析的结果比较Fig.5-4ComparisonofPositiveMicroblogSentimentAnalysisResults微博情感类型为负向的分析结果如图5-5所示。图5-5负向微博情感分析的结果比较Fig.5-5ComparisonofNegativeMicroblogSentimentAnalysisResults微博情感类型为中性的分析结果如图5-6所示。图5-6中性微博情感分析的结果比较Fig.5-6ComparisonofNeutralMicroblogSentimentAnalysisResults经上述实验结果对比可知，实验二是在知网HowNet词典的基础上进行扩充，在微博文本分析时可以获取到更多的情感特征。虽然实验二相对于实验一的分析结果有所改善，但是这两种实验都是单一的使用情感词典进行情感分析，未能考虑影响文本极性的语义规则，因此准确度相对较低。实验三使用的情感分析方法是支持向量机，该方法利用训练数据训练出情感分类模型，之后利用该模型对提前标注好的测试集文本分类，因此得到的实验结果和前两个实验相比有所改善。实验四采用本文的情感分析方法，将现有的常用情感词典进行整合，并根据文本句式结构引入了语义规则的概念，新增了程度副词词典和否定词词典，结合情感词典和语义规则对文本情感分析，实验表明改进的基于情感词典的情感分析算法在查准率、召回率以及F值上都有所改善，说明本文算法可以有效的判断文本极性，从而可以为微博话题情感分析可靠的情感数据。2.3.5热点话题生命周期及趋势分析话题生命周期作为衡量话题存活时间的指标，体现的是用户对话题的关注度。当用户在微博上发布了内容后，话题及其情感极性就产生了。由于微博具有很强的时效性，话题的寿命普遍很短，95%以上的话题不能引起其他微博用户的持续关注和共鸣，存活的时间不超过一天。主要原因是微博平台每天产生海量数据，发布的内容覆盖各个领域，微博内容新鲜度、用户的关注度等原因都限制了每个话题都被讨论到的可能性。尽管绝大多数的话题生命周期很短，但仍有少量话题能够被用户持续关注和讨论，这就是热点话题。按照生命周期理论可以将热点话题分为孕育话题的酝酿期、焦点关注的爆发期和热度下降的衰退期三个阶段。通常话题被发布，由于话题新鲜感和关注度的原因都会存在酝酿期，在该时期内，话题逐渐引起更多的人关注，当短时间内被频繁讨论后开始进入爆发期，之后由于新鲜感的下降，用户的关注度变低，转评赞的数目减少，话题就进入衰退期，当用户不在关注该话题，则话题凋亡而情感值也变为零。本文在话题聚类完成后对话题进行整理，选择本实验生成的热度最高的话题“中国人民抗日战争