【《舆情分析中网络舆情数据获取与处理案例》5200字】

舆情分析中网络舆情数据获取与处理案例目录TOC\o"1-3"\h\u21732舆情分析中网络舆情数据获取与处理案例 [48]。该模型的基本思想可以概括为：根据某一数据集中的一个词或短语在某篇文本中出现的高频性和在其他文本中出现的低频性，认定该词具有相对很好的种类辨别水平，常用于处理文本情感分类问题。词频(termfrequency,TF)表示某一个给定的词语在某文本中出现的次数。该指标在进行对比时要做归一化处理，不能仅以数量作为评判标准，防止其在长文件中出现次数过多而无法比较。对于某一特定文件里的词语TiTF上式中，ni,j为该词在文件dj中出现的次数，而分母则是在文件逆向文件频率（inversedocumentfrequency，IDF）是一个词语普遍重要性的度量。某一特定词语TiIDF其中，N表示语料库中包含的文本数，n表示包含词语TiTF−IDF某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤常见的词语，保留重要的词语。1.4初始结果呈现1.4.1分词后的TF-IDF数据本节主要工作为将获取到的舆情数据按事件汇总整理，分析数据中用户评论的文本特征，根据上述获取的停用词表和分词工具对舆情数据进行分词，在根据TF-IDF模型原理计算相应的TF、IDF和TF-IDF值，将每一事件TF-IDF值排名前三位的词语汇总如下表所示：表3-5各事件TF-IDF值排名前三关键词汇总表序号事件TF-IDF关键词1关键词2关键词31四川凉山森林火灾英雄：118.9723平安：115.9686希望：71.32532贵州六盘水山体滑坡平安：414.8577保佑：109.9253希望：101.40923四川宜宾6.0级地震平安：221.8204地震：74.4405学校：71.53694超强台风“利奇玛”平安：230.3749一路：139.339可爱：117.54715江苏响水化工厂爆炸平安：216.6119希望：151.1743注意安全：125.53756浙江温岭槽罐车爆炸平安：700.5840希望：276.4857不要：196.53977福建泉州佳欣酒店坍塌平安：231.6915注意安全：77.5305希望：62.98778山东金矿爆炸平安：252.4911希望：179.3984加油：152.10459吉林长生疫苗造假道歉：125.6050疫苗：111.3267造假：101.583310香港机场暴行香港：269.3261谴责：234.6513相信：195.8324从上表中不难看出，对于自然灾害和事故灾难类突发事件的态度网民们更倾向于“平安”、“希望”、“安全”一类的正面词汇，而对于公共卫生和社会安全类突发事件，网名的态度更易偏向负面，在TF-IDF值排名前三的词汇中出现了“道歉”、“谴责”等负面性字眼，这些代表性词汇也反映出相较于自然灾害和事故灾难类突发事件，公共卫生和社会安全类突发事件的发生更易引发公众的情绪，网络舆情演化更为复杂，对政府进行舆情管控工作也带来了更大的压力。1.4.2百度指数变化趋势图根据从百度指数网站上搜集到的数据，绘制突发事件百度指数变化趋势图，该图展示了所选取的事件发生后30内的百度搜索指数变化，由此可以初步判断网络舆情的发展情况。图3-1突发事件百度指数变化趋势图对于上图，作如下解释：系列1-4为自然灾害类突发事件百度指数走向，从系列1至系列4对应突发事件分别为：“四川凉山森林火灾”、“贵州六盘水山体滑坡”、“超强台风‘利奇玛’”、“四川宜宾6.0级地震”。在该类事件的演化过程中，可以发现其百度指数在事件发生后2-3天内达到顶峰，后续呈现波动式下降，而系列4即“四川宜宾6.0级地震”在事件发生后的第19天左右又出现了一次小范围的波动，其主要原因是该地区又出现了一次小型地震再次引发关注。系列5-8为事故灾难类突发事件百度指数走向，从系列5至系列8对应突发事件分别为：“江苏响水化工爆炸”、“浙江台州槽罐车爆炸”、“福建泉州佳欣酒店坍塌”、“山东金矿爆炸”。对于这四类事件，从整体演化进程上看大体类似，稍有不同的是其搜索指数达到顶峰的时间在3-6天不等，晚于自然灾害类突发事件，主要原因在于事故灾难类突发事件的影响性较小，通常局限于较小的地域范围或者企业生产过程中，公众的关注度不高且主流媒体对于其的报道也需要经过一段时间的信息核查才能发布，具有一定的滞后性。另外，对于系列5即“江苏响水化工爆炸”，其搜索指数从0开始的主要原因在于事件发生前百度指数平台并未收录“响水爆炸”这一关键词的搜索指数，故此前的数据均为0，而在事件发生后才产生了相应数据。系列9为公共卫生类突发事件“长生疫苗造假”百度搜索指数走向，其搜索指数在整体数值上高于其他事件，由此可见该事件发生时引发了较大范围的关注，其主要原因在于该公司所生产的疫苗在全国范围内具有流通性，其疫苗造假关乎曾经打过该公司疫苗的民众的生命健康，因此其造成的影响范围和引发的关注度相较于其他事件更高，此外其衰退过程也更加缓慢，可以发现在该事件发生后的23天左右，搜索指数又开始回升，网名的持续关注导致其热度久居不下，这也印证第二章节中关于公共卫生类突发事件网络舆情演化过程的论述。系列10为社会安全类突发事件“香港机场暴力事件”百度指数走向，从整体的曲线中可以看出，“香港机场暴力事件”网络舆情演化全过程都呈现波动性，其曲线在事件发生后第4天达到峰值，后续的衰退过程则呈现波动性下降，可见网民在对这一事件讨论的不断反复和间歇性关注。1.4.3根据词频统计的词云图为进一步可视化所获取的突发事件网络舆情数据特征，使用python中的jieba库及wordcloud库对所获取的文本数据进行词频统计和词云图呈现，如下图所示：图3-2词云——四川宜宾地震图3-3词云——六盘水山体滑坡图3-4词云——超强台风利奇玛图3-5词云——四川凉山森林火灾图