基于Hadoop的热点词提取与热点话题发现的实现的中期报告_第1页
基于Hadoop的热点词提取与热点话题发现的实现的中期报告_第2页
基于Hadoop的热点词提取与热点话题发现的实现的中期报告_第3页
全文预览已结束

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

基于Hadoop的热点词提取与热点话题发现的实现的中期报告一、问题描述当前，随着互联网的普及，大数据时代已经到来。在这个时代下，如何从庞大的数据中挖掘出有用的信息，为商业决策提供更好的支持，成为了研究者关注的重点。其中，热点词提取和热点话题发现是大数据研究中的两个重要方向。热点词指在某一时期内被广泛使用的、引起大众高度关注的词汇，例如新冠肺炎、口罩等；热点话题则是由多个相关热点词组合而成的，是更加综合、更加具体的内容，例如“新冠病毒疫情”话题下，可以包含很多与疫情相关的热点词。本项目的目标是基于Hadoop平台，实现热点词提取和热点话题发现的功能，并对结果进行展示和分析。二、解决方案本项目的主要思路是，以新浪微博为数据来源，使用云服务器以及Hadoop平台搭建数据处理环境，完成热点词提取和热点话题发现的工作，最终在web端展示结果和分析。具体流程如下：1.数据获取：从新浪微博API接口获取数据。本项目选择以“新冠肺炎”为关键词，获取2020年1月至2020年11月的相关微博数据。2.数据处理：使用Python对数据进行清洗、分词、去重等预处理工作。清洗包括去除无效字符、表情符、HTML代码等；分词使用jieba分词，并去除停用词；去重则是使用HashSet实现。3.数据分析：使用HadoopMapReduce分布式框架，对分词后的数据进行词频统计，并根据词频大小排序，筛选出出现频率高的词汇，作为热点词展示。4.热点话题发现：在热点词的基础上，使用机器学习中的聚类算法，对出现频率高的热点词进行聚类，将多个相关的词汇组合成一个话题，作为热点话题展示。5.结果展示：将热点词和热点话题展示在web端，并提供图表分析功能。三、目前进展1.数据获取：目前已经通过新浪微博API获取到了2020年1月至2020年11月的“新冠肺炎”相关数据，共计280000条。2.数据处理：已经完成数据清洗、分词、去重等预处理工作，目前得到了各个月份的分词结果，以及全年的分词结果。3.数据分析：已经按照月份完成了MapReduce程序，利用Hadoop框架对各个月份的分词结果进行统计，并得到了出现频率高的词汇。目前正在整合不同月份的热点词结果，并进行最终的筛选和整理，以得到全年的热点词。4.热点话题发现：已经完成了基于词向量和KMeans算法的聚类分析，并成功地将热点词进行了聚类，将相似的词汇组合成话题。目前正在整理话题结果，以得到较为完整的热点话题。5.结果展示：正在进行web端展示的设计与开发。目前已经设计了页面框架，正在加入数据展示和分析的功能。四、下一步计划1.完成热点词和热点话题的整体统计和分析，并进行数据可视化展示。2.进行性能优化，以提高数据处理速度和系统性能。3.针对其他数据集

人人文库> 全部分类> 毕业设计 > 开题报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论