开题报告-微博舆情管理平台-数据分析系统的设计与实现

北京交通大学毕业设计（论文）任务书PAGEPAGE12北京交通大学毕业设计（论文）任务书题目：微博舆情管理平台的设计与实现——数据分析系统适合专业：信息安全专业 指导教师（签名）：提交日期：2013学院:计算机学院专业：信息安全学生姓名学号：毕业设计（论文）基本内容和要求：微博作为迅速崛起的新兴社会媒体，在网络舆情领域日益引起研究者的关注。面对互联网上海量的数据信息，我们无法想象仅仅通过人工的方式来对互联网舆情进行全面监控的难度。因此，结合网络信息采集技术和文本信息自动处理等技术研发一个网络舆情自动监控系统将有利于社会管理者们及时了解网络舆情的状态和趋势，因而可以对发现的热点舆情及时进行干预，引导疏通民众情绪和心理，避免矛盾的进一步恶化而造成更大的社会损失。现有舆情监测系统在采集、检索和分析模块中都是采用基于统计和特征关键词的方法，由于忽略了文本中的语义信息往往会导致分析结果的不精确。本毕业设计主要针对当前微博中用户身份定位、热点信息挖掘以及负面信息的发现与及时处理等机制进行设计与实现，主要分为数据采集、数据挖掘分析和结果呈现三个部分。主要的工作分工如下：数据采集（微博爬虫程序）功能的实现，抓取微博文本信息。对收集到的文本信息进行数据分析，确定舆情热点关键词、分析用户身份关系将分析结果进行数据呈现。微博舆情管理平台预期实现对主流微博平台（新浪微博，腾讯微博等）消息的自动采集分析，得出最近热点词，关键词；输入关键词后可对与此关键词有关的微博消息进行评估预警，提醒使用者及时作出应对措施毕业设计重点研究的问题：对收集到的数据进行甄别归类分析,实现分词等算法。向量空间模型模型（VSM）及潜在语义索引（LSI）文本倾向性分析实现毕业设计应完成的工作：进行微博舆情监控方面现状的网络调研，熟悉微博管理系统的全过程；熟悉微波舆情监控系统的工作流程，设计合理的分工方案；熟练掌握c和php数据分析算法实现；撰写毕业论文。参考资料推荐：王艺．《重大突发公共事件的微博舆情监测与引导初探》．贵州民族学院学报．2011.05c张超．《文本倾向性分析在舆情监控系统中的应用研究》(硕士学位论文)．北京邮电大学．2008.02莫溢，刘盛华，刘悦，程学旗．《一种相关话题微博信息的筛选规则学习算法》．中文信息学报．2012.09陆浩．《网络舆情监测研究与原型实现》．北京邮电大学．2009.02莫溢，刘盛华，刘悦，程学旗．《一种相关话题微博信息的筛选规则学习算法》．中文信息学报．2012.09杨涛．《智能信息处理技术在互联网舆情分析中的应用》(硕士学位论文)．同济大学．2008.05LarsenB，AoneC．Fastandeffectivetextminingusinglinear-timedocumentclustering．In：ProceedingsoftheFifthACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining，SanDiego：CA,1999．16—22．其他要说明的问题：题目：微博舆情管理平台设计与实现——数据分析系统设计实现学院：计算机学院专业：信息安全学生姓名：张骁学号：09283050文献综述：研究背景:

舆情分析关乎国家发展与社会和谐，目前已有越来越多的机构和行业从事舆情分析。Web2.0时代的到来，使人们进入网络信息大爆炸时代。新浪微博每天有近1亿的微博内容产生。如何从海量的微博信息中提取有价值的信息，并对负面、消极及虚假信息进行及时的管控，已经成为舆情热点分析的突出问题。良好的解决方案，不仅可以监督规范网络行为，净化网络环境，更重要的还能从中获取各类有用信息，进行诸如商业价值（用户兴趣挖掘），信息传播学（网络拓扑与热点追踪），以及一些社会学方面的研究。从而能够满足人们的需求，同时对于社会的和谐、网络舆论生态的健康、国家的发展都有重要的现实意义。研究现状及基本方法

目前，已有越来越多的机构从事舆情分析。但是，这些舆情分析系统一般只应用于企业或政府，更关注于对负面、消极及虚假信息的监管，并且不对公众开放。在当今的社会，人们也迫切希望得到一些关乎自身利益的事件的发展情况，如物价的变化、对于一些厂家产品的使用评价等。对于微博舆情预警功能模块的实现，网络舆情安全的评估预警等功能实现的不多。研究内容及意义

微博舆情管理平台预期实现对主流微博平台（新浪微博，腾讯微博等）消息的自动采集分析，得出最近热点词，关键词；输入关键词后可对与此关键词有关的微博消息进行评估预警，提醒使用者及时作出应对措施。

面对互联网上海量的数据信息，我们无法想象仅仅通过人工的方式来对互联网舆情进行全面监控的难度。因此，结合网络信息采集技术和文本信息自动处理等技术研发一个网络舆情自动监控系统将有利于社会管理者们及时了解网络舆情的状态和趋势，因而可以对发现的热点舆情及时进行干预，引导疏通民众情绪和心理，避免矛盾的进一步恶化而造成更大的社会损失。

主要参考文献：[1]张洋，何楚杰，段俊文，杨春程．《微博舆情热点分析系统设计研究》．信息网络安全．2012.09[2]王艺．《重大突发公共事件的微博舆情监测与引导初探》．贵州民族学院学报．2011.05[3]杨涛．《智能信息处理技术在互联网舆情分析中的应用》(硕士学位论文)．同济大学．2008.05[4]张超．《文本倾向性分析在舆情监控系统中的应用研究》(硕士学位论文)．北京邮电大学．2008.02[5]唐晓波宋承伟．《基于复杂网络的微博舆情分析》．情报学报．2012.11[6]刘恒文．《基于网络语义挖掘的舆情监测预警研究》(硕士学位论文)．武汉理工大学．2010.05[7]王晶，朱珂，汪斌强．《基于信息数据分析的微博研究综述》．计算机应用．2012.07[8]莫溢，刘盛华，刘悦，程学旗．《一种相关话题微博信息的筛选规则学习算法》．中文信息学报．2012.09[9]谭俊武．《面向网络舆情分析的文本倾向性分类技术的研究与实现》(硕士学位论文)．国防科技大学．2009.11[10]陆浩．《网络舆情监测研究与原型实现》．北京邮电大学．2009.02[11]M．Spitters，W．Kraaij．UsingLanguageModelsforTrackingEventsofInterestoverTimeProceedingsoftheWorkshoponLanguageModelsforInformation．Retrieval(LMIR),Pinsburgh，2001．[12]LarsenB，AoneC．Fastandeffectivetextminingusinglinear-timedocumentclustering．In：ProceedingsoftheFifthACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining，SanDiego：CA,1999．16—22．[13]J．Yi，T．Nasukawa，RBunescu，andw．Niblack．SentimentAnalyzer：ExtractingSentimentSaboutaGivenTopicusingNaturalLanguageProcessingTechniques【A】．In：Proceedingsofthe3rdIEEEInternationalConferenceonDataMining(ICDM22003)【C】．研究方案：理论基础：

1)向量空间模型模型（VSM）

2）潜在语义索引（LSI）

3）聚类分析方法研究步骤：

1）研读文献，对已采集数据的算法分析进行调研；

2）建立模型，进行模块化设计；

3）数据分析部分的代码实现；

4）对系统的整体实现；

5）系统的测试、评价、反馈、改进；

6）实验数据收集，撰写论文。关键技术与难点

1）尝试将共词网络与复杂网络方法应用于基于微博的网络舆情分析中。使用图论对现实中的舆情问题进行建模，运用数学基本理论对模型中实体之间的关系进行定量计算，应用直观的共词网络与复杂网络可视化方法，对微博舆情分析中的两个主要任务，热点探测和微博领袖热点发现展开综合研究。

2）微博中大部分信息是零散的、高噪声的、随机的和碎片化的，从而导致构建出的文档向量空间矩阵维数较高，但数据稀疏，因此传统基于VSM(VectorSpaceMode1)的文本聚类方法在微博客热点探测中的效果不佳。需要对VSM进行改进或者提出更高效的方法。

3）舆情监控系统的核心技术在于舆情分析引擎，涉及的最主要的技术包括文本分类、聚类、观点倾向性识别、主题检测与跟踪、自动摘要等计算机文本信息内容识别技术。其中基于关键词统计分析方法的技术相对比较成熟，但在其有效性方面还有很大的提高空间。预期成果

通过与组员的配合，实现一个能对微博信息进行检测分析的平台；与已有的检测平台相比，实现更高的有效性，准确性；初步实现对指定简单微博关键词的预警监测。毕业设计（论文）进度安排：序号毕业设计（论文）各阶段内容时间安排备注1阅读文献，设计调研，完成开题报告2.25-3.222研究各数据分析算法优劣，确定使用算法3.23-4.103与组员共同建立系统模型，完成模块设计4.11-4.184完成算法代码，系统具体实现4.19-5.105撰写毕业论文5.11-5.256准备毕业答辩5.26~指导教师意见：指导教师签名：审核日期：年月日基于C8051F单片机直流电动机反馈控制系统的设计与研究基于单片机的嵌入式Web服务器的研究MOTOROLA单片机MC68HC（8）05PV8/A内嵌EEPROM的工艺和制程方法及对良率的影响研究基于模糊控制的电阻钎焊单片机温度控制系统的研制基于MCS-51系列单片机的通用控制模块的研究基于单片机实现的供暖系统最佳启停自校正（STR）调节器单片机控制的二级倒立摆系统的研究基于增强型51系列单片机的TCP/IP协议栈的实现基于单片机的蓄电池自动监测系统基于32位嵌入式单片机系统的图像采集与处理技术的研究基于单片机的作物营养诊断专家系统的研究基于单片机的交流伺服电机运动控制系统研究与开发基于单片机的泵管内壁硬度测试仪的研制基于单片机的自动找平控制系统研究基于C8051F040单片机的嵌入式系统开发基于单片机的液压动力系统状态监测仪开发模糊Smith智能控制方法的研究及其单片机实现一种基于单片机的轴快流CO〈,2〉激光器的手持控制面板的研制基于双单片机冲床数控系统的研究基于CYGNAL单片机的在线间歇式浊度仪的研制基于单片机的喷油泵试验台控制器的研制基于单片机的软起动器的研究和设计基于单片机控制的高速快走丝电火花线切割机床短循环走丝方式研究基于单片机的机电产品控制系统开发基于PIC单片机的智能手机充电器基于单片机的实时内核设计及其应用研究基于单片机的远程抄表系统的设计与研究基于单片机的烟气二氧化硫浓度检测仪的研制基于微型光谱仪的单片机系统单片机系统软件构件开发的技术研究基于单片机的液体点滴速度自动检测仪的研制基于单片机系统的多功能温度测量仪的研制基于PIC单片机的电能采集终端的设计和应用基于单片机的光纤光栅解调仪的研制气压式线性摩擦焊机单片机控制系统的研制基于单片机的数字磁通门传感器基于单片机的旋转变压器-数字转换器的研究基于单片机的光纤Bragg光栅解调系统的研究单片机控制的便携式多功能乳腺治疗仪的研制基于C8051F020单片机的多生理信号检测仪基于单片机的电机运动控制系统设计Pico专用单片机核的可测性设计研究基于MCS-51单片机的热量计基于双单片机的智能遥测微型气象站MCS-51单片机构建机器人的实践研究基于单片机的轮轨力检测基于单片机的GPS定位仪的研究与实现基于单片机的电液伺服控制系统用于单片机系统的MMC卡文件系统研制基于单片机的时控和计数系统性能优化的研究基于单片机和CPLD的粗光栅位移测量系统研究单片机控制的后备式方波UPS提升高职学生单片机应用能力的探究基于单片机控制的自动低频减载装置研究基于单片机控制的水下焊接电源的研究基于单片机的多通道数据采集系统基于uPSD3234单片机的氚表面污染测量仪的研制基于单片机的红外测油仪的研究96系列单片机仿真器研究与设计基于单片机的单晶金刚石刀具刃磨设备的数控改造基于单片机的温度智能控制系统的设计与实现基于MSP430单片机的电梯门机控制器的研制基于单片机的气体测漏仪的研究基于三菱M16C/6N系列单片机的CAN/USB协议转换器基于单片机和DSP的变压器油色谱在线监测技术研究基于单片机的膛壁温度报警系统设计基于AVR单片机的低压无功补偿控制器的设计基于单片机船舶电力推进电机监测系统基于单片机网络的振动信号的采集系统基于单片机的大容量数据存储技术的应用研究基于单片机的叠图机研究与教学方法实践基于单片机嵌入式Web服务器技术的研究及实现基于AT89S52单片机的通用数据采集系统基于单片机的多道脉冲幅度分析仪研究机器人旋转电弧传感角焊缝跟踪单片机控制系统基于单片机的控制系统在PLC虚拟教学实验中的应用研究基于单片机系统的网络通信研究与应用基于PIC16F877单片机的莫尔斯码自动译码系统设计与研究基于单片机的模糊控制器在工业电阻炉上的应用研究基于双单片机冲床数控系统的研究与开发基于Cygnal单片机的μC/OS-Ⅱ的研究基于单片机的一体化智能差示扫描量热仪系统研究基于TCP/IP协议的单片机与Internet互联的研究与实现变频调速液压电梯单片机控制器的研究基于单片机γ-免疫计数器自动换样功能的研究与实现基于单片机的倒立摆控制系统设计与实现单片机嵌入式以太网防盗报警系统基于51单片机的嵌入式Internet系统的设计与实现单片机监测系统在挤压机上的应用MSP430单片机在智能水表系统上的研究与应用基于单片机的嵌入式系统中TCP/IP协议栈的实现与应用单片机在高楼恒压供水系统中的应用基于ATmega16单片机的流量控制器的开发基于MSP430单片机的远程抄表系统及智能网络水表的设计基于MSP430单片机具有数据存储与回放功能的嵌入式电子血压计的设计基于单片机的氨分解率检测系统的研究与开发锅炉的单片机控制系统基于单片机控制的电磁振动式播种控制系统的设计基于单片机技术的WDR-01型聚氨酯导热系数测试仪的研制\t"_