大数据阅读汇报

——文献阅读情况一大数据

二文献阅读

三个人想法20世纪90年代，数据仓库之父的BillInmon就经常提及BigData。2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC抛出了BigData概念。大数据时代的背景体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长占总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的4V特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。分析技术：数据处理：自然语言处理技术统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等一些相关技术存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）数据采集数据储存数据管理数据分析与挖掘数据采集数据储存与管理数据分析与挖掘计算结果展示大数据的相关技术ETL数据众包（CrowdSouring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存储实时流处理A/BTesting关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析MapReduceR语言标签云（TagCloud）聚类图（Clustergram）空间信息流（Spatialinformationflow）热图（Heatmap）大数据赋予我们洞察未来的能力机遇马云成功预测2008年经济危机“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。——《大数据时代》大数据的营销案例未卜先知怀孕案例塔吉特：比父亲更早知道女儿怀孕曾经有一位男性顾客到一家塔吉特超市店中投诉，商店竟然给他还在读书的女儿寄婴儿用品的优惠券。这家全美第二大零售商，会搞出如此大的乌龙？但经过这位父亲与女儿进一步沟通，才发现自己女儿真的已经怀孕了。提问：为什么塔吉特能知道这个用户怀孕了？必须有哪几个关键环节A：用户数据收集B：怀孕特征库C：怀孕潜在用户筛选塔吉特在和顾客沟通过程中采用了哪种营销方式A：电子邮件B：直邮C：电话营销D：数据库营销大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。二部分文献网络舆情演化模式一种自适应网络舆情演化建模方法网络舆情传播阶段与模型比较研究基于语义文法的网络舆情精准分析方法研究基于大数据的网络舆情分析方法研究浅谈大数据时代的机遇与挑战基于大数据舆情分析的图书馆信息增值服务大数据分析下的中国社会舆情：总体态势与结构性特征网络舆情演化模式该篇文章使用描述网民发帖过程的时间序列来表征网络舆情的演化过程，使用时间序列的分析方法来探索网络舆情的演化规律，构建了6个网络舆情演化模式，包括分布模式、平稳模式、相关模式、自相似模式、周期模式和趋势模式，并给出了相应的模式分析方法。一种自适应网络舆情演化建模方法

该篇文章针对短期趋势预测方法忽略演化过程统计特性的动态变化性，致使模型选择盲目、预测效果较差的问题，本文提出一种自适应网络舆情演化建模方法（ＡＥＭＩＰＯ）。首先，动态跟踪网络舆情演化过程的平稳性、周期性和自相似性等统计特性；其次，选取能够描述上述统计特性的ＡＲＭＡ，ＡＲＩＭＡ，ＳＡＲＩＭＡ，ＦＡＲＩＭＡ模型构建备选模型库；最后，通过制定模型选择规则，从备选模型库中选择合适的模型对当前时刻的演化过程进行自适应建模，并预测其演化趋势。一种自适应网络舆情演化建模方法

该篇文章针对短期趋势预测方法忽略演化过程统计特性的动态变化性，致使模型选择盲目、预测效果较差的问题，本文提出一种自适应网络舆情演化建模方法（ＡＥＭＩＰＯ）。首先，动态跟踪网络舆情演化过程的平稳性、周期性和自相似性等统计特性；其次，选取能够描述上述统计特性的ＡＲＭＡ，ＡＲＩＭＡ，ＳＡＲＩＭＡ，ＦＡＲＩＭＡ模型构建备选模型库；最后，通过制定模型选择规则，从备选模型库中选择合适的模型对当前时刻的演化过程进行自适应建模，并预测其演化趋势。网络舆情传播阶段与模型比较研究该篇文单把网络舆情传播阶段与模型作为网络舆情研究重要组成部分，对其进行总结与归纳能为网络舆情管控研究提供借鉴。分析比较网络舆情传播的三阶段、四阶段、五阶段、六阶段模型，研究网络舆情在传播阶段中所显示出的阶段性。从网络舆情演变模型和技术模型这两角度出发，对各传播模型进行梳理与比较，分析现有传播模型优缺点，并在此基础上，提出未来的研究应向小世界、大数据、云计算方向发展。基于语义文法的网络舆情精准分析方法研究传统的基于关键词统计分析的网络舆情分析方法由于缺少对舆情文本必要的语义处理，往往导致分析结果不准确。提出一种基于语义文法的网络舆情精准分析新方法。该方法包括两部分：首先是可执行的网络舆情精准分析语言Ｅｉｐｏａａｌ，它可根据实际舆情分析需求设计Ｅｉｐｏａａｌ程序，具有一定的通用性；二是网络舆情精准分析系统Ｉｐｏａａｓ，它为Ｅｉｐｏａａｌ提供运行平台。目前，已经实现了该系统，并应用到贪腐主题的网络舆情分析中，实验结果证明了方法的有效性。基于大数据的网络舆情分析方法研究

文章概述了常用的网络舆情分析方法,归纳了当前网络舆情的大数据特征和分类,提出了网络舆情分析创新要向大数据分析方向发展的观点,并概述了4种新思路新方法,对需要注意的相关问题进行了总结,对未来网络舆情分析创新进行了展望。一是绕开语义分析的技术瓶颈,开辟“隐性”舆情分析的“第二战线”;二是突破抽样分析的思维,用大数据方法分析收集到的全体数据;三是将搜索数据、点击数据、人际关系数据、网民个人特征数据、相关社会数据等关联起来进行分析,深度挖掘出有价值的舆情。四是主动进行网络民意调查,有针对性地收集标准化数据。浅谈大数据时代的机遇与挑战

该篇文章介绍了大数据的概念及其特点，举例说明了大数据分析在商业中的简单应用，全面阐述了大数据时代所面临的机遇和挑战，提出了应对挑战的相关解决方案及人们应有的应对态度。基于大数据舆情分析的图书馆信息增值服务该文章阐述了大数据时代图书馆提高信息服务增值的可行性，并在此基础上提出了发挥自身优势实现信息增值