本科毕业设计-网络大数据的调查与研究-设计

毕业论文（计算机学院）论文题目：网络大数据的调查与研究专业班级：网络1401学生姓名：学生学号：2014031196指导教师：目录摘要 3第一章前言 41.1论文研究背景 41.2介绍大数据时代 41.3论文研究的主要内容 4第二章大数据时代 52.1大数据的由来 52.2大数据带给我们的改变 52.3网络大数据带给市场影响………………..5第三章未来的大数据时代 73.1：未来的发展趋势 83.2：如何应对网络大数据 9第四章大数据时代企业的发展与挑战 94.1挑战和展望 104.2普通高校课程更新 10参考文献 11

网络大数据的调查与研究摘要：随着网络信息化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的"大数据"时代，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。关键字：大数据云计算海量发展影响Abstract：Asthenetworkinformationagehasbecomemorecommon,mobileInternet,socialnetwork,theelectroniccommerceoftheInternetgreatlyexpandthebordersandapplicationfields,weareinadatatheexplosivegrowthof"bigdata"era,largedatainthesocialeconomy,politics,culture,peoplelifeandotheraspectshavefar-reachinginfluence,thebigdataagetothehumandatatocontrolKeyword:BigDataCloudcomputingMassDevelopmentInfluence前言1.1论文研究背景近年来我科学技术高速发展，互联网科技、云技术、IT通信技术等迅猛发展，给各行业领域带来了重要影响。但与此同时数据的快速发展也成为行业领域应用科学技术过程中的挑战。信息时代高速发展背景下，我国已步入大数据发展阶段，大数据的发展应用给人们带来了较多积极影响，对企业发展运作等也起到了关键作用。网络大数据给社会发展和人们生产生活带来机遇和挑战，因此加强大数据研究至关重要。本文首先论述对网络大数据研究的必要性，其次对网络大数据发展现状展开详细论述，最后展望大数据发展前景，实现大数据时代发展与科技的有机结合，促进网络大数据规模进一步扩大，以给人们带来更大的便利。1.2介绍大数据时代最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。1.3论文研究的主要内容主要从大数据的概念着手,对比分析了国内外大数据研究和应用现状,重点分析比较当前大数据主流处理工具的优缺点,并深入归纳总结了基于数据存储的大数据处理技术、基于数据挖掘的大数据处理技术、基于查询的大数据处理技术的优缺点和适用场景.最后,在前面比较和分析的基础上给出了大数据研究和发展的方向,为大数据的研究提供有益参考。第二章大数据时代2.1大数据的由来

2005年，Hadoop项目诞生，从技术层面上搭建了一个使对结构化和复杂数据快速、可靠分析变为现实的平台。

2008年起，“大数据”成为互联网信息技术行业的高频词汇;

2011年，IBM的沃森超级计算机每秒可扫描并分析4TB的数据量;同年，麦肯锡第一次全方面地介绍和展望大数据。

2012年，美国软件公司Splunk成为第一家上市的大数据处理公司。

2014年，世界经济论坛以“大数据的回报与风险”为主题发布了《全球信息技术报告(第13版)》……

大数据从哪里来?大体可以简单概括成以下几类：第一，物质世界本身数字化产生的大数据。例如一些医疗服务类网站，将医生信息、门诊信息等现实事物数字化，形成了大量网络数据。第二，互联网交流不断产生的大数据。大量移动电子终端设备的出现，更加快了互联网信息制造的速度。第三，各种数据的积累、沉淀、及保存产生大数据。随着科技进步，时代变化，高性能存储设备日益发展普及，使越来越多的数据得以持续保存，形成越发庞大的数据集。2.2大数据带给我们的改变我们说的电子商务，也是这样，现在是需要你在网上通过海量的数据去找，找你喜欢的东西，当我了解到你偏好、你的年龄、你的职业、你的收入、你的生活习惯之后，在你需要这个产品之前的时候，我就推送给你。这个就很可怕了，作为人，你所有方方面面的需求，我都可以通过数据的分析以后推送给你，就意味着你生活的每个方方面面，这个时候它产生的广告价值是巨大的。”）：“大数据”已成为目前使用频率最高的技术热词之一，想象未来寻常的一天：清晨，智能闹钟在你的浅睡眠时间而非预设时间唤醒你；起床后，衣橱里的衣服会根据你当天的活动进行推荐搭配。此时，车库里的汽车正在根据你的设定进行预热或冷却；驾车上班，你的自动汽车会根据交通状况规划路线并持续更新；走在路上或在室内，你的可穿戴设备记录着你的运动水平、情绪波动、心率、血压和食物摄取等信息，还有许多你能想象到的和想象不到的应用场景，而这一切都是大数据在背后支撑的，几乎所有人都在讨论大数据背后所带来的科技方面、技术方面的进步，观念上的改变，以及背后所蕴含的巨大价值。如果你要知道，北京人、上海人、广州人他们各自最想去哪些城市旅游？本周那个热点人物的搜索最多，哪款手机受关注最高?百度指数可以直接为你解答。全国哪个地方的男士为女士购买商品最大方？哪个星座的女生网上花钱最多，淘宝指数可以为你呈现。在美国热播美剧《纸牌屋》，就是通过海量数据库调研分析，预测了观众的喜好口味，搭配出来剧情、导演、演员班底，并一炮走红。全球零售巨头沃尔玛对消费者购物进行数据分析，发现男性顾客在购买婴儿尿布湿时，常常会顺便搭配购买几瓶啤酒来犒劳自己，于是推出了将啤酒和尿布捆绑销售的促销手段。如今这个啤酒+尿布的数据分析成果，已成为科学家通俗解释“大数据”的科学案例。大数据对学习的改变:大数据可以收集足够多的信息，且覆盖面广泛。我们在制作和利用大数据时，需要用个性化的方法把它们组织起来，将其运用于教育领域，进而帮助我们以前所未有的视角判断什么可行、什么不可行；展示那些以前不可能观察到的学习层面，实现学生学业表现的提升；基于学生的需求而非统一的课程标准来定制个性化课堂，促进理解并提高成绩。200多年以来，学习一直是学校体系的一部分。但其实在此之前，还没有现代意义上的学校或者大学，教育基本上是以个人形态存在的。一些富人家的孩子会获得一个一对一的导师，但这样的教育只有少数人才可以享有。现在教育是由普通大众来获得，这无论如何都是一个好事，是前进的一大步。但是，目前的这种情况还是不够的。为什么这么说呢？因为，作为学生，其实我们每一个人都有自己独特的个性、需求和学习上的倾向。但是，目前我们这个教育系统还没有办法支持这个个性。如何才可以改变、完善这个系统就是要通过对数据的收集和利用。如今一些技术上的进展已经为有关数据的大规模收集和利用创造了条件，我们只需要利用好他们就可以了。2.3网络大数据带给市场的影响伴随着移动互联网、智能终端、云计算、物联网技术的发展，数据正呈现爆炸式增长，数据密度空前提高，大数据时代波澜壮阔的画卷逐步展开。2012年12月，美国宣布投资两亿美元，将“大数据战略”上升为“国家意志”，将数据定义为“未来的新石油”；2013年10月，国家发改委与中科院启动“基础研究大数据服务平台应用示范项目”，并将大数据国家战略提上议程。零售、金融证券、电子商务、电信、制造、医疗服务等行业纷纷开展大数据应用尝试。相比而言，电信业作为“数据金矿”的拥有者，具有明显的数据优势和研发基础，在面临“管道化”的当下，大数据无疑为运营商转型提供了一把利剑，为应对残酷的互联网化竞争提供了差异化手段。第三章未来的大数据3.1：未来大数据的发展趋势趋势一数据的资源化:何谓资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。趋势二：与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。趋势三：科学理论的突破随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。3.2：如何应对网络大数据转变观念，有效管理、积极应对、正确引导的理念。目前，社会正处在突发事件的高发期，各级领导干部必须增强忧患意识，强化防范意识，高度关注网络舆情。面对重大舆情，积极应对，主动回应，速报事实，利用各种媒介澄清误解，强化正面引导，满足网民的信息需求。树立舆情应对处置和舆论引导同等重要的理念。在网络舆情处置过程中，舆情分析研判、媒体采访报道、权威信息发布等工作是网络舆情管理的有机组成部分。要按照“属地管理、分级负责、快速核查、主动引导、系统响应、分类施策”的原则，依据速报情况、慎报原因、缓说结论、由简入繁、增信释疑的步骤，启动应急预案，设置舆论引导议题，及时发布权威信息，组织媒体采访报道，牢牢把握舆论引导权，为舆情事件妥善处置营造有力的舆论环境。第四章大数据时代企业的发展与挑战4.1挑战与展望网络大数据在开发与应用过程中正面临着诸多挑战，这与用户需求的提高有着直接关系。目前就网络大数据发展形势来看，其主要面临的挑战包括大数据的复杂性、不确定性以及涌现性。

网络大数据的复杂性使其诸多环节操作运行难度增加，包括数据存储、数据分析处理以及数据深度挖掘等。大数据的复杂性又包括其类型的复杂，如社交网络与传统文本数据的相互发展，使其类型更加丰富；数据结构复杂，包括移动技术以及社交技术发展下形成的结构数据流以及非结构化数据流，具体形式包括文本、图像等，这给网络大数据管理与分析带来了难度。大数据的不确定性包括自身以及模型的不确定，这给大数据建模带来较大困难，使用户不能充分利用其自身价值，既是对数据资源的浪费，同时也无法全面满足用户需求。另外，网络大数据还面临着涌现性带来的挑战。这主要是指网络大数据与其他数据之间存在的本质上的区别，也是网络大数据的关键性特点。大数据的涌现性直接给用户以及相关研究人员增加数据驾驭难度，使之无法准确实现对大数据的测量和预测，包括大数据的数据结构、功能等。

分布式数据存储是网络大数据应用的一个重要环节。但之前的研究工作仍存在一些局限性。针对海量数据存储和处理所面临的数据总量超大规模、处理速度要求高和数据类型异质多样等难题，需要开发支持扩展度高、深度处理的PB级以上分布式数据存储框架，同时需要研究适应数据布局分布的存储结构优化方法，以提高网络大数据存储和处理效率，降低系统建设成本，从而实现高效、高可用的网络大数据分布式存储。网络大数据对各行业领域发展都有着积极影响，对数据库建设以及知识工程建设等有着推动作用，且被广泛开发和应用。但大数据的海量规模以及复杂性等自身特征，直接给大数据开发和应用带来一定阻碍，使各领域研究很难直接进行应用。因此，加强对网络大数据的研究和开发，形成相对统一的标准进行大数据研究至关重要。网络大数据深度研究与开发对多行业领域发展都有着积极影响，针对现阶段大数据面临的机遇和挑战，要加强大数据与科技融合，对大数据复杂性、涌现性以及不确定性等特性实现整合优化，促进网络大数据规模进一步扩大发展。

4.2普通高校课程更新大数据技术必将改变我们的生活，也必将推动教育模式产生巨大的变革。2011年秋天，斯坦福大学一门人工智能网上课程受到热烈欢迎，190多个国家约16万学生参加学习，2万多人通过了考试，获得认证。课程讲授者Thrun教授，创办了在线教育平台Udacity。斯坦福大学的Ng教授，把自己的课程放到了互联网上，全球有十几万人注册，在网上听他的实时讲授，同时还和斯坦福大学在校生做同样的作业、接受同样的考核。Ng教授2012年4月成立了Coursera，和普林斯顿、斯坦福、密歇根大学和宾夕法尼亚大学等大学结盟，提供社会科学、物理、工程学等课程。2012年11月福布斯发表文章《一个人，一台电脑，1千万学生，可汗学院如何重塑了教育》。因为“大数据”的技术背景，哈佛和麻省理工也把课程免费上网，收集最多的学生学习行为数据，研究开发更好的在线教育平台，强化学校品牌效应。硬件的高速革新和软件的高度智能，国内也掀起了新一轮教育信