大数据时代的机遇与挑战.docx

大数据时代的机遇与挑战班 级： 车辆121201班姓 名： 何洪涛 学 号： 201212040110指导教师： 董志强 班 级： 工程管理08-1 姓 名： 陈玉笺 学 号： 1号 指导教师： 杨悦 日 期： 2016-01-01 大数据时代的机遇与挑战【摘要】大数据开启了一次重大的时代转型。就像望远镜让我们能够感受字宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解数据的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。【关键词】大数据；云；计算机；分析；机遇opportunities and challenges in the era of big dataabstract：big data has opened a major era of transformation. just like a telescope that allows us to feel the cosmic microscope. let us to microbiological observations, data is changing our way of life and understand the data, become the source of new inventions and new services, and more change is gaining momentum.key words：big data; cloud; computer; analysis; opportunity当今世界，互联网技术发飞速发展，人类正处于一个信息大爆炸的时代，特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。大数据已经到来。2009年，甲型h1y1流感爆发，预测到这一灾难的并不是疾病预防机构，而是看起来似乎是与疾病二字毫无关联的谷歌公司。人们可能会对这一结果感动惊讶，但实则谷歌公司正是运用了大数据分析的方法进行了准确的预测。谷歌通过把5000万条美国人最频繁检索的词条与2003至2008年间的流感及传播时期的数据进行了比较，从而得出了一个内部原理并不为人所知的函数。可以将该函数的自变量理解为人们所搜索的词条，因变量理解为流感的爆发，当某一时段，某一地区这些“自变量”的搜索次数增加时，谷歌便可以通过这一函数来准确得出这一地区即将爆发流感的结论。其他一些公司也曾经尝试过这样的方式，但最后都以失败告终，其中最重要的就是他们的数据拥有量还不够庞大。依靠互联网的词条搜索记录并不是百分之百可以得到精准结论，但如果数据量足够大的话，其中一些与问题无关的搜索记录对最终结果造成的影响会变得微不足道，所以，数据的容错性成为了大数据的特征之一。自“概率论”这一学科被提出，人类一直以一种随机抽样的方式来分析问题，可能这种分析问题的方式已经在我们的思想中根深蒂固以至于我们忘记了为何采取“随机抽样”这一方法来分析问题的原因一一当时我们并没有能力去分析庞大的数据量。当今计算机技术飞速发展，硬件的革新以及算法的优化使得我们足以有能力去分析庞大的数据，云计算概念的提出更是为我们的分析工作提供了极好的后勤保障。这些优秀的技术支持使得我们可以处理海量数据，可以较“随机抽样”更加精准的对问题进行分析研究。大数据在商业领域的影响也是巨大的。其中一个最主要的应用就是亚马逊推荐系统。全球最大的网络书店亚马逊中一个特色的功能就是根据用户的搜索记录来对用户的偏好进行分析，从而向用户推荐其可能感兴趣的商品。数据表明：推荐系统带来的销售额占整个amazon的20一30，整个网站还有近60的交易间接通过这个系统产生的。这无疑是一个令人惊讶的数字。与其他电商网站相比，亚马逊的这一方式给用户以更多的亲切感，使用户有一种在自己的专属商店中消费购物的感觉从而促进了客户的消费。当然，这样一个推荐平台亦可以构成另一个函数，自变量是用户浏览记录，因变量是用户偏好，通过分析用户偏好，再向其推荐类似的产品。这个函数是神秘的，因为没有人知道结果为什么会是这样，但无疑这个结果是准确的。这就是大数据的另一个特性：只要知道是什么就好，不必去研究为什么。这又是与传统分析观念相背离的。人类往往花费大量的时间在研究“为什么”上，但却忘记了为什么要去研究“为什么”，之前人们会说重在过程，但大数据时代，人们有时候必须重在结果而舍弃过程。大数据对于各行各业来说既是机遇又是挑战，其中最大的问题就是如何去获取庞大数据量的问题。如果所分析的数据量不够，那么我们上文所提及的所有分析方法、分析方式都是空谈。数据量小，个别错误数据就会对结果造成很大的影响，从而使结果偏离正确路线。国内最大的搜索引擎百度，借助着其每日6亿条搜索请求的数据量优势，成为了当今中国大数据运用的核心企业。在清明节假期，百度与中央电视台联合通过数据分析成功预测了各个景区的舒适程度，同时百度还与中国疾病预防中心联合来预测流感病情的爆发，这是一些其他企业所不能及的。百度现已借助大数据这一概念推出了百度预测、百度精算、百度统计等新型功能，在开放的云平台通过对百度数据和行业数据或需求进行初步分析，再提交至数据工厂进行深度分析，最终由“百度大脑”得出我们所要的“函数”。大数据时代，数据量已然成为大数据时代最重要的资源之一。尽管数据量有着举足轻重的地位，但企业合作也起着非常重要的作用，不同的行业间数据类型差异甚大，有数据的企业可能没有分析能力，有分析能力的企业可能没有特定行业的数据，只有这两种企业进行合作，才可以达到双方预期的目标，实现双赢。淘宝网作为中国最大的电商平台，每天的交易量达到数千万笔，淘宝完全可以通过对交易记录进行分析从而得出地区购物偏好进而在该地区进行商品推广，获取利益。虽然我们处于大数据时代，但这并不代表我们的技术足够好。数据的分析需要耗费大量资源，在 “8337”计划中，将在内蒙古自治区建立全国最大的云计算基地，从资源利用角度来说，这一安排是合理的，内蒙古拥有广阔的土地，丰富的电力资源以及较低的温度，这使得内蒙古地区在云平台这一消耗大量电力的项目中有着得天独厚的优势。其次，我们对不同类型的数据处理还不是很好，在高复杂度的现实世界，我们所能处理的仅仅是其中的一部分数据，图片处理技术，人工智能技术还不够娴熟，这使得我们在一些问题分析上还仅仅停留在构想阶段，暂时浪费了一部分数据资源。这就要求计算机编程人员集思广益设计出更加精良的算法以实现对这些数据的分析。大数据时代，对所有行业来说既是机遇，又