浅谈大数据的研究应用

关于大数据的相关问题研究科目：信息资源建设 类别：期 末 作 业 专业：图 书 情 报 2014 学号：12014001692 姓名：赵 丽 云南大学期末论文摘 要近来，大数据引起了产业界、科技界和政府部门的高度关注。本文简要阐述了大数据的内涵和研究现状，探讨了大数据的重大意义，最后归纳总结大数据时代所面临的新挑战。关键字： 大数据 大数据时代 数据资源云南大学期末论文目 录一、大数据的内涵 .1二、大数据的研究综述 .2（一）学术界对大数据的研究 .2（二）各国政府对大数据的研究 .31.中国 .32.美国 .43.日本 .54.英国 .5三、大数据的意义 .5（一）大数据带来产业升级和新的经济增长模式 .6（二）大数据引发科学研究思维与方法的一场革命 .6（三）大数据管理提供新的国家竞争平台 .7四、大数据面临的挑战 .7（一）市场竞争对管理者提出更高要求 .7（二）大数据时代的个人隐私遭遇大挑战 .7（三）信息资源争夺导致国家实力进一步分化 .8五、结论 .8参考文献 .9云南大学期末论文1关于大数据的相关问题研究早在 20 世纪 80 年代， 美国著名的未来学家阿尔温托夫勒就预言：“如果说 IBM 的主机拉开了信息化革命的大幕，那么大数据则是第三次浪潮的华彩乐章。 ”1但是，大数据概念受到广泛关注，是近几年才有的事。近年来，随着互联网、物联网、云计算、三网融合等与通信技术的迅猛发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因而信息社会已经进入了大数据（BIG DATA）时代。大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。维基百科对大数据的定义则简单明了：“大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 ”2一、大数据的内涵大数据已经在悄然掀起一场新的革命，它将会是未来社会创新、生产力发展、市场变革的风向标。下面我们从大数据内涵出发，对大数据时代到来，大数据具有的怎样的含义简要说明。人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据（Big Data）时代。以数据为中心的传统学科（如基因组学、蛋白组学，天体物理学和脑科学等）的研究产生了越来越多的数据。例如，用电子显微镜重建大脑中的突触网络，1 立方毫米大脑的图像数据就超过 1PB。但近年来大数据的飙升主要还是来自日常生活，特别是互联网公司的服务。 “据著名咨询公司 IDC 的统计， 2011 年全球被创建和复制的数据总量为 1.8ZB（10 的 21 次方） ，其中 75%来自于个人（主要是图片、视频和音乐） ，远远超过人类有史以来所有印刷材料的数据总量（200PB） 。 ”4云南大学期末论文2大数据是一个比较抽象的概念，它与“海量数据” （massive data） 和“超大规模数据” （very large data）在概念上一脉相承，但在数据体量、数据复杂性和产生速度三个方面均大大超出了传统的数据形态，也超出了现有技术手段的处理能力。对于大数据尚未有一个公认的定义，不同的定义基本是从大数据的特征出发，通过这些特征的阐述和归纳试图给出其定义。在这些定义中，比较有代表性的是 3V 定义 3：一是规模性（volume） ，即数据体量巨大，从 TB 级别跃升到 PB、EB 级别；二是多样性（ variety） ，即数据类型繁多，如音频、视频、文本、图片等；三是高速性，即更新、处理速度快。除此之外，还有提出4V 定义的，即尝试在 3V 的基础上增加一个新的特性。关于第 4 个 V 的说法并不统一，如国际数据公司（IDC）认为大数据还应具有价值性（ value） 6，即具有很高的商业价值，大数据的价值往往呈现出稀疏性的特点。IBM 公司则认为大数据必须具有真实性（veracity） 7。二、大数据的研究综述随着以博客、社交网络、基于位置的服务 LBS 为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。（一）学术界对大数据的研究在学术界，美国一些知名的数据管理领域的专家学者则从专业的研究角度出发，联合发布了一份白皮书Challenges and opportunities with Big Data3 。该白皮书从学术的角度出发介绍了大数据的产生，分析了大数据的处理流程，并提出大数据所面临的若干挑战。 自然杂志 2008 年 9 月推出了 Big Data 专刊 8，以社论、特写、评议等形式，从计算机网络、信息管理、生物学、医学、互联网经济学等多角度介绍了海量数据带来的挑战，探讨了大数据的出现及其如何处理的问题。计算社区联盟（Computing community consortium）在 2008 年发表了报告“Big data computing：creating revolutionary 云南大学期末论文3breakthroughs in commerce,science ,and society”9 ，阐述了在数据驱动的研究背景下，解决大数据问题所需的技术以及面临的一些挑战。 科学杂志则在2011 年 2 月推出专刊“Dealing with Data”3，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于科学研究的重要性。全球知名的咨询公司麦肯锡（Mckinsey）2011 年 6 月份发布了一份关于大数据的详尽报告“Big data：The next frontier for innovation，competition ， and productivity”10 ，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。进入 2012 年以来，大数据的关注度与日俱增。在经济领域，2012 年 1 月的达沃斯世界经济论坛将大数据作为会议主题之一，发布了“Big Data，Big Impact：New Possibilities for International Development” 的主题报告，探索、研究如何让大数据释放潜能、跨越鸿沟，为低收入人群及国家的发展服务。（二）各国政府对大数据的研究1.中国2012 年 5 月，香山科学会议组织了以“大数据科学与工程一门新兴的交叉学科？”为主题的第 424 次学术讨论会，来自国内外 35 个单位横跨IT、经济、管理、社会、生物等多个不同学科领域的 43 位专家代表参会，并就大数据的理论与工程技术研究、应用方向以及大数据研究的组织方式与资源支持形式等重要问题进行了深入讨论。6 月，中国计算机学会青年计算机科技论坛（CCF YOCSEF）举办了“大数据时代，智谋未来”学术报告会，就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论。IT 时代周刊 、IT 商业新闻网、全国 CIO/CTO 俱乐部于 2012 年 7 月 21日主办 “大数据 2012 论坛” ，北京大学信息化与信息管理研究中心于 2012 年7 月 22 日主办“首届中国大数据应用论坛” ，同年 10 月召开 Hadoop 与大数据技术大会，12 月 14 日在京召开中国大数据发展与应用峰会。云南大学期末论文4中国计算机学会大数据专家委员会成立了大数据共享联盟（Big Data Alliance） ，是由大数据相关产学研机构和个人自愿组成的学术性、公益性的社会组织。宗旨是建立并持续积累和维护运行一个大数据收集、展示和共享平台，促进各种基于大数据的研究与开发应用。建立大数据联盟共享平台，包括大数据收集、大数据展示、大数据共享，目的是促进大数据研发。深圳大数据产学研联盟已经于 2013 年 3 月底正式揭牌成立。大数据世界论坛（BIG DATA World Forum）作为中国及亚洲地区创办及规模最大的大数据专业论坛，2013 年 7 月 18 日在北京召开第三届大数据世界论坛，共同交流大数据领域前沿技术与发展趋势，探讨如何使用更有效的架构捕捉、存储、整合、管理和分析海量数据，支持企业决策和业务发展，实现大数据的商业价值。由宽带资本、百度在线、中国联通、亿赞普、联想集团、北京大学等企业、高校共同发起，于 2013 年成立中关村大数据产业联盟，组织成立中关村大数据工程中心，发布大数据年度发展报告，并策划一系列业界交流活动，加快中关村大数据产业生态环境构建。联盟成立活动上还发布了云天使基金、中云融汇基金和大数据实验室孵化基金三支产业投资基金。2.美国美国联邦政府国防部、能源部、卫生总署等 7 部委联合推动，于 2012 年 3月底发布了投资 2 亿美元大数据专项研究计划 (Big Data Initiative） ，把大数据从商业层面上升到国家战略层面。与此同时，联合国一个名为“Global Pulse”的倡议项目在今年 5 月发布报告“Big data for development ：challenges & opportunities”11 ，该报告主要阐述大数据时代各国特别是发展中国家在面临数据洪流（data deluge）的情况下所遇到的机遇与挑战，同时还对大数据的应用进行了初步的解读。“美国标准技术研究所 2012 年 6 月 1314 日召开了大数据研讨会，邀请了Argonne National Lab， SciDB，NSA，UC Berkeley 的 AMPlab, George MasonUniversity，IARPA，NSF，NIH，DARPA ，NOAA 、LBL、Air Force Office of Scientific Research”12等机构参加，研讨大数据及算法、数据分析、大数据项云南大学期末论文5目以及在科学研究领域、环境预测、生物、卫生方面的应用，Microsoft、Google、Amazon，LexisNexis ，IBM，Oracle 公司分别介绍了各自的大数据的平台、工具和系统。纽约时报的文章“The age of big data” 13 则通过主流媒体的宣传使普通民众开始意识到大数据的存在。3.日本2012 年 7 月，日本总务省推出新的综合战略“活力 ICT 日本” 14，重点关注大数据应用所需的云计算、传感器、社会化媒体等智能技术开发，以解决新医疗技术开发、缓解交通拥堵等公共问题。4.英国英国政府 2013 年投资 1,000 万英镑、Philanthropic 投资基金投入 75 万英镑建立了 Open Data Institute(ODI)。这是全世界第一个大数据研究机构，旨在加强商业界、企业、研究者、政府和社会公众的合作，强调其独立、非盈利和无党派的特点。致力于促进公众和企业更好地利用“政府开放数据（data.uk） ”，促进私营企业也逐步开放数据，推动开放数据基础上的商业创新、技术进步和产业发展。5.欧盟欧盟委员会于 2012 年 9 月发布云计算通讯，委托 ETSI 发起云计算标准协调行动，与相关利益方协调和确定云计算所必需的标准（包括安全、操作性、数据可移植性和可逆性）的路线图。 “2012 年 12 月 45 日，ESTI 发起云计算协调行动，讨论云计算领域的标准需求” 15。2012 年 4 月欧洲信息学与数学研究协会会刊 ERCIM News 出版专刊“Big Data”9，讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题，并介绍了欧洲科研机构开展的研究活动和取得的创新性进展。云南大学期末论文6三、大数据的意义大数据是与自然资源、人力资源一样重要的战略资源，是一个国家数字主权的体现。大数据时代，国家层面的竞争力将部分体现为一国拥有大数据的规模、活性以及对数据的解释、运用的能力。一个国家在网络空间的数据主权将是继海、陆、空、天之后另一个大国博弈的空间。（一）大数据带来产业升级和新的经济增长模式大数据是现有产业升级与新产业诞生的重要推动力量。数据为王的大数据时代的到来，产业界需求与关注点发生了重大转变：企业关注的重点转向数据，计算机行业正在转变为真正的信息行业，从追求计算速度转变为关注大数据处理能力，软件也将从编程为主转变为以数据为中心。通过数据处理能力极高的计算机并行处理大数据， 同时进行大批量的仿真比较和筛选,可以大大提高科研和生产效率，产业流程会发生革命性再造，使整个行业迈入数字化与信息化的新阶段。大数据已成为传统经济学界定的劳动、资本、土地与企业家才能四类生产要素之外的新资源，它必将对现代经济模式、企业管理运作理念、组织业务流程、市场营销决策以及消费者行为模式等产生巨大影响，使得企业商务管理决策越来越依赖于数据分析，而非经验或直觉。大数据管理代表着新的经济模式，先意识到这一点的社会主体将会获胜。对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键。真正能够利用好大数据并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。（二）大数据引发科学研究思维与方法的一场革命最早的科学研究只有实验科学，随后出现了以研究各种定律和定理为特征的理论科学。由于理论分析方法在许多问题上过于复杂，难以解决实际问题，人们开始寻求模拟的方法，导致计算科学的兴起。海量数据的出现催生了一种新的科研模式，即面对海量数据，科研人员只需从数据中直接查找或挖掘所需要的信息、知识和智慧，甚至无需直接接触需研究的对象。2007 年，已故的图云南大学期末论文7灵奖得主吉姆格雷（Jim Gray）在他最后一次演讲中描绘了数据密集型科学研究的“ 第四范式” （The Fourth Paradigm） 16，把数据密集型科学从计算科学中单独区分开来。 “格雷认为