第1章 云计算与大数据概述

云计算与大数据概论目

标掌握云计算的基本原理掌握云计算的特点与优势掌握大数据的特点掌握云计算的分类掌握云计算和大数据的联系云

计

算

概

述云计算是由分布计算、并行处理、网格计算发展而来，是一种新

兴的商业计算模型。通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群

上的资源，它包括硬件资源和软件资源，本地计算机只要通过互

联网发送一个需求信息，远端就会有成千上万的计算机提供所需

资源，并返回结果到本地计算机。云

计

算

的

特

点

和

优势超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、

及其廉价，是目前普遍被大众接受的云计算的特点。云计算的主要优势在于由技术特征和规模效应所带来的较高性价

比，简单来说就是：通过廉价的普通机器即可建立集群，因而能

提供高性价比的计算和存储服务。大

数

据

概

述按国内普遍的理解，大数据可以认为是具有数量巨大、来源多样、

生成极快、多变等特征且难以使用传统数据体系有效处理的包含

大量数据集的数据。大数据技术包括数据采集、预处理、存储、分析挖掘与可视化等；

大数据应用则是对特定的大数据集和集成应用大数据系列技术与

方法，以获得有价值信息的过程。大

数

据

的

特

点

与

作用大数据的特征主要包括：数据量大、种类和来源多样化、数据价

值密度相对较低、数据增长速度和处理速度快、真实性。大数据的作用包括：带来社会和经济管理新方法、促进行业融合

发展、推动产业转型升级、改变科学研究的方法论。国外云计算发展现状欧洲，21.50%大洋洲，2.51%亚洲，12.04%

北英，59

.

50%中东和非洲，欧亚大陆，0.90%0拉丁美洲，2.

81%国外云计算发展现状总体来看，当前全球云计算市场的发展态势如下：美国在云计算市场的领导地位进一步巩固，欧洲与日本是云计算

市场的重要组成部分，以中国、印度、巴西等为代表的新兴国家

云计算市场高速增长。金砖国家巴西、俄罗斯、南非云计算市场占有率总和仅3%左右，

但增速较快，且市场潜力较大，预计未来几年市场会进一步扩大。我

国

云

计

算

发

展

现状2012到2015年，我国云计算市场从482亿元上升至1315.8亿元，

保持了高速增长态势，年均复合增长率高达61.5%2012-2015云计算市场规模(单位：亿元)250020001500100050002012年

2013年

2014年

2015年我

国

云

计

算

发

展

现状云计算产业在中国的起步稍晚，但发展迅猛。目前，中国IT业界

涉足该行业的具体情况如下：一是部分地方政府投入资源搭建平台，积极推进云计算发展。二是本土IT企业和高校先后启动云计算项目，加速云计算研发和

应用端建设。国外大数据发展现状欧美等国家对大数据的探索和发展已走在世界前列，各国政府都

已将大数据发展提升至战略高度，大力推进大数据产业的发展。美国政府提出“大数据研究和发展倡议”,发起全球开放政府数

据运动。英国政府也将大数据作为重点发展的科技领域，在发展8类高新

技术的6亿英镑投资中，大数据的注资占三成。我

国

大

数

据

发

展

现状在国家层面，科技部“十二五”计划部署了关于物联网、云计算

发展的专项战略。2012年3月，科技部发布《“十二五”国家科

技计划信息技术领域2013年度备选项目征集指南》,其中“先进

计算”板块明确提出，要发展“面向大数据的先进存储结构及关

键技术”。国家“973计划”“863计划”、国家自然科学基金等

也分别设立了针对大数据的研究计划和专项。在学术研究层面，国内许多高等院校和研究所成立了大数据的研

究机构，与大数据相关的学术活动也纷纷开展。在产业层面，国内不少知名企业或组织也成立了大数据产品团队

和实验室，力争在大数据产业竞争中占据领先地位。私有云、公有云和混

合

云公有云是由第三方(供应商)提供的云服务，由云提供商完全承

载和管理，可通过Internet使用，成本比较低廉。私有云是在企业内提供的云服务，这些云在公司防火墙之内，由

企业管理。混合云是公有云和私有云的混合，这些云一般由企业创建，而管

理职责由企业和公有云提供商共同承担。IaaS、PaaS、SaaS、DaaS按服务类型，可以将云计算分为基础设施即服务、平台即服务、

软件即服务、数据即服务四种类型。1.laaS(Infrastructure-as-a-Service):

基础设施即服务laaS

即是把厂商的由多台服务器组成的“云端”基础设施作为计

量服务提供给用户的模式。laaS

的优点是用户只需采购较低成本的硬件，就能按需租用较高

的计算能力和存储能力，大大降低了用户的硬件开销。2.PaaS(Platform-as-a-Service):

平台即服务PaaS是指将软件研发的平台作为服务提供的模式，是将应用程序

的基础结构视为服务，主要目的是支持应用程序运行。3.SaaS(Software-as-a-Service

):软件即服务使用SaaS模式的服务提供商将应用软件统一部署在自己的服务器

上，用户根据需求，通过互联网向厂商订购应用软件服务，服务

提供商通过浏览器向客户提供软件，并根据用户所定软件的数量

以及时间的长短等因素收费。4.DaaS

(Data-as-a-Service):

数据即服务DaaS

就是把大数据中潜在的价值发掘出来，并根据用户需求提供服务的模式。DaaS

可以提供公共数据的访问服务，让用户可以随时访问任意内

容的数据。还可以提供数据中潜在的价值信息，根据数据的价值，

对用户的行为进行分析。云计算与大数据的联系从技术上看，大数据根植于云计算，云计算关键技术中的海量数

据存储和管理技术以及MapReduce并行编程模型都是大数据技术

的基础，除此之外，云计算技术还包含了虚拟化技术和云平台管

理等技术。云计算技术

描述虚拟化技术软硬件隔离，整合资源云计算平台管理技术大规模系统运营，快速故障检测与恢复MapReduce编程模型分布式编程模型，用于并行处理大规模数据集的软

件框架海里数据存储技术分布式存储方式存储数据，冗余存储方式保证系统

可靠海里数据管理技术NoSQL数据库，进行海量数据管理以便后续分析

挖掘以

大数据关键技术差异

点大数据云计算总体关系云计算为大数据提供了有力的工具和途径，大数据为云计算提供了有价值的用武之地相同点①都是为数据存储和处理服务②都需要占用大量的存储和计算资源，因而都要用到海量数据存储技术、海量数据管理技术、MReduce等并行处理技术背景现有的数据处理不能胜任社交网络和物

联网产生的大里异构数据，但这些数据

存在很大价值基于互联网的相关服务日益丰富和频繁目的充分挖掘海重数据中的信息通过互联网更好地调用、扩展和管理计算及存储方面的资源和能力对象数据IT资源、能力和应用↵推动力量从事数据存诸与处理的软件厂商；拥有

大里数据的企业生产计算及存储设备的厂商；拥有计算及

存储资源的企业价值发现数据中的价值节省IT部著成本从整体上看，大数据与云计算是相辅相成的，大数据利用云计算

的强大计算能力，可以更加迅速地处理海量数据的丰富信息，为

用户提供更加方便的服务；而通过大数据的业务需求，也能为云

计算的落地找到更多更好的实际应用。小结·云计算是一种全新的技术和商业模式，它可以通过建立网络服务器集群，向各种不同类型

的用户提供软件在线使用、硬件租借、数据存储、计算分析等不同类型的服务，为云服务

的用户降低IT成本。·以所有权为划分标准，可将云计算分为公有云、私有云和混合云三种类型。·以服务类型为划分标准，可将云计算分为基础设施即服务

(laaS)

、平台即服务

(PaaS)、

软件即服务

(SaaS)、

数据即服务(DaaS)

四种类型。·大数据具有数量巨大、来源多样、生成极快且多变、数据真实有效等特征，并且难以用传

统数据体系结构和方法进行有效处理。·

大数据技术是挖掘和展现大数据中所蕴含价