云计算与大数据（第二版）综述

云计算与大数据第2版绪论1.1云计算的来历及发展1.2云计算的概念及特征1.3云计算的应用及比较1.4大数据的提出及发展1.5大数据的概念及特征1.6大数据的作用与挑战1.7大数据和云计算的关系重点：云计算概念、特征大数据概念、特征大数据作用、挑战难点：大数据和云计算关系本章重点及难点1.1.1云计算的诞生

现代的云计算模式诞生于上个世纪90年代末的互联网大潮。1997年，RamnathChellapa教授在一次演讲中第一次提出了“云计算”这个词；1999年成立的S公司是公认的云计算先驱，它主要向企业客户销售基于云的SaaS（SoftwareasaService—软件即服务）产品。1.1云计算的来历及发展1.1.2云计算的发展进入21世纪的第一个十年，Amazon接棒S推动云计算的快速发展。

Amazon在公司内部实施数据中心建设计划，得到了不错的回馈，接着将这个服务开发给外部用户，并命名为AWS（AmazonWebService—亚马逊网络服务）。1.1.2云计算的发展继AmazonAWS之后，各种云计算产品层出不穷地出现，Microsoft、Google等巨头纷纷涌进这个领域。除了数量的增长，云计算类型也日益丰富，除了SAmazonAWS分别代表SaaS和IaaS（InfrastructureasaService—设施即服务）两种云计算服务，第三种服务PaaS（PlatformasaService—平台即服务）也快速发展起来，如：2009年发布的GoogleAppEngine服务。1.1.2云计算的发展进入21世纪的第二个十年，云计算进入了百花齐放的时代。人们已经不再讨论云计算是否进行，主要的问题是云计算未来的发展方向，研究在大数据时代怎样将云计算的潜力充分发挥出来，从而更好利用数据的价值。1.2.1什么是云计算百度百科中的解释：云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。1.1云计算的概念及特征1.2.1什么是云计算维基百科中的解释：云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。1.2.1什么是云计算CSA（CloudSecurityAlliance—云计算安全联盟）的解释：云计算的本质是一种服务提供模型，通过这种模型可以随时、随地、按需地通过网络访问共享资源池的资源，这个资源池的内容包括计算资源、网络资源、存储资源等，这些资源能被动态地分配和调整，在不同用户之间灵活地划分，凡是符合这些特征的IT服务都可以称为云计算服务。NIST（U.S.NationalInstituteofStandardsandTechnology—美国国家标准与技术学院）提出了一个定义云计算的标准—“NISTWorkingDefinitionofCloudComputing/NIST800-145”。此标准提出云计算的五大要素是：通过网络分发服务、自助服务、可衡量的服务、资源的灵活调度，以及资源池化；1.2.1什么是云计算云计算的服务类型分三类：IaaS、SaaS和PaaS；按部署模式分为四种：公有云、私有云、混合云和社区云。1.2.2云计算的特征自助式服务通过网络分发服务资源池化资源的灵活调度可衡量的服务1.3.1云计算的应用范围云计算为用户提供动态、可扩展的计算资源，也就是说，用户享用的计算资源可以根据客户流量需要随时增减。云计算的特点对于现有的企业，特别是对计算资源要求随时间变化的企业具有相当大的吸引力。利用云计算的弹性资源，企业解决了因需求量突然增加而出现计算资源不足的问题，同时避免了因闲置过剩计算资源而造成的浪费。1.3云计算的应用及与其他服务模式区别1.3.1云计算的应用范围云计算也特别适合刚刚起步的IT企业。利用云计算服务，企业可以花费较少的资金从云计算服务商那里获得所需的网络计算资源，随着业务的发展，再决定是否逐步增加租用云计算服务，甚至设立自己的数据中心。如果企业决定改变经营方向，也不用丢弃现有设备，另起炉灶，从而降低风险。1.3.1云计算的应用范围随着云计算的普及，人们开发的软件将会越来越多地借助互联网的强大功能，更多的软件将在在互联网上直接为用户提供服务，这将给软件开发者（无论企业还是个人）带来他们的黄金时代。1.3.1云计算的应用范围不是所有的软件都需要搬到云计算中。云计算也不是对每个开发商都适合。对计算资源需求不大，所需资源没有大起大落的网上软件，从目前来说，云计算并不能带来特别的好处。1.3.2云计算与其他计算服务模式的区别云计算与一般托管环境的区别云计算与网格计算的区别1.3.2云计算与其他计算服务模式的区别云计算系统与传统超级计算机的区别1.4.1大数据的提出大数据一词源于英文的“BigData”，早在1980年，著名未来学家阿尔文·托夫勒的《第三次浪潮》一书中，就出现过大数据的表述。但如果要追溯“大数据”的最初出处，就必然要提及Apacheorg的开源项目Nutch。当时大数据的意思是更新网络搜索索引，同时还需要批量处理和分析大量的数据集。谷歌的MapReduce和GoogleFileSystem(GFS)发布后，大数据的含义中除了涵盖大量数据之外，还包括数据处理的速度。1.4大数据的提出与发展1.4.2大数据的发展1.5.1什么是大数据？对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。1.4大数据的概念、特征及挑战1.5.1什么是大数据？麦肯锡全球研究所的《大数据：创新、竞争和生产力的下一个前沿》报告中对“大数据”的定义是：大数据通常指的是大小规格超越传统数据库软件工具抓取、存储、管理和分析能力的数据群。但这个定义中没有说明什么样规格的数据才是大数据。1.5.1什么是大数据？按照美国信息存储资讯科技公司易安信（EMC）的界定，特指的大数据一定是指大型数据集，规模大概在10TB。通过多用户将多个数据集集合在一起，能构成PB的数据集。关于大数据如何定义尚没有一个统一的意见，结合大数据的四个特征，可以给出一个较为清晰的大数据概念。1.5.2大数据的特征大数据特征可概括为四个V：大量化（Volume）多样化（Variety）快速化（Velocity）价值（Value）关于大数据第4个V特征的另一种观点：在普遍认同大数据的数据体量(volumes)大，数据类别(variety)多，产生速度快，要求数据处理速度（Velocity）快的3V特征后，关于最后一个特征的另一种观点是：第4个V指数据真实性（Veracity）要求高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。结构化和非结构化数据按数据结构，数据分为结构化数据、半结构化的非结构化数据和无结构的非结构化数。结构化数据一般是指可以存储在数据库中，用二维表结构来逻辑表达实现的数据。如表1-1所示。客户号客户姓名商品单价商品名称商品数量2014111001汪伟1000.0冰箱12015120602李萍508.0电磁炉1非结构化数据相对于结构化数据，一般将不方便用二维表结构来表现的数据即称为非结构化数据，包括：半结构化数据介于完全结构化数据和完全无结构化数据之间的数据，半结构化数据格式较规范，一般是纯文本数据，可以通过某种方式解析得到每项数据。最常见的是日志数据、XML、JSON等格式数据。无结构化数据指非纯文本类数据，没有标准格式，无法直接解析出相应的值。常见的有富文本文档（RichTextFormat，简称RTF）、多媒体（图像、声音、视频等）。1.6.1大数据的作用1.大数据对企业影响深远2.大数据是一种新商品3．精准营销需要大数据1.6大数据的作用与挑战1.6.2大数据的挑战1.业务视角不同带来的挑战2.技术架构不同带来的挑战3．管理策略不同带来的挑战从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算