云计算完整版本

云计算CloudComputing目录云计算的定义和特点1云计算的核心思想和技术2云计算的SPI服务模型3云计算的开源系统Hadoop4什么是云计算从应用的角度来定义：云计算是一种商业计算模式，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算机、存储空间和信息服务。从技术的角度来定义：云计算是并行计算（ParallelComputing）、分布式计算(DistributedComputing)和网格计算(GridComputing)的融合和发展，或者说是这些计算机科学概念的商业实现。

——云计算是计算模式和IT商业模式的自然演变。什么是云计算云计算包含了两个层面的概念：云平台（CloudPlatform）和云服务（CloudService）。云平台是指基于硬件的服务，提供计算、网络和存储能力。云服务是指基于抽象的底层基础设施、且可以弹性扩展的服务。云计算的特点高可扩展性通用性按需服务资源池特点极其廉价虚拟化高可靠性云计算的特点按需服务云计算就像我们公共服务中的自来水、电和煤气一样，集中供应并按需服务和计费。2.资源池云计算带来的一个好处是能够提高资源的利用率，一般需要通过共享的方式来达到这个目的，而共享需要先把资源集中到一个公共的资源池中。这种资源池称之为“云”。3.高可扩展性“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。云计算的特点4.高可靠性“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。5.虚拟性云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但用户无需了解应用运行的具体位置，只需要一台笔记本就可以通过网络服务来获取各种能力超强的服务。云计算的特点6.通用性云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。7.极其廉价“云”的自动化管理使数据中心管理成本大幅降低；“云”的公用性和通用性使资源的利用率大幅提升；“云”设施可以建在电力资源丰富的地区，从而大幅降低能源成本。因此“云”具有前所未有的性能价格比。云计算的特点云计算强调的是资源的共享，而不是独占。云计算强调的是资源集中，而不是分散。云计算强调的是一种服务，而不是技术。云计算强调的是动态资源配置，而不是静态资源分配。云计算强调的是专业分工，而不是事必亲躬。云计算的核心思想和技术

核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。

这种资源池被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。

云计算的核心思想和技术核心技术：虚拟化技术——一种调配计算资源的方法海量分布式存储技术——保证高可靠性和经济性并行编程模式MapReduce——将任务自动分成多个子任务，通过Map和Reduce两步实现任务在大规模计算节点中的调度与分配数据管理技术——能够高效的管理大数据集，以及在规模巨大的数据中找到特定的数据云计算的核心思想和技术5.分布式资源管理技术——通过锁机制协调多任务对于资源的使用，从而保证数据操作的一致性6.云计算平台管理技术——云计算的“神经网络”，通过这些技术能使大量的服务器协同工作，方便进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可运营、可管理7.多粒度和变粒度计算——提倡通过不同的分辨率或尺度，对数据中出现的知识进行认知以及搜索8.绿色节能技术

云计算的分类

按照是否公开发布服务可以分成公有云（PublicCloud）、混合云（HybridCloud）和私有云（PrivateCloud）。公有云和私有云在技术上并没有本质差异，只是运营和使用对象有所不同：前者是指企业使用其他单位运营的云平台服务；而后者则是企业自己运营并使用云平台服务。混合云介于公有云和私有云之间，其主要特征是内部云和外部云的混合。云计算的分类按照服务类型可以分成：SaasSoftwareasaservice软件即服务PaasPlatformasaservice平台即服务IaasInfrastructureasaservice基础设施即服务Saas软件即服务定义——软件即服务就是云计算服务提供商为满足用户某种特定需求而提供其消费的软件的计算能力。特点：(1)用户主要通过标准的web浏览器来使用互联网上的软件即服务。(2)多主租用。(3)用户不必购买软件，只需按需租用软件或通过广告模式免费使用。典型应用：微软office365中的在线服务、Salesforce的在线CRM（ClientRelationshipManagement客户关系管理）Paas平台即服务定义——平台即服务是指将一个完整的应用程序运行平台作为一种服务提供给客户。在这种服务模式中，客户不需要购买底层硬件和平台软件，只需要利用Paas平台就能够创建、测试和部署应用程序。特点：(1)提供应用服务平台的编程接口，开发人员需要根据平台提供的服务接口进行应用程序开发。(2)提供应用程序的托管平台，针对这个平台开发的应用程序一般只能部署在这个平台上面。典型实例：微软的WindowsAzure平台、GoogleAppEngineIaas基础设施即服务定义——基础设施即服务是指把IT基础设施作为一种服务通过网络对外提供。在这种服务模式中，用户不用自己构建一个数据中心，而是通过租用的方式来使用基础设施服务，包括服务器、存储和网络等。特点：(1)以服务的形式提供虚拟硬件资源。(2)用户对基础设施环境需要自己进行系统管理。典型实例：亚马逊提供的AWS(AmazonWebServices)服务三种服务模型之间的联系云计算的三种服务模型中的任何一种都可以独立对外提供服务，但是从层次上讲这三种不同的服务是处于不同层次的服务，而且相互之间有一定的依赖关系。比如一个SaaS层的产品和服务不仅需要使用到SaaS层本身的技术，而且还依赖PaaS层所提供的开发和部署平台或者直接部署于IaaS层所提供的计算资源上，还有，PaaS层的产品和服务也很有可能构建于IaaS层服务之上。三种服务模型之间的区别服务模型用户好处问题Saas最终用户对用户的要求较低不是任何需求都有现成应用服务来解决Paas开发人员直接在平台上开发应用程序，不用关心底层系统平台的维护不利于已有应用的迁移IaasIT管理人员对已有应用的迁移相对比较平滑，用户使用平台的灵活度大要做的事情多Google云计算原理Google文件系统GFS：提供了海量数据的存储和访问能力。分布式计算编程模型MapReduce：使海量信息的并行处理变得简单易行。分布式锁服务Chubby：保证了分布式环境下并发操作的同步问题。分布式结构化数据存储系统Bigtable：使得海量数据的管理和组织十分方便。开源云计算系统简介开源云计算系统及对应的商用系统开源云计算系统对应的商用云计算系统HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZookeeperGoogleChubbyHadoopPigGoogleSawzallEucalyptus、EnomalyECP、NimbusAmazonEC2EucalyptusAmazonS3Hadoop

最知名的云计算开源系统Hadoop模仿和实现了Google云计算的主要技术。Hadoop的核心是HDFS、MapReduce和HBase，它们分别是Google云计算最核心技术GFS、MapReduce和Bigtable的开源实现。Hadoop源于另外两个开源项目Lucene和Nutch，它们是一脉相承的关系。Lucene是一个用Java开发的开源高性能全文检索工具包；Nutch是第一个开源的Web搜索引擎，它在Lucene的基础上增加了网络爬虫、Web相关的一些功能以及一些解析各类文档格式的查件等，还包含一个分布式文件系统用于存储数据。从Nutch8.0开始，将其中实现分布式文件系统和MapReduce算法的代码独立出来，形成一个新的开源项目，这就是Hadoop。

Hadoop主要由以下几个子项目组成HadoopCore：是整个Hadoop项目的核心。Avro：Hadoop的RPC（远程过程调用）方案。Chukwa：一个用来管理大型分布式系统的数据采集系统。Hbase：支持结构化数据存储的分布式数据库，是Bigtable的开源实现。HDFS：提供高吞吐量的分布式文件系统（HadoopDistributedFileSystem），是GFS的开源实现。Hadoop主要由以下几个子项目组成6.Hive:提供数据摘要和查询功能的数据仓库。7.MapReduce：大型数据的分布式处理模型，是Google的MapReduce的开源实现。8.Pig：是在MapReduce上构建的一种高级的数据流语言，它是Sawzall的开源实现。9.Zookeeper：用于解决分布式系统中一致性问题，是Chubby的开源实现。Hadoop的优点除了是开源的之外，Hadoop还有很多