云计算基础-计算主流解决方案

1、第7章 云计算主流解决方案7.1 Google云计算技术7.2 Amazon云计算方案 7.3 阿里云云计算方案7.4 Oracle云计算方案7.5 微软云计算Microsoft Azure方案7.6开源云计算解决方案7.1 Google 云计算技术 Google 将这些技术组合在一起，运用这些从自身业务需求出发，逐步发展起来的一系列云计算技术和工具搭建起了其面向商业的云计算解决方案Google Cloud Platform（GCP）。GCP主要提供涉及计算资源、存储资源、网络资源在内的一系列IaaS、PaaS 产品，以及面向大数据和机器学习的一系列服务产品。Google云计算技术Google

2、 文件系统GFS分布式计算编程模型MapReduce分布式锁服务Chubby分布式结构化数据存储系统Bigtable7.1 Google 云计算技术 GFS 是一个为 Google 云计算提供海量存储的大型分布式文件系统，并且与 Chubby、MapReduce 及Bigtable 等技术结合十分紧密，处于所有核心技术的底层。遗憾的是它并没有开源，而是一项专利软件。 目前云计算存储采用的集群文件系统通常分为两类：共享存储文件系统（Shared Disk File System）和分布式文件系统（Distributed File System）。GFS便属于后者的范畴，它通过文件系统的形式想上层

3、应用提供存储服务，不允许对存储进行块级别的直接访问。 Google GFS 的新颖之处在于它采用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性问题，这样可以使存储的成本成倍下降。Google 文件系统GFS7.1 Google 云计算技术 MapReduce是Google提出的一个软件架构，是一种处理海量数据的并行编程模式，用于大规模数据集（通常大于1TB）的并行运算。 Map（映射）、Reduce（化简）的概念和主要思想都是从函数式编程语言和矢量编程语言借鉴来的，这种编程模式特别适合于非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等

4、。 目前比较流行的MapReduce架构是Apache基金会的Apache Hadoop。并行数据处理MapReduce7.1 Google 云计算技术 Chubby是Google设计的提供粗粒度的一种锁服务，它基于松耦合分布式系统，解决了分布的一致性问题。但是Chubby提供的只是一种建议性的锁（Advisory Lock）而不是强制性的锁（Mandatory Lock），如此选择的目的是使系统具有更大的灵活性。 GFS使用Chubby来选取GFS主服务器；Bigtable使用Chubby指定主服务器并发现、控制与其相关的子表服务器。除了最常用的锁服务之外，Chubby还可以作为一个稳定的存

5、储系统存储包括元数据在内的小数据。 同时 Google 内部还使用 Chubby 进行名字服务（Name Server）。分布式锁服务Chubby7.1 Google 云计算技术 Bigtable是Google开发的基于GFS和Chubby的分布式存储系统。Bigtable是一种通过Key/Value磁盘存储方式实现的Nosql数据库，在很多方面和数据库类似，但它并不是真正意义上的数据库（传统的关系型数据库）。 目前，包括Google Analytics、Google Earth和个性化搜索在内的几十个项目都使用了 Bigtable。这些应用对Bigtable的要求及使用的集群机器数量都是各不

6、相同的，但是从实际运行来看，Bigtable 完全可以满足这些不同需求的应用。与此同时，Google还在不断地对Bigtable进行一系列的改进，通过技术改良和新特性的加入提高系统的运行效率及稳定性。同时Bigtable如今也作为Google Cloud Platform旗下的一项数据库产品Cloud Bigtable推出。 Google的新一代全球级分布式关系数据库管理系统Spanner的底层也是采用的Bigtable。分布式结构化数据表Bigtable7.2 Amazon云计算方案 Amazon公司作为计算机系统的应用者，其打造的云平台是开放的。它提供了弹性虚拟平台，采用Xen虚拟化技术作

7、为核心，提供了包括EC2（Elastic Compute Cloud)、S3(Simple Storage Service)、SimpleDB、SQS(Simple Queue Service)在内的企业服务，系统是开源的。EC2S3SimpleDBSQSAmazon Web Services7.2 Amazon云计算方案 Amazon Web Services，通常简称为AWS。最初只是一组服务，它们允许通过程序访问Amazon的计算基础设施。Amazon多年来一直在构建和调整这个健壮的计算平台，现在任何能够访问互联网的人都可以使用它，并且提供了满足用户各种需求的云服务产品。 通过在AWS提

8、供的可靠且经济、有效的服务上构建功能，可以实现复杂的企业应用程序。AWS目前提供了大量不同规格和功能的云计算服务，其中包括满足大多数系统的核心需求的基本服务：存储、计算、消息传递和数据集。Amazon推出AWS已经超过10年，该服务可以为用户提供远程计算能力和存储空间，Amazon 也因此成为云计算领域的先驱。 目前AWS按实际使用量付费，针对 70 多种云服务提供了即用即付的定价模式，在使用 AWS 时，只需为需要的个别服务付费，具体根据使用时间计费，且无需签订长期合同或复杂的许可协议，与支付水电费的方式类似。亚马逊云服务Amazon Web Services7.2 Amazon云计算方案

9、弹性计算云（Elastic Compute Cloud，简称EC2）是亚马逊AWS云计算平台的核心组成部分。用户可以通过这项服务来租赁虚拟机（VMs）或者容器（Container）来运行所需的应用程序。由于是IaaS服务，用户可通过叫做Amazon Machine Image(AMI)的虚拟设备来提供自己所需的运行环境。AMI主要是由一个含有特定操作系统（如Linux、Windows等）和其他用户所需的应用程序的只读文件系统构成，它并不包含内核镜像（kernel image），只提供了一个指针指向默认的内核id。用户也可以选择其他由亚马逊公司和其合作商提供的安全内核。 弹性计算云EC2可提供：

10、IaaS服务支持虚拟机的使用；用户根据需要设置虚拟机的硬件配置；提供弹性的与用户账号绑定IP地址，当正在使用的实例出现故障时，用户只需将弹性IP地址重新映射到一个新的实例即可。弹性计算云EC27.2 Amazon云计算方案 S3全名为Simple Storage Service，是AWS所提供的网络线上储存服务，经由Web服务界面（包括REST、SOAP、BitTorrent）提供给用户的能够轻松把档案储存到网络服务器上的服务。 使用S3的用户能获得在亚马逊网站上运行自己的网站所使用的系统。简单存储服务允许上载、存储和下载5GB大小的文件或对象。S3并没有限制用户可存储的项目的数量。数据存储在

11、多个数据中心的冗余服务器上。S3采用一个简单的基于 Web的界面并且使用密匙来验证用户身份。用户可以选择保密自己的数据或公开数据。如果愿意的话，用户还可以对数据进行加密。当用户的数据存储在S3上，AWS会跟踪其使用，以便进行计费，但并不以其他方式获取数据，除非法律要求这样做。 S3架构在Dynamo之上，提供一个字节到数GB字节的支持，大概有520亿对象，它采用桶-对象两级模式结构，可手动或编程自动增加桶中的对象数量，具有冗余存储、数据监听回传等容错能力，使用身份认证和访问控制列表保证安全性，并采用负载均衡和数据恢复技术保证系统的可靠性。简单存储服务S37.2 Amazon云计算方案 Simp

12、leDB是一个分散式数据库，属于非关系型数据库，以Erlang编写，属于Amazon网络服务的一部分。如同EC2和S3一样，SimpleDB的按照存储量、在互联网上的传输量和吞吐量收取费用。2008年 12 月 1 日，Amazon推出了新的定价策略，提供了免费1 GB的数据和25机器小时的自由层（Free Tire），超过之后按每小时机器时间0.154美元，每GB每月0.276美元的数据存储，将其中的数据转移到其他Amazon网络服务是免费的。 SimpleDB的主要宗旨就是读取速度快。虽然并非全部的网站都需要快速进行资料检索，但至少绝大部分的网站有这样的需求，而且它们对资料检索速度的要求远

13、远高于对资料存储的要求。 SimpleDB 支持域-条目-属性-值四级模式的系统结构，支持有限的 SQL，具有很强的可扩展性，查询结果只包含条目名称不包括相应的属性值，相应时间不能超过5秒，否则报错；没有事务（Transaction）的概念，不支持Join操作，实际存储的数据类型单一（所有的数据都以字符串形式存储）。数据库服务SimpleDB7.3 阿里云云计算方案 经过七年发展和实践，阿里云已经发展成为中国云计算市场的绝对领导者，为200多个国家和地区的企业、开发者和政府机构提供着服务。截至2016年第三季度，阿里云客户超过230万，付费用户达76.5万。阿里云致力于以在线公共服务的方式，提

14、供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。 阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。 2017年1月，阿里巴巴成为奥运会“云服务”及“电子商务平台服务”的官方合作伙伴，阿里云将为奥运会提供云计算和人工智能技术。 阿里云目前提供着弹性计算、云数据库产品、云存储以及CDN等一系列云计算、大数据和人工智能服务。7.3 阿里云云计算方案 飞天（Apsara）是由阿里云自主研发、服务全球的超大规模通用计算操作系统，诞生于

15、2009年2月。随着阿里云业务向全球的扩展，飞天目前为全球200多个国家和地区提供着服务，它将遍布全球的百万级服务器连成一台超级计算机，以在线公共服务的方式为社会提供计算能力，以期解决人类计算的规模、效率和安全问题。 阿里云使用飞天管理着其互联网规模的基础设施。最底层是遍布全球的几十个数据中心，数百个PoP节点。飞天内核跑在每个数据中心里面，负责统一管理数据中心内的通用服务器集群，调度集群的计算、存储资源，支撑分布式应用的部署和执行，并自动进行故障恢复和数据冗余。安全管理根植在飞天内核最底层。飞天内核提供的授权机制，能够有效实现“最小权限原则（Principle of least privil

16、ege）”。同时，还建立了自主可控的全栈安全体系。 内核层的上面是飞天的元服务层，包括了账号管理、认证授权、计量和结算等一些最基础的服务，这一层其实对应了传统操作系统里的系统调用层。在往上还有着对应于传统操作系统输入输出子系统的接入层，负责着数据传输、内容分发以及混合云网络接入等服务。飞天操作系统7.3 阿里云云计算方案飞天的架构图7.3 阿里云云计算方案 飞天平台上负责存储管理的是盘古分布式文件系统，它是负责数据存储的基石性服务，和分布式任务调度系统伏羲一起承载了阿里云的一系列云服务。 在盘古的上层服务中，既有要求高吞吐量，希望I/O能力能随集群规模线性增长的开放存储服务，又有要求低时延的弹

17、性计算服务。因此盘古的设计目标便是将大量通用机器的存储资源聚合在一起，为用户提供大规模、高可用、高吞吐量、低时延和具有良好扩展性的存储服务。 盘古在内部架构设计上采用的是Master/ChunkServer/Client结构，由Master负责管理元数据，Master之间则采用Primary-Secondaries模式，设置一个Primary和多个Secondary，基于PAXOS协议来保障服务的高可用性；实际的数据读写则有ChunkServer负责，通过冗余副本来实现数据的安全性；由Client对外提供类POSIX的专有API，系统地提供丰富的文件形式，已满足离线场景对高吞吐量的要求，同时提

18、供在线场景下对低延迟的要求，以及虚拟机等特殊场景下随机访问的要求。盘古分布式文件系统7.3 阿里云云计算方案盘古的内部架构图7.3 阿里云云计算方案 伏羲是阿里云在飞天计算平台中的分布式调度系统，负责管理集群的机器资源和调度并发的计算任务，同时支持离线数据处理和在线服务，能够为上层分布式应用提供稳定、高效和安全的资源管理和任务调度服务。 伏羲在系统设计上采用了Master/Slaves的主从结构，在系统上有一个被称为“Fuxi Master”的集群控制中心，负责分配资源；集群中的每台机器上会运行一个叫做“Fuxi Agent”的守护进程，负责管理节点上运行的任务，以及收集节点上的资源使用情况并

19、反馈到控制中心，这些机器被称作Tubo。 伏羲在架构上采用资源调度和任务调度分离的两层架构。这样的两层架构设计将问题进行了分解，Fuxi Master和Tubo解决了资源调度的问题，App Master和App Worker解决了任务调度的问题。伏羲分布式调度系统7.3 阿里云云计算方案伏羲的结构关系7.3 阿里云云计算方案 Fuxi Master和Tubo之间彼此有心跳通信，当用户通过Fuxi Master向系统提交任务时，Fuxi Master会通过调度选择一台Tubo启动App Master。 App Master启动后会联系Fuxi Master将其需求发送给Fuxi Master触发

20、调度，Fuxi Master经过资源调度并将结果返回给App Master，App Master与相关资源上的Tubo联系，启动App Worker。App Worker也会上报到App Master准备开始执行任务。App Master将分片后的任务发送给App Worker开始执行，每个分片称为Instance。App Master和App Worker一起称之为计算框架。 伏羲系统是多任务系统，可以同时运行多个计算框架。伏羲分布式调度系统7.3 阿里云云计算方案伏羲的两层架构7.4 Oracle云计算方案 Oracle在云计算领域可谓煞费苦心，先后收购了多家知名企业。通过BEA获取了先进

21、的中间件（WebLogic）技术，通过Sun获取了先进的服务器和存储技术。加上自家的Oracle数据库，这样Oracle云计算的雏形就出来了。 Oracle的云计算战略广泛而全面，为客户采用云计算提供选择和实用的规划。Oracle为私有云和公有云提供企业级软/硬件产品和服务。Oracle还支持将公有云和私有云集成的方案，支持跨公有云和私有云集成的一系列身份和访问管理。Oracle的云计算战略Oracle私有云和公有云解决方案7.4 Oracle云计算方案Oracle PaaS Oracle PaaS是一种以公有或私有云服务形式提供的弹性可伸缩的共享应用程序平台。Oracle PaaS基于Ora

22、cle行业领先的数据库和中间件产品，可运行从任务关键型应用程序到部门应用程序的所有负载。 Oracle PaaS 包括基于 Oracle 数据库和 Oracle数据库云服务器（Exadata）的数据库即服务，以及基于 Oracle WebLogic 和 Oracle 中间件云服务器（Exalogic）的中间件即服务。Exadata 和Exalogic等设计系统均是软硬件预集成和优化的组合，它们以较低的总体拥有成本提供卓越的性能、效率、安全性和可管理性。Oracle Exadata 是数据库服务器，而 Oracle Exalogic 是为在中间件/应用程序层执行 Java 而优化的服务器。两者均

23、提供突破性的性能，因而它们非常高效，适用于数百应用程序在数据库和中间层的整合。两种服务器横向和纵向均可弹性伸缩，并且具有完全容错能力。它们由 Oracle 而不是由客户在数据中心进行预集成和预配置，因而能够简化部署。另外，它们可减少硬件总数和环境复杂性，因而能够降低总体拥有成本。7.4 Oracle云计算方案Oracle IaaS Oracle提供了IaaS所需的完整性选择，包括弹性计算、存储、网络、逻辑、迁移工具和容器等服务。与提供部分解决方案的其他供应商不同，Oracle 提供所需的所有基础架构硬件和软件组件以支持繁多的应用程序需求。 Oracle针对IaaS提供以下产品：裸机云服务可以提

24、供高性能、高可用性和经济高效的计算服务，同时实现与内部数据中心相当的细粒度控制、安全性和可预测的性能；Ravello嵌套虚拟化云服务可以轻松的将VMware应用迁移至云中，并且无需更改现有虚拟机或网络；容器云服务可以在Oracle云上构建、部署、编排和管理基于Docker容器的应用；计算云服务提供一个可快速供应的虚拟计算环境，支持轻松迁移负载并能以可预测、一致的性能、控制力和可见性运行负载；存储云服务可满足对基于云的数据存储、共享和保护的需求；Oracle公有云还可以直接部署在企业数据中心内。 Oracle强健、灵活的云基础架构支持资源池化、弹性可伸缩性、快速应用程序部署和高可用性。这种架构能

25、够提供与计算、存储和网络技术相集成的应用程序感知虚拟化和管理，这一独特能力让公有和私有IaaS的快速部署和高效管理成为可能。7.5 微软云计算Microsoft Azure方案 微软的云计算战略为自己的客户和合作伙伴提供了3种不同的云计算运营模式：用户自建的私有云、合作伙伴运营的云平台以及微软自己构建和运营的公共云应用和服务。7.5 微软云计算Microsoft Azure方案微软的云计算战略还具有有 3 个典型特点：软件+服务、平台战略和自由选择。软件+服务微软的公共云计算平台Windows Azure Platform7.5 微软云计算Microsoft Azure方案微软云计算参考架构微

26、软提供两种云计算部署类型：公共云和私有云。公共云由微软自己运营，为客户提供部署和应用服务。在公共云中，Windows Azure Platform是一个高度可扩展的服务平台，提供基于微软数据中心的随用随付费的灵活的服务模式。 私有云部署在客户的数据中心内部，基于客户个性化的性能和成本要求、面向服务的内部应用环境。这个云平台基于成熟的Windows Server和System Center等系列产品，并且能够与现有应用程序兼容。7.6 开源云计算解决方案Proxmox VE Proxmox VE (全称Proxmox Virtual Environment)，是一套基于QEMU/KVM以及LXC

27、的开源服务器虚拟化管理解决方案，其提供了简单易用的集成化Web界面和命令行工具来管理虚拟机、容器、高可用集群、存储以及网络。采用GPL3协议进行开源授权。 Proxmox VE将领先的KVM（Kernel-based Virtual Machine）管理程序和容器化虚拟管理统一到了一个平台上，同时提供存储的HA（high-availability）支持。由于采用独特的多主控（multi-master）设计，Proxmox VE不用配置额外的管理服务器，节约了资源也解决了单点故障（SPOF）的问题。通过集群中的一个节点，就可以管理整个集群。Proxmox VE通过pmxcfs（Proxmox V

28、E Cluster File System）存储集群配置文件。pmxcfs是数据库驱动的文件系统，能够通过Corosync实时的在所有的节点中复制同步配置文件。也就是说，在Proxmox VE的高可用集群上更改一个节点的配置文件就可以在整个集群上实时生效。Proxmox VE具有非常成熟的RESTFUL WEB API，可以方便的与第三方管理工具进行集成。同时也提供自带的通过WEB实现的管理GUI，不用额外安装单独的管理工具就可以实现整个平台的管理。也提供有面向高级用户的命令行工具，带有自动补全功能和完整的UNIX man page文档。7.6 开源云计算解决方案OpennebulaOpenN

29、ebula是一款开源的数据中心虚拟化和云端解决方案的引擎，用来在一群实体资源上动态布署虚拟机，其最大的特色在于将虚拟平台从单一实体机器到扩展到一群实体资源。OpenNebula 是 Reservoir Project 的一项技术，属于由欧洲研究学会发起的虚拟基础设备和云端运算的一个开源计划。它支持 XEN、KVM和VMware三种虚拟机技术，可实时存取 EC2，也支持镜像文件的传输、复制和创建、管理虚拟网络。OpenNebula的主要功能包括管理虚拟网络、创建虚拟机、部署虚拟机、管理虚拟机镜像、管理运行的虚拟机等。OpenNebula可以用于构建私有云、公有云以及混合云。由OpenNebula构建的私有云由一系列虚拟基础设施构成，拥有虚拟化、网络、图像和物理资源配置、管理、监督等功能的接口。公有云是私有云的一个扩展，任何公有云都是建立在一个可靠的本地云计算解决方案的基础上的。在构架上，Open