云计算教学PPT课件

主讲人：刘鹏,电子工业出版社刘鹏主编云计算教材配套课件1,云计算概述,提纲,大气“云”、星系“云”亚马逊弹性计算“云”EC2将闲置资源出租利用“云”计算的核心思想计算、服务在“云”端,“云”的规模较大“云”具有可伸缩性“云”飘忽不定，无法确定具体位置,3,云计算的定义,云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。,云计算的类别,IaaS(以基础设施为服务),Amazon研发了弹性计算云EC2（ElasticComputingCloud）和简单存储服务S3（SimpleStorageService）为企业提供计算和存储服务。诞生两年时间，Amazon上的注册开发人员就多达44万人，其中包括为数众多的企业级用户。,AWS的应用案例SmugMug,为什么选择AWSSmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。应用AWS后，仅需50人即可完成如此大的业务量。,PaaS(以平台为服务),隶属于PaaS的Google云计算属于部署在云端的应用执行环境支持Python和Java两种语言用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）,SaaS(以软件为服务),SaaS(以软件为服务),S,提纲,典型云计算技术方案,亚马逊云计算技术方案Google云计算方案,亚马逊云计算AWS（AmazonWebService）,弹性计算云EC2简单存储服务S3简单队列服务SQS,Amazon云计算,简单存储服务S3（SimpleStorageService）,基本概念对象：S3的基本存储单元（数据、元数据），数据类型键：对象的唯一标识符桶：存储对象的容器（不能嵌套、在S3中名称唯一、每个用户最多创建100个桶）,Amazon云计算,1GB数据存放1个月为0.15美元,简单存储服务S3（SimpleStorageService）,简单存储服务S3（SimpleStorageService）,冗余存储最终一致性模型,在修改的数据被充分传播到所有存放节点之前返回给客户的仍是原数据,EC2（ElasticComputeCloud）简言之，EC2就是一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。,Amazon云计算,弹性计算云EC2（ElasticComputingCloud）,灵活性：可自行配置运行的实例类型、数量，还可以选择实例运行的地理位置。低成本：按小时计费,Amazon云计算,弹性计算云EC2（ElasticComputingCloud）,Amazon机器映像AMI（AmazonMachineImage）由一个操作系统和当虚拟机启动时你想要预先载入的任何的应用程序组成。用户使用EC2服务的第一步就是要创建一个自己的AMI。,实例Instance：用户创建好AMI后，实际运行的系统,弹性计算云EC2（ElasticComputingCloud）,每个服务器租用1小时为0.1美元,简单队列服务SQS（SimpleQueueService）,目标：解决低耦合系统间的通信问题,总结AWS的结合使用,Google云计算平台技术架构文件存储，GoogleDistributedFileSystem，GFS并行数据处理MapReduce分布式锁Chubby结构化数据表BigTable,22,将文件划分为若干块（Chunk）存储每个块固定大小（64M）通过冗余来提高可靠性每个数据块至少在3个数据块服务器上冗余通过单个master来协调数据访问、元数据存储结构简单，容易保持元数据一致性无缓存Why?,Google文件系统(GFS),不缓存数据GFS的文件操作大部分是流式读写，不存在大量的重复读写，使用Cache对性能提高不大从可行性看，Cache与实际数据的一致性维护也极其复杂,?,24,Google文件系统(GFS),三种元数据命名空间：整个文件系统的目录结构Chunk与文件的对应表Chunk副本的位置信息,超过50个GFS集群每个集群包含数千个存储节点管理着PB(1015Byte)级的数据,巨型、廉价、稳定的数据中心,26,什么样的问题适合并行计算？如果有大量结构一致的数据要处理，且数据可以分解成相同大小的部分，那我们就可以设法使这道处理变成并行,案例：单词记数问题(WordCount)给定一个巨大的文本（如1TB），如何计算单词出现的数目？,使用MapReduce求解该问题定义Map和Reduce函数,使用MapReduce求解该问题Step1:自动对文本进行分割,使用MapReduce求解该问题Step2:在分割之后的每一对进行用户定义的Map进行处理，再生成新的对,使用MapReduce求解该问题Step3:对输出的结果集归拢、排序(系统自动完成）,使用MapReduce求解该问题Step4:通过Reduce操作生成最后结果,主要用于解决分布式一致性问题在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到粗粒度的分布式锁服务Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统,34,Paxos构架,提交,响应,响应,响应,值,值,值,值,副本1,副本2,副本3,1、选择一个副本成为协调者2、协调者从客户提交的值中选择一个，然后通过accept的消息广播给所有的副本，接受/拒绝3、一旦协调者收到大多数副本的接受信息后，就认为达到了一致性。,为什么需要设计BigTable？Google需要存储的数据种类繁多网页，地图数据，邮件如何使用统一的方式存储各类数据？海量的服务请求如何快速地从海量信息中寻找需要的数据？BigTable：基于GFS和Chubby的分布式存储系统对数据进行结构化存储和管理,36,数据存储可靠性高速数据检索与读取存储海量的记录（若干TB）可以保存记录的多个版本,37,总体上，与关系数据库中的表类似,38,关系数据库中的表是什么样的？有什么特征？关系数据库中的表设计需要遵循什么原则？,总体上，与关系数据库中的表类似,39,表中的数据通过行关键字和列关键字以及一个时间戳进