google云计算体系架构.ppt

1、a,Google云计算原理,a,2,Reached Our Goal,a,3,提 纲,TM Forum 对云态度,4,a,4,We have a dream,愿景: 计算机的服务能力可以作为一种商品进行流通。就像水、电、 气一样取之方便，费用低廉,a,5,云计算定义,图：云计算概念模型,云计算:是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够按需获取计算力、存储空间和信息服务。,a,6,云计算服务的部署形式,IaaS基础设施云 (代表：亚马逊的S3),SaaS 应用云 （代表：salesforce的CRM）,PaaS 平台云 （代表：Google App En

2、gine）,X as a service,a,7,Amazon 云计算,1GB数据存放1个月为0.15美元,每个服务器租用1小时为0.1美元,Amazon的IaaS云计算思路,弹性计算云EC2为企业提供计算服务,简单存储服务S3为企业提供存储服务,Amazon的IaaS运用实例,a,8,亚马逊IaaS应用案例：纽约时报,使用亚马逊云计算服务,效果：在不到 24个小时的时间里处理了1100万篇文章 费用：累计花费240美元,利用自己服务器,时间：数月时间 费用：多得多的费用,a,9,Google 云计算,Google的云计算思路,“浏览器操作系统”,a,10,隶属PaaS的Google云计算,G

3、oogle 云计算PaaS,属于部署在云端的应用执行环境 支持Python和Java两种语言 通过SDK调用Google的各种服务。如Google Map、Mail等 用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等） 在下一章将具体介绍GAE具体的应用,a,11,Google 云计算SaaS,隶属SaaS的Google云计算,提供在线“Word、Excel、PPT”,提供在线MAP,提供在线日历管理,a,12,Google云计算平台技术架构 分布式文件系统 Google Distributed File System 并行数据处理 MapReduce

4、分布式锁 Chubby 结构化数据表 BigTable,Google如何实现云？,将在第二章详细介绍,a,13,云计算概念入门,Q ,Reduce(Key,Value ) int count = 0; for(each w in value) count +; collect(Key,count); ,1),a,32,Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech,2),分割,分割,分割,Hello World Bye World,Hello China Bye China,Hello Si-tech

5、Bye Si-tech,3),Hello World Bye World,Hello China Bye China,Hello Si-tech Bye Si-tech,MAP,MAP,MAP,a,33,4),Map输出,Fold,Fold输出,a,34,Fold输出,5),Reduce输出,Reduce,a,35,背景 MapReduce设计初衷：由普通PC组成的集群来处理超大规模的数据，所以有效的错误保障机制是必不可少 Worker容错 Master周期性的ping每个worker Master容错 Master周期性的将Master的数据结构的写入磁盘，即检查点（checkpoint）

6、Master数据结构包括: Map和Reduce任务的状态（空闲、工作中或完成)，以及Worker机器(非空闲任务的机器)的标识。,MapReduce容错机制,a,36,Google云计算原理,1,2,3,4,a,37,提 纲,TM Forum 对云态度,4,a,38,GAE部署云应用,Q&A,课堂演示部署过程,a,39,提 纲,TM Forum 对云态度,4,a,40,TMF See Sunny Future In Tele Management World American,TMF简介,1、电信管理论坛 ,非盈利联盟组织 2、会员遍布全球195个国家，700+会员公司 3、我们公司也是会员

7、，享受会员权利 4、业界广泛使用的eTOM,SID,TAM,NGOSS,TMF最新框架技术,a,41,云计算的出现并快速发展，一方面是虚拟化技术、分布式计算等技术发展的结果， 另一方面也是互联网应用不断丰富趋势的体现。目前，虽然有Amazon、Google、IBM、Microsoft等在推，但云计算还没有一个统一的标准。 云计算平台已经为很多用户所使用， 但是云计算在行业标准、数据安全、服务质量、应用软件等方面也面临着各种问题，这些问题的解决需要技术的进一步发展。 现有的研究大多集中于云体系结构、云存储、云数据管理、虚拟化、云安全、编程模型等技术,结束语,a,42,云计算,Thank You

8、!,Q&A,a,主要内容（）,a,44,Google的云计算,a,分布式文件系统GFS,GFS的容错措施有哪些？,a,46,GFS的容错机制 Chunk Server容错 每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上 每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本） Master容错（影子节点热备） 三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息 前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Ma

9、ster出现故障时可恢复,GFS的容错方法,a,并行数据处理模型MapReduce,1、处理流程 2、分片方式,a,MapReduce处理流程中各类文件的存储位置在哪里？ MapReduce的容错方法？ MapReduce的处理优化方法？ MapReduce仅能对GFS之上的文件进行处理吗？,问题讨论,a,所有步骤均可控，可灵活处理各类分布式问题,灵活的MapReduce,a,除了排序，新增两道题目 使用MapReduce实现倒排索引 输入：100个文本文档 输出：倒排索引 任务 实现算法，给出数据结构描述、执行过程描述等 作业要求同“排序” 要求尽可能提高执行效率，节约网络IO带宽,云计算应

10、用实践作业调整,a,除了排序，新增两道题目 使用MapReduce实现快速查询 查询目标是存储在BigTable之中的网页数据，给定关键字，快速查询含有该内容的网页（假定没有倒排索引） 要求 设计BigTable存储方式（表含有哪些列、无需关心数据如何取得） 设计快速查询的MapReduce处理方法 作业要求同“排序”,云计算应用实践作业调整,a,52,Google的云计算,分布式锁服务Chubby,a,53,主要用于解决分布式一致性问题 在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能

11、够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到 粗粒度的分布式锁服务 Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统 其他分布式系统可以使用它对共享资源的访问进行同步,Chubby是什么？,a,54,需要实现的特性 高可用性 高可靠性 支持粗粒度的建议性锁服务 支持小规模文件直接存储 不作考虑的特性 高性能 存储能力,Chubby的设计目标,a,55,Chubby的系统架构,a,文件系统中文件的权限,文件系统中文件操作的权限有哪些？,这些权限之间的互斥关系是怎样的？,a,57,Chubby系统本质上就是一个分布式的、存

12、储大量小文件的文件系统 Chubby中的锁就是文件 在GFS的例子中，创建文件就是进行“加锁”操作，创建文件成功的那个server其实就是抢占到了“锁” 用户通过打开、关闭和存取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息,Chubby文件系统,a,58,Client与Chubby的通信协议,a,59,主节点选举 独占锁 共享锁 数据存取应用 获取GFS ChunkServer信息 元数据存储 ,Chubby的应用,a,60,Goolge的云计算,分布式数据表BigTable,a,61,为什么需要设计BigTable？ Google需要存储的数据种类繁多 网页，地图数据，邮

13、件 如何使用统一的方式存储各类数据？ 海量的服务请求 如何快速地从海量信息中寻找需要的数据？ BigTable：基于GFS和Chubby的分布式存储系统 对数据进行结构化存储和管理 与GFS的联系,BigTable,a,62,数据存储可靠性 高速数据检索与读取 存储海量的记录（若干TB） 可以保存记录的多个版本,Google的需求,a,63,与写操作相比，数据记录读操作占绝大多数工作负载 单个节点故障损坏是常见的 磁盘是廉价的 可以不提供标准接口 Google既能控制数据库设计，又能进行应用系统设计,假设,a,64,具有广泛的适应性 支持Google系列产品的存储需求 具有很强的可扩展性 根据

14、需要随时加入或撤销服务器 应对不断增多的访问请求 高可用性 单个节点易损，但要确保几乎所有的情况下系统都可用 简单性 简单的底层系统可减少系统出错概率，为上层开发带来便利,设计目标,a,65,总体上，与关系数据库中的表类似,逻辑视图,关系数据库中的表是什么样的？有什么特征？ 关系数据库中的表设计需要遵循什么原则？,a,66,行 每行数据有一个可排序的关键字和任意列项 字符串、整数、二进制串甚至可串行化的结构都可以作为行键 表按照行键的“逐字节排序”顺序对行进行有序化处理 表内数据非常稀疏，不同的行的列的数完全目可以大不相同 URL是较为常见的行键，存储时需要倒排 统一地址域的网页连续存储，便于

15、查找、分析和压缩,数据模型,a,67,列 特定含义的数据的集合，如图片、链接等 可将多个列归并为一组，称为族（family） 采用 族:限定词 的语法规则进行定义 fileattr:owning_group”, “fileattr:owning_user”, etc 同一个族的数据被压缩在一起保存 族是必须的，是BigTable中访问控制的基本单元,数据模型,a,68,时间戳 保存不同时期的数据，如“网页快照” “A big table” 表中的列可以不受限制地增长 表中的数据几乎可以无限地增加,数据模型,通过(row, col, timestamp)查询 通过(row, col, MOST_

16、RECENT)查询,a,69,无数据校验 每行都可存储任意数目的列 BigTable不对列的最少数目进行约束 任意类型的数据均可存储 BigTable将所有数据均看作为字符串 数据的有效性校验由构建于其上的应用系统完成 一致性 针对同一行的多个操作可以分组合并 不支持对多行进行修改的操作符,数据模型,a,70,物理视图,a,71,逻辑上的“表”被划分为若干子表（Tablet） 每个Tablet由多个SSTable文件组成 SSTable文件存储在GFS之上 每个子表存储了table的一部分行 元数据：起始行键、终止行键 如果子表体积超过了阈值（如200M），则进行分割,物理视图,a,72,体系

17、结构,a,73,为每个子表服务器分配子表，对外提供服务 与GFS垃圾回收进行交互，收回废弃的SSTable 探测子表服务器的故障与恢复 负载均衡,主节点的职责,有效缓解单点故障,a,74,子表服务器故障,a,75,子表服务器故障,a,76,子表服务器故障,a,77,数据访问方式,a,78,任何对子表的写操作都会记录到一个存储在GFS之上的commit log中 每个子表服务器上所有子表变化对应于一个commit log 新的数据存储到子表服务器的内存（memtable）中 次压缩 旧数据存储在SSTable中，而新数据存放在memtable中 当memtable体积超过一定阈值，将形成SSTa

18、ble，并写入GFS 每个tablet对应多个SSTable,数据写的流程,a,79,tablet含有多个SSTable导致查询效率低 合并压缩操作读取多个SSTable，创建一个新的SSTable来保持其中的最新数据 旧的SSTable删除 如果合并压缩操作完成后，tablet只包含一个SSTable，那么该操作也称为主压缩,合并压缩,a,80,数据存储与读取流程,a,81,新的故障 子表服务器内存中的memtable丢失 恢复方法 按照tablet将该服务器对应的日志分片 为每个失效tablet分配新的子表服务器 新子表服务器读取对应的分段commit log，并按照日志修改tablet

19、删除commit log中已实施的内容 重新对外提供服务,子表服务器故障恢复,a,82,局部性群组(Locality Group) 根据需要，将原本不存储在一起的数据，以列族为单位存储至单独的子表 如用户对网站排名、语言等分析信息感兴趣，那么可以将这些列族放至单独的子表，减少无用信息读取，改善存取效率 布隆过滤器(Bloom Filter) 什么是布隆过滤器？判断某个元素是否隶属于集合 优点：误判概率低，其存储空间仅为Hash表的1/8至1/4 用于判断列键是否位于SSTable中，快速确定某个列键的位置,性能优化,a,83,BigTable小结,a,Google云计算架构中GFS、MapRe

20、duce和BigTable中是否存在集群节点复用的情况？ 如何复用？ 节点复用的好处有哪些？ Google云计算架构的设计对你有哪些启发？有哪些收获？,综合讨论,a,85,Goolge的云计算,Google App Engine,a,86,Google App Engine是隶属于PaaS类型的云服务 一个计算环境，支持Python和Java语言 可使用Google的基础服务，如BigTable和GFS等 用户仅需提供应用代码，无需服务器维护 应用程序可根据访问量和数据存储需要的增长轻松进行扩展,简介,a,87,特性 动态网络服务功能，能够完全支持常用的网络技术 具有持久存储的空间，可支持查询、分类等基本操作 具有自主平衡网络和系统的负载、自动进行扩展的功能 可对用户的身份进行验证，并且支持使用Google账户发送邮件 具有一个功能完整的本地开发环境，开发人员可以在自身的计算机上模拟 Google