GOOGLE云计算技术技术及应用

1、Google云计算技术主要内容Google的“云”在哪里？Google云计算应用场景Google云计算的技术框架Google云计算的关键技术Google的“云”在哪里？云计算是一个新概念于07年第3季度被提出，是并行计算、分布式计算和网格计算等技术的混合演进，经过商业包装的概念为分布式存储和分布式计算找到了盈利模式提出以来发展迅速，Google、Amazon、Microsoft等公司都提出了自己的云计算方案为什么Google需要“云”？系统规模对系统设计的重要性Google提供的服务：海量信息海量用户，如何又好又快地提供服务？Google的“云”在哪里？Google的“云”无所不在Google

2、 Earth、GmailGoogle Docs，Google Wave云计算技术是Google大部分应用的基础设施没有“云计算”，就没有Google的创新服务Google云计算应用场景Google的云计算梦想应用向互联网迁移数据向互联网迁移计算能力向互联网迁移存储空间向互联网迁移“浏览器操作系统”Google ChromeGoogle云计算应用场景Google云计算应用的分类总体上，云计算可以分为IaaS、PaaS和SaaS三种类型Google云计算应用场景Google云计算应用的分类目前，Google云计算应用可以归于SaaS和PaaS两类SaaSGoogle DocsGoogle Maps

3、GmailGoogle CalendarGoogle WavePaaSGoogle App EngineGoogle云计算应用场景Google DocsGoogle在线文档创建在线的Word和Excel，支持主要的文档编辑功能Google云计算应用场景Google DocsGoogle在线文档在线创建演示文档（PPT），并支持在线演示Google云计算应用场景Google DocsGoogle在线文档支持实时协作（多人同时编辑）使用丰富的在线模板，快速构建文档支持移动设备访问和编辑与其他产品集成，如Gmail等Google云计算应用场景Google MapsGoogle提供的电子地图服务Goo

4、gle云计算应用场景Google MapsGoogle提供的电子地图服务提供全球详尽的矢量电子地图不仅仅是地图街景地形交通流量卫星图片不仅仅是地图商业信息导航支持移动设备访问，对外提供服务Google云计算应用场景GmailGoogle提供的电子邮件服务超大附件、海量存储空间Google云计算应用场景Google CalendarGoogle提供的日程安排工具Google云计算应用场景Google WaveGoogle的信息分享、协作、发布平台一个创新和整合的平台整合了Gmail、即时通讯、文字处理、在线协作（游戏）等功能Google云计算应用场景App Engine隶属于PaaS的Googl

5、e云计算属于部署在云端的应用执行环境支持Python和Java两种语言通过SDK提供Google的各种服务，如图形、MAIL和数据存储等用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）Google云计算应用场景上述应用的特点应用（功能实现）在云端存储在云端计算在云端Google云计算的技术架构Google的云计算应用均依赖于四个基础组件文件存储，Google File System，GFS并行数据处理MapReduce分布式锁Chubby结构化数据表BigTableGoogle云计算应用MapReduceBigTableGFSChubbyGoogle云

6、计算关键技术GFSGoogle文件系统的假设与目标硬件出错是正常而非异常系统应当由大量廉价、易损的硬件组成必须保持文件系统整体的可靠性主要负载是流数据读写主要用于程序处理批量数据，而非与用户的交互或随机读写数据写主要是“追加写”，“插入写”非常少需要存储大尺寸的文件存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件Google云计算关键技术GFSGFS的架构如何存储大文件？节点分为Client、Master和Chunk Server三类Google云计算关键技术GFSGFS的架构Master：管理节点，逻辑上唯一（物理上多个），保存系统元数据，负责整个文件系统的管理，是

7、GFS的“大脑”Google云计算关键技术GFSGFS的架构Chunk Server：负责具体的存储工作GFS可以包含多个Chunk Server，其数目决定了GFS的存储规模GFS将文件分块存储，块大小默认为64M，每隔块均具有唯一索引号（index）Google云计算关键技术GFSGFS的架构GFS的访问流程Google云计算关键技术GFSGFS的架构访问流程实现了控制流和信息流的分离Client与Master仅有控制流，使Master不成为瓶颈Client与Chunk Server直接存储数据，实现高速的数据并发读取Google云计算关键技术GFSGFS的架构的特点采用中心服务器模式可以

8、方便地增加Chunk ServerMaster掌握系统内所有Chunk Server的情况，方便进行负载均衡不存在元数据的一致性问题不缓冲数据GFS的文件操作大部分是流式读写，不存在大量的重复读写，使用Cache对性能提高不大Chunk Server上的数据存取使用本地文件系统，如果某个Chunk读取频繁，文件系统具有Cache从可行性看，Cache与实际数据的一致性维护也极其复杂Google云计算关键技术GFSGFS的架构的特点在用户态下实现直接利用Chunk Server的文件系统存取Chunk，实现简单用户态应用调试较为简单，利于开发用户态的GFS不会影响Chunk Server的稳定性

9、只提供专用的访问接口降低GFS的实现复杂度Google云计算关键技术GFSGFS的容错机制Chunk Server容错每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）Master容错三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Master出现故障时可恢复Google云计算关键技术GFS基于GFS的Googl

10、e数据中心节点廉价、易损坏，但整体可靠、稳定Google云计算关键技术MapReduceMapReduceGoogle提出的一个软件架构，是一种处理海量数据的并行编程模式用于大规模数据集（通常大于1TB）的并行运算MapReduce实现了Map和Reduce两个功能Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集Reduce对结果集进行分类和归纳Map()和 Reduce() 两个函数可能会并行运行，即使不是在同一的系统的同一时刻Google云计算关键技术MapReduce业务处理流程Google云计算关键技术MapReduce案例：单词记数问题(Word Count)

11、给定一个巨大的文本（如1TB），如何计算单词出现的数目？Google云计算关键技术MapReduce使用MapReduce求解该问题定义Map和Reduce函数Google云计算关键技术MapReduce使用MapReduce求解该问题Step 1: 自动对文本进行分割Google云计算关键技术MapReduce使用MapReduce求解该问题Step 2:在分割之后的每一对进行用户定义的Map进行处理，再生成新的对Google云计算关键技术MapReduce使用MapReduce求解该问题Step 3:对输出的结果集归拢、排序(系统自动完成）Google云计算关键技术MapReduce使用M

12、apReduce求解该问题Step 4:通过Reduce操作生成最后结果Google云计算关键技术MapReduce实践证明，MapReduce是出色的分布式计算模型Google宣布，其对分布于1000台计算机上的1TB数据进行排序仅仅需要68s对4000台计算机上的1PB数据进行排序处理仅需要6小时2分钟（每次测试至少会损坏1块硬盘）在08年1月份，Google MapReduce平均每天的数据处理量是20PB，相当于美国国会图书馆当年5月份存档网络数据的240倍Google云计算关键技术Chubby分布式一致性问题在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是

13、每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到Google云计算关键技术ChubbyGoogle云计算中的分布式一致性问题例如，GFS在物理上往往包含多个Master，但需要在逻辑上确定唯一的Master。如何确定？这是一个分布式一致性问题Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统Google云计算关键技术ChubbyChubby是一个文件系统，如何提供“锁”服务？Chubby中的锁就是文件在GFS的例子中，创建文件就是进行“加锁”操作

14、，创建文件成功的那个server其实就是抢占到了“锁”用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息因此，通过Chubby可以解决Google云计算中的分布式一致性问题Google云计算关键技术BigTable为什么需要设计BigTable？Google需要存储的数据种类繁多网页，地图数据，邮件如何使用统一的方式存储各类数据？海量的服务请求如何快速地从海量信息中寻找需要的数据？BigTable：基于GFS和Chubby的分布式存储系统对数据进行结构化存储和管理与GFS的区别Google云计算关键技术BigTableBigTable的设计目标具有广泛的适

15、应性支持Google系列产品的存储需求具有很强的可扩展性根据需要随时加入或撤销服务器高可用性尽管单个节点易损，但要确保几乎所有的情况下系统都可用简单性简单的底层系统可减少系统出错概率，为上层开发带来便利Google云计算关键技术BigTableBigTable的数据模型总体上，与关系数据库中的表类似Google云计算关键技术BigTableBigTable的数据模型行键任意的字符串（小于64K），表中的数据按照行键进行排序URL是较为常见的行键，存储时需要倒排统一地址域的网页连续存储，便于查找、分析和压缩/index.asp com.baidu.mp3/index.aspGoogle云计算关键

16、技术BigTableBigTable的数据模型列键列键采用 列族:限定词 的语法规则进行定义如anchor:, anchor:my.look.ca同一个族的数据被压缩在一起保存族是必须的，是BigTable中访问控制的基本单元Google云计算关键技术BigTableBigTable的数据模型时间戳保存不同时期的数据，如“网页快照”与关系数据库的表不同表中的列可以不受限制地增长表中的数据几乎可以无限地增加Google云计算关键技术BigTableBigTable的基本架构BigTable数据模型所隐含的问题海量的数据如何存储？表结构巨大，如何快速查询BigTable中的数据？如何应对海量的访问请求？分 解！Google云计算关键技术BigTableBigTable的基本架构Google云计算关键技术BigTableBigTable的子表服务器子表元数据的存储内容起始行键终止行键BigTable数据查询流程Google云计算关键技术Bi