云计算Mapreduce简介PPT课件.ppt

Google云计算的强大处理能力 目录 1 为何云计算有强大的处理能力2 云计算的构成要素3 MapReduce分布式编程模型的结构4 MapReduce对数据处理的流程5 容错机制 强大的分布式处理能力 云计算 其概念是由Google提出的 这是一个美丽的网络应用模式 主要目的 它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统 强大的分布式处理能力 由几十万甚至大约100万台廉价的服务器所组成的网络 这些机器单个而论的话 其性能并不比家用台式机强大多少 但是这个网络存储的数据量惊人 能容纳不计其数的网络数据拷贝 因此搜索速度能够更快 在眨眼之间便能为数十亿的搜索提交答案 向 云 规模的数据处理迈进标志着我们在信息处理方面发生了翻天覆地的转变 从最基本的层面讲 云 的发展就如同100年前人类用电的进程演变 当时的农场和公司逐渐关闭了自己的发电机 转而从高效的发电厂购买电力 Google的高管们很早前就开始展望这一转变并为之进行筹划准备 google云计算的构成要素 谷歌文件系统GFS 海量的数据访问存储 Chubby分布式锁服务 分布式环境下并发操作的同步 MapReduce分布式编程模型的结构 并行数据处理 BigTable结构化数据存储系统 管理组织海量的数据 google云计算的构成要素 Google云计算应用 BigTable GFS MapReduce Chubby Google云计算应用 BigTable GFS MapReduce Chubby Map函数 映射 和Reduce函数 化简 Map操作是可以高度并行的 这对高性能要求的应用以及并行计算领域的需求非常有用 统计词频的MapReduce函数的核心代码非常简短 主要就是实现这两个函数 map Stringkey Stringvalue key 文件名 value 文件内容foreachwordwinvalue EmitIntermediate w 1 reduce Stringkey Iteratorvalues key aword values alistofcountsintresult 0 foreachvinvalues result ParseInt v Emit AsString result 3 MapReduce分布式编程模型的结构 过程 1 MapReduce库先把userprogram的输入文件划分为M份2 userprogram的副本中有一个称为master 其余称为worker master是负责调度的 为空闲worker分配作业3 被分配了Map作业的worker 开始读取对应分片的输入数据 Map作业数量是由M决定的 map函数产生的中间键值对被缓存在内存中 4 缓存的中间键值对会被定期写入本地磁盘 而且被分为R个区 R的大小是由用户定义的 将来每个区会对应一个Reduce作业 这些中间键值对的位置会被通报给master master负责将信息转发给Reduceworker 过程 5 master通知分配了Reduce作业的worker它负责的分区在什么位置 当Reduceworker把所有它负责的中间键值对都读过来后 先对它们进行排序 使得相同键的键值对聚集在一起 6 reduceworker遍历排序后的中间键值对 对于每个唯一的键 都将键与关联的值传递给reduce函数 reduce函数产生的输出会添加到这个分区的输出文件 7 当所有的Map和Reduce作业都完成了 master唤醒正版的userprogram MapReduce函数调用返回userprogram的代码 容错机制 由于MapReduce函数库是设计用于在成百上千台机器上处理海量数据的 所以这个函数库必须考虑到机器故障的容错处理 master会定期发送命令轮询每一台worker机器 如果在一定时间内有一台worker机器一直没有响应 master就认为这个worker失效了 所有这个worker机器上正在处理的map任务或者reduce任务都被设置成为空闲状态 被其