《大规模分布式计算》PPT课件.ppt

大规模分布式计算 MapReduce和Hadoop 数据平台与产品部少杰 变化正在进行 Agenda 分布式计算 需求 大规模数据 为什么使用分布式 分布式计算 需求 成本 为什么使用分布式 分布式计算 并行化的尝试在硬件工艺 技术不变的前提下 提升计算能力更强大的硬件对称多处理器SMP分布式共享内存DSM分布式系统SharediskSharenothing Abriefhistory 分布式计算 互联网应用的特殊性I O操作强于计算操作复杂异构的机器环境变化的业务逻辑 新需求 分布式计算 MapReduce分布式编程模型互联网应用的大规模数据计算解决方案 MapReduce 分布式计算 MapReduce的优势简单一致性模型本地I O优化扩展性 WhyMapReducewins 分布式计算 应用现状数据分析 报表索引商业智能服务规模淘宝 现状 分布式计算 总结 总结 分布式计算 BREAK MapReduce编程模型 游戏什么是MapReduce 分布式编程模型 WhatisMapReduce MapReduce编程模型 MapReduce语义Map 映射 空间变换Reduce 汇总 规约 MapReducemethodology MapReduce编程模型 MapReduce数据结构map in key in value list out key intermediate value reduce out key list intermediate value list out value 分布式算法的核心内容 MapReducemethodology MapReduce编程模型 系统视图系统考量容灾扩展性并行能力 Master slave结构 Asystematicview MapReduce编程模型 系统视图计算消耗网络I O磁盘I O排序Map Reduce计算 Asystematicview MapReduce编程模型 系统视图并行能力子任务间并行M R任务间并行作业间并行 Asystematicview MapReduce编程模型 范例web点击日志统计 PV UV词频统计海量数据排序表Join Discuss MapReduce编程模型 MapReduce能做 日志分析商业智能分析客户营销大规模索引 MapReduce不能 在线应用复杂依赖逻辑 循环 递归 MapReduce的数据倾斜问题 WhatMapReducecando can tdo MapReduce编程模型 总结 总结 MapReduce编程模型 Break Hadoop 开源分布式系统实现系统栈 Whatis Hadoop Hadoop的历史2003Google发表有关MapReduce论文2005Nutch迁移到MapReduce实现2006 1DougCutting加入Yahoo 2006 2Yahoo从Nutch中剥离出MapReduce并开始使用Hadoop2007 1Yahoo组建1000 节点的Hadoop集群2008 1Hadoop成为ApacheTLP Hadoop abriefhistory Hadoop HDFS 分布式文件系统设计原则硬件错误是常态而不是异常流式数据访问大规模数据集简单的一致性模型 移动计算比移动数据更划算 异构软硬件平台间的可移植性 HDFS Hadoop HDFS特性大容量高容错性高吞吐量HDFS数据模型包块文件 HDFS Hadoop MapReduce 分布式计算框架语言支持JavaC throughpipes scriptlanguages throughstreaming 调度模型tasksjobsgroups MapReduce Hadoop 编写MapReduce逻辑Javamapper reducer comb