16 云计算配套ppt之十六第5章 hadoop 2 0 主流开源云架构二

1、of 35电子工业云计算(第三版)配套课件云 计 算（第三版）CLOUD COMPUTING Third Edition第 5 章Hadoop 2.0 主流开源云架构(二)主编：教授电子工业云计算(第三版)配套课件 本套PPT下载地址：/list.aspx?cid=20云计算的红宝书书籍购买地址：/item.html?itemID=1469775685&p=-1（包邮且有教授亲笔签名）微信扫描二维码关注云计算头条教授、博导、学科带头人，清华大学博士。现任中国云计算专家咨询委员会中国信息协会大数据分会副会长、工业与信

2、息化部云计算研究中心专家。主持完成科研项目25项，发表论文80余篇，出版专业书籍15本。获部级科技进步、二等奖4项、三等奖4项。主编了国内第一本云计算教材云计算和第一本云计算编程书籍实战Hadoop。创办了知名的中国云计算（）和中国大数据（）网站。曾率队夺得2002 PennySort国际计算机排序比赛冠军，两次夺得全国高校科技比赛最高奖，并三次夺得清华大学科技比赛最高奖。荣获“全军十大学习成才标兵”（排名第一）、南京“十大杰出青年”、江苏省“333高层次人才培养工程”中青年科学技术带头人、清华大学“学术新秀”等称号。目录5 . 1引例5 .

3、 2Hadoop2 . 0 简述5 . 3Hadoop2 . 0 部署5 . 4H a d o o p2 . 0 体系架构5.5H a d o o p2 . 0 访问接口5 . 6H a d o o p2 . 0 编程接口云计算第三版配套PPT课件of 355.2 Hadoop 2.0简述5 . 2 . 15 . 2 . 25 . 2 . 3Hadoop2 . 0 由来Hadoop2 . 0 相关项目Hadoop应用5 . 2Hadoop2 . 0 简述Hadoop 2.0由来云计算第三版配套PPT课件2002年2004年2006年of635工业界称Hadoop 1.X及其以前的版本（0.23

4、.X除外）为Hadoop 1.0， 称Hadoop 2.X及其以后版本为Hadoop 2.0NDFS和MapReduce移出Nutch，形成独立项目，称为Hadoop。Apache实现了Nutc的NDFS和MapReduce开源组织Apache成立开源搜索引擎项目Nutch5 . 2Hadoop2 . 0 简述Hadoop 2.0由来云计算第三版配套PPT课件Hadoop 2.0分布式存储（HDFS）分布式操作系统（Yarn） 将Hadoop 2.0部署至集群后，通过调用Hadoop 2.0程序库，能够用简单的编程模型来处理分布在不同机器上的大规模数据集。 由于采用客户-服务器模式，Hadoo

5、p 2.0很容易从一台机器扩展至成千上万台机器，并且每台机器都能提供本地计算存储和本地计算。 考虑到集群中每台机器都可能会出问题（如硬件失效），Hadoop 2.0本身从设计上就在程序层规避了这些问题。of7355 . 2Hadoop2 . 0 简述Hadoop 2.0由来云计算第三版配套PPT课件of835分布式计算框架。主要负责资源管理、任务调度和MapReduce算法实现。Hadoop MapReduceHadoop的分布式文件系统。主要提供分布式存储服务。HDFS联系HDFS和MapReduce的纽带，它一方面为另外两组件提供一些公用jar包，另一方面也是程序员访问其他两模块的接口。H

6、adoop CommonHadoop至少应当包含分布式存储和分布式计算两个模块，下面给出Hadoop1.0项目模块。云计算第三版配套PPT课件of 355.2 Hadoop 2.0简述5 . 2 . 15 . 2 . 25 . 2 . 3Hadoop2 . 0 由来Hadoop2 . 0 相关项目Hadoop应用5 . 2Hadoop2 . 0 简述Hadoop 2.0相关项目Google云计算组件和Hadoop及其相关项目之间的对应关系：云计算第三版配套PPT课件of1035Hadoop云计算系统Google云计算系统Hadoop HDFSGoogle GFSHadoop MapReduce

7、Google MapReduceHBaseGoogle BigTableZooKeeperGoogle ChubbyPigGoogle Sawzall5 . 2Hadoop2 . 0 简述Hadoop 2.0相关项目近几年工业界围绕Hadoop进行了大量的外围产品开发，下图描述了各个产品项目之间的层次关系。云计算第三版配套PPT课件Cloudera Manager/AmbariHueBigTopHcata Log Avro Mahout RHadoop Hive Pig Imapla Serach Oozie SqoopCassan dra Web HDFSof1135ZookeeperMap

8、ReduceHbaseYarn HDFSFlumeChukwa云计算第三版配套PPT课件of 355.2 Hadoop 2.0简述5 . 2 . 15 . 2 . 25 . 2 . 3Hadoop2 . 0 由来Hadoop2 . 0 相关项目Hadoop应用5 . 2HadoopHadoop应用2 . 0 简述云计算第三版配套PPT课件 构建大型分布式集群 数据仓库 数据挖掘of1335目录5 . 1引例5 . 2Hadoop2 . 0 简述5 . 3Hadoop2 . 0 部署5 . 4H a d o o p2 . 0 体系架构5.5H a d o o p2 . 0 访问接口5 . 6H

9、a d o o p2 . 0 编程接口云计算第三版配套PPT课件of 355.3 Hadoop 2.0部署5 . 3 . 15 . 3 . 2部署综述传统解压包部署5 . 3Hadoop部署综述2 . 0 部署云计算第三版配套PPT课件of1635在不同的机器上部署系统分布式模式在一台单机上运行，用不同的进程模仿分布式运行中的各类节点伪分布模式部署环境不需要与其他节点交互，不需要使用HDFS，直接读写本地的文件系统单机模式简单易用隐藏了太多细节Linux标准方式安装方式烦琐易错有助于读者深入理解Hadoop传统解压包方式5 . 3Hadoop部署步骤2 . 0 部署云计算第三版配套PPT课件部

10、署前工作部署Hadoopof1735解压Hadoop配置Hadoop启动Hadoop测试Hadoop下载Hadoop准备机器软件环境准备机器制定部署规划of 355 . 3Hadoop2 . 0 部署准备环境云计算第三版配套PPT课件1）硬件环境由于分布式计算需要用到很多机器，部署时用户须提供多台机器，至于提供几台，须根据 “部署规划”确定。实际上，完全模式部署Hadoop时，最低需要两台机器（一个主节点，一个从节点），此外，硬件方面，每台机器最低要求有1GB内存，20GB硬盘空间。5 . 3Hadoop准备环境2）软件环境2 . 0 部署云计算第三版配套PPT课件 须注意的是新装系统（Cen

11、tOS）的机器不可以直接部署Hadoopof1935安装JDK关闭添加域名映射修改机器名大量的实践证明，在Linux环境下使用Hadoop则更加稳定高效5 . 3Hadoop2 . 0 部署关于Hadoop依赖软件云计算第三版配套PPT课件 SSH只是给sbin/start-yarn.sh等几个start-x.sh与stop-x.sh脚本使用 Hadoop本身是一堆Java代码，而Java代码并不依赖SSH 本节使用的Hadoop版本为稳定版Hadoop-2.2.0.tar.gz CentOS版本为64位CentOS-6.5 JDK版本为jdk-7u40-linux-x64.rpmof2035

12、云计算第三版配套PPT课件of 355.3 Hadoop 2.0部署5 . 3 . 15 . 3 . 2部署综述传统解压包部署5 . 3Hadoop2 . 0 部署传统解压包部署云计算第三版配套PPT课件现有三台机器，且它们都刚装好64位CentOS-6.5，安装系统时用户名为joe，请按要求完成： 以cMaster作为主节点，cSlave0和cSlave1作为从节点，部署Hadoop。of2235【例5-5】5 . 3Hadoop2 . 0 部署传统解压包部署云计算第三版配套PPT课件此Hadoop集群需三台机器（cMaster，cSlave0和cSlave1），其中cMaster作为主节点

13、，cSlave0和cSlave1作为从节点。准备三台机器，它们可以是实体机也可以是虚拟机，若使用虚拟机。 1.制定部署规划 2.准备机器三台机器都要完成：修改机器名、添加域名映射、关闭和安装JDK。 3.准备机器软件环境 of23355 . 3Hadoop2 . 0 部署传统解压包部署云计算第三版配套PPT课件谷歌搜索“Hadoop download”并下载，以joe用户身份，将Hadoop分别复制到三台机器上。 4.下载Hadoop分别以joe用户登录三台机器，每台都执行如下命令解压Hadoop文件： 5.解压Hadoop三台机器都要配置，且配置相同 6.配置Hadoopof24355 .

14、3Hadoop2 . 0 部署传统解压包部署云计算第三版配套PPT课件 7. 启动Hadoop 首先，在主节点cMaster上格式化主节点命名空间 其次，在主节点cMaster上启动存储主服务namenode和资源管理主服务resourcemanager。 最后，在从节点上启动存储从服务datanode和资源管理从服务nodemanager 8.测试Hadoopof2535Hadoop2 . 0 部署总结通过上述单机部署和集群部署，可以看出，Hadoop本身部署起来很简单，其大量工作其实都是前期的Linux环境配置， Hadoop安装只是解压、修改配置文件、格式化、启动和验证，关于Linux命

15、令问题，请参考Linux专业书籍。本章未完待续 百度排名首位的大数据资料和交流中心 百度排名首位的云计算资料和交流中心 终生免费的智能硬件大数据托管平台 扫一扫，进入万物云 终 生 免 费 的 环 境 大 数 据 共 享 平 台 扫一扫，进入环境云 高校Hadoop教学科研一揽子解决方案云计算、大数据时代，社会亟需相关人才！而高校缺平台、缺人才、缺经验！怎么办？云创大数据给您一步到位的解决方案！建设一个Hadoop实验平台一套开源的Hadoop一体机和开发环境，详细的指导书籍和实验设计。培养一支云计算师资队伍来自云计算高手的系列培训，早在2010年就培训了全国第一批云计算师资力量。营造一个大数据科研环境为科研提供技术支持，与大数据应用相结合，让科研迈上新台阶。了解详情 知名微信公众号推荐 学习云计算必须关注的公众号看未来 微信号：lpoutlook云计算头条 微信号： chinacloudnj 资源丰富、分析深入、更新及时的云计算知