7.Hadoop初基础的体验_第1页
7.Hadoop初基础的体验_第2页
7.Hadoop初基础的体验_第3页
7.Hadoop初基础的体验_第4页
7.Hadoop初基础的体验_第5页
已阅读5页，还剩9页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲人：王超宁波城市职业技术学院工业互联网数据采集技术——Hadoop初体验序言Hadoop起源于ApacheNutch项目，始于2002年。Hadoop之父：DougCutting。灵感来自：Google的三篇论文。任务TASK集群启停与WebUI页面1HDFS文件系统2MapReduce与Yarn3集群启停与WebUI页面任务0101集群启停与WebUI页面Hadoop集群整体概述

Hadoop集群包括两个集群：HDFS集群、YARN集群

两个集群逻辑上分离、通常物理上在一起

两个集群都是标准的主从架构集群主角色：NameNode从角色：DataNode主角色辅助角色：

SecondaryNameNodeHDFS集群

(分布式存储)YARN集群

(资源管理、调度)主角色：ResourceManager从角色：NodeManager01集群启停与WebUI页面NNDNRMNMSNNDNNMDNNMHDFS集群YARN集群node1node2node301集群启停与WebUI页面shell脚本一键启停

在node1上，使用软件自带的shell脚本一键启动。前提：配置好机器之间的SSH免密登录和workers文件。

HDFS集群start-dfs.shstop-dfs.shYARN集群

start-yarn.shstop-yarn.sh

Hadoop集群start-all.shstop-all.shHDFS文件系统任务02HDFS文件系统02

HDFS文件系统Web页面浏览HDFS本质就是一个文件系统。有目录树结构，和Linux类似，可分为文件、文件夹。HDFS集群MapReduce与Yarn任务0303MapReduce与YarnYARN集群

地址：http://resourcemanager_host:8088其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip如果使用主机名访问，别忘了在Windows配置hosts51:8088小结Hadoop集群启停方式如何通过WebUI页面进行进程展示通过圆周率的计算，体验了Hadoop的处理过程思考你是否听说过“杀鸡焉用牛刀”这句话？在本小节的学习过程中，你

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论