06 hadoop 2 x三大模块介绍伪分布式环境搭建安装

Hadoop

2.x从零基础到项目实战讲师：梦琪（北风网版权所有)Hadoop2.5.0

伪分布式安装Hadoop

2.x目录结构binetcincludeliblibexecsbinshareLICENSE.txtNOTICE.txtREADME.txtWhat

Is

Apache

Hadoop？Hadoop项目主要包括以下四个模块Hadoop

Common:为其他Hadoop模块提供基础设施。Hadoop

DFS:一个高可靠、高吞吐量的分布式文件系统Hadoop

MapReduce:一个分布式的离线并行计算框架Hadoop

YARN:一个新的MapReduce框架，任务调度与资源管理HDFS

系统架构图HDFS

服务功能

NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。

DataNode在本地文件系统存储文件块数据，以及块数据的校验和。

Secondary

NameNode

用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。YARN

架构图YARN

服务功能ResourceManager处理客户端请求启动/监控ApplicationMaster监控NodeManager资源分配与调度NodeManager单个节点上的资源管理处理来自ResourceManager的命令处理来自ApplicationMaster的命令数据切分ApplicationMaster为应用程序申请资源，并分配给内部任务任务监控与容错Container对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息离线计算框架MapReduceMapReduce

on

YARN设置用户无密码sudo权限[root@hadoop-master

/]#

cd

/etc[root@hadoop-master

etc]#

chmod

u+w

/etc/sudoers[root@hadoop-master

etc]#

vim

/etc/sudoers首行添加内容如下：beifengALL=(root)NOPASSWD:ALL[root@hadoop-master

etc]#

chmod

u-w

/etc/sudoers[root@hadoop-master

etc]#

su

beifeng[hadoop@hadoop-master

etc]$

service

iptables

status[hadoop@hadoop-master

etc]$

sudo

service

iptables

status安装部署前准备设置SELINUX=disabled关闭防火墙和禁用SELinux#

service

iptables

stop#

vim

/etc/sysconfig/selinux设置静态IP地址#

vi

/etc/sysconfig/network-scripts/ifcfg-eth0修改HostName#

hostname

hadoop-

#

vi

/etc/sysconfig/networkIP与HostName绑定#

vi

/etc/hosts安装JDK$

./jdk-6u24-linux-i586.bin#

vi

/etc/profile#

source

/etc/profilePseudo-Distributed

Operation下载/hadoop/common/解压$

tar

-zxvf

hadoop-2.5.0.tar.gz替换本地库$

rm

-rf

./$HADOOP_HOME/lib/native/$

cp

-r

$HADOOP_SRC_HOME/hadoop-dist/target/hadoop-2.5.0/lib/native/*

$HADOOP_HOME/lib/native/修改配置文件（$HADOOP_HOME/etc/hadoop/目录下）hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml注意点，native下面的链接文件编辑配置文件配置文件hadoop-env.shexport

JAVA_HOME=

/opt/modules/jdk-1.6.0_45配置文件core-site.xml<configuration><property>

——指定NameNode主机名与端口号<name></name><value>hdfs://:8020</value></property><!--

###############

set

directory

###############

--><property><name>hadoop.tmp.dir</name><value>/opt/modules/hadoop-2.2.0/data/tmp</value></property></configuration>编辑配置文件配置文件hdfs-site.xml<property>

——设置HDFS的副本数<name>dfs.replication</name><value>1</value></property>配置文件yarn-site.xml<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>配置文件mapred-site.xml<property><name></name><value>yarn</value></property>启动HDFS格式化NameNode$

bin/hdfs

namenode

-format启动NameNode$

sbin/hadoop-daemon.sh

startnamenode启动DataNode$

sbin/hadoop-daemon.sh

startdatanodeHDFS

监控WEB页面:50070/启动SecondaryNameNode$

sbin/hadoop-daemon.sh

startsecondarynamenodeSecondaryNameNode

监控WEB页面:50090/启动YARN启动ResourceManager$

sbin/yarn-daemon.sh

startresourcemanager启动NodeManager$

sbin/yarn-daemon.sh

startnodemanager查看启动守护进程$

jps查看日志yarn-hadoop-resourcemanager-hadoop-.logyarn-hadoop-nodemanager-hadoop-.log登陆监控WEB页面:8088/:8