第6章-Hadoop安装和部署

1、第第6章章 Hadoop安装和部署安装和部署26.1 Hadoop安装环境安装环境v在Windows下安装Hadoop 安装Cygwin（一个在Windows平台下模拟Linux环境的工具） 通过Cygwin安装Hadoopv在Mac OS操作系统下安装Hadoop 利用Mac OS下的Homebrew来自动下载安装Hadoop Homebrew是一种软件包管理器，类似于Ubuntu下的apt工具vLinux平台下安装Hadoopv都需要下载安装JDK和SSH36.2 Hadoop实验集群的部署结构实验集群的部署结构v一个Hadoop集群由一个Master节点和多个Slave节点组成 从HDF

2、S角度，Hadoop集群的节点分为两大类角色：NameNode和DataNode 从MapReduce角度，Hadoop集群的节点分为两大类角色：JobTracker和TaskTracker Master节点配置NameNode和JobTracker的角色负责管理分布式数据和分解任务的执行 Salve节点配置DataNode和TaskTracker的角色负责分布式数据存储以及任务的执行4 Hadoop部署结构部署结构56.3 Hadoop安装部署安装部署vHadoop的安装模式 单机模式Hadoop默认的安装模式运行在本地文件系统上，不与其它节点交互不使用HDFS也不加载任何Hadoop的守护

3、进程 伪分布模式在本地文件系统上运行，但它运行的是HDFSNameNode、DataNode、JobTracker和TaskTracker全部部署在一台机器上，在一台机器上模拟分布式部署 集群模式运行在多台机器的HDFS上6Hadoop伪分布式安装配置伪分布式安装配置71、设置静态、设置静态IP地址地址IP地址设置完成后，重启网卡：service network restart82、设置、设置DNS解析解析nHadoop 集群之间通过主机名互相访问，因此需要设置DNS解析 设置主机名：编辑配置文件“/etc/sysconfig/network” 设置节点IP与主机名的映射：编辑文件“/etc/

4、hosts” 验证配置：执行“ping master”命令。93、关闭防火墙、关闭防火墙n在linux下防火墙被称作“iptables”，使用命令查看服务iptables的状态，验证防火墙的关闭： service iptables statusn如果命令执行后提示信息为“iptables:Firewall is not running”，说明防火墙已经被关闭。104、设置、设置SSH自动登录自动登录vHadoop的进程之间使用SSH方式通信v设置SSH的免密码登录方式后，用户只在第一次登录时输入一次密码，以后都可以免密码直接登录 使用rsa加密方式生成密钥：ssh -keygen -t rsa

5、 生成授权文件：进入密钥目录/.ssh，执行命令生成授权文件（authorized_keys）： cp id_rsa.pub authorized_keys 验证SSH无密码登录：ssh localhost115、安装、安装JDKvHadoop的编译和MapReduce程序的运行都需要使用JDK复制、解压JDK文件，重命名解压缩目录。把jdk 的命令配置到环境变量中：配置文件“/etc/profile” export JAVA_HOME=/usr/local/jdk export PATH=.:$PATH:$JAVA_HOME/bin使文件中的设置生效：source /etc/profile验

6、证安装是否成功：“java -version”命令126、安装、安装Hadoopv复制、解压Hadoop安装包。v重命名解压缩目录。v设置环境变量，配置文件“/etc/profile”： export HADOOP_HOME=/usr/local/hadoop export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHv使文件中的设置生效：source /etc/profile137、修改、修改Hadoop配置文件配置文件v 环境变量脚本文件hadoop-env.sh，设置jdk的安装位置v 核心配置文件core-site.xml，Hadoop运行临

7、时文件的主目录，设置HDFS的访问路径v HDFS配置文件hdfs-site.xml，设置文件块（Block）的存储副本个数v MapReduce配置文件mapred-site.xml，设置JobTracker的访问路径148、使用、使用Hadoopv 对Hadoop进行格式化： hadoop namenode -formatv 启动Hadoop：start-all.sh。启动5个进程，分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker。v 使用jdk的命令“jps”查看进程v 关闭Hadoop：stop-all.sh。命

8、令执行，逐一停止以上5个进程v如果要分别启动各个进程，可以使用下面的命令： hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode hadoop-daemon.sh start jobtracker hadoop-daemon.sh start tasktracker15Hadoop集群式安装配置集群式安装配置161、各节点基本配置、各节点基本配置v 静态IP地址设置：设置主节点master和从节点slave的静态IP地址。v 设置主机名：分

9、别在主节点从节点上编辑配置文件/etc/sysconfig/network，改变节点的主机名称（HOSTNAME）。v 设置节点IP与主机名的映射：分别在master和slave节点上编辑文件“/etc/hosts”，设置所有节点IP与主机名的映射。v 关闭各节点的防火墙。v 分别各节点上安装JDK和Hadoop，并配置环境变量。172、集群间、集群间SSH免密码登录免密码登录v NameNode是通过SSH来启动和停止各个节点上的各种守护进程的，需要在集群的节点之间配置SSH免密码登录方式。v 在master节点上依次执行下列命令，使master节点的SSH可以免密码登录自己的主机名： ss

10、h -keygen -t rsa /使用rsa 加密方式生成密钥，密钥保存在/.ssh目录下 cp id_rsa.pub authorized_keys /在/.ssh目录下执行这条命令，用于生成授权文件 ssh localhost /验证SSH 无密码登录，第一次执行时需要确认，后面再次登录不需要确认v 在slave节点上执行命令ssh -keygen -t rsa生成自己的公钥和密钥。182、集群间、集群间SSH免密码登录免密码登录v 在master节点上执行以下命令，将授权文件拷贝到slave节点的/.ssh目录下： scp /root/.ssh/ authorized_keys roo

11、tslave:/root/.ssh/v 在slave节点上执行以下命令，将slave节点的公钥文件内容添加到授权文件中，并将授权文件拷贝到master节点： cat id_rsa.pub authorized_keys scp /root/.ssh/authorized_keys rootmaster:/root/.ssh/v 验证SSH无密码登录： 在master节点登录slave：ssh master 在slave节点登录master：ssh slave193、配置集群文件、配置集群文件v 配置集群文件 分别在各个节点上配置Hadoop文件，配置的文件包括：hadoop-env.sh、ma

12、sters、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml，这些文件都存放在$HADOOP_HOME/conf 目录下。 将masters文件中的内容localhost改为master；将slaves文件中的内容localhost改为slave 其它文件的配置与伪分布式Hadoop安装过程中的配置内容相同204、启动、启动Hadoopv 在master节点对Hadoop进行格式化 在master节点上执行start-all.sh命令启动Hadoop 分别在各个节点上执行jps命令查看进程 在master节点上执行jps命令，可以看到有Nam

13、eNode、JobTracker和SecondaryNameNode三个进程启动 在slave节点上执行jps命令，可以看到有DataNode和TaskTracker两个进程启动。21第一个第一个MapReduce测试程序测试程序v 在HDFS上创建输入目录input： hadoop fs -mkdir inputv 将本地目录下的文件上传到HDFS的输入目录input中，作为测试的输入文件： hadoop fs -put /user/local/hadoop/README.txt /user/root/inputv 运行wordcount程序： hadoop jar hadoop-examp

14、les-1.1.2.jar wordcount input output 该程序对输入文件README.txt中的单词进行计数v 查看程序执行结果。 hadoop fs -cat user/root/output/part-r-00000 命令执行后显示的是wordcount程序的执行结果，文件的每行内容包含所识别出的单词及其出现次数226.4 Hadoop集群异常问题及解决方法集群异常问题及解决方法v 安全模式导致的错误 分布式文件系统在刚启动的时候会处于安全模式，主要是为了系统启动的时候检查各个DataNode上数据块的有效性 Hadoop处于安全模式状态时文件系统中的内容不允许修改也不允许删除 安全模式是Hadoop集群的一种保护机制，在启动时最好等待集群自动退出，然后再进行文件操作v 多次格式化导致的错误 NameNode每次格式化会重新创建一个namenodeId，导致和.dir参数配置的目录中的ID不一致。 每次格式化前，先在各个slave节点上清空dfs.data.dir参数配置的目录中的内容 通常Hadoop只需在第一次启动的时候格式化236.4 Hadoop集群异常问题及解决方法集群异常问题及解决方法v 防火墙未关闭导致的错误： 防火墙未关闭导致节点DataNode 与节点NameNod