Hadoop单节点安装

1、 Hadoop单节点安装本文档主要介绍单节点安装Hadoop，并在此环境中简单操作HDFS和MapReduce。在正式学习Hadoop之前以便了解Hadoop具体长什么样。本文使用的Hadoop的版本是安装环境1.操作系统：Red Hat Enterprise Linux Server release 6.2 (Santiago)2.JAVA平台，本文使用的是JDK1.7 Update 453.SSH软件（伪分布模式下需要ssh无密码登录，Standalone模式无此要求）环境配置安装JDK使用的安装包是：jdk-7u45-linux-x64.gz解压JDK的安装包到/software（可以任

2、意）： 配置JDK的环境变量，这里配置成全局环境变量，在/etc/profile文件末尾添加如下：使环境变量起作用：执行source /etc/profile执行完毕，验证JDK安装是否成功可以争取输出java跟javac的版本。证明安装正确！安装HadoopHadoop的部署模式有三种：1. Local (Standalone) Mode：本地模式。在该模式下所有的东西都运行在一个JVM里，是不存在守护进程的。也没有使用HDFS文件系统（使用的是本地文件系统）。该模式主要用于开发调试MapReduce程序的应用逻辑。2. Pseudo-Distributed Mode：伪分布模式。单节点上不

3、同daemon进程跑在不同的JVM里。这种模式主要是考虑大家没有足够的机器去部署一台完全分布式的环境。3. Fully-Distributed Mode：完全分布式模式。Standalone模式配置本次使用的Hadoop的版本是首先解压Hadoop的安装包，使用如下命令：配置<HADOOP_HOME>/etc/ hadoop/hadoop-env.sh文件，添加如下配置：至此Standalone模式已经配置完毕！就这么简单！实验上述命令在本地模式跑了一个MapReduce的作业。最后一条命令使用了hadoop jar命令用法是:hadoop jar mapreduce作业的jar包

4、 主程序 输入目录 输出目录结果如下：在这种模式下是不会使用到HDFS的。这时候hdfs命令操作的是本地文件系统，如下：Pseudo-Distributed模式修改配置文件修改<HADOOP_HOME>/ etc/hadoop/core-site.xml 如下：<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configurat

5、ion> <property> <name>fs.defaultFS</name> <value>hdfs:/localhost:9000</value> </property></configuration>修改<HADOOP_HOME>/ etc/hadoop/hdfs-site.xml 如下：<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text

6、/xsl" href="configuration.xsl"?><configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>配置ssh免密码登录首先生成公钥、私钥对：把公钥放进authorized_keys文件中：至此ssh免密码登录配置成功在伪分布式部署模式下，MapReduce作业可以跑在本地，也可以跑在YARN计算框架上

7、，下面我们就分情况介绍这两种方式MapReduce作业跑在本地再跑MapReduce作业之前我们需要格式化HDFS，并上穿MapReduce作业使用到的文件。1. 格式化HDFS<HADOOP_HOME>/bin/hdfs namenode format2. 启动NameNode和DataNode这个时候可以看到本节点已经启动了多个JVM的进程，每一个JVM进程中跑的都是Hadoop的一个守护进程：3. 看下HDFS的web控制到，确定HDFS是否启动成功4. 上传MapReduce使用到的文件5. 跑本地模式的MapReduce作业：bin/hadoop jar share/ha

8、doop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfsa-z.+'6. 检查运行结果7. 停止HadoopMapReduce跑在YARN上修改<HADOOP_HOME>/etc/hadoop/mapred-site.xml:<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><co

9、nfiguration> <property> <name></name> <value>yarn</value> </property></configuration>修改<HADOOP_HOME>/etc/hadoop/yarn-site.xml:<?xml version="1.0"?><configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>1. 启动HDFS和YARN计算框架这时候可以查看下后台进程，如下：2. 查看ResourceManager的web界面：3. 运行作业：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapred