hadoop伪分布模式安装

hadoop伪分布模式安装实验环境说明操作系统：Ubuntu16.04JDK版本：1.8Hadoop：版本2.7.2Vmwareworkstation：12.0软件下载下载ubuntu16：/releases/16.04/release/创建用户hadoop为操作系统添加hadoop用户并设置密码，之后对Hadoop的操作均由hadoop用户完成创建hadoop用户：

$adduserhadoop

后续步骤安装软件目录/home/hadoop/安装包Hadoop的三种安装模式单机模式standalonemode在这种默认模式下配置文件是没有信息的，Hadoop完全运行在本地该模式主要用于开发调试MapReduce程序的应用逻辑伪分布式模式pseudodistributedmodeHadoop通过不同的java进程模拟多个节点，实现模拟的分布式配置伪分布式模式适合初学者用于学习Hadoop的原理和基本使用方法分布式（集群）模式distributedmodeHadoop安装在多个（3+）个节点的集群之上分布式模式是Hadoop在实际生产应用中采用的模式安装JDK下载jdk，hadoop2.7.2不再支持jdk1.6及以下版本，把离线包拷入到/home/hadoop/文件夹下,然后执行命令安装。#suhadoop$cd$tar-zxvfjdk-8u91-linux-x64.tar.gz$mvjdk1.8.0_91/jdk1.8配置JDK环境变量安装完jdk后，需要配置环境变量，把java变成系统内命令编辑.profile文件来修改系统环境变量。exportJAVA_HOME=/home/hadoop/jdk1.8exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$JAVA_HOME/bin:$PATHexportJRE_HOME=$JAVA_HOME/jre

$file$java-version安装hadoop下载解压hadoop安装包下载hadoop安装包hadoop-2.7.2.tar.gz下载路径：/repos/dist/release/hadoop/common/hadoop-2.7.2/将下载的文件拷贝到/home/hadoop目录中,执行命令进行安装

tar-xvfhadoop-2.7.2.tar.gz配置ssh免密码登录hadoop的进程之间通信使用ssh方式，为了实现自动化操作，需要配置ssh免密码登陆方式。生成公钥、私钥对su–hadoop$ssh-keygen-trsa将公钥追加到authorized_keys文件中：

cat.ssh/id_rsa.pub>>.ssh/authorized_keys安装hadoop下载解压hadoop安装包下载hadoop安装包hadoop-2.7.2.tar.gz下载路径：/repos/dist/release/hadoop/common/hadoop-2.7.2/将下载的文件拷贝到/home/hadoop目录中,执行命令进行安装

tar-xvfhadoop-2.7.2.tar.gzHadoop配置修改hadoop环境变量配置

$sudovi/etc/.profileexportHADOOP_HOME=/home/hadoop/hadoop-2.7.2exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.2.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

配置hadoop集群配置之前，需要创建以下文件夹：/home/hadoop/data/namenode/home/hadoop/data/datanode/home/hadoop/tmp修改hadoop-env.sh文件:

exportJAVA_HOME=/home/hadoop/jdk1.8修改yarn-env.sh文件:exportJAVA_HOME=/home/hadoop/jdk1.8配置hadoop集群修改core-site.xml文件，

参考下面的内容修改:<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value></property>

</configuration>

配置hadoop集群修改hdfs-site.xml文件，参考下面的内容修改:<configuration><property><name>.dir</name><value>file:/home/hadoop/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/data/datanode</value></property><property><name>node.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>配置hadoop集群修改mapred-site.xml文件，参考下面的内容修改:<configuration><property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property></configuration>配置hadoop集群修改yarn-site.xml文件，参考下面的内容修改:<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value