hadoop环境搭建.doc

1. 准备环境1.1. 安装包1） 准备10台PC2） 安装配置Linux系统：CentOS-7.03） 安装配置Java环境：jdk-84） 安装配置Hadoop：hadoop-2.7.1-x64.tar.gz1.2. 网络配置主机名IPmaster3slave0slave1slave32slave400slave501slave602spark0spark1spark321.3. 常用命令# systemctl start foo.service #运行一个服务 # systemctl stop foo.service #停止一个服务# systemctl restart foo.service #重启一个服务# systemctl status foo.service #显示一个服务（无论运行与否）的状态# systemctl enable foo.service #在开机时启用一个服务# systemctl disable foo.service #在开机时禁用一个服务# systemctl is-enabled iptables.service #查看服务是否开机启动# reboot #重启主机# shutdown -h now #立即关机# source /etc/profile #配置文件修改立即生效# yum install net-tools2. 安装配置CentOS2.1. 安装CentOS1） 选择启动盘CentOS-7.0-1406-x86_64-DVD.iso，启动安装2） 选择Install CentOS 7，回车，继续安装3） 选择语言，默认是English，学习可以选择中文，正时环境选择English4） 配置网络和主机名，主机名：master，网络选择开启，配置手动的IPV45） 选择安装位置；在分区处选择手动配置；选择标准分区，点击这里自动创建他们，点击完成，收受更改6） 修改root密码，密码：a7） 重启，安装完毕。2.2. 配置IP2.2.1. 检查IP# ip addr或# ip link2.2.2. 配置IP和网管(两种方式)一、 图形界面：很简单，不多介绍二、 命令行：# cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录# find ifcfg-em* #查到网卡配置文件，例如ifcfg-em1# vi ifcfg-em1 #编辑网卡配置文件或# vi /etc/sysconfig/network-scripts/ifcfg-em1 #编辑网卡配置文件配置内容：BOOTPROTO=static #静态IP配置为static，动态配置为dhcpONBOOT=yes #开机启动IPADDR=3 #IP地址NETMASK= #子网掩码GATEWAY=54DNS1=7# systemctl restart network.service #重启网络2.2.3. 配置hosts# vi /etc/hosts编辑内容：3 master0 slave1 slave2 slave300 slave401 slave502 slave60 spark1 spark2 spark32.3. 关闭防火墙# systemctl status firewalld.service #检查防火墙状态# systemctl stop firewalld.service #关闭防火墙# systemctl disable firewalld.service #禁止开机启动防火墙2.4. 时间同步# yum install -y ntp #安装ntp服务# ntpdate #同步网络时间2.5. 安装配置jdk2.5.1. 安装jdk 上传jdk-7u79-linux-x64.gz 安装包到root根目录# mkdir /usr/java# tar -zxvf jdk-7u79-linux-x64.gz -C /usr/java/# rm -rf jdk-7u79-linux-x64.gz2.5.2. 各个主机之间复制jdk# scp -r /usr/java slave1:/usr# scp -r /usr/java slave2:/usr# scp -r /usr/java slave3:/usr.2.5.3. 各个主机配置jdk环境变量# vi /etc/profile编辑内容：export JAVA_HOME=/usr/java/jdk1.8.0_51export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# source /etc/profile #使配置文件生效# java -version #查看java版本2.6. 配置ssh无密钥访问分别在各个主机上检查ssh服务状态：# systemctl status sshd.service #检查ssh服务状态# yum install openssh-server openssh-clients #安装ssh服务，如果已安装，则不用执行该步骤# systemctl start sshd.service #启动ssh服务，如果已安装，则不用执行该步骤分别在各个主机上生成密钥# ssh-keygen -t rsa #生成密钥在slave1上# cp /.ssh/id_rsa.pub /.ssh/slave1.id_rsa.pub# scp /.ssh/slave1.id_rsa.pub master:/.ssh在slave2上# cp /.ssh/id_rsa.pub /.ssh/slave2.id_rsa.pub# scp /.ssh/slave2.id_rsa.pub master:/.ssh在slave3上# cp /.ssh/id_rsa.pub /.ssh/slave3.id_rsa.pub# scp /.ssh/slave3.id_rsa.pub master:/.ssh.在master上# cd /.ssh# cat id_rsa.pub authorized_keys# cat slave1.id_rsa.pub authorized_keys# cat slave2.id_rsa.pub authorized_keys# cat slave3.id_rsa.pub authorized_keys# scp authorized_keys slave1:/.ssh# scp authorized_keys slave2:/.ssh# scp authorized_keys slave3:/.ssh.3. 安装配置hadoop3.1. 安装hadoop上传hadoop-2.7.1-x64.tar.gz安装包到root根目录# tar -zxvf hadoop-2.7.1-x64.tar.gz -C /usr# rm -rf hadoop-2.7.1-x64.tar.gz# mkdir /home/bigdata/hadoop-2.7.1/tmp# mkdir /home/bigdata/hadoop-2.7.1/logs# mkdir /home/bigdata/hadoop-2.7.1/hdf# mkdir /home/bigdata/hadoop-2.7.1/hdf/data# mkdir /home/bigdata/hadoop-2.7.1/hdf/name3.1.1. 在hadoop中设置java环境edit the fileetc/hadoop/hadoop-env.shto define some parameters as follows: # set to the root of your Java installation export JAVA_HOME=/usr/java/jdk1.8.0_513.1.2. 修改slaves# vi /home/bigdata/hadoop-2.7.1/etc/hadoop/slaves配置内容：删除：localhost添加：slave1slave2slave3slave4slave5slave6spark1spark2spark33.1.3. 修改core-site.xml# vi /home/bigdata/hadoop-2.7.1/etc/hadoop/core-site.xml配置内容： hdfs:/master:9000 hadoop.tmp.dir file:/home/bigdata/hadoop-2.7.1/tmp 3.1.4. 修改hdfs-site.xml# vi /home/bigdata/hadoop-2.7.1/etc/hadoop/hdfs-site.xml配置内容： dfs.datanode.data.dir /home/bigdata/hadoop-2.7.1/hdf/data true .dir /home/bigdata/hadoop-2.7.1/hdf/name true 3.1.5. 修改mapred-site.xml# cp /home/bigdata/hadoop-2.7.1/etc/hadoop/mapred-site.xml.template /home/bigdata/hadoop-2.7.1/etc/hadoop/mapred-site.xml# vi /home/bigdata/hadoop-2.7.1/etc/hadoop/mapred-site.xml配置内容： yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888 3.1.6. 修改yarn-site.xml# vi /home/bigdata/hadoop-2.7.1/etc/hadoop/yarn-site.xml配置内容： yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.mapred.ShuffleHandler yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088 3.2. 各个主机之间复制hadoop# scp -r /home/bigdata/hadoop-2.7.1 slave1:/usr# scp -r /home/bigdata/hadoop-2.7.1 slave2:/usr# scp -r /home/bigdata/hadoop-2.7.1 slave3:/usr.3.3. 各个主机配置hadoop环境变量# vi /etc/profile编辑内容：export HADOOP_HOME=/home/bigdata/hadoop-2.7.1export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HADOOP_LOG_DIR=/home/bigdata/hadoop-2.7.1/logsexport YARN_LOG_DIR=$HADOOP_LOG_DIR# source /etc/profile #使配置文件生效3.4. 格式化namenode# cd /home/bigdata/hadoop-2.7.1/sbin# hdfs namenode -format3.5. 启动hadoop启动hdfs：# cd /home/bigdata/hadoop-2.7.1/sbin# start-all.sh