educoder平台hadoop开发环境搭建

1、一配置开发环境-JavaJDK的配置mkdir /app回车cd /opt回车ll回车tar -zxvf jdk-8u171-linux-x64.tar.gz回车mv jdk1.8.0_171/ /app回车vim /etc/profile在最低下按i复制粘贴下面代码JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH退出wqsource /etc/profile回车java -version测评*二配置开发环

2、境- Hadoop安装与伪分布式集群搭建cd /opt回车ls回车echo $JAVA_HOME回车ls /app回车ls回车mkdir /app回车cp * /app回车cd/app回车ls回车tar -zxvf hadoop-3.1.0.tar.gz回车lstar -zxvf jdk-8u171-linux-x64.tar.gz回车ls回车mv hadoop-3.1.0 hadoop3.1回车cd jdk1.8.0_171/回车pwd回车vim /etc/profile最底下按i复制export JAVA_HOME=/app/jdk1.8.0_171export HADOOP_HOME=/

3、app/hadoop3.1export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH退出wqsource /etc/profile回车java -version回车cd /app回车ssh-keygen -t rsa -P 按回车cat /.ssh/id_rsa.pub /.ssh/authorized_keys回车chmod 600 /.ssh/authorized_keys回车vim /etc/ssh/sshd_config找到#AuthorizedKeysFile %h/.ssh/authorized_key

4、s退出wqcd /app/hadoop3.1/etc/hadoop/回车vim hadoop-env.sh找到# JAVA_HOME=/usr/java/testing hdfs dfs -ls这一行按i在最后面回车，添加下面 代码：export JAVA_HOME=/app/jdk1.8.0_171退出wqvim yarn-env.sh最底下按i回车export JAVA_HOME=/app/jdk1.8.0_171退出wq1vim core-site.xml找到然后按i在中间回车hdfs:/localhost:9000vdescriptionHDFS的URI，

5、文件系统：/namenode标识：端口号把#删除hadoop.tmp.dir/usr/hadoop/tmpnamenode上本地的hadoop临时文件夹然后:wq2vimhdfs-site.xml找到然后按i在中间回车.dir/usr/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据 dfs.data.dir/usr/hadoop/hdfs/datadatanode上数据块的物理存储位置 dfs.replication13然后:wq vim mapred-site.xml找到然后按i在中间回车yarn然

6、后:wq4vim yarn-site.xml找到然后按i在中间回车yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.webapp.address 0:8099这个地址是mr管理界面的然后:wqcd /usr/hadoop回车mkdir /usr回车cd /usr回车ls回车mkdir hadoop回车cd .回车mkdir /usr/hadoop/tmp回车mkdir /usr/hadoop/hdfs回车mkdir /usr/hadoop/hdfs/data回车mkdir /usr/had

7、oop/hdfs/name回车hadoop namenode -format回车start-dfs.sh回车cd /app/hadoop3.1/sbin回车 1vim start-dfs.sh在#!/usr/bin/env bash后面按i回城HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root：wq2vim stop-dfs.sh在#!/usr/bin/env bash后面按i回车HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root：wq3vim start-yarn.sh在#!/usr/bin/env bash后面按i回车YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root：wq vim stop-yarn.sh在#!/usr/bin/env bash后面按i回车YARN_RESOURCEMANA