Hadoop平台搭建配置Hadoop

大数据计算平台《大数据导论》课程Introductiontobigdata平台搭建Hadoop配置Hadoop01SSH免密登录配置ssh，为了在主节点与从节点之间能够较自由方便的进行多虚拟机管理，所以需要配置ssh，为了在服务器登录其他服务器时能够免密登录。客户机从节点服务器主节点使用SSH用户名@服务器IP密码正确，登录成功告诉客户机要输入的密码123首先进入根目录，输入命令ssh-keygen-trsa生成密匙对SSH免密登录使用命令ssh-copy-id~/.ssh/id_rsa.pubroot@id，生成公钥验证文件SSH免密登录将hadoop压缩包上传到虚拟机上并解压缩后在/etc/profile中配置hadoop环境变量下载Hadoop查看主机名与id，配置/etc/hosts文件下载Hadoop配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves6个文件a、hadoop-env.sh配置文件，目录为/opt/hadoop-2.6.0/etc/hadoop/

在hadoop-env.sh文件中将JAVA_HOME路径改为java实际的路径b、core-site.xml文件 <property><name>fs.defaultFS</name><value>hdfs://master:9000</value>//master为IP地址或主机名</property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> </property>

c、hdfs-site.xml文件为hdfs的配置文件 <property> <name>dfs.replication</name> <value>1</value> </property>d、mapred-site.xml文件为mapreduce的配置文件，但原本只有mapred-site.xml.template文件，需要用cp命令将文件重命名为mapred-site.xmle、yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>f、配置slaves文件，将localhost删除后加入本机的主机id运行Hadoopa、首次安装或使用hadoop之前要先对hadoop进行初始化

b、使用命令./start-dfs.sh在/opt/hadoop/sbin目录下启动namenode和datanode

运行Hadoopc、使用命令./start-yarn.sh启动resourcemanager和nodem