课程环境搭建cdh5.3.6集群

1、北风网大数据实战培训课程环境搭建：CDH 5.3.6集群搭建讲师：中华石杉Spark大型项目实战：电商用户行为分析大数据平台1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到虚拟机的/usr/local目录下。（ ）2、将hadoop包进行解压缩：tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz3、对hadoop目录进行重命名：mv hadoop-2.5.0-cdh5.3.6 hadoop4、配置hadoop相关环境变量vi /.bashrcexport HADOOP_HOME=/usr/local/hadoopexport PATH

2、=$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /.bashrc5、创建/usr/local/data目录 安装hadoop包 hdfs:/sparkproject1:9000 修改core-site.xml .dir /usr/local/data/namenode dfs.data.dir /usr/local/data/datanode dfs.tmp.dir /usr/local/data/tmp dfs.replication 2 修改hdfs-site.xml mapreduce.framework

3、.name yarn 修改mapred-site.xml yarn.resourcemanager.hostname sparkproject1 yarn.nodemanager.aux-services mapreduce_shuffle 修改yarn-site.xmlsparkproject2sparkproject3 修改slaves文件1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将sparkproject1上面的hadoop安装包和/.bashrc配置文件都拷贝过去。（scp -r hadoop rootsparkproject2:/usr/local）2、要记

4、得对.bashrc文件进行source，以让它生效。3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。 在另外两台机器上搭建hadoop1、格式化namenode：在sparkproject1上执行以下命令，hdfs namenode -format2、启动hdfs集群：start-dfs.sh3、验证启动是否成功：jps、50070端口sparkproject1：namenode、secondarynamenodesparkproject2：datanodesparkproject3：datanode4、hdfs dfs -put hello.txt /hello.txt 启动hdfs集群1、启动yarn集群：start-yarn.sh2、验证启动是否成功：jps、8088端口sparkproject1：resourcemanager、nodemanagers