hadoop1.2.1集群配置简明手册.docx

Hadoop V1.2.1集群配置简明手册V1.02015/04/09Contents前提31、配置机器名32、增加huser用户33、安装hadoop44、配置SSH4（1）测试SSH4（2）配置SSH无密码访问4（3）首先设置namenode(node1)的ssh为无需密码自动登陆4（4）配置node1无密码访问node255、配置hadoop6（1）配置conf/hadoop-env.sh文件6（2）配置/conf/core-site.xml6（3）配置/conf/mapred-site.xml7（4）配置/conf/hdfs-site.xml7（5）配置master和slaves主从节点86、Hadoop启动与测试8（1）格式化一个新的分布式文件系统8（2）启动所有节点9（3）查看集群的状态：9（4）Hadoop测试10（5）验证10a.验证110b.验证211前提（1）准备两台Linux机器，以下实验是在两个Oracle Linux虚机上完成的。（2）两台以及已经分别已经安装了JDK，本文以jdk1.7.0_75为例（3）Hadoop V1.2.1介质下载位置：/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz（4）除了修改hosts文件、创建组和用户，其他操作均使用huser用户1、配置机器名机器名IPnode119node218编辑两台机器上的etc/hosts文件2、增加huser用户使用root用户，在两台机器都做如下操作： groupadd -g 600 hadoopadduser huser将huser加入到hadoop组中:usermod -G hadoop huser为huser设置密码:passwd huser3、安装hadoop将hadoop-1.2.1.tar拷贝到 /home/huser目录下，并解压：tar -xvf hadoop-1.2.1.tarchown -R huser:hadoop hadoop-1.2.14、配置SSH（1）测试SSH netstat -nat #查看22端口是否开启 ssh localhost #测试ssh是否成功连接（2）配置SSH无密码访问在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个datanode上的各种守护进程的，这就须要在节点之间执行指令的时候是不须要输入密码的形式，故我们须要配置SSH运用无密码公钥认证的形式。以本文中的两台机器为例，现在node1是主节点，他须要连接node2。须要确定每台机器上都安装了ssh，并且datanode机器上sshd服务已经启动。 （3）首先设置namenode(node1)的ssh为无需密码自动登陆切换到huser用户( 保证用户huser可以无需密码登录，因为我们后面安装的huser属主是huser用户。) su husercd /home/huserssh-keygen -t rsa 最后一个命令输入完成以后一直按回车完成后会在/home/hadoop/目录下产生完全隐藏的文件夹.ssh 进入.ssh文件夹，然后将id_rsa.pub复制到authorized_keys文件，命令如下 cd .ssh # 进入.ssh目录cp id_rsa.pub authorized_keys #生成authorized_keys文件 ssh localhost #测试无密码登陆，第一可能需要密码ssh node1 #同上一个命令一样 node1无密码登陆的效果：（4）配置node1无密码访问node2 在node2中执行以下命令： su husercd /home/huser ssh-keygen -t rsa #生成公钥和私钥，一路回车 在node1中进入/home/huser/.ssh目录中，复制authorized_keys到node2的.ssh文件夹中 执行以下命令 scp authorized_keys husernode2:/home/huser/.ssh #复制authorized_keys到node2的.ssh目录中去操作过程中需要输入node2 huser的密码。操作成功后的界面如下：5、配置hadoop（1）配置conf/hadoop-env.sh文件切换到hadoop-1.2.1/conf目录下，在hadoop-env.sh添加JAVA_HOME路径（2）配置/conf/hdfs:/node1:49000hadoop.tmp.dir/home/huser/hadoop_home/是NameNode的URI。hdfs:/主机名:端口/hadoop.tmp.dir ：Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令（3）配置/conf/mapred-site.xmlmapred.job.trackernode1:49001mapred.local.dir/home/huser/hadoop_home/varmapred.job.tracker是JobTracker的主机（或者IP）和端口。主机:端口。其中/home/hadoop/hadoop_home/var目录需要提前创建（4）配置/conf/.dir/home/huser/name1 dfs.data.dir/home/huser/data1 .dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。此处的name1和data1等目录不能提前创建，如果提前创建会出问题（5）配置master和slaves主从节点配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。vi masters：输入：node1vi slaves：输入：node2配置结束，把配置好的hadoop文件夹拷贝到其他集群的机器中，并且保证上面的配置对于其他机器而言正确，scp -r /home/huser/hadoop-1.2.1 husernode2:/home/huser/6、Hadoop启动与测试（1）格式化一个新的分布式文件系统cd hadoop-1.2.1bin/hadoop namenode -format #格式化文件系统（2）启动所有节点bin/start-all.sh（3）查看集群的状态：bin/hadoop dfsadmin -report（4）Hadoop测试 浏览NameNode和JobTracker的网络接口，它们的地址默认为： NameNode - http:/node1:50070/JobTracker - http:/node1:50030/（5）验证a.验证1要想检查守护进程是否正在运行，可以使用 jps 命令（这是用于 JVM 进程的ps 实用程序）。这个命令列出 5 个守护进程及其进程标识符。 将输入文件拷贝到分布式文件系统： bin/hadoop fs -mkdir input #创建input目录 bin/hadoop fs -put conf/core-site.xml input #拷贝文件到input目录 bin/hadoop jar hadoop-examples-1.2.1.jar grep input output dfsa-z #使用Hadoop运行示例b.验证2bin/hadoop fs -mkdir wordcountbin/hadoop fs -mkdir wordcount/input将这两个文件放在hadoop目录下，然后执行下面两个操作，将文件存放到DFS上：bin/hadoop fs -put file01 wordcount/inputbin/hadoop fs -put file02 wordcount/inputbin/hadoop dfs -cat wordcoun