hadoop安装指南及基本命令.docx

Hadoop安装指南安装JDK（参考jdk的安装文档）关闭防火墙：（1）重启后永久性生效： 开启：chkconfigiptableson关闭：chkconfigiptablesoff（2）即时生效，重启后失效：开启：serviceiptablesstart关闭：serviceiptablesstop设置DNS解析Hadoop集群之间通过主机名互相访问，所以在安装时需要设置dns解析Vi /etc/hosts 在最后一行加上IP地址和主机名，中间一空格隔开设置SSH免密码登陆： 命令“ssh-keygen t rsa” 表示使用rsa加密方式生成密钥，回车后会提示三次输入信息，直接回车就OK命令“cp id_rsa.pub authorized_keys”用于生成授权文件验证ssh无密码登陆命令：ssh localhost安装hadoop安装程序包将hadoop-1.1.2.tar.gz 放在usr/hadopp目录下命令: tar xzvf Hadoop-1.1.2.tar.gz设置环境变量Vi /etc/profile 在最后面输入：Export HADOOP_HOME=/usr/Hadoop/Hadoop-1.1.2Export PATH=$PATH:$HADOOP_HOME/bin修改hadoop配置文件1.hadoop-env.shexport JAVA_HOME=/usr/local/jdk/2.core-site.xml hdfs:/hadoop0:9000 change your own hostname hadoop.tmp.dir /usr/local/hadoop/tmp 3.hdfs-site.xml dfs.replication 1 dfs.permissions false 4.mapred-site.xml mapred.job.tracker hadoop0:9001 change your own hostname Hadoop集群环境的搭建1、准备机器一台master，若干台slave，配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访 ，当前准备三台机器：对三台机器分别安装hadoop环境，SSH秘密登陆和DNS解析。3 node1 （master） 4 node2 （slave1） 5 node3 （slave2）机器名IP地址作用Node1 3 NameNode、JobTrackerNode2 3 DataNode、TaskTrackerNode3 3 DataNode、TaskTracker将ssh生成的公钥相互拷贝到对方机器上hadoophadoop .ssh$ scp id_rsa.pub node2:/home/hadoop/.ssh/hadoophadoop .ssh$ scp id_rsa.pub node3:/home/hadoop/.ssh/将拷贝过来的id_rsa.pub中的内容追加到authorized_keys，以确保机器之间可以通过ssh无密码登陆cat id_rsa.pub authorized_keys测试：ssh node1或者ssh node2 不需要密码可直接登陆则安装成功。2分别安装hadoop环境配置masters和slaves主从结点配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。vi masters：输入：node1vi slaves：输入：node2node33格式化分布是系统输入命令：hadoop namenode format4启动所有节点输入命令：start-all.sh测试验证安装是否成功执行命令：hadoop namenode format启动hadoop程序 可以看到正在启动进程，分别namenode、datanode、secondarynamenode、jobtracker、tasktracker执行命令：start-all.sh 关闭hadoop程序执行命令：stop-all.sh在启动hadoop之后再浏览器中访问：http:/localhost:50070HDFS文件操作命令启动与关闭 启动Hadoop 1.进入HADOOP_HOME目录。 2.执行sh bin/start-all.sh 关闭HADOOP 1.进入HADOOP_HOME目录。 2.执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。 查看文件列表 查看hdfs中/user/admin/aaron目录下的文件。 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs -ls /user/admin/aaron 这样，我们就找到了hdfs中/user/admin/aaron目录下的文件了。 我们也可以列出hdfs中/user/admin/aaron目录下的所有文件（包括子目录下的文件）。 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs -lsr /user/admin/aaron 创建文件目录 查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir 删除文件 删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete 删除hdfs中/user/admin/aaron目录以及该目录下的所有文件 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs -rmr /user/admin/aaron 上传文件 上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs put /home/admin/newFile /user/admin/aaron/ 下载文件 下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs get /user/admin/aaron/newFile /home/admin/newFile 查看文件 我们可以直接在hdfs中直接查看文件，功能与类是cat类似 查看hdfs中/user/admin/aaron目录下的newFile文件 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop fs cat /home/admin/newFile MAPREDUCE JOB操作 提交MAPREDUCE JOB 原则上说，Hadoop所有的MapReduce Job都是一个jar包。 运行一个/home/admin/hadoop/job.jar的MapReduce Job 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop jar /home/admin/hadoop/job.jar jobMainClass jobArgs 杀死某个正在运行的JOB 假设Job_Id为：job_201005310937_0053 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop job -kill job_201005310937_0053 更多HADOOP的命令 上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。 1.进入HADOOP_HOME目录。 2.执行sh bin/hadoop 我们可以看到更多命令的说明信息： Usage: hadoop -config confdir COMMAND where COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client fsck run a DFS filesystem checking utility fs run a generic filesystem user client balancer run a cluster balancing utility jobtracker run the MapReduce job Tracker node pipes run a Pipes job tasktracker run a MapReduce task Tracker node job manipulate MapReduce jobs queue get information regarding JobQueues version print the version jar run a jar file distcp copy file or dir