hadoop配置中常见问题.docx

（一） ssh登录无法登录解决办法：配置ssh无密码登录，然后利用ssh的用户来进行登录，不要使用非ssh用户登录。（二） scp -r id_rsa.pub hadoopslave1:/home/hadoop/.ssh/authorized_keys_m 无法复制解决办法：无法网络复制，主要原因是ssh中的 etc/ssh/sshd_config 中的PasswordAuthentication no 改为 PasswordAuthentication yes然后用要复制的用户密码登录，就可以。（三） 在安装Hadoop软件的时候，要注意：请使用Hadoop用户登录来安装，以防安装完成后配置有问题。（四） 修改的hadoop 几个文件几个文件分别是：masters、slaves、hadoop-en.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。修改的格式分别是：1. Masters /设置master的机器名或IPmaster2. Slaves /设置slave的机器名或IPslave1slave2slave33. hadoop-en.sh /设置本机的java安装的目录添加一句:export JAVA_HOME=/usr/java/jdk_4. core-site.xml /设置本机的namenode的端口号和临时文件的目录 hdfs:/42:9000 hadoop.tmp.dir /home/hadoop/tmp/ 5. hdfs-site.xml /设置hadoop数据备份的数量，例如为2。还有namenode的name持久文件和datanode的data持久文件、以及通过的http的地址。 dfs.replication 2 .dir /home/hadoop/name/ dfs.data.dir /home/hadoop/data/ dfs.http.address 42:50070 6. mapred-site.xml /设置hadoop的jobtracker的运行端口 mapred.job.tracker hdfs:/master:9001/ （五） 利用 hadoop namenode format 命令格式化namenode时有错误。现象：此错误在执行完命令之后，不易看出，可以在/hadoop-0.20.2/logs中的日志文件中看到namenode的log日志文件。里面会出现FSnameSystem initialization failed和 namenode is not formated错误解决办法：我们在格式化namenode之前，不要建立 .dir 的name目录和tmp目录，因为hadoop启动的时候会自动创建，否则会出错。只要将先前有创建的name 和 tmp 目录删除就可以了。（六） 利用 start-all.sh 命令启动hadoop时候出现多种问题（六1）如果是使用hadoop 用户执行此命令时，可能会出现的问题是：Slave1:mkdir /home/hadoop/hadoop-0.20.2./logs/.权限不够Slave2:mkdir /home/hadoop/hadoop-0.20.2./logs/.权限不够解决办法：卸载hadoop，然后注销，使用hadoop用户登录，再一次安装hadoop，然后再配置hadoop文件。重新执行命令，但是在执行这些命令时候，要保证master和slave各机子都安装了hadoop，也进行了相关的配置。（六2）如果使用root用户来执行此命令，可能会出现的问题：Slave1：permission denied （就是权限被拒绝）Slave2：permission denied 解决办法：由于使用start-all.sh命令是要使用ssh的通道，所以不能使用root用户来进行配置，要使用hadoop的有配置ssh的用户来进行执行上述命令（六3）如果执行成功的时候，会显示以下内容而且使用 jps 命令查看启动进程可以看到Namenode、datanode、jobtarcker、tasktarcker、jps、secondnamenode六个进程如果你只看到Namenode、jobtarcker、jps、secondnamenode 这四个进程，而且slave各机子中的datanodelog没有出现错误，也是可以的。然后你可以使用 netstat tnl 命令来查看 端口的运行情况 查看 9000、9001、50070、50030 四个端口是否在运行用然后在浏览器上输入 http:/master：50070 和 http:/master:50030 可以看到 namenode 和 jobtarcker 的管理页面，则成功，但是还要进行其他相关的测试。（七） Jps命令找不到解决办法： 在安装好后运行jps,报错为bash:jps command not found,仔细查看才知道，原来jps是jdk中bin目录下的一个可执行的文件，类似于javac,那么这就不难找到错误，既然找不到就说明不认识路，那问题的所在就直指环境变量了。最后果然是一开始配置的环境变量出问题了。如果按上面配置就不会错了。Linux中的环境变量为系统或应用程序调用系统的可执行文件指明了路径，而/etc/profile里的环境变量的配置是为整个系统(包括root和其他用户)提供了整体路径指示。针对不同的用户在他们各自的主目录下(即/home/uesrname)的隐藏文件.bash_profile和.bashrc为他们的用户自己也设