大讲台谈Hadoop启动常见的问题及解决方案(一)

1、大讲台谈Hadoop启动常见的问题及解决方案(一)本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助。问题1：启动Hadoop后发现datanode无法启动?问题描述：我启动hadoop的时候，datanode 启动不了，发现日志里面报错：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/hadoop/hadoop-1.0.3/data: nameno

2、de namespaceID = ; datanode namespaceID = at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNo

3、de.java:385) at org.apache.hadoop.hdfs.server.datanode.DataNode.(DataNode.java:299) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521) at org.apache.hadoop.hdfs.server.datanode

4、.DataNode.createDataNode(DataNode.java:1539) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)解决方案：（1）停掉集群服务：sbin/stop-all.sh（2）在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.datanod

5、e.data.dir目录。(3)格式化namenode：bin/hadoop namenode -format (4)重新启动集群：sbin/start-all.sh问题2：每次启动hadoop之前需要每次都运行一次hadoop namenode -format 吗?问题描述：每次启动hadoop之前需要每次都运行一次hadoopnamenode-format吗？解决方案： 第一次安装hadoop集群的时候，需要运行hadoop namenode -format格式化文件系统，初始化一些目录和文件。后面每次启动hadoop集群的时候，就不需要每次运行hadoop namenode -format。除非不得已，否则不要轻易格式化文件系统，格式化文件系统会建立新的dfs name dir目录，造成该目录下之前数据的丢失。问题3：hadoop可以从其它数据库读取数据吗？问题描述：我们公司让搞hadoop，我想知道的是hadoop可以从其它数据库读取数据吗？解决方案：hadoop可以从数据库读取数据。 hadoop技术推出一度曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。为 此，hadoo