hadoop分布式环境部署之namenode或datanode启动失败
2012-12-07 16:23
686 查看
bug信息:
namenode
datanode:
用三台ubuntu操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败。
问题:Namenode上namespaceID与datanode上namespaceID不一致。namenode上的问题可能是datanode
bug导致的。
原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。
解决:参考该网址 http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx
给出两种解决方法,我们使用的是第一种解决方法:即:
(1)停掉集群服务
(2)在出问题的datanode节点上删除data目录,data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录,本机器上那个是/var/lib/hadoop-0.20/cache/hdfs/dfs/data/ (注:我们当时在所有的datanode和namenode节点上均执行了该步骤。以防删掉后不成功,可以先把data目录保存一个副本).
(3)格式化namenode.
(4)重新启动集群。
问题解决。
这种方法带来的一个副作用即是,hdfs上的所有数据丢失。如果hdfs上存放有重要数据的时候,不建议采用该方法,可以尝试提供的网址中的第二种方法。
参考:http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx
namenode
org.apache.hadoop.ipc.Server: Error register getProtocolVersion java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion at org.apache.hadoop.metrics.util.MetricsRegistry.add(MetricsRegistry.java:53) at org.apache.hadoop.metrics.util.MetricsTimeVaryingRate.<init>(MetricsTimeVaryingRate.java:89) at org.apache.hadoop.metrics.util.MetricsTimeVaryingRate.<init>(MetricsTimeVaryingRate.java:99) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:523) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953) 2010-01-14 09:32:13,093 INFO org.apache.hadoop.ipc.Server: Error register versionRequest java.lang.IllegalArgumentException: Duplicate metricsName:versionRequest at org.apache.hadoop.metrics.util.MetricsRegistry.add(MetricsRegistry.java:53) at org.apache.hadoop.metrics.util.MetricsTimeVaryingRate.<init>(MetricsTimeVaryingRate.java:89) at org.apache.hadoop.metrics.util.MetricsTimeVaryingRate.<init>(MetricsTimeVaryingRate.java:99) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:523) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
datanode:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: IncompatiblenamespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID =240023870; datanode namespaceID = 1462715681 .
用三台ubuntu操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败。
问题:Namenode上namespaceID与datanode上namespaceID不一致。namenode上的问题可能是datanode
bug导致的。
原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。
解决:参考该网址 http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx
给出两种解决方法,我们使用的是第一种解决方法:即:
(1)停掉集群服务
(2)在出问题的datanode节点上删除data目录,data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录,本机器上那个是/var/lib/hadoop-0.20/cache/hdfs/dfs/data/ (注:我们当时在所有的datanode和namenode节点上均执行了该步骤。以防删掉后不成功,可以先把data目录保存一个副本).
(3)格式化namenode.
(4)重新启动集群。
问题解决。
这种方法带来的一个副作用即是,hdfs上的所有数据丢失。如果hdfs上存放有重要数据的时候,不建议采用该方法,可以尝试提供的网址中的第二种方法。
参考:http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx
相关文章推荐
- hadoop 在搭建分布式时遇到DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- 端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
- hadoop多次格式化后,导致datanode启动不了,怎么办?(伪分布式)
- Hadoop错误1_Hadoop分布式及伪分布式下DataNode不能启动的问题
- 【Hadoop datanode重新加载失败无法启动现象解决方法介绍】
- hadoop多次格式化namenode造成datanode无法启动问题解决
- Hadoop启动namenode和datanode
- Hadoop分布式时远程Datanode无法启动的解决
- Hadoop 2.7.x NameNode重新格式化后导致DataNode无法启动问题
- hadoop 使用start-all.sh启动后,用jps找不到namenode和datanode
- hadoop启动datanode失败
- 重新格式化hadoop的namenode导致datanode无法启动的最简单解决办法
- 【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
- hadoop datanode 无法启动之 namenode ID 不一致解决办法。
- Hadoop学习-错误记录:namenode、datanode、secondarynamenode未启动
- hadoop集群启动时DataNode节点启动失败
- hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
- hadoop 完全分布式 下 datanode无法启动解决方法
- Hadoop 启动节点Datanode失败解决
- hadoop namenode -format 后出现datanode 无法启动故障解决办法