hadoop datanode重启出现namenode的clusterID和datanode的不一致。
2016-05-10 15:35
537 查看
日志报出的错误是这样的:
解决方法:
首先要确认你的数据文件夹是正确的。文件夹权限是正确的。
然后删除datanode里面的数据,不要删除文件夹。删除里面的文件就行了。
这样重启datanode的时候会重新去生成文件。
引起这个问题,可能是重启namenode或者format namenode的时候,datanode是死的。所以引起datanode和namenode上面的数据不一致。
016-05-10 15:14:05,620 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (storage id DS-6116241-10.20.18.160-50010-1462417536805) service to cdhhadoop1/10.20.18.158:8020 java.io.IOException: Incompatible clusterIDs in /data/1/dfs/dn: namenode clusterID = CID-dc4b2cf0-4676-4517-ab93-dacbcde16e04; datanode clusterID = CID-ac9d3097-75ad-45b5-8af3-b0e930400956 at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:407) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219) at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:916) at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:887) at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:311) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:218) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:660) at java.lang.Thread.run(Thread.java:745) 2016-05-10 15:14:05,622 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (storage id DS-6116241-10.20.18.160-50010-1462417536805) service to cdhhadoop1/10.20.18.158:8020 2016-05-10 15:14:05,624 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN java.lang.Exception: trace at org.apache.hadoop.hdfs.server.datanode.BPOfferService.getBlockPoolId(BPOfferService.java:155) at org.apache.hadoop.hdfs.server.datanode.BlockPoolManager.remove(BlockPoolManager.java:91) at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdownBlockPool(DataNode.java:846) at org.apache.hadoop.hdfs.server.datanode.BPOfferService.shutdownActor(BPOfferService.java:387) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.cleanUp(BPServiceActor.java:487) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:683) at java.lang.Thread.run(Thread.java:745) 2016-05-10 15:14:05,624 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (storage id DS-6116241-10.20.18.160-50010-1462417536805) 2016-05-10 15:14:05,624 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN java.lang.Exception: trace at org.apache.hadoop.hdfs.server.datanode.BPOfferService.getBlockPoolId(BPOfferService.java:155) at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdownBlockPool(DataNode.java:848) at org.apache.hadoop.hdfs.server.datanode.BPOfferService.shutdownActor(BPOfferService.java:387) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.cleanUp(BPServiceActor.java:487) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:683) at java.lang.Thread.run(Thread.java:745) 2016-05-10 15:14:07,624 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode 2016-05-10 15:14:07,626 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0 2016-05-10 15:14:07,628 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down DataNode at cdhhadoop3/10.20.18.160 ************************************************************/
解决方法:
首先要确认你的数据文件夹是正确的。文件夹权限是正确的。
然后删除datanode里面的数据,不要删除文件夹。删除里面的文件就行了。
这样重启datanode的时候会重新去生成文件。
引起这个问题,可能是重启namenode或者format namenode的时候,datanode是死的。所以引起datanode和namenode上面的数据不一致。
相关文章推荐
- ReactNative NodeJs v5.7.0稳定版官方下载
- node.js常用方法
- Nodejs 与MySQL交互(felixge/node-mysql)
- 求教——使用node做表单,刷新浏览器页面,浏览器为什么会重复提交上次所填的信息
- leetcode_swap node in pairs
- nodejs 调试 node-inspector包
- 使用Java程序来获得某个集群的NameNode或DataNode的相关信息
- DOM中的node与element的区别
- nodejs的 new String
- Web开发者之路(二):开始用NodeJS
- 在nodeJs的Express框架下用TypeScript编写router路由出现import关键字错误的解决方案
- Node.js 创建第一个应用(2)
- Node.js 安装配置(1)
- 从零开始nodejs系列文章
- 面试之路(28)-反转链表(reverse ListNode)
- 面试之路(28)-反转链表(reverse ListNode)
- 面试之路(28)-反转链表(reverse ListNode)
- node crypto sha192 翻译为java
- 去掉 sudo 安装和运行 node 模块的方法
- NodeJS学习笔记之FS文件模块