hadoop多次格式化后,导致datanode启动不了
2016-03-02 13:23
609 查看
hadoop namenode -format
多次格式化后,datanode启动不了
0.20.2版本解决方式:
1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid;
2、在两个数据节点修改上dfs.data.dir配置的路径下current文件夹中的VERSION文件namespaceid与名称节点保持一致
2.20版本解决
/data/hadoop/dfs/name/current/VERSION
用name下面的clusterID,修改datanode的/data/hadoop/dfs/data/current/VERSION 里面的clusterID
每次格式化,name下面的VERSION的clusterID会产生一个新的ID,要去修改各个节点的VERSION的clusterID
……/dfs/data/current
storageID=DS-1959445666-10.161.138.100-50010-1386493413986 clusterID=CID-64a3a726-29e4-4d80-86a6-035ef33a225b cTime=0 storageType=DATA_NODE layoutVersion=-47
……/dfs/name/current/VERSION
#Fri Jan 03 10:37:48 CST 2014 namespaceID=1667984727 clusterID=CID-42c6d540-c3ca-44df-95e8-01a6d87effb5 cTime=0 storageType=NAME_NODE blockpoolID=BP-220196921-10.161.138.100-1388716668863 layoutVersion=-47
相关文章推荐
- linux Hadoop 探索-hadoop单机模式
- HDFS如何检测并删除多余副本块
- sparkR操作HDFS上面的CSV文件
- HDFS文件系统上传时序图 PB级文件存储时序图
- HDFS 文件系统流程图。PB级文件存储时序图。
- HDFS如何检测并删除多余副本块
- hdfs常用命令
- 【漫画解读】HDFS存储原理
- HDFS一些参数的设置说明
- Kafka+Storm+HDFS整合实践
- 实现对HDFS增删改查CRUD等操作
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTra
- Hadoop 伪分布式安装
- linux 编译hadoop 源码
- 【Flume】【源码分析】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
- Spark 读取HDFS存入 HBase(1.0.0 新 API)
- HBASE 与 HDFS
- HDFS学习笔记(1)初探HDFS
- hadoop fs shell命令
- hadoop环境搭建总结