hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
2017-06-21 21:31
579 查看
点击browserFilesystem。和命令查看结果一样
当我们查看hadoop源代码时,我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量,肯定在其它文件有定义。在core-default.xml中查看到,这两个配置文件有个共同点:
就是不要改动此文件,但能够复制信息到core-site.xml和hdfs-site.xml中改动
usr/local/hadoop 是我存放hadoop目录的地方
几个关于namenode的关键文件
这里的in_use.lock本身没什么东西。可是它标记着这个namenode被使用。不准其它进程调用
current下存放了重要信息,尤其是fsimage。是namenode核心信息
edits用于事务处理
HA措施之中的一个就是备份多个文件信息。能够用逗号隔开多个文件夹保存,注:不能在hdfs-default.xml中直接改动。而应该拷贝到hdfs-site下改动
dfs下的data文件决定datanode存储位置
HA措施之二:secondary用于辅助namenode,合并edits到fsimage。
从secondary恢复数据可能存在部分丢失(类似windows备份点)。但我觉得这里的信息可能储存到了硬盘,而namenode储存的信息可能还包含内存中的信息
HA措施之三:replication。在配置文件里设置副本个数。存在不同datanode上
相关文章推荐
- hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- hadoop web查看集群datanode 信息不全
- [Hadoop异常处理] Namenode和Datanode都正常启动,但是web页面不显示
- Hadoop总结一:基础知识-Namenode,Datanode(非HA高可用性配置)
- Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- 【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- hadoop HA 集群启动发现现datanode没有启动,namenode clusterID与datanode clusterID不兼容,不匹配。
- hadoop 在搭建分布式时遇到DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- 【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop 2.x之HDFS HA讲解之五 HA管理命令、元数据同步和基于QJM方式存储的硬件配置说明
- hadoop Namenode和DataNode架构分析
- Hadoop DataNode用jps查看无法启动的解决办法