HDFS NameNode与DataNode介绍
2013-02-02 09:57
706 查看
NameNode启动后,会在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/本地文件系统下生成in_use.lock文件。
该文件存在则为本机已启动NameNode进程。该文件内容是:进程号@主机名。表示已经在本机上启动了某个进程号,该进程号是NameNode进程。这在hadoop1.x版本中是空内容。
在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个VERSION文件,该文件中有个namespaceID=xxx。该namespaceID是在首次格式
化hdfs时生成,它表示了当前hdfs文件系统的版本。且每个DataNode上的与NameNode交互时会验证该ID,如果一致时才可以成功交互。如果多次格式化,NameNode的namespaceID
会被改掉,而DataNode的namespaceID不会改掉,当DataNode持有首次格式化的namespaceID与多次格式化后的NameNode的namespaceID匹配时不相同则无法正常通信。namespaceID
在需要hdfs联盟时会用到。
在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个seen_taid,该文件是事务ID,文件内容是数字。
在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有edits和fsimage两个文件。
该文件存在则为本机已启动NameNode进程。该文件内容是:进程号@主机名。表示已经在本机上启动了某个进程号,该进程号是NameNode进程。这在hadoop1.x版本中是空内容。
在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个VERSION文件,该文件中有个namespaceID=xxx。该namespaceID是在首次格式
化hdfs时生成,它表示了当前hdfs文件系统的版本。且每个DataNode上的与NameNode交互时会验证该ID,如果一致时才可以成功交互。如果多次格式化,NameNode的namespaceID
会被改掉,而DataNode的namespaceID不会改掉,当DataNode持有首次格式化的namespaceID与多次格式化后的NameNode的namespaceID匹配时不相同则无法正常通信。namespaceID
在需要hdfs联盟时会用到。
在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个seen_taid,该文件是事务ID,文件内容是数字。
在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有edits和fsimage两个文件。
相关文章推荐
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
- 在启动HDFS时,针对集群中namenode无法识别datanode的问题的解决方法
- HDFS中的NameNode 和 DataNode
- hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker 、TaskTracker介绍
- Hadoop之HDFS架构(NameNode和DataNode)
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hdfs haadmin使用,DataNode动态上下线,NameNode状态切换管理,数据块的balance,HA下hdfs-api变化(来自学习资料)
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- 018 HDFS中,namenode与datanode的交互
- Hadoop 之 数据流——客户端与HDFS,namenode和datanode 之间的数据流
- 【Hadoop】HDFS三组件:NameNode、SecondaryNameNode和DataNode
- Ambari更改HDFS的Datanode和Namenode路径发生的错误
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制
- Hadoop原理---HDFS中的NameNode和DataNode
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- HDFS:NameNode概述,DataNode 概述