HDFS详细分析二

1）HDFS读过程

DistributedFileSystem -> FSDataInputStream -> DFSClient.open(RPC通信机制) -> NN.open

HDFS写过程
DIstributedFileSystem -> FSDataOutputStream -> DFSClient.create(RPC通信机制) -> NN.create

2）SecondaryNamenode的作用与机制
SecondaryNamenode不是完全意义上的Namenode的一个备份
拉取FSimage和edits文件在SNN的内存中进行合并
fs.checkpoint.period
fs.checkpoint.size
fs.checkpoint.dir

checkpoint node (和secondaryNamenode一致，Hadoop2中secondaryNamenode已被此替代)

backup node 完全意义上的Namenode备份

3）一旦丢失Namenode或者元数据信息，我们可以通过SecondaryNamenode的检查点目录回复我们的元数据信息
hadoop namenode -importCheckpoint
hadoop-daemon.sh start namenode

4)机架感知
默认情况下所有的Datanode认为是处于同一个机架，不管物理上是否处于用一个机架
/default-rack
如果需要配置真正的网络拓扑结构，需要配置以下文件：
topology.script.file.name属性值是一个脚本，这个脚本里面写的是真正意义上的网络拓扑结构
/d1/reck1/dn1