HDFS架构原理分析

HDFS优点：

高容错性	数据自动保存多个副本 副本丢失后，自动恢复
适合批处理	移动计算而非数据 数据位置暴露给计算框架
适合大数据处理	GB、TB、甚至PB级别数据 百万规模以上的文件数量 10K+节点
可构建在廉价机器上	可构建在廉价机器上

HDFS缺点：

低延迟数据访问	比如毫秒级 低延迟与高吞吐率
小文件存取	占用NameNode大量内存 寻道时间超过读取时间
并发写入、文件随机修改	一个文件只能有一个写者 仅支持append

HDFS架构：



HDFS架构图
主节点：NameNode
从节点：DataNode
Secondary NameNode节点：辅助NameNode完成一些工作。

HDFS数据存储单元(black)：

- 文件被切分成固定大小的数据块

  默认数据块大小为64MB（hadoop1.x），可配置

  若文件大小不到64MB，则单独存成一个block

- 一个文件存储方式

  按大小被切分成若干个block，存储到不同节点上

  默认情况下每个block都有三个副本

- Block大小和副本数通过Client端上传文件时设置，文件上传成功后副本数可以变更，Block Size不可变更。



HDFS设计思想

NameNode(NN):

- NameNode主要功能：接受客户端的读写服务

- NameNode保存metaData信息，包括：

  文件owership和permissions

  文件包含哪些Block

  Block保存在哪个DataNode（由DataNode启动时上报）

- NameNode的medadata信息在启动后会加载到内存

  metadata存储到磁盘文件名为"fsimage"

  Block的位置信息不会保存到fsimage(其是保存在内存中)

  edits记录对medadata的操作日志

SecondNameNode(SNN):

- 它不是NN的备份（但可以备份），它的主要工作是帮助NN合并edits log，减少NN启动时间。

- SNN执行合并时机

  根据配置文件设置的时间间隔fs.checkpoint.period 默认为3600秒

  根据配置文件设置edits log大小fs.checkpoing.size规定edits文件的最大值默认是64MB



SNN合并流程

DataNode(DN)：
- 存储数据(Block)
- 启动DN线程的时候会向NN汇报block信息
- 通过向NN发送心跳保持与其联系(3秒一次)，如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其他   DN

HDFS写入流程：



HDFS写入流程图

HDFS读流程：



HDFS读流程图

HDFS文件权限：

- 与Linux文件权限类似

  r:read, w:write, x:execute,权限x对于文件忽略，对于文件夹表示是否允许访问其内容

- 如果Linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就只zhangsan 

HDFS安全模式：

- NameNode启动的时候，首先将fsimage载入内存，并执行编辑日志(edits)中的各项操作。

- 一旦在内存中成功建立文件系统元数据的映射，则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。

- 此刻NameNode运行在安全模式。即NameNode的文件系统对于客户端来说是只读的。

- 在此阶段NameNode收集各个DataNode的报告，当数据块到最小副本数以上时，会被认为是安全的，在一定比例(可设置)的数据块被确定为安全后，再过若干时间，安全模式结束。

- 当检测到副本数不足的数据块，该块会被复制达到最小副本数，系统中数据块的位置并不是由NameNode维护的，而是以块列表形式存储在DataNode中。