3. hdfs原理分析

1. HDFS （2.0）架构：







2. HDFS 设计思想：

HDFS数据块（block）:文件被切分成固定大小的数据块

默认数据块大小为64MB，可配置
若文件大小不到64MB，则单独存成一个block
为何数据块如此之大

数据传输时间超过寻道时间（高吞吐率）
一个文件存储方式

按大小被切分成若干个block，存储到不同节点上
默认情况下每个block有三个副本
3. HDFS优缺点： 优点：高容错性

数据自动保存多个副本
副本丢失后，自动恢复
适合批处理

移动计算而非数据
数据位置暴露给计算框架
适合大数据处理

GB、TB、甚至PB级数据
百万规模以上的文件数量
10K+节点规模
流式文件访问

一次性写入，多次读取
保证数据一致性
可构建在廉价机器上

通过多副本提高可靠性
提供了容错和恢复机制
缺点：
低延迟数据访问

比如毫秒级
低延迟与高吞吐率
小文件存取

占用NameNode大量内存
寻道时间超过读取时间
并发写入、文件随机修改

一个文件只能有一个写者
仅支持append
4. HDFS 写流程：

5. HDFS 读流程：


6. HDFS副本放置策略：问题： 一个文件划分成多个block，每个block存多份，如何为每个block选择节点存储这几份数据？
Block副本放置策略： 副本1: 同Client的节点上

副本2: 不同机架中的节点上

副本3: 与第二个副本同一机架的另一个节点上
其他副本:随机挑选



HDFS可靠性策略：


7. HDFS典型物理拓扑：


来自为知笔记(Wiz)