Hadoop分布式文件系统个人通俗理解
2014-11-21 11:01
204 查看
Hadoop分布式文件系统分为三部分:ClientNode,NameNode,DataNode(n个),之间通过TCP/IP进行通信。
CN:1.提供给客户接口,向NN发送读写等命令
2.根据NN提供的信息,向多个DN中写入,或从中读取。
NN:1.管理文件系统的名字空间
2.管理CN对文件的访问
DN:负责管理节点的文件存储
Operation:
Read:1.CN向NN发送读取文件的请求
2.NN告诉CN,你要读的文件都以什么样的顺序,存储在哪些DN中
3.CN根据NN提供的信息,按顺序去读相应的DN。(一个文件被存储在多
个DN中)
Write:1.CN向NN发送写文件的请求
2.NN根据CN要写的文件的大小以及存储该文件的DN的情况,向CN提供
DN的信息
3.CN将文件分成多份,把每一份按顺序写到每一个DN中。(每次只能有一 个写入者,并且写入应一气呵成)
Others:图中应该有一个DN备份的过程,这是Hadoop文件系统的一种容错的安全机制。
CN:1.提供给客户接口,向NN发送读写等命令
2.根据NN提供的信息,向多个DN中写入,或从中读取。
NN:1.管理文件系统的名字空间
2.管理CN对文件的访问
DN:负责管理节点的文件存储
Operation:
Read:1.CN向NN发送读取文件的请求
2.NN告诉CN,你要读的文件都以什么样的顺序,存储在哪些DN中
3.CN根据NN提供的信息,按顺序去读相应的DN。(一个文件被存储在多
个DN中)
Write:1.CN向NN发送写文件的请求
2.NN根据CN要写的文件的大小以及存储该文件的DN的情况,向CN提供
DN的信息
3.CN将文件分成多份,把每一份按顺序写到每一个DN中。(每次只能有一 个写入者,并且写入应一气呵成)
Others:图中应该有一个DN备份的过程,这是Hadoop文件系统的一种容错的安全机制。
相关文章推荐
- Hadoop分布式文件系统个人通俗理解
- Hadoop二次排序的个人理解
- Hadoop MapReduce编程的一些个人理解
- hadoop个人理解
- 深入理解HDFS:Hadoop分布式文件系统
- 通俗理解LSTM的内部门操作(个人理解,可能不科学)
- Hadoop 通俗理解
- 深入理解HDFS:Hadoop分布式文件系统
- 设计模式之个人通俗理解
- hadoop以及相关组件介绍以及个人理解
- 理解Hadoop分布式文件系统HDFS(二)
- 个人对于堆栈的理解(简单通俗)
- 参数估计(个人通俗理解)
- 理解Hadoop分布式文件系统HDFS(一)
- Hadoop MapReduce WordCount v2.0结合个人理解进行注释
- hadoop二次排序的个人理解
- Hadoop MapReduce编程的一些个人理解
- 假设检验(通俗个人理解)
- 【封装·继承·多态】个人通俗理解
- 关于Ndis驱动的一点个人理解