HDFS中文件读写的流程
2016-09-13 13:55
295 查看
1.HDFS文件的读取流程:
客户端向NameNode发送文件读取请求,NameNode给客户端返回元数据,就知道文件包含哪些块,以及这些块在哪些DataNode找的到,客户端读取blocks,下载下来后,进行组装。
2.HDFS写入文件的流程
文件拆分成块,通知NameNode.NameNode会找到一些可用的当前在线也有足够磁盘空间的DataNodes,返回给客户端,根据返回的DataNodes,客户端将blocks写入,写入块之后要进行流水线复制,复制完成之后,再更新元数据,告诉NameNode已经完成创建数据块,保证NameNode中的元数据都是最新状态。写完一个block写第二个block同样的流程。
客户端向NameNode发送文件读取请求,NameNode给客户端返回元数据,就知道文件包含哪些块,以及这些块在哪些DataNode找的到,客户端读取blocks,下载下来后,进行组装。
2.HDFS写入文件的流程
文件拆分成块,通知NameNode.NameNode会找到一些可用的当前在线也有足够磁盘空间的DataNodes,返回给客户端,根据返回的DataNodes,客户端将blocks写入,写入块之后要进行流水线复制,复制完成之后,再更新元数据,告诉NameNode已经完成创建数据块,保证NameNode中的元数据都是最新状态。写完一个block写第二个block同样的流程。
相关文章推荐
- HDFS文件读写流程
- HDFS读写文件流程
- HDFS文件读写流程 (转)
- Hadoop_HDFS文件读写代码流程解析和副本存放机制
- hdfs读写文件核心流程详解巧说
- HDFS读写文件流程
- HDFS文件读写流程
- HDFS文件读写流程简单图解
- <hadoop学习历程>--笔记心得4-HDFS文件读写流程
- HDFS读写文件流程
- HDFS文件读写流程
- HDFS文件读写流程
- HDFS中读写文件流程
- HDFS文件读写流程
- HDFS的文件读取与写入流程
- Linux IO子系统和文件系统读写流程
- HDFS上文件处理、Java文件读写
- hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
- [zz]HDFS文件读写 使用c api
- Linux IO子系统和文件系统读写流程