经典漫画讲解HDFS原理
2016-03-16 14:34
621 查看
http://blog.chinaunix.net/uid-27105712-id-3274395.html
分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。
1、三个部分: 客户端、nameserver(可理解为主控和文件索引类似linux的inode)、datanode(存放实际数据的存server)
2、如何写数据过程
3、读取数据过程
4、容错:第一部分:故障类型及其检测方法(nodeserver 故障,和网络故障,和脏数据问题)
5、容错第二部分:读写容错
6、容错第三部分:dataNode 失效
7、备份规则
8、结束语
分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。
1、三个部分: 客户端、nameserver(可理解为主控和文件索引类似linux的inode)、datanode(存放实际数据的存server)
2、如何写数据过程
3、读取数据过程
4、容错:第一部分:故障类型及其检测方法(nodeserver 故障,和网络故障,和脏数据问题)
5、容错第二部分:读写容错
6、容错第三部分:dataNode 失效
7、备份规则
8、结束语
相关文章推荐
- 伪分布重新格式化hdfs
- HDFS下载报错NullPointerException
- hdfs file md5 计算,实现本地与hdfs同步文件
- hdfs笔记
- HDFS原理分析(一)
- HDFS体系结构和操作(第六讲)
- HDFS分布式文件系统(伪分布式环境搭建)(第五讲)
- HDFS源码分析心跳汇报之整体结构
- hadoop环境搭建及修改配置文件(第四讲)
- Hadoop:适合大数据的分布式存储与计算平台(第三讲)
- 上传--下载HDFS文件并指定文件物理块的大小
- HDFS缓存机制
- elasticsearch之hadoop插件使用
- 运行mrunit报错问题解决
- HDFS源码分析DataXceiver之读数据块
- hadoop之VMware下centos的系统安装及虚拟机网络配置(第一讲笔记)
- HDFS均衡操作分析
- hdfs数据误删分析与恢复
- scala 删除hdfs文件demo
- HDFS+MapReduce+Hive+HBase十分钟快速入门