我的大数据之路（三）：HDFS文件系统
2016-02-24 00:05
405 查看
数据块（block）：大文件会被分割成多个block进行存储，block大小默认为64MB。每一个block会在多个datanode上存储多份副本，默认是3份
namenode：namenode负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系。
datanode：datanode就负责存储了，当然大部分容错机制都是在datanode上实现的。
元数据备份方案：avatarnode
primary：负责正常业务namenode，也就是为client提供元数据查询和操作。
standby：热备的namenode，完全备份primary的元数据，并对primary做checkpoint
这篇文章讲得比较细/article/5679205.html
namenode：namenode负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系。
datanode：datanode就负责存储了，当然大部分容错机制都是在datanode上实现的。
元数据备份方案：avatarnode
primary：负责正常业务namenode，也就是为client提供元数据查询和操作。standby：热备的namenode，完全备份primary的元数据，并对primary做checkpoint
这篇文章讲得比较细/article/5679205.html
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Develop -- Training(九) -- 分享简单数据
- FZU 1978 Repair the brackets
- 我的大数据之路（二）：从zookeeper说起
- [leetcode Q9] Container With Most Water
- 17996 Daily Cool Run
- linker command failed with exit code 1 (use -v to see invocation)
- hdu 1021 Fibonacci Again
- 【SPOJ-MAIN75】BST again【计数DP】【记忆化搜索】
- studio调用百度MAP的JNI发生的问题: No implementation found for long com.baidu.platform.comjni.map.commonmemcach
- <init>与<clinit>的区别 http://blog.csdn.net/sunmenggmail/article/details/10211395
- mac mail迁移邮件规则
- error-iis-Service Unavailable
- AIM Tech Round (Div. 1) D. Birthday 数学 暴力
- AIDL
- 机器学习系统设计与应用机器学习的建议 机器学习基础(5)
- codeforces 616E. Sum of Remainders 数学
- CritterAI与Recast Navigation寻路
- 217. Contains Duplicate
- POJ 3831 & HDU 3264 Open-air shopping malls（几何）
- POJ 1230 Pass-Muraille#贪心+vector迭代器用法