HDFS的主要设计理念
2016-06-30 15:12
239 查看
一、HDFS的主要设计理念
1、存储超大文件
这里的“超大文件”是指几百MB、GB甚至TB级别的文件。
2、最高效的访问模式是 一次写入、多次读取(流式数据访问)
HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据,因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。
3、运行在普通廉价的服务器上
HDFS设计理念之一就是让它能运行在普通的硬件之上,即便硬件出现故障,也可以通过容错策略来保证数据的高可用。
1、存储超大文件
这里的“超大文件”是指几百MB、GB甚至TB级别的文件。
2、最高效的访问模式是 一次写入、多次读取(流式数据访问)
HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据,因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。
3、运行在普通廉价的服务器上
HDFS设计理念之一就是让它能运行在普通的硬件之上,即便硬件出现故障,也可以通过容错策略来保证数据的高可用。
相关文章推荐
- Hadoop Kerberos安全机制介绍
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
- HDFS Block Replica Placement实现原理
- HDFS
- HDFS中的文件许可
- HDFS节点内数据平衡:DiskBalancer
- Hadoop部署心得
- Hadoop维护心得
- 为Hadoop集群增加新节点
- HDFS详解
- 为Hadoop集群撤销节点
- 基于HDFS,Spark Stream的实时统计
- HDFS的常用操作
- HDFS运行原理(上传文件 集群)
- HDFS常用命令
- Tju 4119. HDFS
- hadoop实战-06.ubuntu14.0安装hadoop 2.7.1( 3台主机) 小集群
- HDFS学习笔记(2)HDFS运行机制
- Flume监听文件目录sink至hdfs配置
- HDFS文件浏览器(支持kerberos认证)