HDFS文件系统中存储块为何设置为64MB或者128MB或256MB?
1.HDFS系统文件引入分块存储
磁盘是由数据块组成的,一般默认大小是512字节,构建磁盘之上的文件系统一般是磁盘块的整数倍。
在HDFS系统中,为了便于文件的管理和备份,引入分块概念(block)。这里的块是HDFS存储系统当中的最小单位,HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时,若文件大小大于设置的块大小,则该文件会被切分存储为多个块,多个块可以存放在不同的DataNode上,整个过程中 HDFS系统会保证一个块存储在一个datanode上 。但值得注意的是 如果某文件大小没有到达64MB,该文件并不会占据整个块空间 。
HDFS中的NameNode会记录在上述文件分块中文件的各个块都存放在哪个dataNode上,这些信息一般也称为元信息(MetaInfo) 。元信息的存储位置由dfs.name.dir指定。
####################################################################################2.使用存储块的好处
假如上传的一个文件非常大,没有任何一块磁盘能够存储,这样这个文件就没法上传了,如果使用块的概念,会把文件分割成许多块,这样这个文件可以使用集群中的任意节点进行存储。
数据存储要考虑容灾备份,以块为单位非常有利于进行备份,HDFS默认每个块备份3份,这样如果这个块上或这个节点坏掉,可以直接找其他节点上的备份块。还有就是,有的时候需要将备份数量提高,
这样能够分散机群的读取负载,因为可以在多个节点中寻找到目标数据,减少单个节点读取。
################################################################################################3.为什么64MB或者128MB或256MB是最优的选择?
原因:(普通文件系统的数据块大小一般为4KB)减少硬盘寻道时间(disk seek time) HDFS设计前提是支持大容量的流式数据操作,所以即使是一般的数据读写操作,涉及到的数据量都是比较大的。
假如数据块设置过少,那需要读取的数据块就比较多,由于数据块在硬盘上非连续存储,普通硬盘因为需要移动磁头,所以随机寻址较慢,读越多的数据块就增大了总的硬盘寻道时间。当硬盘寻道时间比io时间还要长的多时,那么硬盘寻道时间就成了系统的一个瓶颈。合适的块大小有助于减少硬盘寻道时间,提高系统吞吐量。
减少NameNode内存消耗。
对于HDFS,他只有一个Namenode节点,他的内存相对于Datanode来说,是极其有限的。
然而,namenode需要在其内存FSImage文件中中记录在Datanode中的数据块信息,假如数据块大小设置过少,而需要维护的数据块信息就会过多,那Namenode的内存可能就会伤不起了。
##################################################################################################4.为什么不能远大于64MB或者128MB或256MB?
这里主要从上层的MapReduce框架来讨论
(1)Map崩溃问题:
系统需要重新启动,启动过程需要重新加载数据,数据块越大,数据加载时间越长,系统恢复过程越长。
(2)监管时间问题:
主节点监管其他节点的情况,每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔,主节点记录下这个节点状态为死亡,
并把分配给这个节点的数据发到别的节点。对于这个“预设的时间间隔”,这是从数据块的角度大概估算的。假如是对于64MB的数据块,我可以假设你10分钟之内无论如何也能解决了吧,
超过10分钟也没反应,那就是死了。可对于640MB或是1G以上的数据,我应该要估算个多长的时间呢?估算的时间短了,那就误判死亡了,更坏的情况是所有节点都会被判死亡。
估算的时间长了,那等待的时间就过长了。所以对于过大的数据块,这个“预设的时间间隔”不好估算。
(3)Map任务上:
因为MapReducer中一般一个map处理一个块上的数据,如果块很大,任务数会很少(少于集群中的节点个数)这样执行效率会明显降低。
###################################################################################5.为什么分片大小需要与HDFS数据块(分块)大小一致
hadoop将mapReduce的输入数据划分为等长的小数据块,称为输入分片或者分片,hadoop为每个分片构建一个map任务。
hadoop在存储有输入数据(HDFS中的数据)的节点上运行map任务,可以获得高性能,这就是所谓的数据本地化。所以最佳分片的大小应该与HDFS上的块大小一样,因为如果分片跨越2个数据块,对于任何一个HDFS节点(基本不肯能同时存储这2个数据块),分片中的另外一块数据就需要通过网络传输到map任务节点,与使用本地数据运行map任务相比,效率则更低!
阅读更多- 存储技术SAN、NAS、NFS、DAS、RAW、文件系统、ASM、Exadata、HDFS、LVM、RAID、LUN、Samba
- HDFS 文件系统流程图。PB级文件存储时序图。
- HDFS文件系统和OpenStack swift对象存储有何不同
- HDFS文件系统上传时序图 PB级文件存储时序图
- 5.Flume实时监控读取日志数据,存储hdfs文件系统
- CDH HDFS文件系统垃圾间隔设置
- 将存储在本地的大量分散的小文件,合并并保存在hdfs文件系统中
- 将存储在本地的大量分散的小文件,合并并保存在hdfs文件系统中
- HDFS分布式文件存储系统
- HDFS文件系统和OpenStack swift对象存储有何不同
- Hadoop分布式文件存储系统HDFS高可用HA搭建(何志雄)
- 分布式内存文件系统alluxio的安装,底层存储使用hdfs
- [zz]HDFS文件系统和OpenStack swift对象存储有何不同
- 原因分析如下: 遇到这种情况,很有可能是把一个int型业务数据的 设置setText()或者类似的方法中, 这样Android系统就会主动去资源文件当中寻找, 但是它不是一个资源文件ID, 所
- STS或者eclipse连接hadoop上的HDFS文件系统
- [置顶] Hadoop文件存储系统-HDFS详解以及java编程实现
- lucene索引文件存储在hadoop hdfs文件系统的疑问
- Openfiler配置基于文件系统的网络存储
- kali 双系统设置在/etc/default/grup文件里
- 关于图片或者文件在数据库的存储方式归纳