Hadoop如何修改HDFS文件存储块大小
2013-09-10 17:13
190 查看
一、 临时修改可以在执行上传文件命令时,显示地指定存储的块大小。1. 查看当前 HDFS文件块大小我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz 文件存储块大小。1.1 终端命令方式查看[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz
51200单位为B(字节)1.2 或页面方式查看打开haddop datanode节点的hdfs监控页面:http://hadoop01:50070
如下所示:
二、永久修改这个需要修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。如下:修改后参数
把配置同步到其它节点,并重启hdfs。[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.sh
no namenode to stop
hadoop02: stopping datanode
hadoop01: stopping secondarynamenode
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.sh
starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out重新查看TEST/jdk-7u25-linux-x64.gz 文件存储的块大小:
重新上传文件到HDFS,并重命名为 比较用_jdk-7u25-linux-x64.gz
参考资料:http://hadoop.apache.org/docs/r0.18.3/cluster_setup.html#Configuration
51200单位为B(字节)1.2 或页面方式查看打开haddop datanode节点的hdfs监控页面:http://hadoop01:50070
如下所示:
二、永久修改这个需要修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。如下:修改后参数
把配置同步到其它节点,并重启hdfs。[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.sh
no namenode to stop
hadoop02: stopping datanode
hadoop01: stopping secondarynamenode
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.sh
starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out重新查看TEST/jdk-7u25-linux-x64.gz 文件存储的块大小:
重新上传文件到HDFS,并重命名为 比较用_jdk-7u25-linux-x64.gz
参考资料:http://hadoop.apache.org/docs/r0.18.3/cluster_setup.html#Configuration
相关文章推荐
- Hadoop如何修改HDFS文件存储块大小
- Hadoop如何修改HDFS文件存储块大小
- Hadoop配置文件 HDFS垃圾回收,无密码登录和各个服务组件如何配置那台服务器运行并测试
- Indexing and Searching on a Hadoop Distributed File System (如何在HDFS文件上建索引)
- 如何修改WAMP数据库上传文件的大小及上传时间限制
- 如何修改Moodle上传文件大小的限制
- 如何修改Main.storyboard文件里模拟器的大小
- mysql如何修改导入数据库文件大小限制
- 如何修改ASP的文件上传大小
- ASP如何得到文件的大小类型最后修改时间
- 如何修改上传文件大小及类型的限制 - [MOSS 2007应用日记]
- 如何修改IIS上传文件的大小
- 如何修改WAMP数据库上传文件的大小及上传时间限制
- hdfs中修改文件块大小方法
- hadoop fs:du统计hdfs文件(目录下文件)大小的用法
- 叫你如何修改Nginx与PHP的文件上传大小限制
- 请问一下,如何修改重做日志文件的大小?
- MOSS 2007应用日记(23)――如何修改上传文件大小及类型的限制
- hadoop fs:du统计hdfs文件(目录下文件)大小的用法
- 叫你如何修改Nginx与PHP的文件上传大小限制