HDFS练习1-----统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比
2018-03-22 18:17
826 查看
问题还原:
编写程序统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比比如:大于等于 128M 的文件个数为 98,小于 128M 的文件总数为 2,所以答案是 2%import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;
/**
* 编写程序统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比
* 比如:大于等于 128M 的文件个数为 98,小于 128M 的文件总数为 2,所以答案是 2%
* @author Administrator
*
*/
public class Question1 {
private static int DEFAULT_BLOCKSIZE = 128 * 1024 * 1024;
/**
* 使用Junit进行测试
* @throws Exception
*/
@Test
public void Test() throws Exception{
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
System.setProperty("HADOOP_USER_NAME", "hadoop");
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/");
int smallFile = 0;
int totalFile = 0;
//fs.listStatus(path);
//获取的是指定路径下的所有资源,包括文件夹和文件,但是不包括子文件夹下的文件
//获取指定目录下的所有的文件
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(path, false);
while(listFiles.hasNext()){
//指定目录下文件计数器
totalFile++;
LocatedFileStatus next = listFiles.next();
//获取每个文件的大小
long len = next.getLen();
//如果小于默认block块的大小,则视为小文件
if(len < DEFAULT_BLOCKSIZE){
//指定目录下小文件计数器
smallFile++;
}
}
//计算小文件的占比,并输出
String result = (smallFile * 1f /totalFile * 100)+"%";
System.out.println(result);
fs.close();
}
}
相关文章推荐
- HDFS练习4-----统计 HDFS 整个文件系统中的不足指定数据块大小的数据块的比例
- HDFS练习3-----统计出 HDFS 文件系统中的平均副本数(副本总数/总数据块数)
- aix察看根目录各文件和子目录大小,去除文件系统统计
- awk算术运算一例:统计hdfs上某段时间内的文件大小
- aix察看根目录各文件和子目录大小,去除文件系统统计
- hdfs统计行数和统计文件大小
- 统计HDFS文件数量,大小,以及在某范围大小的文件数量
- cdh集群节点系统文件损坏,重装系统恢复Hdfs数据
- Hadoop(八)Java程序访问HDFS集群中数据块与查看文件系统【转载】
- Hadoop(八)Java程序访问HDFS集群中数据块与查看文件系统
- 统计HDFS文件数量,大小,以及在某范围大小的文件数量
- hadoop fs:du统计hdfs文件(目录下文件)大小的用法
- awk算术运算一例:统计hdfs上某段时间内的文件大小
- awk算术运算一例:统计hdfs上某段时间内的文件大小
- hadoop fs:du统计hdfs文件(目录下文件)大小的用法
- 【Flume】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
- 集群文件系统词典
- 提示“一个或多个文件超出系统文件大小限制,这些文件无法被正确保存”,应该怎么解决?
- hadoop hdfs文件系统常用命令
- Linux查看文件系统大小或者文件夹大小