删除hdfs中大小为0的文件
2017-03-09 00:00
561 查看
发现hive表的目录下有很多大小为0的文件，怀疑可能是数据偏移或者reduce生成过多造成的。简单的解决方法是跑hive脚本前设置mapred.reduce.tasks=1试试。
如果解决不了或者找不到原因，还是要试着清除这些文件在hdfs上。长期存在可能影响集群读写性能。
命令如下，清理目录和文件前缀就自己自定义了：
如果解决不了或者找不到原因，还是要试着清除这些文件在hdfs上。长期存在可能影响集群读写性能。
命令如下，清理目录和文件前缀就自己自定义了：
hadoop fs -lsr /user/hive/warehouse/ | grep part- | awk '{ if ($5 == 0) print $8 }' | xargs hadoop fs -rm
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 用shell脚本实现删除一定大小的文件
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)(二)
- 删除文件服务器上的过期文件、特定类型文件、目录大小为零的空文件夹
- 数据库里面的表已删除了，但数据库文件大小没变小是怎么回事（转）
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)
- 上传文件细节处理问题(包括中文乱码、限制文件大小、显示上传速度、删除临时文件，随机生成文件夹等)
- 删除目录下文件大小相同的文件
- 删除指定范围大小的文件
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)
- Asp.Net_文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)(一)
- 使用FSO按文件大小浏览文件目录并进行删除操作
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)(一)
- [导入]Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)(二)
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)
- Asp.Net 文件操作基类(读取,删除,批量拷贝,删除,写入,获取文件夹大小,文件属性,遍历目录)
- 用Batch删除当前目录下小于指定大小文件
- awk算术运算一例：统计hdfs上某段时间内的文件大小
- 使用FSO按文件大小浏览文件目录并进行删除操作