hadoop提交任务后日志存放问题

hadoop提交任务后，会有日志记录此次执行的情况。目前这些日志都保留在hdfs文件系统中，生成了大量的小文件，从而耗费了大量的磁盘空间。如果每天提交的任务多且频繁，磁盘空间消耗的速率是比较惊人的。

可清理的日志路径：

/user/history 

/tmp  

/user/root/.Trash

如下图所示，上面的部分是清除日志后磁盘的使用率与block块的数量，下图是没清理的。

4000



这样处理有两个弊端：

   1、无法从页面中查询到历史任务的运行状态。

   2、每次清理时都是手工执行删除。