hadoop hdfs 常用命令大全

参考：不经意发现的，http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

常用命令 hadoop1 包含，点击下载pdf说明文件

FS Shell

cat
chgrp
chmod
chown
copyFromLocal
copyToLocal
cp
du
dus（du的汇总）
expunge
get
getmerge
ls
lsr（递归）
mkdir
movefromLocal
mv
put
rm
rmr
setrep（改变某个文件的副本数）
stat
tail
test
text
touchz

补充 

1、stat的格式化参数（参考http://blog.csdn.net/lskyne/article/details/8923904）

当向HDFS上写文件时，可以通过设置dfs.block.size配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size，比如想知道该该文件作为job的输入会创建几个map等。Hadoop FS
Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用格式是：

{HADOOP_HOME}/bin/hadoop fs –stat [format]

其中可选的format被官方文档遗漏了。下面列出了format的形式：

%b：打印文件大小（目录为0）

%n：打印文件名

%o：打印block size （我们要的值）

%r：打印备份数

%y：打印UTC日期 yyyy-MM-dd HH:mm:ss

%Y：打印自1970年1月1日以来的UTC微秒数

%F：目录打印directory, 文件打印regular file

当使用-stat选项但不指定format时候，只打印文件创建日期，相当于%y：

bin/hadoop fs -stat /liangly/teradata/part-00099

2010-11-02 08:03:49

下面的例子打印文件的block size和备份个数：

bin/hadoop fs -stat "%o %r" /liangly/teradata/part-00099

67108864 3

从打印结果可以看到文件/liangly/teradata/part-00099的block size是64m，有3个备份。
http://blog.csdn.net/lskyne/article/details/8923904
2、dus命令与后续版本中hadoop fsck、fs -dus、-count
-q等命令的差异(参考：http://www.opstool.com/article/255）

很多hadoop用户经常迷惑hadoop fsck，hadoop fs -dus，hadoop -count -q等hadoop文件系统命令输出的大小以及意义。

这里对这类问题做一个小结。首先我们来明确2个概念：

逻辑空间，即分布式文件系统上真正的文件大小

物理空间，即存在分布式文件系统上该文件实际占用的空间

为什么逻辑空间一般不等于物理空间？

分布式文件系统为了保证文件的可靠性，往往会保存多个备份（一般是3份)，只要备份数不为1的情况下，一般物理空间会是逻辑空间的几倍。关系如下：

HDFS物理空间=逻辑空间*block备份数

hadoop fsck和hadoop fs -dus 

执行hadoop fsck和hadoop fs -dus显示的文件大小表示的是文件占用的逻辑空间。