HDFS命令行接口

HDFS命令行接口

Hadoop文件系统所提供的接口大部分接近于Linux的文件操作命令。

文件查看

hadoop fs -ls 路径名

它的输出格式类似于Unix中的”ls -l”，第1列为文件模式，第2列示文件的备份数，第3列为所属用户，第4列维所属用户组，第5列维文件大小，单位为字节，目录的话则固定为0，第6、7列则分别是文件的最后修改日期和时间，第8列为文件或目录的绝对路径。

文件拷贝

hadoop fs -copyFromLocal 本地路径 URI+hadoop路径

hadoop fs -put 本地路径 本地路径 URI+hadoop路径

hadoop fs -cp 源路径 目的路径

该指令可实现文件从本地拷贝入hadoop的文件系统中，前者为本地的文件路径，后者是hadoop的主机URI加上要拷贝进入的路径所组成的全称，例如”hdfs://localhost/user/tom/filename.txt”。如果有设置默认值的话则可省略URI。

拷贝完成后可使用Linux的md5指令比对拷贝前后的键值来保证拷贝的正确性。

创建文件夹

hadoop fs -mkdir 目录名

与Linux创建目录完全相同，不再赘述。

删除文件或目录

hadoop fs -rm 路径

可删除某个拥有权限的文件或一个目录。

hadoop fs -rmr 路径

用于递归删除一个目录，当然，也可以指定文件，则直接删除。

移动文件或目录

hadoop fs -mv 源路径 目的路径

需要注意的是，源路径与目的路径必须是HDFS中的路径，与Linux中相同，也可用于重命名。

显示文件内容

hadoop fs -cat 文件路径

用于将HDFS中的文件内容显示至标准输出。

显示磁盘使用情况

hadoop fs -du 路径

hadoop fs -dus 路径

显示路径下所有文件磁盘使用情况下，用字节大小表示，路径记得要家URI哦。

最后，HDFS的命令可通过”hadoop fs -help”来查询。