Hadoop笔记六之Hdfs的基本shell操作

Hdfs基本操作

      Hdfs是hadoop的分布式文件系统，提供海量数据的存储。同样我们也可以操作hdfs上的文件对象执行基本的查看，上传，下载等操作。

     使用hfds dfs 和hadoop fs来操作文件这两者一样，命令格式为hadoop fs –ls dfhs://shb01:9000/也可以使用hadoop fs –ls /，/表示当前根目录和dfhs://shb01:9000/一样。Hdfs是hadoop本身的协议，hdfs本身没有权限它借用的是linux权限。

1：-put上传命令

     hadoop fs -put –p ./hello  /

     将linux目录下的hello文件上传到hdfs跟目录下，-p可选，保留原文件的一些特性。-f可选，直接覆盖

2：-ls 查看命令, -d 列出目录–h显示更易读的大小–R递归

      hadoop fs -ls /

16/08/10 03:26:31 WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicable

Found 1 items

-rw-r--r--   1 rootsupergroup         12 2016-08-10 02:47 /hello

3：-text 目标内容

      hadoop fs -text /hello

4：-get 从hdfs上下载文件到本地

      hadoop fs -get /hello ./hello1

5：-mkdir 创建目录，-p递归创建

      hadoop fs -mkdir /shb01/02

6：-rm 删除目录，-R递归删除

      hadoop fs -rm -r /shb01

7：appendToFile向文件追加数据

hadoop fs -appendToFile - /hello

其中-代表命令行输入以ctrl+c结束，如果是文件名则将linux上的文件追加到hdfs上的文件中。

8：复制

hadoop fs -cp /shb01/02 /shb01/03

9：改名

hadoop fs -mv /shb01/02 /shb01/03

10：查看命令帮助信息

hadoop fs -help ls