使用客户端的命令操作HDFS中的数据

一、这是一些基本的操作命令

1、首先在hdfs创建一个测试的目录

hadoop fs -mkdir /test

2、将本地的文件上传到 /test目录下

hadoop fs -put /usr/local/yy/hello /test

3、查看hdfs文件的内容

hadoop fs -cat /test/hello

hadoop fs -text /test/hello

4、查看hdfs目录下的文件

hadoop fs -ls /test

5、修改hdfs文件的权限

hadoop fs -chmod （-r） （代表将整个目录下的文件的权限全部改变） 0777 /test/hello

6、修改hdfs文件所属于的用户组

hadoop fs -chgrp (-r) hadoop-user /test/hello

7、修改文件所属于的用户

hadoop fs -chown hadoop /test/hello

8、将本地的文件复制到hdfs指定的目录中

hadoop fs -copyFromLocal /etc/profile /test

9、将hdfs中的文件复制到本地上来

hadoop fs -copyToLocal /test/hello /usr/local/yy

hadoop fs -get /test/hello（hdfs路径） /usr/local/yy(本地路径)

10、显示hdfs一个目录下的文件个数，文件夹的个数，内容的大小，文件的名字

hadoop fs -count /test

11、将hdfs中的文件复制到hdfs中的另外一个目录

hadoop fs -mkdir /test1

hadoop fs -cp /test/hello /test1

hadoop fs -cat /test1/hello

12、将hdfs中的一个文件进行删除

hadoop fs -rm /test1/hello

hadoop fs -ls /test1

13、将hdfs中一个目录删除

hadoop fs -cp /test/hello /test1

hadoop fs -rmr /test1(将文件夹及其内部的文件递归的删除)

14、将hdfs中的文件进行移动

hadoop fs -mv /test/hello /test1(test中的hello就会被删除)

15、将本地文件移动到hdfs中，本地文件被删除

hadoop fs -moveFromLocal /usr/local/yy/hello /test

16、将hdfs中的文件移动到本地（文件在hdfs中被删除）

hadoop fs -moveToLocal /test/hello /usr/local/yy

17\、在hdfs中创建一个文件

hadoop fs -touchz /test/helloworld

18、显示文件的大小

hadoop fs -dus /test/hello

19、显示文件夹在每一个文件的大小

hadoop fs -du /test (显示test下每一个文件的size大小)

20、设置hdfs中一个目录下所有文件的副本数

hadoop fs -setrep -w 3 -R /test (对test目录下的文件的副本数都设置为3)

21、显示hdfs文件末尾的信息

hadoop fs -tail /test/hello

22、判断hdfs中文件的类型或者目录

hadoop fs -test -e -z -d /test

二、这是一些高级的操作命令

1、archive 进行将hdfs中的小文件进行压缩到一个块中

例如：有1000个10KB的小文件，在DataNode中需要1000乘以64M空间存储，大约是63G。而如果使用archive压缩，则只需要64M的大小

hadoop archive -archiveName(指定压缩文件的名字) name -p（指定压缩文件的父目录） dest（压缩文件的存放路径）

hadoop archive -archiveName zoo.har /test /test1

如何查看*.har文件里面的内容

hadoop fs -ls har:///test1/test.har

2、使用balancer保证DataNode之间数据分布保证平衡

hadoop balancer -threshold 数值

start-balancer.sh

3、distcp在二个HDFS之间进行数据的拷贝

hadoop distcp hdfs://msater:9000/data/file /hdfs://master1:9000/data

4、dfsadmin 管理员使用的命令管理hdfs的操作

hadoop dfsadmin -safemode get/enter/leave （进入安全模式）

hadoop dfsadmin -report （显示文件系统的基本数据）

hadoop dfsadmin -refreshNodes （更新DataNode的信息）

hadoop dfsadmin -finalizeUpgrade（完成升级）