分布式文件系统HDFS及其命令

HDFS的shell操作

引言

1、调用文件系统（FS）shell命令应该使用hadoop fs的形式
2、所有FS的shell命令都使用URI路径作为参数
      URI格式为：scheme://authority/path。HDFS的scheme是hdfs；本地文件系统的scheme是file。如果未指定，就会使用配置中指定的默认scheme。

命令讲解

1、hadoop version  —— 查看hadoop版本
      eg.•  [root@hadoop0 ~]# hadoop version
              Hadoop 2.6.2

2、hadoop archive ——创建hadoop档案文件（打包过程）

     用法：hadoop  archive  -archiveName  NAME –p  <src>*  <dest> 要创建的档案的名字。

                  NAME名字必须后缀为.har，规定

                  src    文件系统的路径名，和通常含正则表达的一样。

                 dest 保存档案文件的目标目录。

    eg.[root@hadoop0 ~]# hadoop  archive  -archiveName  input.har  -p  /input /

          验证：hadoop  fs  -ls  har:///input.har

3、hadoop dfsadmin ——管理命令

     -report                报告文件系统的基本信息和统计信息

     -safemode        enter 进入安全模式   leave 退出安全模式   get 获取状态

                                 安全模式也是只读模式。两种情况下自动进入安全模式：启动未完成处于这个模式和复制删除数据块时。

     -refreshNodes  重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。

        黑名单（不能加入集群）：配置vimhdfs-site.xml。name:dfs.hosts.exclude，value:/usr/local/hadoop/etc/hadoop/exclude

                                                       vim exclude。 新建exclude文件放黑名单的名字

        白名单（只有白名单上的可以加入集群）：配置vimhdfs-site.xml。name:dfs.hosts，value:/usr/local/hadoop/etc/hadoop/hosts

                                                      vim hosts。 新建hosts文件放黑名单的名字

4、hadoop job MapReduce ——作业交互和命令

      •     -list [all]                        -list all显示所有作业。-list只显示将要完成的作业。

      •     -kill-task <task-id>  杀死任务

      •     -kill <job-id>                          杀死指定作业

5、hadoop fsck ——运行HDFS文件系统检查工具
      hadoop fsck/    检查整个文件系统的健康情况

6、hadoop jar ——运行jar文件

     eg.hadoop jar MapReduce.jar

7、所有的HDFS命令都是以hadoop fs 开头。

    （1）在线帮助   hadoop fs ——查看HDFS的所有常用命令语法

                                hadoop fs help ——同上

                                hadoop fs -help 命令 ——查看“命令”这一命令的具体功能

    （2）