Hadoop之hdfs命令行客户端的常用操作命令
2019-01-08 21:44
519 查看
Hadoop之hdfs命令行客户端的常用操作命令
常用命令
-
查看hdfs中的目录信息
hadoop fs -ls /hdfs路径 hadoop fs -ls /
-
创建文件夹
hadoop fs -mkdir /hdfs路径 hadoop fs -mkdir /aaa
-
移动文件或重命名
hadoop fs -mkdir /hdfs路径 /hdfs路径 hadoop fs -mv /aaa /bbb
-
上传文件到hdfs中
hadoop fs -put /本地文件 /hdfs路径 hadoop fs -put /root/anaconda-ks.cfg / hadoop fs -copyFromLocal /本地文件 /hdfs路径 ## copyFromLocal等价于 put hadoop fs -moveFromLocal /本地文件 /hdfs路径 ## 从本地移动到hdfs中
-
下载文件到客户端本地磁盘
hadoop fs -get /hdfs中的路径 /本地磁盘目录 hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径 ## 跟get等价 hadoop fs -moveToLocal /hdfs路径 /本地路径 ## 从hdfs中移动到本地
-
删除hdfs中的文件或文件夹
hadoop fs -rm -r /aaa
-
查看hdfs中的文本文件内容
hadoop fs -cat /demo.txt hadoop fs -tail -f /demo.txt
-
追加内容到已存在的文件
hadoop fs -appendToFile /本地文件 /hdfs中的文件
-
修改文件的权限
hadoop fs -chown user:group /aaa hadoop fs -chmod 700 /aaa
-
复制hdfs中的文件到hdfs的另一个目录
hadoop fs -cp /hdfs路径_1 /hdfs路径_2
-
查看空间
hadoop fs -df /
-
补充:hdfs命令行客户端的所有命令列表
Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>] [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...] [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] [-x] <path> ...] [-expunge] [-find <path> ... <expression> ...] [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge [-nl] [-skip-empty-file] <src> <localdst>] [-help [cmd ...]] [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setfattr {-n name [-v value] | -x name} <path>] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-truncate [-w] <length> <path> ...] [-usage [cmd ...]]
客户端的理解
hdfs的客户端有多种形式:
1、网页形式
2、命令行形式
3、客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网
文件的切块大小和存储的副本数量,都是由客户端决定!
所谓的由客户端决定,是通过配置参数来定的
hdfs的客户端会读以下两个参数,来决定切块大小、副本数量:
切块大小的参数: dfs.blocksize
副本数量的参数: dfs.replication
上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置
vim /root/apps/hadoop-3.0.3/etc/hadoop/hdfs-site.xml
<property> <name>dfs.blocksize</name> <value>64m</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>
相关文章推荐
- hadoop命令行下hdfs客户端常用命令
- hadoop HDFS常用文件操作命令
- Zookeeper命令行操作(常用命令;客户端连接;查看znode路径;创建节点;获取znode数据,查看节点内容,设置节点内容,删除节点;监听znode事件;telnet连接zookeeper)
- hadoop hdfs uri详解 一、hdfs基本命令: hadoop fs -cmd <args> 选项: cmd: 具体的操作,基本上与UNIX的命令行相同 args: 参数 二、hdfs资
- Hadoop HDFS常用文件操作命令
- Zookeeper命令行操作(常用命令;客户端连接;查看znode路径;创建节点;获取znode数据,查看节点内容,设置节点内容,删除节点;监听znode事件;telnet连接zookeeper)
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- hadoop命令 - 创建用户及hdfs权限、hdfs操作等常用命令
- hadoop基础----hadoop实战(二)-----hadoop操作hdfs---hdfs文件系统常用命令
- hadoop的hdfs文件常用命令操作
- HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍
- Hadoop HDFS常用文件操作命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- hadoop HDFS常用文件操作命令
- hadoop HDFS常用文件操作命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- hadoop HDFS常用文件操作命令
- hadoop HDFS常用文件操作命令
- hadoop HDFS常用文件操作命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令