您的位置:首页 > 运维架构

hadoop hdfs uri详解 一、hdfs基本命令: hadoop fs -cmd <args> 选项: cmd: 具体的操作,基本上与UNIX的命令行相同 args: 参数 二、hdfs资

2017-09-30 16:46 1016 查看

hadoop hdfs uri详解

 转自 http://www.cnblogs.com/linjiqin/p/3147837.html
一、hdfs基本命令:

hadoop fs -cmd <args>

选项:

cmd: 具体的操作,基本上与UNIX的命令行相同

args: 参数

二、hdfs资源uri格式:

用法:scheme://authority/path

选项:

scheme–>协议名,file或hdfs

authority–>namenode主机名

path–>路径

范例:hdfs://localhost:54310/user/hadoop/test.txt

假设已经在/home/hadoop/hadoop-1.1.1/conf/core-site.xml里配置了fs.default.name=hdfs://localhost:54310,则仅使用/user/hadoop/test.txt即可。hdfs默认工作目录为/user/$USER,$USER是当前的登录用户名。

三、hdfs命令范例

hadoop fs -mkdir /user/hadoop

hadoop fs -ls /user

hadoop fs -lsr /user(递归的)

hadoop fs -put test.txt /user/hadoop(复制到hdfs://localhost:54310/user/hadoop目录下,首先要创建当前目录)

hadoop fs -get /user/hadoop/test.txt .(复制test.txt文件到本地当前目录下)

hadoop fs -cat /user/hadoop/test.txt

hadoop fs -tail /user/hadoop/test.txt(查看最后1000字节)

hadoop fs -rm /user/hadoop/test.txt

hadoop fs -help ls(查看ls命令的帮助文档)

四、在put时遇到的问题

异常信息: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/user/hadoopadmin. Name node is in safe mode.

解决办法:hadoop dfsadmin -safemode leave
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop