Hadoop学习笔记0002——HDFS文件操作
2015-04-10 22:33
561 查看
Hadoop学习笔记0002——HDFS文件操作
说明:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。
方式一:命令行方式
Hadoop文件操作命令形式为:hadoop fs -cmd <args>
说明:cmd是具体的文件操作命令,<args>是一组数目可变的参数。
Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。
1 添加文件和目录
HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,作者的用户名是root。该目录不能自动创建,需要执行mkdir命令创建。
hadoop fs -mkdir /usr/root
使用Hadoop的命令put将本地文件README.txt送到HDFS。
hadoop fs -put README.txt .
注意上面这个命令最后一个参数是句点(.),这意味着把本地文件放入到默认的工作目录,该命令等价于:
hadoop fs -putREADME.txt /user/root
使用Hadoop的ls命令,即
hadoop fs -ls
显示结果如图1所示。
图1 hadoop中 ls命令Demo
2 获取文件
获取文件包含两层意思,一是HDFS从本地文件中获取文件,即前面介绍的添加文件;二是本地文件从HDFS中获取文件,可以使用Hadoop的get命令。例如若本地文件没有README.txt文件,需要从HDFS中取回,可以执行如下命令。
hadoop fs -get README.txt .
或者
hadoop fs -get README.txt /usr/root/README.txt
3 删除文件
Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt,可以执行如下命令。
hadoop fs -rm README.txt
4 检索文件
检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令。
hadoop fs -cat README.txt
5查阅帮助
查阅Hadoop命令帮助,可以让我们很好地掌握和使用Hadoop的命令。我们可以执行hadoop
fs 获取所用版本Hadoop的一个完整命令列别,也可以使用help来显示某个具体命令的用法及简短描述。
例如,要了解ls命令,可执行如下命令。
hadoop fs -help ls
关于hadoop命令ls的描述如图3所示。
图2 Hadoop命令ls的介绍
说明:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。
方式一:命令行方式
Hadoop文件操作命令形式为:hadoop fs -cmd <args>
说明:cmd是具体的文件操作命令,<args>是一组数目可变的参数。
Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。
1 添加文件和目录
HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,作者的用户名是root。该目录不能自动创建,需要执行mkdir命令创建。
hadoop fs -mkdir /usr/root
使用Hadoop的命令put将本地文件README.txt送到HDFS。
hadoop fs -put README.txt .
注意上面这个命令最后一个参数是句点(.),这意味着把本地文件放入到默认的工作目录,该命令等价于:
hadoop fs -putREADME.txt /user/root
使用Hadoop的ls命令,即
hadoop fs -ls
显示结果如图1所示。
图1 hadoop中 ls命令Demo
2 获取文件
获取文件包含两层意思,一是HDFS从本地文件中获取文件,即前面介绍的添加文件;二是本地文件从HDFS中获取文件,可以使用Hadoop的get命令。例如若本地文件没有README.txt文件,需要从HDFS中取回,可以执行如下命令。
hadoop fs -get README.txt .
或者
hadoop fs -get README.txt /usr/root/README.txt
3 删除文件
Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt,可以执行如下命令。
hadoop fs -rm README.txt
4 检索文件
检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令。
hadoop fs -cat README.txt
5查阅帮助
查阅Hadoop命令帮助,可以让我们很好地掌握和使用Hadoop的命令。我们可以执行hadoop
fs 获取所用版本Hadoop的一个完整命令列别,也可以使用help来显示某个具体命令的用法及简短描述。
例如,要了解ls命令,可执行如下命令。
hadoop fs -help ls
关于hadoop命令ls的描述如图3所示。
图2 Hadoop命令ls的介绍
相关文章推荐
- hadoop学习笔记(HDFS的文件操作)
- Hadoop--学习笔记 在Eclipse中操作远程hdfs文件
- Hadoop学习笔记一(通过Java API 操作HDFS,文件上传、下载)
- Hadoop2.4.1学习笔记(二)之hdfs文件系统学习
- Hadoop学习笔记——1.java读取Oracle中表的数据,创建新文件写入Hdfs
- hadoop学习笔记1.使用shell和JAVA API操作HDFS
- Hadoop笔记四之Hdfs文件读写操作
- hadoop文件操作(学习笔记)
- 云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
- hadoop学习笔记之hdfs的文件上传下载
- Hadoop学习笔记(五)---HDFS shell操作
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨
- Hadoop学习笔记———《读、写HDFS文件》
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- 文件数据云计算学习笔记---Hadoop HDFS和MapReduce 架构浅析
- Hadoop学习笔记_操作篇之一:HDFS操作
- [hadoop学习笔记] 之 eclipse插件操作hdfs出现的权限问题
- Hadoop学习笔记(3)-java操作hdfs的API接口
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- <hadoop学习历程>--笔记心得4-HDFS文件读写流程