Hadoop HDFS基本操作(ubuntu16.04 、Hadoop 3.0.3)
hdfs shell的基本操作以及hdfsWeb查看文件
在安装好hadoop集群并成功的启动了hdfs之后,我们就可以利用hdfs对文件进行操作了,一下是对文件的一些基本操作
特别注意:访问HDFS目录时,一定要带有/ 否则命令会出错!
hdfs基本操作
1、查询命令
hdfs dfs -ls / 查询/目录下的所有文件和文件夹
hdfs dfs -ls -R 以递归的方式查询/目录下的所有文件
2、创建文件夹
hdfs dfs -mkdir /test 创建test文件夹
3、创建新的空文件
hdfs dfs -touchz /aa.txt 在/目录下创建一个空文件aa.txt
4、增加文件
hdfs dfs -put aa.txt /test 将当前目录下的aa.txt文件复制到/test目录下(把-put换成-copyFromLocal效果一样-moveFromLocal会移除本地文件)
5、查看文件内容
hdfs dfs -cat /test/aa.txt 查看/test目录下文件aa.txt的内容(将-cat 换成-text效果一样)
6、复制文件
hdfs dfs -copyToLocal /test/aa.txt . 将/test/aa.txt文件复制到当前目录(.是指当前目录,也可指定其他的目录)
7、删除文件或文件夹
hdfs dfs -rm -r /test/aa.txt 删除/test/aa.txt文件(/test/aa.txt可以替换成文件夹就是删除文件夹)
8、重命名文件
hdfs dfs -mv /aa.txt /bb.txt 将/aa.txt文件重命名为/bb.txt
9、将源目录中的所有文件排序合并到一个本地文件
hdfs dfs -getmerge / local-file 将/目录下的所有文件合并到本地文件local-file中
10、查看hadoop日志的方法 ---tail命令
tail -500 hadoop-root-resourcemanager-VM-0-10-ubuntu.log
11、关闭HDFS
可以使用下面的命令关闭HDFS。
$ stop-dfs.sh
hdfsWeb查看文件
1、概述:
在本地的浏览器输入namenode节点服务器的ip或域名+端口(例如:我namenode几点机器ip是132.232.28.164:9870),就可以看到hdfs集群的概述:
2、查看文件:
点击导航栏的Utilities按钮,选择查看文件或者日志,选择查看文件之后会出现以下的界面:
3、查看数据节点信息:
点击导航栏的Datanodes按钮,然后出现以下页面:
此时假如点击查看具体的数据节点的时候会报错,因为你windows操作系统不能识别node101~node103,此时需要配置下widows的hosts文件,配置完了就好了。hdfs的web操作就说这么多了,剩下的大家有兴趣可以去慢慢的看了
阅读更多- Ubuntu 16.04 LTS软件包管理基本操作
- Hadoop初学指南(2)--HDFS的基本shell操作
- hadoop|hdfs 基本操作-增删查
- Hadoop hdfs基本操作命令
- Ubuntu16.04的Hadoop2.7.3之分布式文件系统HDFS学习指南
- ubuntu16.04LTS基本操作和使用笔记
- HDFS的基本shell操作,hadoop fs操作命令
- HDFS的基本shell操作,hadoop fs操作命令
- ubuntu 16.04 LTS 常用基本操作键
- hadoop hdfs api基本操作
- ubuntu16.04上完美的安装caffe-ssd的指南(使用OpenBlas做基本的矩阵操作算子)
- Ubuntu 16.04 LTS软件包管理基本操作
- hadoop(02)、使用JAVA API对HDFS进行基本操作
- 【中文分词-全文搜索】Ubuntu 16.04 Mysql和PHP 配置 Sphinx-for-chinese 及Sphinx的排序筛选分页基本操作
- Hadoop (HDFS)分布式文件系统基本操作 推荐
- Ubuntu 16.04 LTS软件包管理基本操作
- Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS
- hadoop hdfs uri详解 一、hdfs基本命令: hadoop fs -cmd <args> 选项: cmd: 具体的操作,基本上与UNIX的命令行相同 args: 参数 二、hdfs资
- hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
- Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS