Hadoop中HDFS文件系统下的Shell操作

执行start-all.sh启动Hadoop，启动完成后使用jps命令可以看到开启了5个Java进程，NameNode,SecondaryNameNode,DataNode,JobTracker和TaskTracker。

对HDFS文件系统进行Shell操作，无非就是查看，新建文件文件夹等习以为常的命令。

1.查看目录文件

hadoop fs -ls / 查看hdfs根目录下的文件

hadoop fs -lsr / 进行递归查看文件

关于第2列代表该文件的副本数，文件夹没有副本

hadoop fs -mkdir /dir 创建文件夹

hadoop fs -put Linux下源文件路径 hdfs中的路径： 上传文件到HDFS文件系统中



如果HDFS中已经存在该文件，那么直接上传会报错，文件不会被覆盖。如果第二个路径是个文件夹，那么会上传到文件夹中，如果不存在，那么会生成一个文件而非新建一个文件夹。

hadoop fs -get <hdfs 文件路径> <linux路径> ：下载文件到本地

hadoop fs -text <HDFS文件> 直接查看HDFS文件

hadoop fs -rm <HDFS文件> 删除文件

[b]hadoop fs -rmr <HDFS文件夹> 删除文件[b]夹[/b]

[/b]

其他命令 使用 hadoop fs

帮助命令 hadoop fs -help 命令






其他的类似，如使用hadoop job 即可显示hadoop 中关于Job的一些命令