Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍
2014-09-09 22:06
471 查看
存着一直没上传的文章,随便记录一些常用的 hadoop shell命令。
首先,默认hadoop2.3.0已经配置好,安装目录位于/home/high5/hadoop-2.3.0,进入该目录下。
1、启动与关闭hadoop:
启动hadoop:之前版本都是使用sbin/start-all.sh命令,当然,hadoop2.3.0也支持该命令,但是会提示最好使用sbin/start-yarn.sh
关闭hadoop:sbin/stop-all.sh
2、文件操作:
注意:hadoop没有当前目录的概念,也没有cd命令
bin/hadoop fs -ls
bin/hadoop fs -ls /example
上传文件到HDFS
bin/hadoop fs -put /example(源文件) /in(放去哪儿)
bin/hadoop
将HDFS的文件复制到本地
bin/hadoop fs -get /in(HDFS中文件) /xyz(本地文件)
删除HDFS下的文档
bin/hadoop fs -rmr abc
查看HDFS下某个文件的内容
bin/hadoop fs -cat ....
查看HDFS基本统计信息
bin/hadoop dfsadmin -report
3、MAPREDUCE JOB操作:
提交MAPREDUCE JOB:
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/hadoop/job.jar的MapReduce Job:
sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的JOB
假设Job_Id为:job_201005310937_0053:
sh bin/hadoop job -kill job_201005310937_0053
4、进入和退出安全模式:
进入:bin/hadoop dfsadmin -safemode enter
退出:bin/hadoop dfsadmin -safemode leave
补充:什么是安全模式?
安全模式是Namenode的一个状态,这种状态下,Namenode
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。
官方文档:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/CommandsManual.html
中文(版本比较旧):http://hadoop.apache.org/docs/r0.19.1/cn/hdfs_shell.html
1、
首先,默认hadoop2.3.0已经配置好,安装目录位于/home/high5/hadoop-2.3.0,进入该目录下。
1、启动与关闭hadoop:
启动hadoop:之前版本都是使用sbin/start-all.sh命令,当然,hadoop2.3.0也支持该命令,但是会提示最好使用sbin/start-yarn.sh
关闭hadoop:sbin/stop-all.sh
2、文件操作:
注意:hadoop没有当前目录的概念,也没有cd命令
bin/hadoop fs -ls
bin/hadoop fs -ls /example
上传文件到HDFS
bin/hadoop fs -put /example(源文件) /in(放去哪儿)
bin/hadoop
将HDFS的文件复制到本地
bin/hadoop fs -get /in(HDFS中文件) /xyz(本地文件)
删除HDFS下的文档
bin/hadoop fs -rmr abc
查看HDFS下某个文件的内容
bin/hadoop fs -cat ....
查看HDFS基本统计信息
bin/hadoop dfsadmin -report
3、MAPREDUCE JOB操作:
提交MAPREDUCE JOB:
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/hadoop/job.jar的MapReduce Job:
sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的JOB
假设Job_Id为:job_201005310937_0053:
sh bin/hadoop job -kill job_201005310937_0053
4、进入和退出安全模式:
进入:bin/hadoop dfsadmin -safemode enter
退出:bin/hadoop dfsadmin -safemode leave
补充:什么是安全模式?
安全模式是Namenode的一个状态,这种状态下,Namenode
1. 不接受对名字空间的更改(只读)
2. 不复制或删除块
Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。
官方文档:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/CommandsManual.html
中文(版本比较旧):http://hadoop.apache.org/docs/r0.19.1/cn/hdfs_shell.html
1、
相关文章推荐
- Hadoop实战-初级部分 之 Hadoop Shell 基本操作介绍
- 学习MongoDB--(2-2):MongoDB入门(Shell基本操作)
- HBase学习总结(2):HBase介绍及其基本操作
- HBase学习笔记 --- 基本shell操作
- MySQL学习笔记3:表的基本操作介绍
- HDFS的基本shell操作,hadoop fs操作命令
- Hadoop学习笔记—1.基本介绍与环境配置
- Hadoop学习总结之六:HADOOP基本操作命令
- Hadoop笔记六之Hdfs的基本shell操作
- [整理学习]Hadoop基本文件操作命令
- hadoop学习【10】——HDFS的shell操作
- Hadoop学习笔记—1.基本介绍与环境配置
- Hive的安装以及基本的shell操作以及基本模型的介绍
- Hadoop学习与使用之基本操作命令
- (转载)Hive学习笔记--Hive Shell基本操作
- hadoop学习笔记3:shell下的hdfs操作
- hadoop学习笔记1.使用shell和JAVA API操作HDFS
- Linux Shell 学习笔记1:Shell程序的运行及基本介绍
- MongoDB学习—(2)shell的基本操作
- Hadoop学习笔记(五)---HDFS shell操作