您的位置:首页 > 运维架构 > Shell

Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍

2014-09-09 22:06 471 查看
存着一直没上传的文章,随便记录一些常用的 hadoop shell命令。

首先,默认hadoop2.3.0已经配置好,安装目录位于/home/high5/hadoop-2.3.0,进入该目录下。

1、启动与关闭hadoop:
启动hadoop:之前版本都是使用sbin/start-all.sh命令,当然,hadoop2.3.0也支持该命令,但是会提示最好使用sbin/start-yarn.sh
关闭hadoop:sbin/stop-all.sh

2、文件操作:
注意:hadoop没有当前目录的概念,也没有cd命令

bin/hadoop fs -ls

bin/hadoop fs -ls /example

上传文件到HDFS

bin/hadoop fs -put /example(源文件) /in(放去哪儿)

bin/hadoop

将HDFS的文件复制到本地

bin/hadoop fs -get /in(HDFS中文件) /xyz(本地文件)

删除HDFS下的文档

bin/hadoop fs -rmr abc

查看HDFS下某个文件的内容

bin/hadoop fs -cat ....

查看HDFS基本统计信息

bin/hadoop dfsadmin -report

3、MAPREDUCE JOB操作:

提交MAPREDUCE JOB:

原则上说,Hadoop所有的MapReduce Job都是一个jar包。

运行一个/hadoop/job.jar的MapReduce Job:

sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB

假设Job_Id为:job_201005310937_0053:

sh bin/hadoop job -kill job_201005310937_0053

4、进入和退出安全模式:

进入:bin/hadoop dfsadmin -safemode enter

退出:bin/hadoop dfsadmin -safemode leave

补充:什么是安全模式?

安全模式是Namenode的一个状态,这种状态下,Namenode

1. 不接受对名字空间的更改(只读)

2. 不复制或删除块

Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。

官方文档:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/CommandsManual.html

中文(版本比较旧):http://hadoop.apache.org/docs/r0.19.1/cn/hdfs_shell.html
1、
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: