基础hadoop shell命令

mapReduce执行java Jar地址

jar文件目录：hadoop/share/hadoop/mapreduce/Jar名+后缀

测试执行 例如Jar名为：mapReduce4_100.jar

hadoop jar Jar名 -starttime 20151027 -endtime 20151027

hadoop jar mapReduce4_100.jar -starttime 20151027 -endtime 20151027

各节点状态 存储空间使用率

hadoop dfsadmin -report

结束hadoop进程

hadoop job -list

hadoop job -kill job_201212111628_11166

hadoop job -status job-id //查看mr百分比

查看文件

 hdfs dfs -ls /yjxx/2015

删除文件

hdfs dfs -rmr /yjxx/2015

查看jps

jps

杀死jsp进程

kill JPS编号

复制文件至指定路径

scp 源文件 hadoop2:/home/hadoop.....

scp mapReduce_sjtdxx.jar hadoop2:/home/hadoop/hadoop2.7/share/hadoop/mapreduce

FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。

对HDFS文件系统，scheme是hdfs，

对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

查看hdfs文件目录

hadoop fs -ls url

hadoop fs -ls hdfs://192.168.60.31:9000/tdxx/2015/11

把本地文件复制到HDFS

hadoop fs -copyFromLocal localfile.txt /tdxxb/localfile.txt

把HDFS的文件复制到本地

hadoop fs -copyToLocal /tdxxb/localfile.txt ./localfile.txt

创建HDFS文件夹

hadoop fs -mkdir /books

列出HDFS文件系统根目录

hadoop fs -ls file:///

编辑文件 hdfs 文件

 vi hdfs://192.168.60.31:9000/tdxx/2015/11/20151112042224.tdxx

删除 hdfs文件

hadoop fs -rm hdfs://192.168.60.31:9000/tdxx/2015/11/2015111204.tdxx

删除提示：将文件移至  .Trash/Current文件中

Moved: 'hdfs://192.168.60.31:9000/sjxx/2015/11/20151111.sjxx' to trash at: hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current

恢复被删除的文件

hadoop fs -mv 被删除文件路径 移至目标路径

hadoop fs -mv  hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current/sjxx/2015/11/20151111.sjxx hdfs://192.168.60.31:9000/sjxx/2015/11/

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack

stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack

start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

hadoop-daemons.sh start namenode 单独启动NameNode守护进程

hadoop-daemons.sh stop namenode 单独停止NameNode守护进程

hadoop-daemons.sh start datanode 单独启动DataNode守护进程

hadoop-daemons.sh stop datanode 单独停止DataNode守护进程

hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程

hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程

start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker

stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker

hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程

hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程

hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程

hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程

如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。

1．启动Hadoop的HDFS模块里的守护进程

HDFS里面的守护进程启动也有顺序，即：

1）启动NameNode守护进程；

2）启动DataNode守护进程；

3）启动SecondaryNameNode守护进程。

2．启动MapReduce模块里面的守护进程

MapReduce的守护进程启动也是有顺序的，即：

1）启动 JobTracker守护进程；

2）启动TaskTracker守护进程。

关闭的步骤正好相反，

远程登录

ssh 用户名@IP

重启远程登录服务

service sshd restart

整体启停命令

start-all.sh

stop-all.sh

HDFS启停

start-dfs.sh

stop-dfs.sh

MapReduce启停

start-mapred.sh

stop-mapred.sh

NN启停命令

hadoop-daemon.sh start namenode

hadoop-daemon.sh stop namenode

SNN启停命令

hadoop-daemon.sh start secondarynamenode

hadoop-daemon.sh stop secondarynamenode

DN启停命令

hadoop-daemon.sh start datanode

hadoop-daemon.sh stop datanode

JobTracker启停命令

hadoop-daemon.sh start jobtracker

hadoop-daemon.sh stop jobtracker

TaskTracker启停命令

hadoop-daemon.sh start tasktracker

hadoop-daemon.sh stop tasktracker