hadoop-shell常用命令
2016-12-30 13:48
295 查看
Hadoop 重要的端口
1.Job Tracker 管理界面:50030
2.HDFS 管理界面 :50070
3.HDFS通信端口:9000
4.MapReduce通信端口:9001
常用访问页面
1. HDFS 界面
http://hostname:50070
2. MapReduce 管理界面
http://hostname:50030
格式化文件系统
hadoop namenode –format
启动hadoop
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
* start-dfs.sh 启动Hadoop DFS守护Namenode和Datanode
* stop-dfs.sh 停止DFS守护
将当前目录转移至 /usr/local/hadoop即可执行命令
基本命令:
启动 sbin/start-dfs.sh
关闭 sbin/stop-dfs.sh
创建用户目录 bin/hdfs dfs -mkdir -p /user/hadoop
创建用户目录后即可使用用户目录的相对路径
复制文件 bin/hdfs dfs -put etc/hadoop/*.xml input
查看文件列表 bin/hdfs dfs -ls input
运行MapReduce作业 /usr/local/hadoop/bin/hadoop jar share/hadoop/mapreduce/hadoop-
mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看运行结果 bin/hdfs dfs -cat output/*
将结果取回到本地 bin/hdfs dfs -get output output
删除hdfs上的output文件夹 bin/hdfs dfs -rm -r /user/hadoop/output
1.Job Tracker 管理界面:50030
2.HDFS 管理界面 :50070
3.HDFS通信端口:9000
4.MapReduce通信端口:9001
常用访问页面
1. HDFS 界面
http://hostname:50070
2. MapReduce 管理界面
http://hostname:50030
格式化文件系统
hadoop namenode –format
启动hadoop
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
* start-dfs.sh 启动Hadoop DFS守护Namenode和Datanode
* stop-dfs.sh 停止DFS守护
将当前目录转移至 /usr/local/hadoop即可执行命令
基本命令:
启动 sbin/start-dfs.sh
关闭 sbin/stop-dfs.sh
创建用户目录 bin/hdfs dfs -mkdir -p /user/hadoop
创建用户目录后即可使用用户目录的相对路径
复制文件 bin/hdfs dfs -put etc/hadoop/*.xml input
查看文件列表 bin/hdfs dfs -ls input
运行MapReduce作业 /usr/local/hadoop/bin/hadoop jar share/hadoop/mapreduce/hadoop-
mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看运行结果 bin/hdfs dfs -cat output/*
将结果取回到本地 bin/hdfs dfs -get output output
删除hdfs上的output文件夹 bin/hdfs dfs -rm -r /user/hadoop/output
相关文章推荐
- hadoop HDFS 常用shell命令
- Hadoop常用笔记shell命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- Hadoop 常用shell命令
- hadoop(一) 常用shell命令总结
- hadoop的常用shell命令
- Hadoop常用shell命令
- Hadoop shell常用命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- Hadoop之常用shell命令整理
- Hadoop Shell 常用命令
- Hadoop学习之路(七)Hadoop集群shell常用命令
- (Hadoop学习笔记-2) HDFS常用Shell命令
- hadoop中常用的shell命令
- ssh免密码登录步骤及hadoop的常用shell命令
- Hadoop常用shell命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
- hadoop shell 常用命令