您的位置:首页 > 运维架构 > Shell

hadoop-shell常用命令

2016-12-30 13:48 295 查看
Hadoop 重要的端口
1.Job Tracker 管理界面:50030
2.HDFS 管理界面 :50070
3.HDFS通信端口:9000
4.MapReduce通信端口:9001
常用访问页面
1. HDFS 界面
        http://hostname:50070
2. MapReduce 管理界面
        http://hostname:50030
 
格式化文件系统
      hadoop namenode –format
 
启动hadoop
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop
 
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
 
* start-dfs.sh 启动Hadoop DFS守护Namenode和Datanode
* stop-dfs.sh 停止DFS守护  
 
将当前目录转移至 /usr/local/hadoop即可执行命令
 
基本命令:
启动     sbin/start-dfs.sh
关闭     sbin/stop-dfs.sh
创建用户目录     bin/hdfs     dfs     -mkdir     -p /user/hadoop
创建用户目录后即可使用用户目录的相对路径
复制文件     bin/hdfs     dfs     -put     etc/hadoop/*.xml     input
查看文件列表     bin/hdfs     dfs     -ls     input
运行MapReduce作业     /usr/local/hadoop/bin/hadoop jar share/hadoop/mapreduce/hadoop-          
                              mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
 
查看运行结果     bin/hdfs     dfs     -cat     output/*
将结果取回到本地     bin/hdfs     dfs     -get     output     output
删除hdfs上的output文件夹     bin/hdfs dfs -rm -r /user/hadoop/output
 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: