Hadoop实战-初级部分 之 Hadoop Shell 基本操作介绍
2013-12-14 23:47
525 查看
第一部分:Hadoop Bin
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。
HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
stop-all.sh 停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh 停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分:Hadoop Shell 基本操作
nHadoop shell
包括: namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
mradmin run a Map-Reduce admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
fetchdt fetch delegation token from the NameNode
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
historyserver run job history servers as a standalone daemon
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
私塾在线学习网原创内容,转载请注明出处【 http://sishuok.com/forum/blogPost/list/5457.html】
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。
HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
stop-all.sh 停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh 停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分:Hadoop Shell 基本操作
nHadoop shell
包括: namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
mradmin run a Map-Reduce admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
fetchdt fetch delegation token from the NameNode
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
historyserver run job history servers as a standalone daemon
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
私塾在线学习网原创内容,转载请注明出处【 http://sishuok.com/forum/blogPost/list/5457.html】
相关文章推荐
- Hadoop实战-初级部分 之 Shell
- Hadoop实战-初级部分 之 Shell
- Hadoop实战-初级部分-第二部分 Hadoop介绍
- Hadoop-2.3.0学习(3)——Hadoop Shell的基本操作介绍
- HDFS的基本shell操作,hadoop fs操作命令
- Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API
- Hadoop实战-初级部分 之 MapReduce
- HDFS的基本shell操作,hadoop fs操作命令
- Hadoop笔记六之Hdfs的基本shell操作
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API
- Hadoop实战-初级部分 之 Hadoop IO
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 HDFS API
- Hadoop实战-初级部分 之 MapReduce
- hadoop实战-初级部分
- 安装Hadoop——Hadoop实战初级部分学习笔记
- Hadoop实战-初级部分 之 Hadoop 分布式文件系统1
- Hadoop实战-初级部分 之 MapReduce