Hadoop-2.2.0中文文档—— Common - CLI MiniCluster
2014-05-16 08:16
357 查看
目的
使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群,不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个YARN/
MapReduce和
HDFS集群。
这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。
Hadoop Tarball
你需要从发布页获取tar包。或者,你可以从源码中自己编译。$ mvn clean install -DskipTests $ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip
注意: 你需要事先安装有 protoc 2.5.0 。
tar包应该在
hadoop-dist/target/目录.
运行 MiniCluster
从解压出的tar包的根目录,你可以用下面的命令启动 CLI MiniCluster :$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT
在上面的命令示例中,
RM_PORT和
JHS_PORT应该由用户的端口号替换。如果不指定,会随机使用空闲的端口。
命令行参数中有一个数字,用户可以用来控制启动哪个服务,或者传递别的属性。可用的命令行参数如下:
$ -D <property=value> Options to pass into configuration object $ -datanodes <arg> 启动多少个 datanodes (默认是 1) $ -format 格式化 DFS (默认是 false) $ -help 打印帮助选项 $ -jhsport <arg> JobHistoryServer 端口 (默认是 0--我们选的) $ -namenode <arg> namenode 的 URL (默认 要么是 DFS 集群,要么是临时目录)
$ -nnport <arg> NameNode 端口 (默认是 0--我们选的) $ -nodemanagers <arg> 要启动多少个 nodemanagers(默认是 1) $ -nodfs 不启动一个 mini DFS 集群 $ -nomr Don't start a mini MR cluster $ -rmport <arg> ResourceManager 端口 (默认是 0--我们选的) $ -writeConfig <path> 保存配置文件到这个XML文件里。 $ -writeDetails <path> 写出基本信息到这个JSON文件中。
要显示可用的参数的全列表,用户可以传-help参数给上面的命令。
相关文章推荐
- Hadoop-2.2.0中文文档—— Common - CLI MiniCluster
- Hadoop-2.2.0中文文档—— Common - CLI MiniCluster
- Hadoop-2.2.0中文文档—— Common - CLI MiniCluster
- Hadoop-2.2.0中文文档—— Common - 服务层认证
- Hadoop-2.2.0中文文档—— Common - 服务层认证
- Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证
- Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证
- Hadoop-2.2.0中文文档—— Common - 服务层认证
- Hadoop-2.2.0中文文档—— Common - 服务层认证
- Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
- Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
- Hadoop-2.2.0中文文档—— Common - Native Libraries Guide
- Hadoop-2.2.0中文文档—— Common - Native Libraries Guide
- Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
- Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览
- Hadoop-2.2.0中文文档—— MapReduce 下一代 -- 公平调度器
- Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort
- Hadoop-2.2.0中文文档—— MapReduce 下一代--容量调度器
- Hadoop-2.2.0中文文档—— Shell命令
- Hadoop-2.2.0中文文档—— MapReduce 下一代 - Encrypted Shuffle