hadoop2官方文档中文翻译（2）---单节点配置

 

原文：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

 

设置环境
       假设你已经安装了hadoop-common/hadoop-hdfs 并且配置了$HADOOP_COMMON_HOME/$HADOOP_HDFS_HOME。解压hadoop mapreduce的tar包并且设置环境变量$HADOOP_MAPRED_HOME为tar包的解压目录。配置$HADOOP_YARN_HOME路径和
$HADOOP_MAPRED_HOME一样。

[b]配置文件[/b]
       为了运行资源管理器和节点管理器，你必须更新配置。假设你的$HADOOP_CONF_DIR为配置文件目录，并且已经配置好了HDFS和core-site.xml。那你还需要配置mapred-site.xml和yarn-site.xml

 

       配置 mapred-site.xml

       把下面的配置添加到mapred-site.xml

<property>
<name>mapreduce.cluster.temp.dir</name>
<value></value>
<description>No description</description>
<final>true</final>
</property>

<property>
<name>mapreduce.cluster.local.dir</name>
<value></value>
<description>No description</description>
<final>true</final>
</property>

         配置yarn-site.xml

         把下面的配置添加到yarn-site.xml

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>host:port</value>
<description>host为resource manager的hostname，port为NodeManagers连接Resource Manager的端口.
</description>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>host:port</value>
<description>host为resourcemanager的hostname，port为集群上的应用与resourceManger通话的端口</description>
</property>

<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
<description>避免你没有用默认的调度器</description>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>host:port</value>
<description>host为ResourceManager的hostname，port为客户端与resourceManager通话的端口</description>
</property>

<property>
<name>yarn.nodemanager.local-dirs</name>
<value></value>
<description>nodemanager使用的本地目录</description>
</property>

<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:port</value>
<description>nodemanagers绑定的端口</description>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>10240</value>
<description>NodeManager的内存容量</description>
</property>

<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
<description>在hdfs上的应用日志目录</description>
</property>

<property>
<name>yarn.nodemanager.log-dirs</name>
<value></value>
<description>Nodemanagers的日志目录</description>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
<description>mapreduce运行时的shuffle service</description>
</property>

 配置capacity-scheduler.xml
      确保capacity-scheduler.xml配置了下列信息

  

<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>unfunded,default</value>
</property>

<property>
<name>yarn.scheduler.capacity.root.capacity</name>
<value>100</value>
</property>

<property>
<name>yarn.scheduler.capacity.root.unfunded.capacity</name>
<value>50</value>
</property>

<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>50</value>
</property>

 运行程序

      假设你已经配置好了环境变量： $HADOOP_COMMON_HOME, $HADOOP_HDFS_HOME,$HADOO_MAPRED_HOME,$HADOOP_YARN_HOME,$JAVA_HOME and
$HADOOP_CONF_DIR 

设置 $YARN_CONF_DIR 和 $HADOOP_CONF_DIR一样。

用下面的方法来运行ResourceManager 和 NodeManager :

$ cd $HADOOP_MAPRED_HOME
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager

你可以运行一个例子

$ $HADOOP_COMMON_HOME/bin/hadoop jar hadoop-examples.jar randomwriter out

 

 

其实按照官方文档来配置单节点，我也没看懂。