hadoop集群搭建(三)配置ubermo模式
2018-01-15 10:04
393 查看
一 停掉所有服务
[root@hadoop01 hadoop-2.7.1]# vim ./etc/hadoop/mapred-site.xml
<property>
<!--开启ubertask模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxbytes</name>
<value>102400000</value>
</property>
二 发送到所有小弟,覆盖相应文件
[root@hadoop01 hadoop-2.7.1]# scp -r ./etc/hadoop/mapred-site.xml hadoop01:/usr/local/hadoop-2.7.1/etc/hadoop/
[root@hadoop01 hadoop-2.7.1]# scp -r ./etc/hadoop/mapred-site.xml [b]hadoop02:/usr/local/hadoop-2.7.1/etc/hadoop/[/b]
[b][root@hadoop01 hadoop-2.7.1]# scp -r ./etc/hadoop/mapred-site.xml [b]hadoop03:/usr/local/hadoop-2.7.1/etc/hadoop/[/b][/b]
三、测试
[root@hadoop01 hadoop-2.7.1]# yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /mapred-root-historyserver-yang02.log /test/testout/02
[root@hadoop01 hadoop-2.7.1]# vim ./etc/hadoop/mapred-site.xml
<property>
<!--开启ubertask模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxbytes</name>
<value>102400000</value>
</property>
二 发送到所有小弟,覆盖相应文件
[root@hadoop01 hadoop-2.7.1]# scp -r ./etc/hadoop/mapred-site.xml hadoop01:/usr/local/hadoop-2.7.1/etc/hadoop/
[root@hadoop01 hadoop-2.7.1]# scp -r ./etc/hadoop/mapred-site.xml [b]hadoop02:/usr/local/hadoop-2.7.1/etc/hadoop/[/b]
[b][root@hadoop01 hadoop-2.7.1]# scp -r ./etc/hadoop/mapred-site.xml [b]hadoop03:/usr/local/hadoop-2.7.1/etc/hadoop/[/b][/b]
三、测试
[root@hadoop01 hadoop-2.7.1]# yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /mapred-root-historyserver-yang02.log /test/testout/02
相关文章推荐
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2) - Hadoop安装与配置(完全分布式)
- Ubuntu16.4-Hadoop2.7.5分布式集群搭建(三)--- Hbase的安装与配置
- 【Hadoop集群搭建1】Hadoop集群的配置
- hadoop再次集群搭建(2)-配置免秘钥ssh登录
- Hadoop集群搭建示意图即相应配置文件汇总
- hadoop集群搭建(二)——集群环境配置
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~) .
- 大数据环境搭建-之-hadoop 2.x分布式部署-集群配置
- hadoop-1.2.1集群配置搭建
- Ubuntu Linux hadoop开发环境搭建详细教程 二、配置Hadoop集群环境
- Hadoop全分布集群搭建(3)——Hadoop安装与配置
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- Hadoop集群搭建,配置
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 完全分布式Hadoop集群的安装搭建和配置(4节点)