hadoop MapReduce集群模式调整匹配及shell脚本处理

一.克隆多台虚拟机

二.配置虚拟机以文本模式启动(使速度加快，避免图形界面占用较多资源)

1.cd /etc/default

2.cat grub

3.sudo nano grub

将其中GRUB_CMDLINE_LINUX_DEFAULT=”quiet”的quiet替换成test

4.sudo update-grub

5.sudo reboot

三.创建shell脚本(批量处理虚拟机以文本模式启动)

1.创建文件bat.sh

cd ~/Downloads

touch bat.sh

2.使bat.sh可执行，改变权限

chmod a+x bat.sh

3.编辑文件bat.sh

nano bat.sh

#！/bin/bash
for((i=1;i<8;i++)) #假如这里7台虚拟机需要处理
{
scp /etc/default/grub root@s$i :/etc/default
ssh -t s$i sudo update-grub

}

4.执行文件bat.sh

cd ~/Downloads

./bat.sh

四.修改副本数(3)和最小block数(128M)

1.找出所有的配置元素

在[hadoop/share/hadoop/xxx.xxx.jar]中寻找

hadoop-common-2.7.3.jar/core-default.xml

hadoop-hdfs-2.7.3.jar/hdfs-default.xml

hadoop-mapreduce-client-core-2.7.3.jar/mapred-default.xml

hadoop-yarn-common-2.7.3.jar/yarn-default.xml

2.修改配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

以修改hdfs-site.xml为例(修改副本数)：

cd /usr/soft/hadoop2.7.3/etc/hadoop

cat hdfs-site.xml

nano hdfs-site.xml

修改为：

<name>dfs.replication</name>

<

value

>2<

/value

>

hdfs-site.xml为例(修改最小block数)：

nano hdfs-site.xml

修改为：

<name>dfs.blocksize</name>

<

value

>20k<

/value

>

3.发送hdfs-site.xml给所有节点

4.重启集群

[1]删除所有节点的临时目录

nano编辑器软件：ctrl+k 删除一行 ctrl+u 复制一行

a.编辑文件bat.sh

nano bat.sh

#！/bin/bash
for((i=1;i<8;i++)) #假如这里7台虚拟机需要处理
{
scp hadoop_install/etc/hadoop/hdfs-site.xml ubuntu@$i:hadoop_install/etc/hadoop/
}

b.执行文件bat.sh

cd ~/Downloads

./bat.sh

c.停掉集群

stop-all.sh

d.恢复文件bat.sh原内容

#！/bin/bash
for((i=1;i<8;i++)) #假如这里7台虚拟机需要处理
{
ssh s$i rm -fR /tmp/hadoop-ubuntu
}

[2]格式化文件系统

hadoop namenode -format

[3]start-dfs.sh

[4]start-yarn.sh