Hadoop集群搭建三

一：安装hadoop
将Hadoop安装在主节点master上面，进行配置操作，之后将文件复制分发到子节点slave1和slave2中。
1）下载hadoop安装包
创建对应的工作目录/usr/hadoop，解压到相应的目录中，删除安装包。

mkdir -p /usr/hadoop
cd /usr/hadoop

wget 下载的路径。

tar -zxvf  hadoop-2.7.3.tar.gz -C /usr/hadoop/
rm -rf /usr/hadoop-2.7.3.tar.gz

2）添加hadoop环境变量（三台机器）
vim /etc/profile
添加以下内容：

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

是配置文件生效

source /etc/profile

3）配置hadoop相关组件：

common组件： core-site.xml
hdfs组件 : hdfs-site.xml
mapreduce组件：mapred-site,xml
yarn组件：yarn-site.xml

1：进入hadoop配置目录，编辑hdfs-env.sh

cd $HADOOP_HOME/etc/hadoop
vim hadoop-env.sh

修改java环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_171

：wq保存退出
2：编辑core-site.xml

vim core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>

master:在主节点上的ip或映射
9000：主节点和从节点配置的端口都是9000
3：编辑mapred-site.xml
hadoop是没有这个文件的，需要将mapred-site.xml.template样本文件复制为mapred-site.xml进行编辑

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

加入以下内容：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

4：修改yarn-site.xml
加入以下代码：

<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

5：编辑hdfs-site.xml配置文件
添加以下代码：

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

6：编写slave文件，添加从节点slave1，slave2

vim slave

将slave1 和slave2写入slave文件
编写master文件， 添加主节点master，如果没有这个文件，直接添加

vim master

将master 写入master文件。

7：分发文件到slave1和slave2

scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

slave上面需要配置相关环境变量。
8：在master中格式化hadoop，开启hadoop（master执行）
格式化namenode：

hadoop namenode -format

当出现“Exiting with status 0”的时候，表明格式化成功。
9：主节点格式化成功后，可以在master中开启hadoop集群，（master执行）
回到hadoop目录：

cd /usr/hadoop/hadoop-2.7.3

主节点开启服务：

sbin/start-all.sh

jsp查看启动状态