Spark On YARN 分布式集群安装

1.安装jdk
2.安装scala
3.hadoop完全分布式运行模式
4.安装spark
1.2.4参考： Spark On YARN 伪分布式集群安装

3.hadoop完全分布式运行模式
3.1 集群环境：(3台主机)

master     #主节点
slave1     #从节点1
salve2     #从节点2

3.2 SSH无密登录配置
简单来说，就是每台主机可以相互切换。方便启动集群。
1）生成公钥和私钥：(一直敲回车就行)

[root@master .ssh]$ ssh-keygen -t rsa

2）将公钥拷贝到要免密登录的目标机器上

#master 可以访问 master/slave1/slave2
[root@master .ssh]$ ssh-copy-id master
[root@master .ssh]$ ssh-copy-id slave1
[root@master .ssh]$ ssh-copy-id slave2

3.3 集群部署规划
Hadoop简介

3.4 根据部署，配置集群
1）配置全局文件：core-site.xml

[root@master hadoop]$ vim core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data</value>
</property>

<!-- 下面的可以不配 ，我没有配过-->
<!-- web端查看HDFS文件系统的地址 -->
<property>
<name>dfs.http.address</name>
<value>50070</value>
</property>
</configuration>

2）hdfs 配置文件
2.1 配置hadoop-env.sh

[root@master hadoop]$ vim hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_211

2.2 配置 hdfs-site.xml

[root@master hadoop]$ vim hdfs-site.xml

<configuration>
<!--  副本的个数为3  -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<!--  SecondaryNameNode ： slave2 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property>
</configuration>

3）yarn 配置文件
3.1 配置 yarn-env.sh

[root@master hadoop]$ vim yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_211

3.2 配置 yarn-site.xml

[root@master hadoop]$ vim yarn-site.xml

<configuration>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!-- ResourceManager : slave1-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
</configuration>

4）mapreduce 配置文件
4.1 配置 mapred-env.sh

[root@master hadoop]$ vim mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_211

4.2 配置 mapred-site.xml

# 拷贝 mapred-site.xml.template 为 mapred-site.xml
[root@master hadoop]$ cp mapred-site.xml.template mapred-site.xml

[root@master hadoop]$ vi mapred-site.xml

<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

注意：对master ，slave1 ，slave2 都进行3.3 同样的配置；
注意：对master ，slave1 ，slave2 都进行3.3 同样的配置；
注意：对master ，slave1 ，slave2 都进行3.3 同样的配置；
3.5 启动集群
注意：在 ResouceManager 的节点上启动yarn。

[root@master sbin]$ start-all.sh

3.6 关闭集群

[root@master sbin]$ stop-all.sh

补充：关于hadoop的启动/关闭命令

补充：关于spark的启动/关闭命令