Spark Standalone 集群部署图文分享
2014-12-17 10:02
405 查看
JDK和Scala的安装
请参阅Hadoop安装文章里的说明:http://congli.iteye.com/blog/2158007
SSH无密码登录
请参阅Hadoop安装文章里的说明:http://congli.iteye.com/blog/2158007
Spark的下载和安装包解压
1、 下载spark,我用的是1.1.0 for hadoop2.4版本,不用自己编译(暂时没有需要编译的需求,且编译需要下载jar包等,有些被墙了,先用编译好的)
2、 用hadoop用户解压安装:
Java代码
tar zxf /home/spark/spark-1.1.0-bin-hadoop2.4.tgz
如果是因为权限问题请chown给hadoop用户
Java代码
chown -R hadoop:hadoop /app
3、 为了好记,所以我会给spark改下名字
Java代码
mv spark-1.1.0-bin-hadoop2.4/ spark110
Spark配置文件的配置
4、进入配置目录
Java代码
cd /app/spark110/conf/
5、 节点的配置:删除localhost,再添加hadoo1、hadoop2、hadoop3
Java代码
vi slaves
6、 配置spark的运行环境,先从模板进行拷贝
Java代码
cp spark-env.sh.template spark-env.sh
然后编辑
Java代码
vi spark-env.sh
然后在最后插入:
Java代码
export JAVA_HOME=/home/jvm/jdk1.8.0_25
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
配置项说明(根据环境,自行配置):
引用
export SPARK_WORKER_CORES=1 一个worker用的核
export SPARK_WORKER_INSTANCES 一台机器开启多少个worker
export SPARK_WORKER_MEMORY=1g 用多少内存
环境变量的配置
环境变量配置(需要各个节点都配置),这里我就不细说了,请大家参阅上一篇文章的配置环境变量章节进行配置
传送门:http://congli.iteye.com/blog/2158007
Spark Standalone集群部署
将spark配置完成的目录copy到各个节点
Java代码
scp -r spark110 hadoop@hadoop2:/app/spark110/
scp -r spark110 hadoop@hadoop3:/app/spark110/
启动Spark
现在启动Spark
Java代码
sbin/start-all.sh
验证Spark安装是否完成
我们访问一下 http://hadoop1:8080/ 会看到如下图的界面,里面可以看到有3个节点,正是我们配置的hadoop1、hadoop2、hadoop3
至此,我们的Spark集群就已经安装好了,如果开启Spark-Shell以及运行例子等,我之后会再开贴记录。
请参阅Hadoop安装文章里的说明:http://congli.iteye.com/blog/2158007
SSH无密码登录
请参阅Hadoop安装文章里的说明:http://congli.iteye.com/blog/2158007
Spark的下载和安装包解压
1、 下载spark,我用的是1.1.0 for hadoop2.4版本,不用自己编译(暂时没有需要编译的需求,且编译需要下载jar包等,有些被墙了,先用编译好的)
2、 用hadoop用户解压安装:
Java代码
tar zxf /home/spark/spark-1.1.0-bin-hadoop2.4.tgz
如果是因为权限问题请chown给hadoop用户
Java代码
chown -R hadoop:hadoop /app
3、 为了好记,所以我会给spark改下名字
Java代码
mv spark-1.1.0-bin-hadoop2.4/ spark110
Spark配置文件的配置
4、进入配置目录
Java代码
cd /app/spark110/conf/
5、 节点的配置:删除localhost,再添加hadoo1、hadoop2、hadoop3
Java代码
vi slaves
6、 配置spark的运行环境,先从模板进行拷贝
Java代码
cp spark-env.sh.template spark-env.sh
然后编辑
Java代码
vi spark-env.sh
然后在最后插入:
Java代码
export JAVA_HOME=/home/jvm/jdk1.8.0_25
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
配置项说明(根据环境,自行配置):
引用
export SPARK_WORKER_CORES=1 一个worker用的核
export SPARK_WORKER_INSTANCES 一台机器开启多少个worker
export SPARK_WORKER_MEMORY=1g 用多少内存
环境变量的配置
环境变量配置(需要各个节点都配置),这里我就不细说了,请大家参阅上一篇文章的配置环境变量章节进行配置
传送门:http://congli.iteye.com/blog/2158007
Spark Standalone集群部署
将spark配置完成的目录copy到各个节点
Java代码
scp -r spark110 hadoop@hadoop2:/app/spark110/
scp -r spark110 hadoop@hadoop3:/app/spark110/
启动Spark
现在启动Spark
Java代码
sbin/start-all.sh
验证Spark安装是否完成
我们访问一下 http://hadoop1:8080/ 会看到如下图的界面,里面可以看到有3个节点,正是我们配置的hadoop1、hadoop2、hadoop3
至此,我们的Spark集群就已经安装好了,如果开启Spark-Shell以及运行例子等,我之后会再开贴记录。
相关文章推荐
- Alluxio集群部署到Spark Standalone
- linux环境部署Spark集群(Standalone Mode)
- spark stand alone 集群部署
- Spark standalone安装(最小化集群部署)
- spark standalone zookeeper HA部署方式
- spark standalone 集群环境搭建
- Spark1.0.0 on Standalone 模式部署
- spark standalone集群模式搭建
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark(一)-- Standalone HA的部署
- Spark standalone cluster模式部署实践
- Spark(一)-- Standalone HA的部署
- Spark1.0.0 on Standalone 模式部署
- spark standalone 集群配置
- Spark standalone集群安装
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark standalone运行模式(图文详解)
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.0.0 on Standalone 模式部署
- Spark官方文档——独立集群模式(Standalone Mode)