高效搭建Spark完全分布式集群
2014-07-14 13:35
239 查看
写在前面一:
本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。
写在前面二:
使用软件说明
约定,Spark相关软件存放目录:/usr/local/yujianxin/spark,
Hadoop相关软件存放目录: /home/yujianxin/hadoop。
Spark集群示意图
一、具体安装步骤
1、安装jdk
2、安装Hadoop集群,参考http://blog.csdn.net/aaronhadoop/article/details/24867257
3、安装 Scala
cd /usr/local/yujianxin/spark/
tar -zxvf scala-2.9.3.tgz
修改/etc/profile
4、安装Spark
4.1、修改/etc/profile
cd /usr/local/yujianxin/spark/
tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz
4.2、配置Spark
4.2.1、修改配置文件spark-env.sh
cd /usr/local/yujianxin/spark/spark-0.7.2/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
4.2.2、修改配置文件slaves
至此,master节点上的Spark已配置完毕。把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。
[b]二、安装测试
[/b]
2.1、通过命令行
cd $SPARK_HOME/bin
start-all.sh
2.2、通过浏览器
本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。
写在前面二:
使用软件说明
约定,Spark相关软件存放目录:/usr/local/yujianxin/spark,
Hadoop相关软件存放目录: /home/yujianxin/hadoop。
Spark集群示意图
一、具体安装步骤
1、安装jdk
2、安装Hadoop集群,参考http://blog.csdn.net/aaronhadoop/article/details/24867257
3、安装 Scala
cd /usr/local/yujianxin/spark/
tar -zxvf scala-2.9.3.tgz
修改/etc/profile
4、安装Spark
4.1、修改/etc/profile
cd /usr/local/yujianxin/spark/
tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz
4.2、配置Spark
4.2.1、修改配置文件spark-env.sh
cd /usr/local/yujianxin/spark/spark-0.7.2/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
4.2.2、修改配置文件slaves
至此,master节点上的Spark已配置完毕。把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。
[b]二、安装测试
[/b]
2.1、通过命令行
cd $SPARK_HOME/bin
start-all.sh
2.2、通过浏览器
相关文章推荐
- 高效搭建Spark全然分布式集群
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- spark完全分布式集群搭建
- 高效搭建Storm完全分布式集群
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- Spark 完全分布式集群搭建过程
- spark完全分布式集群搭建
- Centos 7 搭建hadoop-2.6.0和spark1.6.0完全分布式集群教程 (最小化配置)
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- 在VM虚拟机上搭建Hadoop2.7.3+Spark2.1.0完全分布式集群
- spark2.1.0完全分布式集群搭建-hadoop2.7.3
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- 高效搭建Storm完全分布式集群
- Hadoop2.2.0--Hadoop Federation、Automatic HA、Yarn完全分布式集群搭建
- hadoop 2.5.2 完全分布式集群环境搭建 (2)
- 4台Hadoop集群完全分布式搭建
- Spark完全分布式集群安装
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- hadoop完全分布式集群搭建(Ubuntu14.04+Hadoop2.5.1)(自测成功)