Spark学习(一):Spark集群的搭建
2016-07-19 22:02
295 查看
Spark集群的安装:
安装Spark包
1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。
2、解压缩spark包:tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。
3、更改spark目录名:mv spark-1.3.0-bin-hadoop2.4 spark
4、设置spark环境变量
vi .bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source .bashrc
修改Spark-env.sh文件
1、cd /usr/local/spark/conf
2、cp spark-env.sh.templatespark-env.sh
3、vi spark-env.sh
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
exportSPARK_MASTER_IP=192.168.1.107
export SPARK_WORKER_MEMORY=1g
exportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
修改slaves文件
spark1
spark2
spark3
在另外两个节点进行一模一样的配置,使用scp将spark和,bashrc拷贝到spark2和spark3即可
启动Spark集群
1、在spark目录下的sbin目录
2、执行./start-all.sh
3、使用jsp和8080端口可以检查集群是否启动成功
4、进入spark-shell查看是否正常
安装Spark包
1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。
2、解压缩spark包:tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。
3、更改spark目录名:mv spark-1.3.0-bin-hadoop2.4 spark
4、设置spark环境变量
vi .bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source .bashrc
修改Spark-env.sh文件
1、cd /usr/local/spark/conf
2、cp spark-env.sh.templatespark-env.sh
3、vi spark-env.sh
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
exportSPARK_MASTER_IP=192.168.1.107
export SPARK_WORKER_MEMORY=1g
exportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
修改slaves文件
spark1
spark2
spark3
在另外两个节点进行一模一样的配置,使用scp将spark和,bashrc拷贝到spark2和spark3即可
启动Spark集群
1、在spark目录下的sbin目录
2、执行./start-all.sh
3、使用jsp和8080端口可以检查集群是否启动成功
4、进入spark-shell查看是否正常
相关文章推荐
- HTML中的表单
- Linux的共享库so
- Android 自定义TopBar的复用
- [编程规范]二、声明、定义、初始化
- jQuery中this与$(this)的区别总结
- 惯性传感器的另(qí)类(pā)应用
- MySQL重置root用户密码的方法
- 【uva11468-Substring】AC自动机+dp
- C# 正则表达式的使用
- OO五大原则
- js实现文件上传—带进度条
- Qt 文件搜索(写入文本文件)
- NO7 创新
- Python学习进程(7)字符串
- 集合框架三迭代器(Iterator)
- leetcode解题笔记:146. LRU Cache
- 重学编程-编程入门指南 v1.4
- 求有环单链表的链表长
- Session
- 以写代学:python shutil模块