Spark1.2.1集群环境搭建——Standalone模式
2015-03-16 17:37
435 查看
机器准备
笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。192.168.248.150 spark-master 192.168.248.153 ubuntu-worker 192.168.248.155 spark-worker1
根据机器信息加入到三台机器的/etc/hosts中。
安装Hadoop2.4.1
详见Spark集群搭建——Hadoop2.4.1集群搭建,因为我们使用的是standalone方式,只启动hdfs即可。安装scala
参照Scala极速入门安装部分,在一台机器上解压、配置环境变量后,将文件夹和环境变量文件通过scp拷贝到另外两台即可。scp -r scala spark@ubuntu-worker:~/spark
下载spark
点此下载解压文件 tar -xzvf spark-1.2.1-bin-hadoop2.4.tgz
配置
1. 向环境变量添加spark home。export SPARK_HOME=/home/mupeng/Hadoop/spark-1.2.1-bin-hadoop2.4 export PATH=$SPARK_HOME/bin:$PATH
2. 配置./conf/slaves
首先将slaves.template拷贝一份
cp slaves.template slaves
修改slaves文件
# A Spark Worker will be started on each of the machines listed below. spark-master ubuntu-worker spark-worker1
3. 配置./conf/spark-env.sh
同样将spark-env.sh.template拷贝一份
cp spark-env.sh.template spark-env.sh
在spark-env.sh最后加入以下几行
export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35 export SCALA_HOME=/home/mupeng/scala/scala-2.11.6 export SPARK_MASTER_IP=192.168.248.150 export SPARK_WORKER_MEMORY=25g export MASTER=spark://192.168.248.150:7077
最后将spark-1.2.1-bin-hadoop2.4文件夹拷贝到另外两个结点即可。
检查安装是否成功
访问web管理界面:http://192.168.248.150:8080好了,配置结束,可以在我们的spark集群上运行任务了!
相关文章推荐
- Spark1.6.1集群环境搭建——Standalone模式HA
- spark2.2.0搭建standalone集群环境
- (一) 从零开始搭建Spark Standalone集群环境搭建
- spark环境搭建(独立集群模式)
- spark环境搭建--Standalone模式
- Spark学习之(二)Spark 集群环境搭建(standalone)
- Spark的StandAlone运行模式环境搭建
- Spark自带的集群模式(Standalone),Spark/Spark-ha集群搭建
- Spark的StandAlone模式环境搭建
- 在spark开发环境中使用Standalone模式调试集群运行
- spark1.3.0-hadoop2.4集群环境搭建(Standalone)
- windows eclipse hadoop 集群开发环境搭建(分布式模式)
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点
- spark-1.2.0 集群环境搭建
- Spark-1.3.1集群环境搭建
- 搭建hadoop/spark集群环境
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- spark-1.2.0 集群环境搭建
- Dream------spark--spark集群的环境搭建
- Spark实战01:单节点本地模式搭建Spark运行环境