spark安装配置
2015-08-14 10:05
363 查看
在装spark之前先装Scala Scala 的安装在hadoop安装配置中已经介绍了
1、下载spark安装包 下载地址如下
http://spark.apache.org/downloads.html
我选择的是
spark-1.4.1-bin-hadoop2.6.tgz 放在/root/software
解压
tar zxvf spark-1.4.1-bin-hadoop2.6.tgz
2、配置系统环境变量
vim /etc/profile
export SPARK_HOME=/root/sherry/spark-1.4.1
export PATH=$SPARK_HOME/bin:$PATH
source /etc/profile
3、配置spark文件
1)[root@HBMS-DKXD-DEV sherry]# cd spark-1.4.1-bin-hadoop2.6/
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# cd conf
[root@HBMS-DKXD-DEV conf]# vim spark-env.sh
添加如下内容
export SCALA_HOME=/root/sherry/scala-2.10.4
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_IP=10.118.46.22
2)配置slave
我自己没有配置
4、启动集群
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/start-all.sh
关闭
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/stop-all.sh
检查是否安装成功
jps
1、下载spark安装包 下载地址如下
http://spark.apache.org/downloads.html
我选择的是
spark-1.4.1-bin-hadoop2.6.tgz 放在/root/software
解压
tar zxvf spark-1.4.1-bin-hadoop2.6.tgz
2、配置系统环境变量
vim /etc/profile
export SPARK_HOME=/root/sherry/spark-1.4.1
export PATH=$SPARK_HOME/bin:$PATH
source /etc/profile
3、配置spark文件
1)[root@HBMS-DKXD-DEV sherry]# cd spark-1.4.1-bin-hadoop2.6/
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# cd conf
[root@HBMS-DKXD-DEV conf]# vim spark-env.sh
添加如下内容
export SCALA_HOME=/root/sherry/scala-2.10.4
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_IP=10.118.46.22
2)配置slave
我自己没有配置
4、启动集群
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/start-all.sh
关闭
[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/stop-all.sh
检查是否安装成功
jps
相关文章推荐
- 从源码安装Mysql/Percona 5.5
- Spark随谈——开发指南(译)
- 在 AppImage、Flathub 和 Snapcraft 平台上搜索 Linux 应用
- Spark,一种快速数据分析替代方案
- 解决vc中unable to connect to the MKS:Internal error问题
- [游戏资讯]《极品飞车16:亡命狂飙》配置需求公布
- 杰奇一些安装详细说明文件,比官方更细
- 路由器备份配置
- 无线网卡安装DIY
- 网卡安装常见问题精解
- DB2数据库的安装
- CentOS下DB2数据库安装过程详解
- 路由器的基本配置
- 路由器基础配置及传输协议
- 经典配置 Vlan篇
- 备份线路的配置
- ghost安装系统软件硬盘安装器 安装ghost图文教程
- CentOS 6.3下编译安装Ruby 2.0笔记
- FREEBSD安装POSTGRESQL笔记