Spark升级2.0.1版本安装部署教程
2016-10-17 15:22
225 查看
Spark升级2.0.1版本安装部署教程
0.集群当前环境
Hadoop版本:2.7.1
JDK版本:jdk1.7.0_79
Hbase版本:1.1.2
Spark版本:1.5.0
Scala版本:2.10.4
1.Spark安装
a) 在官网(http://spark.apache.org/downloads.html)上下载与当前hadoop版本适合的Spark版本包。
b) 下载后解压到你要放置的安装目录。我是先解压再重命名移动到指定的文件夹下面。
c) 修改Spark配置文件。由于spark1.5.0版本和spark2.0.1版本的配置文件基本相同,故拷贝了原来的配置文件。
具体其中配置如下:
slaves文件配置子节点hostname(我这边在etc/hosts/中针对每个子节点的ip地址做了解析,所以只写域名)。
spark-defaults.conf配置一些jar包的引用。(注意:spark2.0.1版本不再有lib文件夹,只有jars文件夹,所以需要加上这个jars文件路径)
spark-env.sh配置spark的运行环境(注意,JAK版本至少要是1.7以上,SCALA版本也要控制2.11版本以上,scala路径就是后面你要安装的路径)
至此,Spark安装完成
2.Scala安装
a) 由于spark2.0.1版本只支持2.11版本以上的scala版本,所以需要重装新版本的Scala。在Scala官网下载2.11版本以上的scala安装包。(我安装的是2.11.8版本,http://www.scala-lang.org/download/2.11.8.html)
根据集群的操作系统选择对应的jar包。
下载到指定文件夹后,进行解压缩。
此时注意!要放到/usr/local/文件夹下,必须使用root账号。再拷贝到对应文件夹下。
至此Scala安装完成。
3.修改配置文件
a) 若此时Spark服务正在运行,建议先关闭Spark服务。再修改配置文件。
b) 修改每个账号下面的.bashrc文件
c) 修改完毕之后,source 下.bashrc文件,使之生效。
4.同步文件到子节点
a) Spark文件夹,Scala文件夹及.bashrc文件到各个子节点,注意:source下.bashrc文件,使之生效。
5.验证是否安装成功
a) 验证scala是否安装成功
输入scala -version
b) 启动Spark服务。进入sbin文件夹下,执行bash -x start-all.sh
c) 使用jps查看进程是否启动成功。
d) 查看Spark页面
e) 执行Spark样例(./bin/run-example SparkPi | grep "Pi is roughly")
f) 测试Spark-shell能否正常使用(spark-shell --executor-memory 1G --total-executor-cores 10)
g) 查看8080页面
至此,Spark新版本升级完成
0.集群当前环境
Hadoop版本:2.7.1
JDK版本:jdk1.7.0_79
Hbase版本:1.1.2
Spark版本:1.5.0
Scala版本:2.10.4
1.Spark安装
a) 在官网(http://spark.apache.org/downloads.html)上下载与当前hadoop版本适合的Spark版本包。
b) 下载后解压到你要放置的安装目录。我是先解压再重命名移动到指定的文件夹下面。
c) 修改Spark配置文件。由于spark1.5.0版本和spark2.0.1版本的配置文件基本相同,故拷贝了原来的配置文件。
具体其中配置如下:
slaves文件配置子节点hostname(我这边在etc/hosts/中针对每个子节点的ip地址做了解析,所以只写域名)。
spark-defaults.conf配置一些jar包的引用。(注意:spark2.0.1版本不再有lib文件夹,只有jars文件夹,所以需要加上这个jars文件路径)
spark-env.sh配置spark的运行环境(注意,JAK版本至少要是1.7以上,SCALA版本也要控制2.11版本以上,scala路径就是后面你要安装的路径)
至此,Spark安装完成
2.Scala安装
a) 由于spark2.0.1版本只支持2.11版本以上的scala版本,所以需要重装新版本的Scala。在Scala官网下载2.11版本以上的scala安装包。(我安装的是2.11.8版本,http://www.scala-lang.org/download/2.11.8.html)
根据集群的操作系统选择对应的jar包。
下载到指定文件夹后,进行解压缩。
此时注意!要放到/usr/local/文件夹下,必须使用root账号。再拷贝到对应文件夹下。
至此Scala安装完成。
3.修改配置文件
a) 若此时Spark服务正在运行,建议先关闭Spark服务。再修改配置文件。
b) 修改每个账号下面的.bashrc文件
c) 修改完毕之后,source 下.bashrc文件,使之生效。
4.同步文件到子节点
a) Spark文件夹,Scala文件夹及.bashrc文件到各个子节点,注意:source下.bashrc文件,使之生效。
5.验证是否安装成功
a) 验证scala是否安装成功
输入scala -version
b) 启动Spark服务。进入sbin文件夹下,执行bash -x start-all.sh
c) 使用jps查看进程是否启动成功。
d) 查看Spark页面
e) 执行Spark样例(./bin/run-example SparkPi | grep "Pi is roughly")
f) 测试Spark-shell能否正常使用(spark-shell --executor-memory 1G --total-executor-cores 10)
g) 查看8080页面
至此,Spark新版本升级完成
相关文章推荐
- Spark2.0.1 on yarn with hue 集群搭建部署(五)hue安装支持hadoop
- VMware中linux环境下oracle安装图文教程(二)ORACLE 10.2.05版本的升级补丁安装
- Oracle安装部署,版本升级,应用补丁快速参考
- mysql官网下载最新版升级版本多版本安装教程
- Spark2.0.1 on yarn with hue 集群安装部署(六)hue+hive+sparksql
- Spark/Shark/Hadoop1安装部署文档总结(Hadoop2同理,只需要换成Spark的Hadoop2版本即可)
- spark2.0.1 on yarn with hue 集群搭建部署(三)msyql安装
- Spark2.0.1 on yarn with hue 集群安装部署(六)livy安装测试
- Spark环境安装部署教程
- Spark2.0.1 on yarn with hue 集群安装部署(九)启动脚本编写
- Spark2.0.1 on yarn with hue 集群安装部署(八)hue+livy+spark整合
- Spark 1.6.0 (Scala 2.11)版本的编译与安装部署
- 自动化部署与统一安装升级 - 类ansible工具 udeploy0.3版本发布 (更新时间2014-12-24)
- 部署一台Windows 2003 32位服务器,安装oracle 9.2.0.1版本的数据库,并且升级到9.2.0.6
- 直接从Windows7RC版升级安装RTM版本的小窍门
- 关于用VS2008制作的安装部署文件,安装时提示“要求安装.net Framework 3.5版本的组件”的问题
- ASP.NET桌面应用程序的打包(安装部署)过程(含视频教程下载地址)
- vs2008安装部署工程制作教程
- 远古5.0SQL版本 仿迅雷模板安装教程 带附件