Spark-2.2.0安装和部署(分布式集群搭建,亲测可用)
2019-06-06 17:06
489 查看
转载好文章(安装spark集群的前提一定要安装scala):https://www.geek-share.com/detail/2711886984.html
注意:此命令只复制文件夹 目录下的内容,不直接将目录及内容复制到其他主机
[code]rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/
scp命令是可以将目录及目录下的内容都复制过去的。
配合zookeeper的高可用spark分布式集群(亲测可用):
https://blog.csdn.net/nuc2015/article/details/81913293
Spark启动命令是和hadoop的启动命令一样:
[code]切到spark-2.2.0目录下: sbin/start-all.sh
进入spark-shell命令:
Scala退出shell窗口:
命令:
[code]:q
相关文章推荐
- Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- 大数据 IMF 传奇 spark -history在分布式 集群 的安装部署 及问题解决
- spark-2.2.0安装和部署——Spark集群学习日记
- 如何在虚拟机上搭建并配置一个分布式的 Spark2.2.0 集群
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- spark-2.2.0安装和部署——Spark集群学习日记
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- Spark2.0.1 on yarn with hue 集群搭建部署(五)hue安装支持hadoop
- 安装Spark+hadoop,spark、hadoop分布式集群搭建...(亲自搭建过!!)
- 01-spark单机安装部署、分布式集群与HA安装部署+spark源码编译
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~
- spark-2.2.0 集群安装部署以及hadoop集群部署
- 搭建3个节点的hadoop集群(完全分布式部署)--3 zookeeper与hbase安装
- Hadoop2.6.0 + Spark1.4.0 在Ubuntu14.10环境下的伪分布式集群的搭建(实践可用)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- spark-2.2.0安装和部署——Spark集群学习日记