Spark1.0.1集群部署

参考http://blog.csdn.net/zhxue123/article/details/19199859
http://www.cnblogs.com/tec-vegetables/p/3780046.html
1. 前面都是在4台hadoop2.2集群，以及spark单机版下测试

2. 现在打算部署spark集群

3. 在有spark环境的那台机子执行如下命令，让其他集群也都含有scala,spark文件

scp -r $SCALA_HOME hadoop@ip:/home/hadoop/scala_path

scp -r $SPARK_HOME hadoop@ip:/home/hadoop/spark_path

并加入环境变量



4.修改conf/spark-env.sh 加入scala_home, HADOOP_CONF_DIR, SPARK_MASTER_IP

并修改 conf/slaves文件





5. start-all.sh,并调用jps查看状态,多了master, worker,worker,worker进程；启动成功









6.

./bin/run-example
SparkPi

7.运行如下命令



8 结果运行成功



9 查看http://resourcemanager:8088/cluster



点击进入



10 集群运行上篇文章自己sbt编写的SimpleApp







成功 我的 README.md 文件很简单

test

test

xia

在测试Java写的求pi



同样效果