您的位置:首页 > 其它

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

2014-11-20 10:50 274 查看
从控制台可以看到我们的程序成功在集群上运行:



Detail for stage 1:





Detail for Stage 0:





查看一下Executors的信息:



上述信息表明程序成功在Spark集群上运行。

第四步:基于IDEA构建Spark开发环境

1,下载IDEA13.1.4社区版本“Community Edition FREE”

http://www.jetbrains.com/idea/download/



2,安装IDEA并配置IDEA系统环境变量

具体安装和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627

3,使用IDEA开发Spark程序,我们这里使用SparkPi来验证开发环境

具体开发和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627

4,通过IDEA在集群上运行程序,此时需要加入

“conf.setMaster(“spark://192.168.35.129:7077”)”

运行之即可。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐