Spark程序开发-环境搭建-程序编写-Debug调试-项目提交
2015-09-24 10:33
531 查看
1,使用IDEA软件进行开发.
在idea中新建scala project, File-->New-->Project.选择Scala-->Scala
2,在编辑窗口中完成WordCount程序的编写,完整程序如下:
如上图所示,选择Main class,在VM options中设置参数 -Dspark.master=local表示以当前机器为master.
4,程序中结果在窗口中打印,如下
5,以spark-submit形式提交程序并运行
5.1,从idea打包导出可运行jar程序
“File”–> “Project Structure” –> “Artifact”,选择“+”–> “Jar” –> “From Modules with dependencies”,选择main函数,并在弹出框中选择输出jar位置,并选择“OK”。
点击ok后,build-->Build Artifact,弹出如下窗口
选择Rebuild,在桌面上生成SparkTest.jar文件.
5.2,提交SparkTest.jar文件到Spark集群中并运行
本次将jar包从主机提交到虚拟机集群中
(1)master上启动spark,SPARK_HOME/sbin/start-all.sh.可在浏览器中通过:master:8080访问
(2)使用spark-submit命令远程提交jar包,更多spark-submit命令参数配置可访问http://spark.apache.org/docs/latest/submitting-applications.html
进入本机的SPARK_HOME目录下,
命令:bin/spark-submit --class WordCount --master spark://master:7077 --executor-memory 4G --total-executor-cores 4 /home/file/SparkJob/SparkTest.jar 1000
任务提交后,
此时访问master:8080端口,可以看到正在运行的任务
待到任务运行完成,命令窗口中可以看到运行结果
此时再次访问master:8080,可以看到Completed Applications中有一个Word Count的任务已完成
在idea中新建scala project, File-->New-->Project.选择Scala-->Scala
2,在编辑窗口中完成WordCount程序的编写,完整程序如下:
object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Word Count") val sc = new SparkContext(conf) val textFile = sc.textFile("/usr/local/spark-1.4.0/README.md") val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b) val counts = wordCounts.collect() for(count <- counts) { println(count._1 + ":" + count._2) } } } 3.本地调试及debug程序:
如上图所示,选择Main class,在VM options中设置参数 -Dspark.master=local表示以当前机器为master.
4,程序中结果在窗口中打印,如下
5,以spark-submit形式提交程序并运行
5.1,从idea打包导出可运行jar程序
“File”–> “Project Structure” –> “Artifact”,选择“+”–> “Jar” –> “From Modules with dependencies”,选择main函数,并在弹出框中选择输出jar位置,并选择“OK”。
点击ok后,build-->Build Artifact,弹出如下窗口
选择Rebuild,在桌面上生成SparkTest.jar文件.
5.2,提交SparkTest.jar文件到Spark集群中并运行
本次将jar包从主机提交到虚拟机集群中
(1)master上启动spark,SPARK_HOME/sbin/start-all.sh.可在浏览器中通过:master:8080访问
(2)使用spark-submit命令远程提交jar包,更多spark-submit命令参数配置可访问http://spark.apache.org/docs/latest/submitting-applications.html
进入本机的SPARK_HOME目录下,
命令:bin/spark-submit --class WordCount --master spark://master:7077 --executor-memory 4G --total-executor-cores 4 /home/file/SparkJob/SparkTest.jar 1000
任务提交后,
此时访问master:8080端口,可以看到正在运行的任务
待到任务运行完成,命令窗口中可以看到运行结果
此时再次访问master:8080,可以看到Completed Applications中有一个Word Count的任务已完成
相关文章推荐
- 大数据竞赛平台——Kaggle 入门篇
- 结构体struct 联合体union 及内存对齐
- Spark程序开发-环境搭建-程序编写-Debug调试-项目提交
- StringUtils.isEmpty()方法
- HttpServletRequest对象方法的用法
- mysql user administration
- Nmcli 网络管理命令行工具基础
- SVN(TortoiseSVN)提交时忽略bin跟obj目录
- hadoop MapReduce实例解析
- Android Tips – 填坑手册
- HAproxy 简单测试(http与tcp代理)
- Uber上海公司被司机打上门
- PDF转换器的使用步骤
- 看似普通却又了不起的APP推广方案
- 分析比较KafkaWordCount及DierctKafkaWordCount
- IDEA中运行KafkaWordCount程序
- python 字符串和编码
- nyoj 120 校园网络 【强连通】
- 从知道到懂得,从懂得到做到
- 单立模式 Java