通过IDEA搭建scala开发环境开发spark应用程序
2017-11-19 18:56
603 查看
一、idea社区版安装scala插件
因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安装scala插件,具体安装办法如下。1、打开idea,点击configure下拉菜单中的plugins选项:2、在弹出对话框中点击红框按钮:
3、在弹出最新对话框的搜索栏输入scala,在筛选出的内容中选择红框部分,点击右侧install按钮开始下载插件:
本人在测试过程中通过install自动下载插件失败,最后选择手动下载scala插件,然后通过步骤2中install plugin from disk选项,选择手动下载zip包的方式安装插件成功。
二、创建scala工程
1、下载scala安装文件,并解压到d:\目录下:https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.zip2、打开idea开发工具,选择“create new project”,创建一个新的工程:3、下图中选择jdk版本、选择scala、以及scala依赖包位置(scala安装软件位置),next:
4、输入工程名称并且选择工程位置,点击finash:
5、完成工程创建后如下:
三、配置scala工程
1、file->preject structure:2、modulesàsrcànew folder方式创建文件夹:
3、完成文件创建后,点击ok完成配置。
工程结构如下:
四、为工程导入spark jar包
1、首先解压缩spark安装包到d:\目录下:D:\spark-1.3.0-bin-2.5.0-cdh5.3.62、fileàproject structure:3、在对话框选择librariesà+àjava:
4、在弹出对话框内选择spark解压目录,选中spark lib目录下所有jar包,点击ok导入所有jar包:
5、点击ok,完成spark jar包导入scala工程:
五、编写wordcount程序进行基准测试
1、在scala工程中创建packet,并且创建测试spark类,并且编写wordcount程序代码,如下:package Chavin.King.SparkApp import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SparkDemo { def main(args: Array[String]) { val logFile = "hdfs://chavin.king:9000/user/hadoop/mapreduce/wordcount/input/wc.input" val conf = new SparkConf().setAppName("Simple Application") //.setMaster("local") val sc = new SparkContext(conf) val rdd = sc.textFile(logFile) val wordcount = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)) wordcount.saveAsTextFile("hdfs://chavin.king:9000/user/hadoop/mapreduce/wordcount/output00000") sc.stop() } } |
2、代码完成之后,右键à选择run “SparkApp”,运行程序进行功能测试。3、打包SparkApp程序:File—>preject structureàartifactsà+àJARàfrom modules with dependencies:
下图中选择要编译的主类,点击ok:
删除output layout下的所有依赖jar包,并且指定output directory,点击ok:
回到idea主页面,点击buildàbuild artifacts:
SaprkApp.jar—>build,进行jar包编译:
编译完成后到d:\下可以看到我们编译的jar包。4、测试编译的jar包(SparkApp.jar):4.1)删除hdfs输出目录:bin/hdfs dfs -rm -r hdfs://chavin.king:9000/user/hadoop/mapreduce/wordcount/output000004.2)spark-submit方式测试jar包:bin/spark-submit \
--master yarn \
--deploy-mode client \
/opt/datas/SparkApp.jar
相关文章推荐
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- Idea基于scala语言构建spark开发环境搭建
- [1.0]完美解读使用IDEA开发spark应用程序及spark源码阅读环境搭建
- 分别用Eclipse和IDEA搭建Scala+Spark开发环境
- Spark开发环境搭建(IDEA、Scala、SVN、SBT)
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- IDEA使用Maven搭建spark开发环境(scala)
- hadoop spark环境搭建及idea scala maven集成开发spark任务
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- Intellij IDEA开发环境搭建,scala配置及打包,jar包在spark中的运行
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(二)
- 利用Intellij IDEA构建Spark开发环境(包括scala环境的搭建)
- spark 之 Scala 环境搭建,开发工具使用
- IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
- spark开发环境搭建(基于idea 和maven)
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- Spark 开发环境搭建(1)IDEA Gradle的安装部署、使用
- Spark2.2,IDEA,Maven开发环境搭建附测试
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- spark Idea Maven开发环境搭建