Idea使用Scala启动并编写Spark应用程序
2018-08-10 11:02
295 查看
1、打开Idea,选择新建一个项目,点击右侧的选择maven,在左侧勾选,create from archetype选项,在下拉的选项中中悬着scala-archetype-simple选项,点击下一步
2、填写gav三个坐标,这个自己填写就好,可以参考格式以下,点击下一步
groupId:com.test.www
ArtifactId : sal
version :1.0
3、配置maven的安装路径以及,配置setting.xml的路径,该路径在maven的conf路径下,接下来添加通过maven仓库的路径,这个可以自己添加
4、最后填写项目的名称就可以新建一个项目了
6、新建项目完成后需要引入spark依赖,这样才可以进行spark编程,在pom.xml文件添加依赖,版本修改为自己对应的spark版本,并吧scala版本修改为2.11.8版本,否则会无法正常使用spark,并把-make:transitive选项删除,否则启动时会报错,如果已经报错,打开项目的.idea目录,找到scala_compiler.xml文件把该依赖删除即可
[code]<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>${spark.version}</version> </dependency>
接下来就可以新建一个scala Object文件进行编程啦,另外如果在window上编程还要去github上下载winutils放到hadoop的bin目录下,并添加用户变量和环境变量,重启电脑就可以正常启动了
阅读更多
相关文章推荐
- 使用IDEA编写基于Scala的spark程序中的常见问题
- 使用IDEA编写Spark应用程序
- 使用Intellij Idea编写Spark应用程序(Scala+SBT)
- 启动Spark Shell,在Spark Shell中编写WordCount程序,在IDEA中编写WordCount的Maven程序,spark-submit使用spark的jar来做单词统计
- 使用Java编写并运行Spark应用程序
- [1.0]完美解读使用IDEA开发spark应用程序及spark源码阅读环境搭建
- 使用IntelliJ IDEA编写Scala在Spark中运行
- 使用Scala语言开发Spark应用程序是
- idea使用maven构建java和scala项目开发spark
- 解决 在IDEA中使用Maven和Scala新建项目没有自动产生src 以及spark的编译运行配置
- 使用IDEA进行Spark开发(二)-第一个scala程序
- idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
- 使用Scala语言开发Spark应用程序是自然而然的事情
- 通过IDEA搭建scala开发环境开发spark应用程序
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
- 第 1 部分: 使用 Scala 语言开发 Spark 应用程序
- 使用Java编写并运行Spark应用程序
- spark基础(三)------------------------使用maven构建一个基于scala的spark应用程序。
- Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上