Spark 开发环境搭建
2014-04-04 17:40
239 查看
本文基于Spark 0.9.0,由于它基于Scala 2.10,因此必须安装Scala 2.10,否则将无法运行Spark作业。由于在windows环境下不方便执行命令行操作,因此建议在Linux环境下搭建Spark开发环境。
下载Spark 0.9.0(http://d3kbcqa49mib13.cloudfront.net/spark-0.9.0-incubating.tgz),并解压。
安装Scala2.10.X版本(http://www.scala-lang.org/download/)。
编译Spark 0.9.0,可以使用mvn –DskipTests install或 ./sbt/sbt assembly 编译。如果期间出现OOM异常,则需要加大MAVEN_OPTS的内存设置,如(export MAVEN_OPTS="-Xmx1024m")。
安装Eclipse(https://www.eclipse.org/downloads/),下载解压后运行eclipse。
在eclipse中安装Scala-ide plugin,在"Help" -> "Install New Software" -> "add" 中输入http://download.scala-ide.org/sdk/e38/scala210/stable/site/。
点击ok后,选择前两项,点击next后确认安装。
安装成功后,就可以加载spark工程。通过"New"->"Scala Project" ->"Use default location",选择已经编译后的Spark工程,确认后即可加载。加载后的Spark工程如下图所示。
下载Spark 0.9.0(http://d3kbcqa49mib13.cloudfront.net/spark-0.9.0-incubating.tgz),并解压。
安装Scala2.10.X版本(http://www.scala-lang.org/download/)。
编译Spark 0.9.0,可以使用mvn –DskipTests install或 ./sbt/sbt assembly 编译。如果期间出现OOM异常,则需要加大MAVEN_OPTS的内存设置,如(export MAVEN_OPTS="-Xmx1024m")。
安装Eclipse(https://www.eclipse.org/downloads/),下载解压后运行eclipse。
在eclipse中安装Scala-ide plugin,在"Help" -> "Install New Software" -> "add" 中输入http://download.scala-ide.org/sdk/e38/scala210/stable/site/。
点击ok后,选择前两项,点击next后确认安装。
安装成功后,就可以加载spark工程。通过"New"->"Scala Project" ->"Use default location",选择已经编译后的Spark工程,确认后即可加载。加载后的Spark工程如下图所示。
相关文章推荐
- Spark 开发环境搭建(2)IDEA 安装新版本IntelliJ IDEA 2017.1
- Spark开发-spark环境搭建
- Linux下搭建spark集群开发环境
- windows 基于docker下的 spark 开发环境搭建
- windows本地sparkstreaming开发环境搭建及简单实例
- Spark 开发环境搭建(1)IDEA Gradle的安装部署、使用
- 搭建Spark开发环境的几种方式及入门示例
- spark开发环境搭建(idea和maven)
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(二)
- spark Intellij IDEA开发环境搭建
- Ubuntu搭建Scikit-Learn、TensorFlow、Theano、Caffe、OpenCV、Hadoop、Spark开发环境
- Mac下搭建Spark开发环境
- Spark(八) -- 使用Intellij Idea搭建Spark开发环境
- spark Intellij IDEA及eclipse开发环境搭建
- Apache Spark1.1.0部署与开发环境搭建
- Intellij搭建spark开发环境
- Spark集成开发环境搭建-eclipse
- Eclipse上Spark开发环境搭建
- Intellij Idea搭建Spark开发环境
- Spark IM 插件开发环境搭建