您的位置：首页 > 其它

Spark开发环境搭建（IDEA、Scala、SVN、SBT）

2018-10-17 16:50 831 查看

软件版本

软件信息

软件名称	版本	下载地址	备注
Java	1.8	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html	64位版本的
Scala	2.10.5	https://www.scala-lang.org/download/2.10.5.html
SBT	sbt 1.1.6	https://www.scala-sbt.org/download.html
SVN	最新版本	https://tortoisesvn.net/downloads.html	64位版本
IDEA		http://www.jetbrains.com/idea/

安装JDK

下载JDK

安装JDK

下载后直接安装就好了，设置一下安装路径：D:\Program Files\Java

安装完后的文件结构（我的版本是171的）

配置环境变量

创建JAVA_HOME:

配置path：%JAVA_HOME%\bin;

查看安装情况

打开cmd终端输入java -version

出现java版本号则表示安装成功

安装Scala

下载Scala

安装Scala

直接解压到D:\Program Files\Scala

解压后文件结构

配置环境变量

参考JDK环境变量设置

查看安装情况

输入scala,出现版本号则表示安装成功

安装SVN

下载SVN

安装SVN

制定安装路径：D:\javaTool

这里有个要注意的地方

command line client tools 选项一定要勾选上，否则IDEA配置的时候会找不到svn.exe

配置环境变量

参考JDK环境变量的配置

查看安装情况

执行svnserve --help，出现一下页面

桌面任意位置右键，出现

安装SBT

下载SBT

安装SBT

解压到D:\javaTool，文件结构如下

配置环境变量

参考JDK环境变量设置

配置SBT

repo.repositories

1 进入D:\javaTool\sbt\conf 下
2 创建一个文件repo.repositories
3 编辑以下内容
4 [repositories]
5 local
6 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
7 aliyun: http://maven.aliyun.com/nexus/content/groups/public/
8 - maven-local: D:/javaTool/mavenLocalRepository
9
10 cloudera：这是cdh版本的库，如果使用的是cloudera的hadoop全家桶需要使用这个库
11 aliyun：阿里云的库，国内的比较快
12 maven-local：因为我还配置了一个Maven，所以可以吧maven的本地仓库加进来，如果没有就不需要加了。
13 以上是repo.repositories文件的内容

修改完后如下

sbtconfig

1 编辑sbtconfig文件输入以下内容
2 # Set the java args to high
3 -Xmx512M
4
5 -XX:MaxPermSize=256m
6
7 -XX:ReservedCodeCacheSize=128m
8
9 # Set the extra SBT options
10
11 -Dsbt.log.format=true
12
13 -Dsbt.ivy.home=D:/javaTool/sbt/ivy
14 -Dsbt.global.base=D:/javaTool/sbt/.sbt
15 -Dsbt.repository.config=D:/javaTool/sbt/conf/repo.properties
16 -Dsbt.log.format=true
17
18 说明：前一部分是jvm的一些配置
19 -Dsbt.ivy.home：是本地库，类似与maven的本地库
20 -Dsbt.repository.config：指定使用的配置文件
21 另外另个还没去查找啥意思

配置完如下

到目前为止sbt配置部分就结束了,接下来只要到开一个命令行输入sbt,不出意外的话sbt就会构建成功,会生成D:/javaTool/sbt/ivy等等

但是可能是版本原因,配置的本地仓库并没有生效,jar还是下载到了C盘，在查找资料后，发现还有另一个地方需要配置。

D:\javaTool\sbt\bin\sbt-launch.jar

配置文件是在D:\javaTool\sbt\bin\sbt-launch.jar中的\sbt\sbt.boot.properties中（可用rar解压工具直接打开修改并覆盖，记住是用rar打开文件不需要解压，否则弄不回jar了），修改里面的内容：

1 [scala]
2   version: ${sbt.scala.version-auto}
3
4 [app]
5   org: ${sbt.organization-org.scala-sbt}
6   name: sbt
7   version: ${sbt.version-read(sbt.version)[1.1.6]}
8   class: ${sbt.main.class-sbt.xMain}
9   components: xsbti,extra
10   cross-versioned: ${sbt.cross.versioned-false}
11   resources: ${sbt.extraClasspath-}
12
13 [repositories]
14   local
15   spring: http://conjars.org/repo/
16   cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
17   aliyun: http://maven.aliyun.com/nexus/content/groups/public/
18   maven-central
19   sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly
20   sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly
21   typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
22   sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
23
24 [boot]
25   directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}
26   lock: ${sbt.boot.lock-true}
27
28 [ivy]
29   ivy-home: D:/javaTool/sbt/ivy
30   checksums: ${sbt.checksums-sha1,md5}
31   override-build-repos: ${sbt.override.build.repos-false}
32   repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories}

修改后如下：

查看安装情况

再终端执行sbt

经测试，此时下载的jar会放在D:/javaTool/sbt/ivy中，即自己设置的本地库中

安装IDEA

因为我的IDEA早就安装完了，所以在网上找了个教程，参照下面教程就可以把IDEA安装完毕

下载IDEA

1 关于JDK版本，在scala的官网上有这么一段话
2 Installation
3 1.Make sure you have the Java 8 JDK (also known as 1.8)
4 o    Run javac -version on the command line and make sure you seejavac 1.8.___
5 o    If you don’t have version 1.8 or higher, install the JDK
6 2.Next, download and install IntelliJ Community Edition
7 3.Then, after starting up IntelliJ, you can download and install the Scala plugin by following the instructions on how to install IntelliJ plugins (search for “Scala” in the plugins menu.)
8 When we create the project, we’ll install the latest version of Scala. Note: If you want to open an existing Scala project, you can click Open when you start IntelliJ.
9 大概意思是 需要1.8以上版本的jdk，所以我们需要安装jdk1.8或以上版本

IntelliJ IDEA有免费的社区版(Community Edition)和收费的旗舰版(Ultimate Edition),我安装的是社区版本