Windows 下Spark 快速搭建Spark源码阅读环境
2015-11-19 22:24
1231 查看
最近开始学习Spark,想搭建一个Spark的源码阅读环境。找了一些资料。如 http://m.blog.csdn.net/blog/zhongwen7710/42401445 和 http://guozhongxin.com/pages/2014/10/15/spark_source_code.html, 但是在导入源码后,总会有各种问题。如 很多Jar包下载不下来(国内网络。。我下载2天都没下完),SBT不是那么好用。
所以我就想有没有其他的办法快速的完成这些工作。其实主要的就是那些Jar包能不能不要每次都下载,于是我尝试了把一个我已经下载完成的Jar包复制到另外一台电脑上,发现就不需要重新下载这些Jar。这样基本上能在30分钟内完成环境的搭建。
准备
下载 IDEA 最好 14.X 因为我用的 14.1.15 :) http://www.jetbrains.com/idea/download/
Scala 要2.10.4 或 2.10.5
JDK是必须的 1.7 不推荐 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
Spark Source Code 我使用的是1.4.1 http://www.apache.org/dyn/closer.lua/spark/spark-1.4.1/spark-1.4.1.tgz
下载 repository.zip http://pan.baidu.com/s/1kT0GyMF
安装 JDK,IDEA
JDK的安装就不在此处详细描述了。
IDEA的安装: 双击 ideaIC-14.1.5.exe 文件安装 IDEA。
打开IDEA,选择一个你喜欢的主题。
选择安装的插件 Scala和IdeaVim, IdeaVim会是你编辑文件的时候使用Vim命名,建议不熟悉的不要安装这个插件。
如果Scala 插件安装不了,或者很慢,因为默认下载的网站是国外的网站。 可以使用这个
http://pan.baidu.com/s/1woYrO
下载后放到 IDEA安装目录下 JetBrains\IntelliJ IDEA Community Edition 14.1.5\plugins 然后打开IDEA Plugins File ->Settings -> Plugins
选择 Install plugin from disk ,选中scala-intellij-bin-1.5.4.zip. ok.
3. Improt Project
将下载的repository.zip 解压到 C:\Users\YourUserName\.m2\ 目录下。
File -> import project 选择Spark Source Code ,然后选择Import project from external model , Maven
Next, 勾选 Import Maven project automatically
选取你想安装的 profile
选取JDK
ok.
在Index完成后,可能会提示你model里面没有Scala,选择2.10 版本的就行了。
所以我就想有没有其他的办法快速的完成这些工作。其实主要的就是那些Jar包能不能不要每次都下载,于是我尝试了把一个我已经下载完成的Jar包复制到另外一台电脑上,发现就不需要重新下载这些Jar。这样基本上能在30分钟内完成环境的搭建。
准备
下载 IDEA 最好 14.X 因为我用的 14.1.15 :) http://www.jetbrains.com/idea/download/
Scala 要2.10.4 或 2.10.5
JDK是必须的 1.7 不推荐 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
Spark Source Code 我使用的是1.4.1 http://www.apache.org/dyn/closer.lua/spark/spark-1.4.1/spark-1.4.1.tgz
下载 repository.zip http://pan.baidu.com/s/1kT0GyMF
安装 JDK,IDEA
JDK的安装就不在此处详细描述了。
IDEA的安装: 双击 ideaIC-14.1.5.exe 文件安装 IDEA。
打开IDEA,选择一个你喜欢的主题。
选择安装的插件 Scala和IdeaVim, IdeaVim会是你编辑文件的时候使用Vim命名,建议不熟悉的不要安装这个插件。
如果Scala 插件安装不了,或者很慢,因为默认下载的网站是国外的网站。 可以使用这个
http://pan.baidu.com/s/1woYrO
下载后放到 IDEA安装目录下 JetBrains\IntelliJ IDEA Community Edition 14.1.5\plugins 然后打开IDEA Plugins File ->Settings -> Plugins
选择 Install plugin from disk ,选中scala-intellij-bin-1.5.4.zip. ok.
3. Improt Project
将下载的repository.zip 解压到 C:\Users\YourUserName\.m2\ 目录下。
File -> import project 选择Spark Source Code ,然后选择Import project from external model , Maven
Next, 勾选 Import Maven project automatically
选取你想安装的 profile
选取JDK
ok.
在Index完成后,可能会提示你model里面没有Scala,选择2.10 版本的就行了。
相关文章推荐
- RPC failed; result=22, HTTP code = 411
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- source命令执行SQL脚本文件
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- 方便的IE源代码工具Instant Source
- Windows Server 2008 Code "Longhorn" Beta 3 提供下载
- dedecms v5.1 WriteBookText() code injection vul注入漏洞
- 在C#中生成与PHP一样的MD5 Hash Code的方法
- mysql source 命令导入大的sql文件的方法
- Mysql导入导出工具Mysqldump和Source命令用法详解
- Live Write 的代码高亮插件 Paste Code
- ERROR CODE: 1175 YOU ARE USING SAFE UPDATE MODE AN
- IIS7.5 Error Code 0x8007007e HTTP 错误 500.19的解决方法
- Microsoft Windows Server Code Name"Longhorn"Beta 3 正式发布! 下载
- Microsfot .NET Framework4.0框架 安装失败的解决方法
- eclipse 开发 spark Streaming wordCount
- Spark中将对象序列化存储到hdfs
- Dalian University of Technology sourcelist