windows下spark开发环境配置
2018-03-12 23:01
316 查看
http://www.cnblogs.com/davidwang456/p/5032766.html
windows下spark开发环境配置
特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已经安装了eclipse、maven、jdk等软件
spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8
我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz,故以该版本为例
第一步:下载spark-1.4.0-bin-hadoop2.6.tgz到本地,并解压在本地目录
地址为:http://spark.apache.org/downloads.html
第二步:下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:\spark\hadoop-2.6.0\bin
然后将winutil等文件放在bin目录下
地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
第三步:配置hadoop和spark的环境变量:
HADOOP_HOME 例如:D:\spark\hadoop-2.6.0
SPARK_HOME
SPARK_CLASSPATH
path中加入spark和hadoop
至此,在cmd命令下输入spark-shell 至此windows下配置ok了
搭建自己的spark maven项目hello world程序
对于已经安装了eclipse环境的程序员来说,不用再单独安装saprk的开发环境,由于spark是基于scala语言的,所以如果要想看源代码,需要安装scala的eclipse插件
第一步:安装scala的eclipse插件
地址:http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site
第一步:创建自己的spark maven项目
勾选create a simple project
第二步:选则maven生成的包,这里一定要选这jar,因为spark程序一般是打包为jar包的
其他必填自己按需填
第三步:添加spark的jar包到刚才新建的maven项目中
找到集群安装的spark安装目录,在lib目录下会看到
将加到maven项目的build path下
第四步:pom中添加自己的spark,hadoop maven依赖
例如:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>1.2.0</version>
</dependency>
第五部:spark程序的入口是main函数,至此可以编写自己的hello world并让它跑起来和调试
public class SparkMain implements Serializable {
public static void main(String[] args) throws Exception {
//编写自己的spark程序
System.out.println(“hello spark!”);
}
}
Now everything is ready for you to run your main Class. Enjoy!
分类: 大数据与云计算
好文要顶 关注我 收藏该文
一天不进步,就是退步
关注 - 18
粉丝 - 274
+加关注
0
0
(请您对文章做出评价)
« 上一篇:源码分析netty服务器创建过程vs java nio服务器创建
» 下一篇:从netty-example分析Netty组件续
posted on 2015-
windows下spark开发环境配置
--本篇随笔由同事葛同学提供。windows下spark开发环境配置
特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已经安装了eclipse、maven、jdk等软件
spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8
我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz,故以该版本为例
第一步:下载spark-1.4.0-bin-hadoop2.6.tgz到本地,并解压在本地目录
地址为:http://spark.apache.org/downloads.html
第二步:下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:\spark\hadoop-2.6.0\bin
然后将winutil等文件放在bin目录下
地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
第三步:配置hadoop和spark的环境变量:
HADOOP_HOME 例如:D:\spark\hadoop-2.6.0
SPARK_HOME
SPARK_CLASSPATH
path中加入spark和hadoop
至此,在cmd命令下输入spark-shell 至此windows下配置ok了
搭建自己的spark maven项目hello world程序
对于已经安装了eclipse环境的程序员来说,不用再单独安装saprk的开发环境,由于spark是基于scala语言的,所以如果要想看源代码,需要安装scala的eclipse插件
第一步:安装scala的eclipse插件
地址:http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site
第一步:创建自己的spark maven项目
勾选create a simple project
第二步:选则maven生成的包,这里一定要选这jar,因为spark程序一般是打包为jar包的
其他必填自己按需填
第三步:添加spark的jar包到刚才新建的maven项目中
找到集群安装的spark安装目录,在lib目录下会看到
将加到maven项目的build path下
第四步:pom中添加自己的spark,hadoop maven依赖
例如:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>1.2.0</version>
</dependency>
第五部:spark程序的入口是main函数,至此可以编写自己的hello world并让它跑起来和调试
public class SparkMain implements Serializable {
public static void main(String[] args) throws Exception {
//编写自己的spark程序
System.out.println(“hello spark!”);
}
}
Now everything is ready for you to run your main Class. Enjoy!
分类: 大数据与云计算
好文要顶 关注我 收藏该文
一天不进步,就是退步
关注 - 18
粉丝 - 274
+加关注
0
0
(请您对文章做出评价)
« 上一篇:源码分析netty服务器创建过程vs java nio服务器创建
» 下一篇:从netty-example分析Netty组件续
posted on 2015-
相关文章推荐
- windows下spark开发环境配置
- spark+hive+hdfs windows开发环境配置:
- 连接远程linux spark 配置windows 下pycharm开发环境
- Spark开发环境配置(windows/Intellij IDEA 篇)
- windows下spark开发环境配置
- [置顶] 安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
- Spark开发环境配置(windows/Intellij IDEA 篇)
- (大数据)转载:windows下spark开发环境配置
- windows下spark开发环境配置
- Spark开发环境之windows配置
- Spark开发环境配置(windows/Intellij IDEA 篇)
- windows下spark开发环境配置
- Spark开发环境配置(windows/Intellij IDEA 篇)
- PHP的windows开发环境配置
- 如何在Windows上配置EBS R12.1.3的OAF开发环境
- 转:Windows下Lisp开发环境的安装配置
- openfire-spark 二次开发-(二)运行环境配置
- windows visual studio openGL开发环境配置
- windows下Qt5.1 for android开发环境配置
- 配置Windows 2008 R2 64位 Odoo 8.0 源码PyCharm开发调试环境