Spark Windows开发环境搭建
2016-11-02 08:43
309 查看
参照:Spark在Windows下的环境搭建
使用idea或者其他开发工具编写代码
直接运行main 方法
代码示例:
可以用
Idea上使用Gradle构建Spark项目,也可以使用普通的Java项目方式。
使用idea或者其他开发工具编写代码
直接运行main 方法
代码示例:
package org.fashj.spark import org.apache.spark.{SparkConf, SparkContext} /** * @author zhengsd */ object SparkPi { def main(args: Array[String]) { val conf = new SparkConf() conf.setMaster("local").setAppName("SparkPi") val sc = new SparkContext(conf) val text = sc.textFile("file:\\C:\\devtools\\spark\\README.md") val result = text.flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).collect() result.foreach(println) } }
可以用
Idea上使用Gradle构建Spark项目,也可以使用普通的Java项目方式。
相关文章推荐
- windows 基于docker下的 spark 开发环境搭建
- Windows下基于eclipse的Spark应用开发环境搭建
- 【Windows】【Scala + Spark】【Eclipse】单机开发环境搭建 - 及示例程序
- spark1.6 windows 开发环境搭建
- windows eclipse 搭建spark开发环境
- Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例【附详细代码】
- Spark Streaming 实战(1)搭建kafka+zookeeper+spark streaming 的windows本地开发环境
- 在windows下搭建spark1.x开发环境小记(winutils.exe找不到报错)
- 搭建Spark的maven本地windows开发环境以及测试
- window+idea+spark+debug windows下spark开发调试环境搭建
- spark的windows开发环境搭建
- Spark2.x学习笔记:6、在Windows平台下搭建Spark开发环境(Intellij IDEA)
- window+idea+spark+debug windows下spark开发调试环境搭建
- windows本地sparkstreaming开发环境搭建及简单实例
- windows搭建spark开发环境
- 利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程)(一)
- SPARK--Windows下利用scala for eclipse搭建简易的spark开发环境
- (大数据)转载:Windows下基于eclipse的Spark应用开发环境搭建
- Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例【附详细代码】