您的位置:首页 > 其它

Spark Windows开发环境搭建

2016-11-02 08:43 309 查看
参照:Spark在Windows下的环境搭建

使用idea或者其他开发工具编写代码

直接运行main 方法

代码示例:

package org.fashj.spark

import org.apache.spark.{SparkConf, SparkContext}

/**
* @author zhengsd
*/
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf()
conf.setMaster("local").setAppName("SparkPi")
val sc = new SparkContext(conf)
val text = sc.textFile("file:\\C:\\devtools\\spark\\README.md")
val result = text.flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).collect()
result.foreach(println)

}
}


可以用

Idea上使用Gradle构建Spark项目,也可以使用普通的Java项目方式。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark windows idea