在windows下配置eclipse的spark调试环境

1.下载配置jdk，scala。
2.下载eclipse for scala。
3.下载带编译好的spark jar包。
4.在eclipse中新建工程，导入 spark-assembly-1.1.1-hadoop1.0.4.jar 这类jar包，并且删除scala原有的library。
5.新建类，输入以下代码，执行成功就可以了
import
scala.math.random

import
org.apache.spark._

/** Computes an approximation to pi */
object
test2
{
def
main(args
: Array[String])
{
val
conf
=
new
SparkConf().setAppName(
"Spark Pi").setMaster
("local"
)
val
spark
=
new
SparkContext(conf)
val
slices
=
if
(args
.length
>
0
)
args
(0
).toInt
else
2
val
n
= math.
min(100000L
*
slices
,
Int
.MaxValue
).toInt
// avoid overflow
val
count
=
spark
.parallelize
(1
until
n
,
slices
).map
{
i
=>
val
x
=
random
*
2
-
1
val
y
=
random
*
2
-
1
if
(
x*x
+
y
*y
<
1)
1
else
0
}.reduce(_
+
_)
println("Pi
is roughly "
+
4.0
*
count
/
n
)
spark.stop()
}
}
其中最重要的是黄底的位置，必须设置为local,在使用ide本地调试的时候,不管是eclipse还是IntelliJ都是配置上面的conf