idea创建maven工程的spark项目

idea工具可以创建maven工程的spark项目，今天就试着做了一下，然后写了一个基于集合创建RDD的小的demo，并且遇到了不少的坑，在这里总结一下。

创建maven工程的spark项目

这个项目是基于scala语言进行开发的

下面是截图步骤

基于集合创建RDD

object RddBasedOnCollections {
def main(args: Array[String]): Unit = {
val conf = new SparkConf();
conf.setMaster("local")
conf.setAppName("RddBasedOnCollections")

val sc = new SparkContext(conf)
val numbers = 1 to 100
val rdd = sc.parallelize(numbers) // 创建rdd
val sum = rdd.reduce(_+_) //1-100求和
println("1+2+3+...+99+100 = " + sum)
}
}

运行查看结果

遇到的问题

问题一

Error:scalac: bad symbolic reference. A signature in package.class refers to type compileTimeOnly

in package scala.annotation which is not available.

这个问题很明显是版本冲突的问题，编译运行时候出现了报错。

解决方案:

引入的

org.scala-lang

版本是本机中的版本

2.10.4

<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency>

问题二

Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef.conforms()Lscala/Predef$$less$colon$less;

解决方案

引入的

spark-core_*

要与scala版本相一致。即

spark-core_2.10

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>${spark.version}</version>
</dependency>

问题三

java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the –driver-memory option or spark.driver.memory in Spark configuration.

虚拟机内存分配太小

解决方案

在vmoption中设置-Xmx512M就足够了