您的位置：首页 > 编程语言 > Java开发

maven学习笔记：使用eclipse的maven插件创建scala_spark项目

2017-08-25 10:45 309 查看

新建项目

新建maven项目：

右键项目，添加scala特性，这会自动添加scala依赖包：

新建scala对象(注意此处项目的默认文件夹名是java而不是scala)：

代码：

package daya.scala_spark_demo

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
def main(args: Array[String]): Unit = {
val logFile = "/home/daya/test.txt"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext("local[1]","SimpleApp",conf)    //本地模式
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}

编译配置

修改pom.xml文件：

<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0</version>
</dependency>

运行

输出：

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航