SPARK学习笔记

1. 安装SPARK,不再赘述

2. shell操作

% spark-shell
Scala> val lines = sc.textFile("/root/spark_test")--加载文件

关于RDD:

弹性分布式数据集(Resilient Distributed Dataset,简称RDD)

RDD是SPARK最核心的概念,他是在集群中跨等多个机器分区存储的一个只读的对象集合.在典型的Spark程序中,首先要加载一个或多个RDD,它们作为输入通过一系列转换得到一组目标RDD,然后对这些目标RDD执行一个动作,例如计算出结果或者写入持久存储器.

弹性的意思是:Spark可以通过重新安排计算来自动重建丢失的分区.

加载RDD或执行转换并不会立即出发任何数据处理操作,只不过是创建了一个计算的计划.只有当对RDD进行某个动作(比如foreach()),才会触发真正的计算.

以上抄自Hadoop权威指南,感谢人类进步的阶梯

val lines = sc.textFile("/root/user/input/sample.txt")
val records = lines.map(_.split("\t"))
val filtered = records.filter(rec => rec(1) != "9999" && rec(2).matches("[01459]"))
val tuples = filtered.map(rec => (rec(0).toInt, rec(1).toInt))
val maxTemps = tuples.reduceByKey((a,b) => Math.max(a,b))
maxTemps.foreach(println(_))
val minTemps = tuples.foldByKey(0)((a,b) => Math.min(a,b))
minTemps.foreach(println(_))
tuples.reduceByKey((a,b) => Math.max(a,b)).foreach(println(_))

共享变量

val lookup = Map(1 -> "a", 2 -> "e", 3 -> "i")
val result = sc.parallelize(Array(2, 1, 3)).map(lookup(_))
assert(result.collect().toSet === Set("a", "e", "i"))

val lookup = sc.broadcast(Map(1 -> "a", 2 -> "e", 3 -> "i"))
val result = sc.parallelize(Array(2, 1, 3)).map(lookup.value(_))
assert(result.collect().toSet === Set("a", "e", "i"))

累加器

val count: Accumulator[Int] = sc.accumulator(0)
val result = sc.parallelize(Array(1, 2, 3))
.map(i => {count += 1; i})
.reduce((x, y) => x + y)
assert(count.value === 3)
assert(result === 6)