【spark】group\groupBy
2017-10-23 14:29
232 查看
groupBy(function)
function返回key,传入的RDD的各个元素根据这个key进行分组
2
3
4
5
6
7
8
2
3
4
5
6
/*
结果
Map(
(0,ArrayBuffer(2, 4, 6, 8)),
(1,ArrayBuffer(1, 3, 5, 7, 9))
)
*/
groupByKey( )
function返回key,传入的RDD的各个元素根据这个key进行分组
val a = sc.parallelize(1 to 9, 3) a.groupBy(x => { if (x % 2 == 0) "even" else "odd" }).collect//分成两组 /*结果 Array( (even,ArrayBuffer(2, 4, 6, 8)), (odd,ArrayBuffer(1, 3, 5, 7, 9)) ) */1
2
3
4
5
6
7
8
val a = sc.parallelize(1 to 9, 3) def myfunc(a: Int) : Int = { a % 2//分成两组 } a.groupBy(myfunc).collect1
2
3
4
5
6
/*
结果
Map(
(0,ArrayBuffer(2, 4, 6, 8)),
(1,ArrayBuffer(1, 3, 5, 7, 9))
)
*/
groupByKey( )
val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "spider", "eagle"), 2) val b = a.keyBy(_.length)//给value加上key,key为对应string的长度 b.groupByKey.collect //结果 Map((4,ArrayBuffer(lion)), (6,ArrayBuffer(spider)), (3,ArrayBuffer(dog, cat)), (5,ArrayBuffer(tiger, eagle)
转自:http://blog.csdn.net/guotong1988/article/details/50556871
相关文章推荐
- Spark算子[12]:groupByKey、cogroup、join、lookup 源码实例详解
- Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践
- [spark]groupbykey reducebykey
- 在Spark中尽量少使用GroupByKey函数
- 在Spark中关于groupByKey与reduceByKey的区别
- spark中textFile、groupByKey、collect、flatMap、map结合小案例(案例虽小,功能齐全)
- Spark中groupBy groupByKey reduceByKey的区别
- spark groupByKey操作
- Spark源码之reduceByKey与GroupByKey
- Spark RDD/Core 编程 API入门系列 之rdd案例(map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等)(四)
- 对于Spark中groupByKey的深入理解
- Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally
- spark学习-21-Spark的groupByKey
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- Spark DataFrame 的 groupBy vs groupByKey
- Spark中 groupBy() 与groupByKey()的区别
- groupByKey实例分析Spark Hash Shuffle
- spark 的一些常用函数 filter,map,flatMap,lookup ,reduce,groupByKey
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- spark中groupByKey与reducByKey的区别