spark RDD操作map与flatmap的区别
2017-02-25 15:07
417 查看
以前总是分不清楚spark中flatmap和map的区别,现在弄明白了,总结分享给大家,先看看flatmap和map的定义。
map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。
flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD
有些拗口,看看例子就明白了。
输入
结果
输入
结果
flatMap说明白就是先map然后再flat,再来看个例子
map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。
flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD
有些拗口,看看例子就明白了。
val rdd = sc.parallelize(List("coffee panda","happy panda","happiest panda party"))
输入
rdd.map(x=>x).collect
结果
res9: Array[String] = Array(coffee panda, happy panda, happiest panda party)
输入
rdd.flatMap(x=>x.split(" ")).collect
结果
res8: Array[String] = Array(coffee, panda, happy, panda, happiest, panda, party)
flatMap说明白就是先map然后再flat,再来看个例子
val rdd1 = sc.parallelize(List(1,2,3,3))
scala> rdd1.map(x=>x+1).collect res10: Array[Int] = Array(2, 3, 4, 4)
scala> rdd1.flatMap(x=>x.to(3)).collect res11: Array[Int] = Array(1, 2, 3, 2, 3, 3, 3)
相关文章推荐
- Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
- Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
- Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
- [Spark][Python]RDD flatMap 操作例子
- Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
- Spark算子:RDD基本转换操作map、flatMap
- Spark 中 map 与 flatMap 的区别
- spark map flatMap flatMapToPair mapPartitions 的区别和用途
- RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
- Spark 中 map 与 flatMap 的区别
- Spark中map和flatmap的区别
- Spark算子:RDD基本转换操作(1)–map、flagMap、distinct
- Spark 中 map 与 flatMap 的区别
- Spark map flatMap区别
- spark快速大数据分析之读书笔记-flatmap与map的区别
- spark简单操作——map flatmap filter distinct
- spark map flatMap flatMapToPair mapPartitions 的区别和用途
- Spark 中 map 与 flatMap 的区别
- [spark]map 与 flatMap 的区别
- 孙其功陪你学之——Spark 中 map 与 flatMap 的区别