map flatmap mappartition flatMapToPair四种用法区别

原文链接：http://blog.csdn.net/u013086392/article/details/55666912

-----------------------------------------------------------------------------------

map:

我们可以看到数据的每一行在map之后产生了一个数组，那么rdd存储的是一个数组的集合

JavaRDD<String[]> mapresult=lines.map()

1
[/code]

flatMap:

同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象

最后将所有对象合并为一个对象

JavaRDD<String> objectJavaRDD = lines.flatMap()

1
[/code]

mappartition:

rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。两者的主要区别是调用的粒度不一样

map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。也就是把每个分区中的内容作为整体来处理的。

JavaRDD<String> objectJavaRDD = lines.mappartition()

1
[/code]

flatMapToPair:

同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个key－value对象

最后将所有key－value对象合并为一个对象 Iterable

JavaPairRDD<String,String> pair=lines.flatMapToPair()

1
[/code]