Spark 中 map 与 flatMap 的区别
2015-05-10 15:28
447 查看
通过一个实验来看Spark 中 map 与 flatMap 的区别。
步骤一:将测试数据放到hdfs上面
hadoopdfs -put data1/test1.txt /tmp/test1.txt
该测试数据有两行文本:
步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt
步骤三:查看map函数的返回值
得到map函数返回的RDD:
查看map函数的返回值——文件中的每一行数据返回了一个数组对象
步骤四:查看flatMap函数的返回值
得到flatMap函数返回的RDD:
查看flatMap函数的返回值——文件中的所有行数据仅返回了一个数组对象
总结:
- Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象
步骤一:将测试数据放到hdfs上面
hadoopdfs -put data1/test1.txt /tmp/test1.txt
该测试数据有两行文本:
步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt
步骤三:查看map函数的返回值
得到map函数返回的RDD:
查看map函数的返回值——文件中的每一行数据返回了一个数组对象
步骤四:查看flatMap函数的返回值
得到flatMap函数返回的RDD:
查看flatMap函数的返回值——文件中的所有行数据仅返回了一个数组对象
总结:
- Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象
相关文章推荐
- Spark的flatMap和Map的区别
- Spark 中 map 与 flatMap 的区别
- spark中flatmap和map的区别
- Spark之中map与flatMap的区别
- spark快速大数据分析之读书笔记-flatmap与map的区别
- Spark 中 map 与 flatMap 的区别
- Spark学习笔记 --- Spark中Map和FlatMap转换的区别
- Spark之中map与flatMap的区别
- spark 中map 和flatmap 的区别
- Spark 中 map 与 flatMap 的区别
- spark中flatmap和map的区别
- Spark 中 map 与 flatMap 的区别
- Spark 中map与 flatMap的区别
- 孙其功陪你学之——Spark 中 map 与 flatMap 的区别
- Spark中map和flatmap的区别
- Spark 中 map 与 flatMap 的区别
- spark map flatMap flatMapToPair mapPartitions 的区别和用途
- Spark 中 map 与 flatMap 的区别
- spark RDD操作map与flatmap的区别
- [spark]map 与 flatMap 的区别