Spark 中map与 flatMap的区别
2016-05-24 17:44
357 查看
通过一个实验来看Spark 中 map 与 flatMap 的区别。
进入SPARK安装目录,执行./spark-shell 步骤一:将测试数据放到hdfs上面
hadoop dfs -put data1/test1.txt /tmp/test1.txt
该测试数据有两行文本:
该测试数据有两行文本:
步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt
步骤三:查看map函数的返回值
得到map函数返回的RDD:
查看map函数的返回值——文件中的每一行数据返回了一个数组对象
步骤四:查看flatMap函数的返回值
得到flatMap函数返回的RDD:
查看flatMap函数的返回值——文件中的所有行数据仅返回了一个数组对象
总结:
- Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象
FROM:http://www.bkjia.com/yjs/927704.html
相关文章推荐
- android Google Map获取地理位置信息的方法
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Python中map()函数浅析
- Android使用Google Map浅谈
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- Erlang中的映射组Map详细介绍
- c++中map的基本用法和嵌套用法实例分析
- 百度地图给map添加右键菜单(判断是否为marker)
- JavaScript中实现Map的示例代码
- jquery中map函数与each函数的区别实例介绍
- jquery中map函数遍历数组用法实例
- jquery与google map api结合使用 控件,监听器
- JavaScript中的数组遍历forEach()与map()方法以及兼容写法介绍
- jquery遍历数组与筛选数组的方法
- JavaScript中实现map功能代码分享
- 用json方式实现在 js 中建立一个map
- Android Map新用法:MapFragment应用介绍