Spark中map和flatMap的理解
2018-01-26 10:55
405 查看
笔记：本文记录了map和flatMap的区别
flatMap方法和map方法类似，但是每个输入项可成为0个或多个输出项，实际上是在map的基础上进行了扁平化处理。
形象化理解map和flatMap：
3 map接龙：连续调用map方法
形式如下：data.map().map().map()
map部分示例代码（来源：《Spark MLlib 机器学习实战（第二版）》 -王晓华 P59）：
val rdd=sc.textFile（“c://test.txt”）//创建RDD文件路径
.map(_.split(' '))//按“ ”分割
.map(_.toDouble))//转换成Double类型
.map(line=>Vectors.dense(line)//转换成Vector格式
参考文章：https://www.sogou.com/link?url=hedJjaC291MxDp_bleWQj5pP-YHblviUM3un4Y7gPgD-TMBYoIJyGI_2LFoNtBLn
函数原型
1.data.map(function)
该函数是data的方法，传入的参数为一个函数（function）,作用：对data中的每一个项进行function操作，并返回RDD，该RDD的项的数目等于原data的项的数目。
2.data.flatMap(function)
flatMap方法和map方法类似，但是每个输入项可成为0个或多个输出项，实际上是在map的基础上进行了扁平化处理。形象化理解map和flatMap：
3 map接龙：连续调用map方法
形式如下：data.map().map().map()
map部分示例代码（来源：《Spark MLlib 机器学习实战（第二版）》 -王晓华 P59）：
val rdd=sc.textFile（“c://test.txt”）//创建RDD文件路径
.map(_.split(' '))//按“ ”分割
.map(_.toDouble))//转换成Double类型
.map(line=>Vectors.dense(line)//转换成Vector格式
参考文章：https://www.sogou.com/link?url=hedJjaC291MxDp_bleWQj5pP-YHblviUM3un4Y7gPgD-TMBYoIJyGI_2LFoNtBLn
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark 中 map 与 flatMap 的区别
- Spark 中 map 与 flatMap 的区别
- spark中flatmap和map的区别
- spark学习笔记：flatMap()(API操作报错)
- Spark中map和flatmap的区别
- Spark算子：RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
- 孙其功陪你学之——Spark 中 map 与 flatMap 的区别
- Spark API 详解/大白话解释 之 map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues
- 深入理解Spark 2.1 Core （十）：Shuffle Map 端的原理与源码分析
- spark map flatMap flatMapToPair mapPartitions 的区别和用途
- Spark API 详解/大白话解释 之 map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues
- [Spark][Python]RDD flatMap 操作例子
- Spark算子：RDD基本转换操作map、flatMap
- 第45课 Spark 2.0实战之Dataset：map、flatMap、mapPartitions、dropDuplicate、coalesce、repartition等
- spark flatmap
- spark快速大数据分析之读书笔记-flatmap与map的区别
- Spark操作-map和flatMap
- spark 的一些常用函数 filter，map，flatMap，lookup ，reduce，groupByKey
- Spark map flatMap区别
- Spark的flatMap和Map的区别