Spark 中 map 与 flatMap 的区别

通过一个实验来看Spark 中
map 与 flatMap 的区别。

步骤一：将测试数据放到hdfs上面
hadoopdfs -put data1/test1.txt /tmp/test1.txt
该测试数据有两行文本：



步骤二：在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt



步骤三：查看map函数的返回值
得到map函数返回的RDD: 



查看map函数的返回值——文件中的每一行数据返回了一个数组对象



步骤四：查看flatMap函数的返回值
得到flatMap函数返回的RDD:



查看flatMap函数的返回值——文件中的所有行数据仅返回了一个数组对象



总结：
- Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：
   操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象
   操作2：最后将所有对象合并为一个对象