作业提交过程分析（源码）

　　


[b]sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect[/b]

[b]sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a + b).collect[/b]

























































总结：



第一个stage :

　　 HadoopRDD -> MapPartitionRDD -> MapPartitionsRDD -> MapPartitionsRDD -> MapPartitionsRDD



第二个stage :

　　　　Stage shuffledRDD -> MapPartitionsRDD