Spark primer 之wordcount 剖析（添加 spark按照单词出现次数排名）

package main.scala.com.spark.demo.com.com.spark.demo
import org.apache.spark.{SparkContext, SparkConf}
object NewWordCount {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("wordCount").setMaster("local")
val sc = new SparkContext(conf)
val rdd = sc.textFile("hdfs://master:9000/data01/words.txt")//your file address
rdd.cache()
rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
//按照 单词出现次数排序
rdd.flatMap(_.split("")).map((_,1)).reduceByKey(_+_).map(e=(e._2,e._1)).sortByKey(false).collect

}
}

（1）rdd.flatMap(_.split(” “))的返回值：

words.txt的文件内容为：

在spark shell中输入 rdd.flatMap(_.split(” “)).collect 看回显

（2）rdd.flatMap(.split(” “)).map((,1))的返回值

我们发现已经将数组中每个元素转换成元组 （hello,1）…

(3)然后reduceBykey后 看结果

（4）按照单词出现次数排序，首先交换 元组顺序，即 （hello,1） 变为 （1，hello）

然后 使用sortByKey(false),指定false按照降序排序

代码为