scala语言编程spark单词计数

package cn.it.wc

import org.apache.spark.{SparkConf, SparkContext}

import org.apache.spark.rdd.RDD

//todo:通过scala编写spark的单词计数程序

object WordCount {

def main(args: Array[String]): Unit = {

//todo:1、创建SparkConf对象,设置appName和master地址，local[2]表示本地使用2个线程来进行计算

val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[2]")

//todo:2、创建SparkContext对象，这个对象很重要，它会创建DAGScheduler和TaskScheduler

val sc = new SparkContext(sparkConf)

//设置日志输出级别

sc.setLogLevel("WARN")

//todo:3、读取数据文件

val data: RDD[String] = sc.textFile("d:\data\in\words.txt")

//todo:4、切分每一行，并且压平 hello、you、me

val words: RDD[String] = data.flatMap(_.split(" "))

//todo:5、每个单词记位1 (hello,1)(hello,1)(hello,1)(you,1)(me,1)(me,1)

val wordAndOne: RDD[(String, Int)] = words.map((_,1))

//todo:6、相同单词出现的次数进行累加 （hello,10）(you,20)....

val result: RDD[(String, Int)] = wordAndOne.reduceByKey(+)

//todo:按照单词出现的次数降序排序

val sortResult: RDD[(String, Int)] = result.sortBy(.2,false)

//todo:7、收集数据，打印输出

val finalresult: Array[(String, Int)] = sortResult.collect()

//todo:打印结果

finalresult.foreach(x=>println(x))

//关闭

sc.stop()

}

}