您的位置:首页 > 其它

wordCount的认识(scala版)

2015-12-09 19:46 183 查看
val line = sc.textFile("/usr/local/word.txt");
line.flatMap(_.split(" "))
.map((_, 1)).reduceByKey(_ + _)
.collect().foreach(println)


1、通过textFile(“path/of/the/document”)

2、通过flatMap(_.split(” “))将数据按照 “ ”空格切分数据

3、通过map(( _ , 1)) 将每一条数据记录为1

4、通过reduceByKey( _ + _ ) 将数据按照key 进行数据的累加

5、collect() 执行统计操作

6、foreach(println)按照key分组dayin
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: