wordCount的认识(scala版)
2015-12-09 19:46
183 查看
val line = sc.textFile("/usr/local/word.txt"); line.flatMap(_.split(" ")) .map((_, 1)).reduceByKey(_ + _) .collect().foreach(println)
1、通过textFile(“path/of/the/document”)
2、通过flatMap(_.split(” “))将数据按照 “ ”空格切分数据
3、通过map(( _ , 1)) 将每一条数据记录为1
4、通过reduceByKey( _ + _ ) 将数据按照key 进行数据的累加
5、collect() 执行统计操作
6、foreach(println)按照key分组dayin
相关文章推荐
- 快捷键:myeclipse、sublime
- Scrapy入门学习
- SoC时钟系统简介
- Response.Redirect与Server.Transfer区别
- 图像渲染(Shader)
- c语言,用顺序表的原理合并两个集合
- 小白菜系列之多线程(2)——暂停线程
- 解读xxxx gradle配置
- 使用 IMQ+HTB+iptable 统一流量控制心得
- Ingress qdisc
- VC++ 截屏代码,并保存为想要的格式(BMP,JPG,PNG,GIF等格式)
- UE4连接Oculuse DK2设备
- mysql中的substring与substring_index
- 大数据时代:生活、工作与思维的大变革(下)
- vmware安装centos提示 您已输入用户名,客户机操作系统将保留此用户名。
- jquery-2.1.4 源码解读(3):jQuery.prototype 解读
- Linux TC基于CBQ队列的流量管理范例
- Android初学习 - 调用startActivityForResult后,onActivityResult为什么立刻响应
- class
- 给定坐标点,判断是否在某区域范围内 地理围栏算法