spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip

例子描述：

有个网站访问日志，有4个字段：（用户id，用户名，访问次数，访问网站）

需要统计：

1.用户的访问总次数去重

2.用户一共访问了多少种不同的网站

这里用sql很好写

select id,name,count(distinct url) from table group by id,name

其实这个题目是继官方和各种地方讲解聚合函数（aggregate）的第二个例子，第一个例子是使用aggregate来求平均数。

我们先用简易版来做一遍，后续我更新一份聚合函数版

原始数据：

id1,user1,2,http://www.baidu.com

id1,user1,2,http://www.baidu.com

id1,user1,3,http://www.baidu.com

id1,user1,100,http://www.baidu.com

id2,user2,2,http://www.baidu.com

id2,user2,1,http://www.baidu.com

id2,user2,50,http://www.baidu.com

id2,user2,2,http://www.sina.com

结果数据：

((id1,user1),4,1)

((id2,user2),4,2)

代码片段：

val sparkConf = new SparkConf().setAppName("DisFie").setMaster("local")
val sc = new SparkContext(sparkConf)

val source = Source.fromFile("C:\\10.txt").getLines.toArray
val RDD0 = sc.parallelize(source)

RDD0.map {
lines =>
val line = lines.split(",")
((line(0), line(1)), (1, line(3)))
}.groupByKey().map {
case (x, y) =>
val(n,url) = y.unzip
(x,n.size,url.toSet.size)
}.foreach(println)