spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip

例子描述：

有个网站访问日志，有4个字段：（用户id，用户名，访问次数，访问网站）

需要统计：

1.用户的访问总次数去重

2.用户一共访问了多少种不同的网站

这里用sql很好写

select id,name,count(distinct url) from table group by id,name

其实这个题目是继官方和各种地方讲解聚合函数（aggregate）的第二个例子，第一个例子是使用aggregate来求平均数。

我们先用简易版来做一遍，后续我更新一份聚合函数版

原始数据：

id1,user1,2,http://www.baidu.com

id1,user1,2,http://www.baidu.com

id1,user1,3,http://www.baidu.com

id1,user1,100,http://www.baidu.com

id2,user2,2,http://www.baidu.com

id2,user2,1,http://www.baidu.com

id2,user2,50,http://www.baidu.com

id2,user2,2,http://www.sina.com

结果数据：

((id1,user1),4,1)

((id2,user2),4,2)

代码片段：

[java] view
plain copy

 





val sparkConf = new SparkConf().setAppName("DisFie").setMaster("local")  

val sc = new SparkContext(sparkConf)  

  

  

val source = Source.fromFile("C:\\10.txt").getLines.toArray  

val RDD0 = sc.parallelize(source)  

  

RDD0.map {  

  lines =>  

    val line = lines.split(",")  

    ((line(0), line(1)), (1, line(3)))  

}.groupByKey().map {  

  case (x, y) =>  

    val(n,url) = y.unzip  

    (x,n.size,url.toSet.size)  

}.foreach(println)