第105课： Spark Streaming电商广告点击综合案例在线点击统计实战

第105课： Spark Streaming电商广告点击综合案例在线点击统计实战

/*王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/

语言选择：Java中大规模项目开发（京东） Scala看Spark源代码

数据来自于kafka

1,复制代码 SparkStreamingonkafkaDirected.java

AdClickedSteamingStatus.java

2,大型项目不允许 hard code 硬编码。要配置文件，项目可配置。

topic: AdClicked

3,在线处理广告点击流

广告点击的基本数据格式：timestamp,ip,userID,adID,province,city

时间、ip、用户ID、广告ID，点击广告所在的省、所在的城市

4，统计进来了多少条广告

5，计算每隔10秒钟，每隔用户的广告点击量

reducebykey

6，判断有效的点击，复杂化的采用机器学习训练模型进行在线过滤

简单的根据ip判断1天不超过100次；也可以通过一个batch duration的点击次数判断是否非法广告点击，通过一个batch来判断是不完整的，还需要一天的数据也可以每一个小时来判断。