大数据Spark “蘑菇云”行动第57课： Spark 2.0.1稳定版本解析及广告点击案例数据库和动态黑名单过滤代码

大数据Spark “蘑菇云”行动第57课： Spark 2.0.1稳定版本解析及广告点击案例数据库和动态黑名单过滤代码

 

1 spark 2.0.1 稳定版本解析

2 数据库实现

3 黑名单代码实现

spark 2.0.1 2016年10月3日发布了，意味着spark 2.0 时代的到来！！但目前还不适用于生产环境！

https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12336857

如果一定要使用spark 2.x，1.5 ，1.6的版本不用修改可以运行在spark 2.x，但不要使用spark2.x的新功能API。就可以使用spark2.x新的引擎带来的速度的提升！

最好不要冒险来使用spark 2.x。 

spark 2.3.x会成为继Spark  1.3.X和Spark 1.6.X 之后的重磅级的版本！
 

Kafka最好都升级最新的Scala 2.11版本