2018年最新大数据24期实战项目 9天 附课件源码
2018-06-03 17:05
399 查看
课程目录:
第一天:
01.传统广告回顾
02.几个问题思考
03.广告的表现形式
04.名词解释
05.DSP原理图
06.DSP业务流程
07.DMP项目背景
08.DMP业务流程----重要
09.日志格式介绍
10.需求一日志转parquet文件
第二天:
01.工程包的创建
02.日志转parquet文件实现方式一----StructType
03.日志转换成parquet文件格式实现方式二---自定义类
04.统计各省市的数据量分布情况----结果输出成json
05.统计各省市的数据量分布情况----结果输出到mysql中
06.统计各省市的数据量分布情况----使用Spark算子的方式实现
07.地域分布需求
第三天:
00.Ambari介绍及项目打包上传
00.集群运行Job观察01
00.集群运行Job观察02
01.地域报表实现---Spark SQL
02.地域报表实现---Spark Core实现01
03.地域报表实现---Spark Core实现02
03.地域报表实现---读取原始日志文件
04.媒体报表需求
05.媒体报表实现---broadcast
06.媒体报表实现---改造---字典存入到redis
07.媒体报表实现---改造---将redis作为字典库
08.代码托管到git
第四天:
01.git创建分支--合并分支--切换分支--删除分支
02.上下文标签需求
第五天:
01.标签实现过程--step1
02.标签实现过程--step2
03.标签实现过程--step3
04.标签实现过程--step4
05.商圈标签实现思路
第六天:
01.经纬度知识库的建立-StepOne
02.经纬度知识库的建立-StepTwo
03.添加商圈标签
04.商圈标签bug解决
05.graph共同好友案例
06.graph解决用户当天标签合并
第七天:
01.案例聚合用户标签
02.案例聚合用户标签--代码实现
03.案例聚合用户标签--代码实现--测试
04.上下文标签数据合并
05.项目总结
第八天:
01.中国移动实时项目背景
02.项目整体业务架构图
03.flume节点及数据量分布
04.需求
05.日志字段说明
06.ScalikeJDBC介绍
第九天:
01.创建kafka -- topic
02.将数据对接到kafka
03.工程搭建--思路分析
04.代码实现-01---kafka偏移量有效性问题
05.代码实现-02---校验更新偏移量
06.代码实现--03--测试接收数据
07.代码实现--04---业务概况指标实现
08.代码实现--05---分区数据处理
09.代码实现--06---省市数据分布---每小时数据分布---每分钟数据分布
10.代码实现--07---偏移量有效性检验观察
11.Echarts展示
12.面试时的项目表述
阅读更多
第一天:
01.传统广告回顾
02.几个问题思考
03.广告的表现形式
04.名词解释
05.DSP原理图
06.DSP业务流程
07.DMP项目背景
08.DMP业务流程----重要
09.日志格式介绍
10.需求一日志转parquet文件
第二天:
01.工程包的创建
02.日志转parquet文件实现方式一----StructType
03.日志转换成parquet文件格式实现方式二---自定义类
04.统计各省市的数据量分布情况----结果输出成json
05.统计各省市的数据量分布情况----结果输出到mysql中
06.统计各省市的数据量分布情况----使用Spark算子的方式实现
07.地域分布需求
第三天:
00.Ambari介绍及项目打包上传
00.集群运行Job观察01
00.集群运行Job观察02
01.地域报表实现---Spark SQL
02.地域报表实现---Spark Core实现01
03.地域报表实现---Spark Core实现02
03.地域报表实现---读取原始日志文件
04.媒体报表需求
05.媒体报表实现---broadcast
06.媒体报表实现---改造---字典存入到redis
07.媒体报表实现---改造---将redis作为字典库
08.代码托管到git
第四天:
01.git创建分支--合并分支--切换分支--删除分支
02.上下文标签需求
第五天:
01.标签实现过程--step1
02.标签实现过程--step2
03.标签实现过程--step3
04.标签实现过程--step4
05.商圈标签实现思路
第六天:
01.经纬度知识库的建立-StepOne
02.经纬度知识库的建立-StepTwo
03.添加商圈标签
04.商圈标签bug解决
05.graph共同好友案例
06.graph解决用户当天标签合并
第七天:
01.案例聚合用户标签
02.案例聚合用户标签--代码实现
03.案例聚合用户标签--代码实现--测试
04.上下文标签数据合并
05.项目总结
第八天:
01.中国移动实时项目背景
02.项目整体业务架构图
03.flume节点及数据量分布
04.需求
05.日志字段说明
06.ScalikeJDBC介绍
第九天:
01.创建kafka -- topic
02.将数据对接到kafka
03.工程搭建--思路分析
04.代码实现-01---kafka偏移量有效性问题
05.代码实现-02---校验更新偏移量
06.代码实现--03--测试接收数据
07.代码实现--04---业务概况指标实现
08.代码实现--05---分区数据处理
09.代码实现--06---省市数据分布---每小时数据分布---每分钟数据分布
10.代码实现--07---偏移量有效性检验观察
11.Echarts展示
12.面试时的项目表述
13.面试问题补充
百度云网盘下载
阅读更多
相关文章推荐
- 最新大数据24期实战项目 9天 附课件源码
- 2018年最新123套微信小程序实战项目源码分享
- 2018python数据分析与机器学习实战(视频+源码+课件)
- java项目实战-超市管理系统(七)如何导入数据到数据库?Dao包源码与分析
- 分布式事务 TCC-Transaction 源码分析 —— 项目实战
- 大数据Spark “蘑菇云”行动第76课: Kafka+Spark Streaming+Redis项目实战
- 【Rsync项目实战】备份全网服务器数据
- 2017年8月大数据-基于Spark的机器学习-智能客户系统项目实战
- 学会数据分析还得看这4个实战项目!
- 云星数据---Scala实战系列(精品版)】:Scala入门教程043-Scala实战源码-Scala Set操作
- Python3 大型网络爬虫实战 004 — scrapy 大型静态商城网站爬虫项目编写及数据写入数据库实战 — 实战:爬取淘宝
- java架构师项目实战,高并发集群分布式,大数据高可用视频教程
- CK1956-2017年最新项目实战Spring Boot视频微服务整合Mybatis
- 【SSH网上商城项目实战06】基于DataGrid的数据显示
- 大数据IMF传奇行动绝密课程第88课:SparkStreaming从Flume Poll数据案例实战和内幕源码解密
- 云星数据---Scala实战系列(精品版)】:Scala入门教程059-Scala实战源码-Scala package 包
- 第015讲: 跟王家林学习从1000个代码案例中学习人工智能和大数据实战第015讲:Scala中Tuple源码剖析及代码实践
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)