Flink根据配置实时计算热门商品TopN
2020-01-15 04:53
1381 查看
通过本文你将学到:
1.如何通过Broadcast广播的形式,关联配置文件2如何使用 Flink 灵活的 Window API3.何时需要用到 State,以及如何使用4.如何使用 ProcessFunction 实现 TopN 功能
业务场景
实时根据运营人员前端配置的商品id,监控商品id在黄金广告位最近一小时销量的销量情况,发现销量差的商品id及时下线调整,发现销量好的商品扩大曝光力度和广告力度。
数据准备
[code]简化版kafka实时流流 {"userId":"11","itemId":"0001"} {"userId":"11","itemId":"0002"} {"userId":"22","itemId":"0002"} {"userId":"22","itemId":"0002"} {"userId":"22","itemId":"0003"} {"userId":"33","itemId":"0003"} {"userId":"33","itemId":"0004"}
[code]简化板前端运营人员配置的商品itemId 0001 0002 0003
计算流程梳理
运营人员监控的itemId会存入在mysql中,本次为了简化,直接读取的text文件
[code]整体思路梳理 1,读取运营人员想要监控的itemId 2,把想要监控的itemId通过广播的形式广播出去 3,kafka读取订单数据,过滤哪些商品订单是运营想要监控的itemId 4,实时计算topN
相关文章推荐
- Flink 零基础实战教程:如何计算实时热门商品
- Flink 零基础实战教程:如何计算实时热门商品
- [Scala] Flink项目实时热门商品统计(一)
- 眨一下眼睛竟计算了 25.5 亿次!阿里云实时计算平台 Flink 再创新记录 | 新闻
- 第97课: 使用Spark Streaming+Spark SQL实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名
- 实时计算框架flink与storm的性能对比
- golang根据配置的时间和时区计算定时任务是否到了刷新时间
- 对比Flink与Storm性能,分布式实时计算框架该这样选
- Flink实时计算大促压测实践
- 基于Kafka的实时计算引擎如何选择?Spark or Flink?
- 第97课:Spark Streaming在线动态计算特定时间窗口下热门商品排名
- 实战SparkStream+Kafka+Redis实时计算商品销售额
- [Flink基础]-- 与其他实时计算框架对比
- 如何根据传感器实时采集的数据计算出前进后退侧移下蹲等动作,并且能够估算出速度,算法
- 根据两行或多列值,实时计算另一列得
- 可以穿梭时空的实时计算框架——Flink对时间的处理
- 【javascript】根据复选框选中的商品,计算总额 | 根据选择的样式进行变换
- 基于Spark实时计算商品关注度
- javascript根据输入的本金实时计算本息和
- 第97课: 使用Spark Streaming+Spark SQL+mysql 实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名(详细内幕版本)