在线实时数据清洗架构(1)——风控系统业务梳理
2017-06-30 15:24
489 查看
前言:
这是现有公司的项目,面试中总会被问到各种个样的问题,这个系列的博客主要是总结以及希望有人提出更好的解决方案。
风控的核心在于对数据合理范围的确定,比如一个值a,12-18是正常的,不然就是不正常的。
复杂一点
当b=1时,a:12-13正常
当b>3&&b<15时,a 14-18正常。
我们把a、b叫做指标,或者叫用户画像。
所以这个系统,主要是生成用户画像。
当一个后台请求过来主要业务是:
1,找到与之对应的数据源(多个)
2,从这些数据源拿到原始数据
3,解析成用户画像
4,灌入决策引擎
5,获得决策引擎结果并返回
待完。。。
这是现有公司的项目,面试中总会被问到各种个样的问题,这个系列的博客主要是总结以及希望有人提出更好的解决方案。
风控的核心在于对数据合理范围的确定,比如一个值a,12-18是正常的,不然就是不正常的。
复杂一点
当b=1时,a:12-13正常
当b>3&&b<15时,a 14-18正常。
我们把a、b叫做指标,或者叫用户画像。
所以这个系统,主要是生成用户画像。
当一个后台请求过来主要业务是:
1,找到与之对应的数据源(多个)
2,从这些数据源拿到原始数据
3,解析成用户画像
4,灌入决策引擎
5,获得决策引擎结果并返回
待完。。。
相关文章推荐
- 在线实时数据清洗架构(2)——server选型 Dubbo
- 在线实时数据清洗架构(3)—— 缓存选型 Redis
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 基于Lambda架构的数据实时计算系统
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 日处理20亿数据,实时用户行为服务系统架构实践
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 日处理20亿数据,实时用户行为服务系统架构实践
- 转:大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 大数据推荐系统实时架构和离线架构
- 系统架构、软件架构、物理架构、总体架构、业务架构、应用架构、数据架构、技术架构
- 日处理20亿数据,实时用户行为服务系统架构实践
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
- 日处理20亿数据,实时用户行为服务系统架构实践
- 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合