Kafka应用--金融行业分布式数据计算
2017-07-13 11:37
555 查看
股票期货数据数据计算特点:
1. 每只股票或期货账户有许多数据要计算而不涉及其它账户,比如净值、收益率、波动率、夏普值...
2. 账户量一般比较大,有并发处理需求。
3. 不需要Consumer运行完后向producer返回结果。
而Kafka刚好满足这些需求:
1. 当partition数量大于consumer数据时,可以动态添加多个consumer,起到负载均衡的作用
参见:http://oracle-api.iteye.com/admin/blogs/2374848 中的 consumer group 与 partition
2. 虽然多个Consumer同时消费一个Group无法保证顺序,但是可以保证每个partition中消息的顺序。使用producer发数据的时候以账户Id的hashcode作为分配到哪个partition的依据,可以保证同一个基金账户的消息顺序。
3. 对于没有及时消费完的message,kafka可起到缓冲的作用。
4. Kafka存储所有历史消息数据,可以随时重头或从某个位置重新读取消息。
相关文章推荐
- 数据挖掘在金融行业十大应用
- 大数据在金融行业的应用——银行大数据
- 大数据金融行业企业应用几点思考
- 《云计算》学习笔记4——Google的云计算原理与应用(分布式结构化数据表BigTable)
- 从银行、保险到证券,揭开大数据在金融行业的应用
- 大数据技术在金融行业的应用前景
- 大数据在金融行业的应用
- 《云计算》学习笔记4——Google的云计算原理与应用(分布式结构化数据表BigTable)
- 断篇-大数据金融行业企业应用几点思考
- 目前大数据在金融行业的应用主要体现在哪些方面?
- 微软技术在金融行业的应用
- WiMi-Net无线模块在分布式数据采集中的应用
- 基于COM技术的分布式栅格数据引擎设计方案与应用
- ITSM在金融行业的应用
- 无线模块在分布式数据采集中的应用
- 微软技术在金融行业的应用
- SPSS数据分析网络游戏行业应用范例
- 数据结构之应用"栈(Stack)"实现: 解析算术表达式及计算