基于storm引擎的虫洞系统

虫洞系统是吸星大法项目衍生出来实时计算的基础平台。

它以storm实时流处理引擎为基础，提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。

这几个功能模块是此实时计算平台提供稳定运行的基础，虫洞系统承载的业务包括：月光宝盒、一淘首页个性化（实时用户个性化指标的计算）、吸星大法实时日志接入（数据源整合）。





计算能力

基于storm的流式处理任务可以直接运行在虫洞系统上，避免了搭建、维护集群的成本，极大的节约了业务的成本、提高了开发的效率和系统的稳定性

数据源整合

目前虫洞系统整合了多个实时数据源，这些数据源组合起来，可以实现完整的业务分析。 吸星大法实时数据接入将数据源接入、归一化，为使用方提供格式一致的数据，简化了日志使用的成本和难度。目前接入的主要数据源有：

            – 全网Aplus日志
            – 订单
            – 支付宝交易
            – 站外B2C
            – 实时购物车、收藏夹等

  数据交换

基础日志经过归一化之后，根据业务场景需求，可以有两种方式来使用：

                     1) Hbase， 如果需要回溯历史数据，可以使用Hbase接口来访问
                     2）虫洞（动态端口）， 高效、便捷的数据交换形式，支持日志的横向和纵向任意裁剪，支持客户端的动态负载均衡；高容错性等很多特性
             上述两种方式都提供了客户端sdk供使用

监控系统

监控系统是虫洞系统稳定运行的基础。它有两个主要功能： 1） storm task级状态的汇总 2）异常状态的报警，目前支持短信、旺旺报警

storm task级监控室为storm量身定做的监控系统，使得集群中不同机器间的状态统一监控，监控指标丰富、并且可自定义，是任务开发、调试、运维的利器。
 
forward from http://blog.linezing.com/2012/12/%e5%9f%ba%e4%ba%8estorm%e5%bc%95%e6%93%8e%e7%9a%84%e8%99%ab%e6%b4%9e%e7%b3%bb%e7%bb%9f?spm=0.0.0.0.lsw4Sp