基于Python的流式数据分析平台

基于Python已经有多个科学研究和数据分析库，使用非常方便。结合OpenStack（http://www.openstack.org）、RabbitMQ（http://www.rabbitmq.com）、Celery（http://www.celeryproject.org）可以打造一个实时数据的分析平台。

    OpenStack是基于Python开发的云计算平台，可以进行虚拟机的调度和管理，以及数据的虚拟化存储。RabbitMQ是一个消息总线服务器，支持通过消息的数据快速收发和任务数据的调度、分派，Celery实现并行的Worker数据分析模型。三个软件模块的结合可以完成虚拟机管理、任务管理、实时数据收发的相关任务，并使用numPy等科学计算库执行数据分析。

    如下图所示：