实时分布式具备高容错性的计算系统storm------核心topology架构图和storm运行topology的工作流程图
2015-10-25 15:35
776 查看
文章来源:http://blog.csdn.net/yangbutao/article/details/8445630
hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。
面对的大批量的数据的实时计算,storm实现了一个可扩展的、低延迟、可靠性和容错的分布式计算平台。
1、对象介绍
tuple:表示流中一个基本的处理单元,可以包括多个field,每个filed表示一个属性
topology:一个拓扑是一个个计算节点组成的图,每个节点包换处理的逻辑,节点之间的连线表示数据流动的方向
spout:表示一个流的源头,产生tuple
bolt:处理输入流并产生多个输出流,可以做简单的数据转换计算,复杂的流处理一般需要经过多个bolt进行处理
nimnus:主控节点,负责在集群中发布代码,分配工作给机器,并且监听状态
supervisor:一个机器,工作节点,会监听分配给的工作,根据需要启动和关闭工作进程。
woker:执行topology的工作进程,用于生成task
task:每个spout和bolt都可以作为task在storm中运行,一个task对应一个线程
storm拓扑topology的组成见下图,
2、整体架构
客户端提交拓扑到nimbus。
Nimbus针对该拓扑建立本地的目录根据topology的配置计算task,分配task,在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系;
在zookeeper上创建taskbeats节点来监控task的心跳;启动topology。
Supervisor去zookeeper上获取分配的tasks,启动多个woker进行,每个woker生成task,一个task一个线程;根据topology信息初始化建立task之间的连接;Task和Task之间是通过zeroMQ管理的;后整个拓扑运行起来。
上述只是介绍了storn的整个工作流程,当然storm在可靠性、容错性等方面考虑的比较全面,这后续再补充。
hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。
面对的大批量的数据的实时计算,storm实现了一个可扩展的、低延迟、可靠性和容错的分布式计算平台。
1、对象介绍
tuple:表示流中一个基本的处理单元,可以包括多个field,每个filed表示一个属性
topology:一个拓扑是一个个计算节点组成的图,每个节点包换处理的逻辑,节点之间的连线表示数据流动的方向
spout:表示一个流的源头,产生tuple
bolt:处理输入流并产生多个输出流,可以做简单的数据转换计算,复杂的流处理一般需要经过多个bolt进行处理
nimnus:主控节点,负责在集群中发布代码,分配工作给机器,并且监听状态
supervisor:一个机器,工作节点,会监听分配给的工作,根据需要启动和关闭工作进程。
woker:执行topology的工作进程,用于生成task
task:每个spout和bolt都可以作为task在storm中运行,一个task对应一个线程
storm拓扑topology的组成见下图,
2、整体架构
客户端提交拓扑到nimbus。
Nimbus针对该拓扑建立本地的目录根据topology的配置计算task,分配task,在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系;
在zookeeper上创建taskbeats节点来监控task的心跳;启动topology。
Supervisor去zookeeper上获取分配的tasks,启动多个woker进行,每个woker生成task,一个task一个线程;根据topology信息初始化建立task之间的连接;Task和Task之间是通过zeroMQ管理的;后整个拓扑运行起来。
上述只是介绍了storn的整个工作流程,当然storm在可靠性、容错性等方面考虑的比较全面,这后续再补充。
相关文章推荐
- LevelDB整体架构分析
- 网站(陆续更新)
- 【网站开发】验证码制作--制作篇
- 安全盒子装B公开课: 装B架构师-K0r4dji
- 网站架构-前端优化
- APK文件传到网站上出现不能被下载问题解决办法
- 网站指标操作
- web网站设计-frameset与iframe框架的使用
- 软件架构师应该知道的97件事之概括91-97
- mysql 第22章 高可用MMM、MHA
- 最近看到一个很不错的特效网站
- 软件架构师应该知道的97件事之概括76-90
- 2015年的系统架构师大会随感
- 做网站记录
- 河北民间组织管理系统、网站利益相关者和目标
- 基于heartbeat v2 crm实现HA高可用性的 LAMP+wordpress 推荐
- corosync+pacemaker+nfs+pcs配置web服务的高可用
- svn详细介绍,独立安装配置,hooks的配置管理以及大型门户网站代码上线流程
- 软件架构师应该知道的97件事之概括61-75
- 自己写的简易百度,现在在熟悉css然后准备做网站,然后跟着学java然后在熟悉框架