3.Storm的集群架构以及核心概念
2018-03-10 22:41
295 查看
Storm的集群架构以及核心概念
1、Storm的集群架构
Nimbus,Supervisor,ZooKeeper,Worker,Executor,Task
2、Storm的核心概念
Topology,Spout,Bolt,Tuple,Stream
Spout:数据源的一个代码组件,就是我们可以实现一个spout接口,写一个java类,在这个spout代码中,我们可以自己尝试去数据源获取数据,比如说从kafka中消费数据
bolt:一个业务处理的代码组件,spout会将数据传送给bolt,各种bolt还可以串联成一个计算链条,java类实现了一个bolt接口
一堆spout+bolt,就会组成一个topology,就是一个拓扑,实时计算作业,spout+bolt,一个拓扑涵盖数据源获取/生产+数据处理的所有的代码逻辑,topology
tuple:就是一条数据,每条数据都会被封装在tuple中,在多个spout和bolt之间传递
stream:就是一个流,务虚的一个概念,抽象的概念,源源不断过来的tuple,就组成了一条数据流
1、Storm的集群架构
Nimbus,Supervisor,ZooKeeper,Worker,Executor,Task
2、Storm的核心概念
Topology,Spout,Bolt,Tuple,Stream
Spout:数据源的一个代码组件,就是我们可以实现一个spout接口,写一个java类,在这个spout代码中,我们可以自己尝试去数据源获取数据,比如说从kafka中消费数据
bolt:一个业务处理的代码组件,spout会将数据传送给bolt,各种bolt还可以串联成一个计算链条,java类实现了一个bolt接口
一堆spout+bolt,就会组成一个topology,就是一个拓扑,实时计算作业,spout+bolt,一个拓扑涵盖数据源获取/生产+数据处理的所有的代码逻辑,topology
tuple:就是一条数据,每条数据都会被封装在tuple中,在多个spout和bolt之间传递
stream:就是一个流,务虚的一个概念,抽象的概念,源源不断过来的tuple,就组成了一条数据流
相关文章推荐
- Struts2的架构和运行流程 之 3.3 Struts2的核心概念
- Spring 核心概念以及入门教程
- 架构与设计的流程和核心概念笔记:一、概要
- mysql集群搭建一——集群基本概念以及windows集群环境搭建
- Spring Cloud架构教程 (七)消息驱动的微服务(核心概念)【Dalston版】
- 从经典架构项目中透析微服务架构的核心概念和充血模型
- Spring Cloud架构教程 (七)消息驱动的微服务(核心概念)【Dalston版】
- 从经典架构项目中透析微服务架构的核心概念和充血模型
- 从经典架构项目中透析微服务架构的核心概念和充血模型
- 架构设计(三)分布式与集群概念
- ELK集群核心概念、mapping、查询等介绍
- 从经典架构项目中透析微服务架构的核心概念和充血模型
- HBase 简介以及个人理解(原理,基本概念,基本架构)
- 《研磨struts2》第三章 Struts2的架构和运行流程 之 3.3 Struts2的核心概念
- MySQL集群架构以及本人配置过程中出现的问题及解决办法
- 分布式(集群)的基本概念以及分布式的应用场景
- Spring Cloud构建微服务架构:消息驱动的微服务(核心概念)【Dalston版】
- 分布式(集群)的基本概念以及分布式的应用场景
- 从经典架构项目中透析微服务架构的核心概念和充血模型
- 从经典架构项目中透析微服务架构的核心概念和充血模型