Storm概念介绍

Storm核心概念如下：

1、Tuple：元组
Tuple即元组，是一个拓扑Topology中的Spout和Bolt组件之间数据传递的基本单元。元组中的字段可以是任何类型的对象，Storm使用元组作为其数据模型，支持所有的基本类型、字符串、和字节数组。
Spout中nextTuple()方法产生元组通过收集器Collector发射给Bolt，Bolt中execute()方法接收来自Spout发射的元组（订阅Spout中declareOutputFields参数声明的的字段后）后处理或继续发送到下一个Bolt。

2、Stream：流
Stream即流是Storm的核心抽象，是一个无界的元组序列。源源不断传递的元组就组成了流，在分布式环境中并行的创建和处理。流由元组构成，使用OutputFieldsDeclarer声明流机器模式（直接分组等）。
流被定义成由元组字段进行命名的方式，默认元组包含整型Integer、长整型Long、短整型Short、字节byte、字符String、双精度浮点型Double、单精度浮点型Float、布尔型Boolean和字节数据Byte[]，还可以
自定义序列化器以便本地元组可以使用自定义类型（自定义序列化必须实现ISerialization接口，然后通过使用CONFIG.TOPOLOGY_SERIALIZATIONS这个配置进行注册使用）。
Spout是流的源，通常从外部数据源读取数据生成元组并发射到拓扑中。外部数据源包括Kafka、HDFS、HBase、Hive、Redis或Kestrel。
Bolt接收任何数量的输入流执行处理后，可能结束或生成新的流提交到拓扑，如果生成新的流则需要多个Bolt。Bolt可以执行运行函数、过滤元组、连接流和连接数据库等操作。
一个拓扑中的每个节点均可并行执行，也可以指定拓扑中跨集群执行的线程数量。一个拓扑会一直执行，直到手动杀死。Storm会重新分配任何失败的任务，如果主机宕机或消息被删除，Storm仍然能保证不
会有任何数据丢失。
每个流被声明后都会赋予一个ID，如果是单个流的Spout或Bolt，OutputFieldsDeclarer也能声明一个不指定ID的单流，这种情况下，流被赋予默认的ID值。

3、Spout：喷口
Spout即喷口是拓扑中流的来源，是一个拓扑中产生源数据流的组件，通常情况下Spout会从外部数据源Kafka、HDFS、HBase、Hive、Redis或Kestrel中读取数据，然后转换为拓扑内部的源数据。Spout支持可
靠和不可靠两种方式，如果是可靠的Spout遇到处理元组失败会重新发射；不可靠的Spout遇到元组处理失败则跳过。Storm会不停的循环调用Spout中的nextTuple()方法，用户只要在此方法中生成源数据即可。
Spout支持多个流，可以通过OutputFieldsDeclarer类的declareStream方法来声明多个流，使用SpoutOuputCollector类的emit执行流的提交。Spout的主要方法是nextTuple()方法，nextTuple()方法会产生一
个或多个Tuple到拓扑中，如果没有新的Tuple则返回。Spout的其他常用方法是ack()和fail()方法，当有新的Tuple从Spout发出时，ack()和fail()会被调用。不可靠的Spout不调用ack()和fail()，可靠的Spout会
调用ack()和fail()方法。

4、Bolt：螺栓
Bolt即螺栓，是一个拓扑中流的处理节点，Bolt可以完成过滤、业务处理、连接运算、数据库等操作。Bolt支持多个流，以通过OutputFieldsDeclarer类的declareStream方法来声明多个流，使用
OuputCollector类的emit指定发射的流。

5、Topology：拓扑
Topology即拓扑，是Storm中运行的一个实时流数据处理的应用程序，由各个组件间的消息流动而形成逻辑上的拓扑结构。Storm的Topology类似于Hadoop的MapReduce作业，都是打成一个jar包在集群中运行，
主要区别是MapReduce的Job处理完成后会结束，只有Mapper和Reducer两个组件构成；Storm的Topology永远都在运行直到被强制杀死，由一个Spout和多个Bolt组件构成。

6、Master Node和Worker Node：主控节点和工作节点
Master Node和Worker Node即主控节点和工作节点，Storm生产环境中的集群分为主控节点和工作节点，其中主控节点只有一个（直到0.9x系列Storm的nimbus仍存在单点故障，不支持HA），而工作节点可以
有多个。

7、Nimbus和Supervisor：Numbus进程和Supervisor进程
Nimbus即主控节点上运行的一个守护进程，类似于Hadoop的JobTracker。Numbus进程负责在集群中分发代码、对节点任务分配和监控集群节点故障。Supervisor即工作节点上运行的一个守护进程，类似
Hadoop中的TaskTracker，Supervisor进程负责监听其主机上以分配的作业，启动和停止Nimbus已经分配的工作进程。

8、Stream Grouping：流分组
Stream Grouping即流分组，是拓扑中定义的一部分，为每个Bolt指定应该接收哪个流作为输入。流分组定义了流/元组如何在Bolt的任务之间进行分发。Storm内置了7中流分组方式和通过实现
CustomStreamGrouping接口可以执行自定义的流分组。

9、Worker进程、Task任务、Executor线程
Worker进程是每个Spout/Bolt中运行具体处理逻辑的进程。每个Worker进程是一个物理的JVM和拓扑中执行所有任务的一个子集。使用Config.TOPOLOGY_WORKERS配置项设置执行拓扑时分配的Worker数量。
Worker进程中运行的是Executor线程，Executor线程中运行的是Spout/Bolt实例。

10、Reliability：可靠性
Storm通过将每个Spout发射的元祖记录在的一个元祖树中，然后监控每个Spout的元组树并检测树中的元祖什么时候会成功完成。每个拓扑都有消息超时时间，如果Storm在超时之前未能检测到Spout元祖处理完成则
会把元祖置为失败并会重新发射它。