Storm Ack框架笔记

　　Storm利用Acker Bolt节点跟踪消息，当Spout发送出去的消息以及这些消息所衍生出来的消息均被处理后，Spout将受到对应于该消息的Ack。实现要点：

　　1、Storm中每条发送出去的消息都会对应一个随机的消息ID。

　　2、Spout发送消息后，将向Acker Bolt发送一条消息，该消息内容为<RootId,消息ID>，Acker bolt将为该消息创建一条跟踪项。

　　3、Bolt产生要发送的消息时，会计算每条新消息的消息ID，并将消息ID发送至Acker Bolt，Acker Bolt对消息ID进行异或后存储。于是，Storm对新发送的消息进行了跟踪。

　　4、Blot对输入的消息进行Ack时，也会将该消息ID发送到Acker Bolt,Acker Bolt对每条消息ID进行异或存储，由于该消息在被发送时，已经向Acker Bolt发送过消息ID，之后再被Acker时又再次发送该消息ID。根据异或的语义，这相当于对该消息的跟踪结束。

　　5、Acker Bolt在更新某一个消息的跟踪值时，若发现其跟踪值变为零，则向Spout节点发送消息，表明Spout发送的这条消息已经被成功处理。

　　6、若Spout在发送消息时未指定用于消息跟踪的ID，系统则不对消息进行跟踪，Blot新产生的消息并不会被单独跟踪。

　　7、Spout的每条消息以及由该消息演化而来的所有消息的跟踪负载为16个字节，8个字节的根消息ID以及8个字节的消息跟踪值AckValue.但是，由于Storm中采用HashMap对其进行存储，在32位的JVM中，每条消息至少需要20个字节的额外负载，故一条消息的跟踪需要40个字节左右的负载。



（一）1与2中，Spout发送T1到Bolt1,发送T2到Bolt2.T1和T2具有相同的内容，但表示不同的备份，每条消息都会对应一个ID,消息T1的anchors为<RootId,T1>,消息T2的anchors为<RootId,T2>

（二）3中，Spout在Acker Bolt中注册了一条记录RootId=T1^T2。

（三）4与6中，Bolt1发送新的消息T3、T4、T5到Blot3,同时对输入的消息进行Ack操作，消息内容为<RootId,T1^T3^T4^T5>,此时，Acker Bolt中的跟踪项为<RootId,T1^T2^T1^T3^T4^T5=>T2^T3^T4^T5>。

（四）在5中，Bolt2对输入的消息T2进行Ack操作，它没有产生新的消息，发送到Acker Bolt的消息为<RootId,T2>,T2异或后消失。

（五）在7中，Blot3对输入的消息进行Ack操作，发送的消息为<RootId,T3^T4^T5>,此时Acker Bolt中的跟踪项为<RootId,T3^T4^T5^T3^T4^T5 =>0>

（六）Acker Bolt发现RootId对应的值为零，它认为该RootId对应的消息以及所有衍生出来的消息均已经被成功处理，于是它向Spout发送消息，而Spout将调用Ack回调方法。

那么每条被处理的消息必须进行Ack或者Fail操作，否则，虽然有超时机制可以对过期消息进行清空，但可能导致消息不断重传。（所以项目中每次进入bolt都有唯一性过滤?)

参考：《Storm 源码分析》