一种分布式框架设计（三）

本文讨论在分布式框架中使用到的两个数据结构。为了实现高性能，这两个数据结构都是无锁的。

第一个数据结构存储的是客户端发过来的socket。由于我们的框架只有一个线程接受用户的请求，所以很容易对每一个socket创建一个unique number（稍候我们再来看unique number包含了哪些信息）。框架中有一个线程专门来做清理工作，同时关闭没有返回给客户端的socket。最后框架中有多个线程去查询所需的socket，由于是根据unique number进行查找，那么它保证了每一个socket至多只会被一个线程查询一次。如果查找前就获知该unique
number所对应的socket已经因timeout而被删除了，就放弃当前的查找。unique number至少需要包含当前的时间窗口和递增的序列数这两类信息。时间窗口的作用是对于所有socket按照时间进行分组，防止递增序列号无限增大，同时清理线程很容易根据timeout的时间找到该时间窗口的所有socket。递增的序列号保证了在该时间窗口内的唯一性。数据结构如下图所示：

 


第二个数据结构是一个多进多出的队列。比如有n个dispatcher线程，m个receiver线程。实现的思想也是基于分组，则上述的例子会包含n*m个分组，每个分组中只包含一个dispatcher和一个receiver。由于我们知道循环队列是可以支持同时插入和删除，我们的问题也就这么解决了，示意图如下：

 


在一种分布式框架设计（四）中，我会分享分布式系统是如何协调工作的，另一个利器zookeeper就要出场了。