linkedin databus介绍——监听数据库变化，有新数据到来时通知其他消费者app，新数据存在内存里，多份快照

概要结构如下图。



图中显示：Search Index和Read Replicas等系统是Databus的消费者。当主OLTP数据库发生写操作时，连接其上的中继系统会将数据拉到中继中。签入在Search Index或是缓存中的Databus消费者客户端，就会从中继中拉出数据，并更新索引或缓存。

Databus提供如下功能：

来源独立：Databus支持多种数据来源的变更抓取，包括Oracle和MySQL。Oracle适配器在开源版本中有提供，MySQL适配器将在以后提供。

可扩展、高度可用：Databus能扩展到支持数千消费者和事务数据来源，同时保持高度可用性。

事务按序提交：Databus能保持来源数据库中的事务完整性，并按照事务分组和来源的提交顺寻交付变更事件。

低延迟、支持多种订阅机制：数据源变更完成后，Databus能在微秒级内将事务提交给消费者。同时，消费者使用Databus中的服务器端过滤功能，可以只获取自己需要的特定数据。

无限回溯：这是Databus最具创新性的组件之一，对消费者支持无限回溯能力。当消费者需要产生数据的完整拷贝时（比如新的搜索索引），它不会对主OLTP数据库产生任何额外负担，就可以达成目的。当消费者的数据大大落后于来源数据库时，也可以使用该功能。



上图中介绍了Databus系统的构成，包括中继Relay、bootstrap服务和客户端库。Bootstrap服务中包括Bootstrap Producer和Bootstrap Server。快速变化的消费者直接从Relay中取事件。如果一个消费者的数据更新大幅落后，它要的数据就不在Relay的日志中，而是在 Bootstrap Producer里面，提交给它的，将会是自消费者上次处理变更之后的所有数据变更快照。

Databus Relay中继的功能主要包括：

从Databus来源读取变更行，并在内存缓存内将其序列化为Databus变更事件

监听来自Databus客户端（包括Bootstrap Producer）的请求，并传输新的Databus数据变更事件

Databus客户端的功能主要包括：

检查Relay上新的数据变更事件，并执行特定业务逻辑的回调

如果落后Relay太多，向Bootstrap Server发起查询

新Databus客户端会向Bootstrap Server发起bootstrap启动查询，然后切换到向中继发起查询，以完成最新的数据变更事件

单一客户端可以处理整个Databus数据流，或者可以成为消费者集群的一部分，其中每个消费者只处理一部分流数据

Databus Bootstrap Producer只是一种特定的Databus客户端，它的功能有：

检查中继上的新数据变更事件

将变更存储在MySQL数据库中

MySQL数据库供Bootstrap和客户端使用

Databus Bootstrap Server的主要功能，就是监听来自Databus客户端的请求，并返回长期回溯数据变更事件。

在LinkedIn，Databus支持的系统有：

社会化图谱索引（Social Graph Index），服务LinkedIn所有图谱查询

人员搜索索引（People Search Index），支持搜索所有LinkedIn用户

用户档案数据（Member Profile）多个冗余的读取查询

转自：http://www.infoq.com/cn/news/2013/03/linkedin-databus