Druid原理分析之“批”任务数据流转过程

本文以HDFS中的数据作为数据源，描述Druid中对批数据的处理流程：



向Druid中提交批数据处理请求。Druid中的批处理任务会从HDFS中获取原数据。
批任务会根据处理请求生成segment，并将生成的segments存到Deep Storage（HDFS）中。
将生成的segment的元数据信息保存到元数据存储DB（如MySQL）
Coordinator会定时从元数据存储DB中查新生成的segment信息。
Coordinator将这些segment的信息写入Zookeeper的loadqueue中。
Historical节点监听ZooKeeper中的loadqueue，并从loadqueue中获取其需要加载的segment信息。
Historical节点从Deep Storage下载所需要的segment到本地磁盘。
加载完成后，Historical将下载的这些segment注册到ZooKeeper中。
客户端查询时，首先将请求发送到Broker，然后Broker首先从缓存中查找是否有需要的数据。
如果没有，Broker会从ZooKeeper中获取segment信息。
将查询请求发送至相关Historical节点，Historical节点进行计算后，将各自的部分查询结果返回给Broker。
Broker聚合后将结果返回给客户端。