3.Tachyon系统架构

Tachyon整体架构采用Master-Worker模式，运行中的Tachyon系统由一个Master和多个Worker构成。Tachyon Master支持Zookeeper进行容错。





Tachyon有三个主要的组件：Master，Client，Worker。



1) Master节点：主要职责是保存并维护文件系统的元数据信息，管理和控制文件与底层文件系统上的Checkpoint文件的映射关系。对worker节点的工作状态进行监控，响应客户端发出的数据元数据请求操作，维护Lineage的依赖关系等。

2) Worker节点：主要完成与主节点通信，最终内存空间管理及远程读取数据读取服务等功能。

3) Client节点：对内存文件系统及底层文件系统的文件数据进行读写。还会与主节点进行通信，比如向主节点请求文件存储的worker节点地址以及文件属性或者是缓存部分的文件属性

4) UFS：底层文件存储，可以是HDFS，S3 等。

利用Zookeeper完成主节点Master容错

多个主节点模式，主节点之间服务调用基于thrift。

集成Tachyon后的架构特点

1）同一个框架（如：Spark）内存共享



2）Spark丢失Cache读取Tachyon

在Spark的Driver端操作时，若Driver挂掉后，通过启动Driver，可以直接从Tachyon内存文件系统获取数据，不必从HDFS重新加载数据。



3）不同框架数据共享