分布式文件系统介绍（ MooseFS ）

原文链接：分布式文件系统介绍(MooseFS)
如需转发，请注明！

分布式文件系统介绍（ MooseFS ）

1、MooseFS 系统简介

MooseFS 是一个高容错性的分布式文件系统，它能够将资源分布存储于几台不同的物理介质，对外只提供给用户一个访问接口。对它的操作与其它文件系统完全一样：
l 分层文件结构（目录树结构）；
l 存储POSIX 文件属性（权限、最后访问、修改时间）；
l 支持特殊的文件（块文件夹、字符文件及管道和socket ）
l 软链接（文件名指向目标文件）及硬链接（不同的文件名指向同一块数据）；
l 仅限于基于IP 地址或密码来访问文件系统。

MoosFS 具有以下特征：
l 高可靠性：数据可以被存储于几个不同的地方；
l 可扩展性：可以动态的添加计算机或磁盘来增加系统的容量产；
l 高可控性：系统能够设置删除文件的时间间隔；
l 可追溯性：能够根据文件的不同操作（写入/ 访问）生成文件快照。

2、MooseFS 的体系结构

MooseFS 体系结构包含以下四个模块：
l 管理服务器（ master server ）：它用来管理整个文件系统，用来存储每个文件的元数据（包括文件大小、属性及存储位置，同时也包括的一些非规则性的文件，如目录、 socket 、管道及设备）；
l 数据服务器（ chunk servers ）：用于存储文件的服务器，同时它们之间可以同步数据；
l 元数据备份服务器（ metalogger servers ）：用于存储元数据变化日志并周期性的下载元数据文件；同时也可以替代管理服务器暂不能工作的情况；
l 客户端：用于访问 MooseFS 中的文件，采用 mfsmount 来与管理服务器进行交互（接收或修改元数据文件）及与数据服务器交换真正的数据。

mfsmount 是基于 FUSE 机制的 (FileSystem in USErspace) ，因此 mooseFS 能够工作于任何实现了 FUSE 的操作系统（ Linux 、 FreeBSD 、 MacOS X 等）。



MooseFS 读操作



MooseFS 写操作
元数据存储在管理服务器的内存及磁盘中（周期性的更新二进制文件及增长的日志文件）。同时二进制文件及日志文件会被同步到元数据服务器。
文件数据被切分成最大不超过 64M 的不同的片段，每个片段会存储于备选的数据服务器中。可以通过将数据配置在多个不同的数据服务器来保证高可靠性，可以通过 mfssetgoal 命令来设定最终要将数据存储在几台服务器上。

3、系统如何工作

在客户端上对挂载在 MooseFS 上的文件操作与的文件系统完全一样，操作系统内核将文件操作传输至FUSE 模块，进而与 mfsmount 进程进行交互。 Mfsmount 进程通过网络与管理服 务器及数据服务器交互。整个过程对用户来说是完全透明的。

Mfsmount 每次与管理服务器交互，以下的操作文件元是必须的：
l 创建文件；
l 删除文件；
l 读取文件目录；
l 读取及改变属性；
l 改变文件大小；
l 开始读取或写入数据；
l 访问MFSMETA 上的任何特殊文件。
mfsmount 直接连接到数据服务器，用于存储相关片段的文件。当写入一个文件时，写入过程完成后，管理服务器会接收从 mfsmount 发送回来的信息，用于更新文件的长度及最后的修改时间。
此外，数据服务器间能够相互复制数据，以达到将数据文件存储在不同机器上的目的。

4、容错性

系统 管理员可以通过管理命令将数据文件拷贝至不同的数据服务器上。设置多于一台数据服务器的目标将有利于提高系统的容错性。多份数据文件的存储有利于消除单一数据服务器宕机或网络延迟带来的灾难。

当采用 mfssetgoal 的目标数为 1 时，会将数据文件存储在系统中的单一数据服务器中。当有重要数据时，可以将该目标值设置大于 2 ，它能够有效的防止因系统宕机而带来数据无法访问的后果。当然了目标数的设定不能多于数据服务器的数目，否则将无法将数据保存到预定数目的服务器中。当有一个服务器已经存储满时，它将无法再容纳数据存储，在这种情况下，需要重新挂载一台数据服务器，才能够满足预期的目标数。如果有一台数据服务器临时无法访问或网络出现问题，由于之前数据文件至少有两份以上的备份，客户端可以从其它服务器上进行有效访问。

新的数据服务器能够随时挂载到系统中，同时新的存储容量也会立即生效，用来存储新文件或从其它数据服务器复制备份文件。管理工具能够查询文件系统中的状态以及是否在目标值设定的范围之前内，工具也能够用来改变目标值的设置。客户端（运行 mfsmount 进程）的机器对文件系统的连贯性及其它客户端没有任何影响。最严重的情形也不过是客户端向数据服务器发送的数据失败。

5、平台

MooseFS 能够被应用在实现了 FUSE 的任何操作系统：
· Linux (Linux 2.6.14 及更高，支持 FUSE 的内核 )
· FreeBSD
· OpenSolaris
· MacOS
管理服务器、日志服务器及数据服务器使用 Cygwin 运行在 Solaris 及 Windows 上。不幸的是没有 FUSE 的话是不能将文件系统挂载到操作系统中。

6、相关资料

MFS权威指南及性能测试：http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1644309&extra=page%3D1%26filter%3Dtypeid%26typeid%3D426%26typeid%3D426