Linux之使用MogileFS分布式文件系统并使用nginx实现反向代理

MogileFS是一套高效的文件自动备份组件，由Six Apart开发，广泛应用在包括LiveJournal等web2.0站点上。

MogileFS的特性：

工作在应用层，无单点，自动文件复制（复制的最小单位是class，而不是文件），传输中立且使用nfs或者http协议进行传输。

MogileFS的结构组成：



tracker：是mogilefs的核心，是一个调度器，通过数据库来保存元信息，包括daemon，class，host等信息，主要职责：监控后端mogstore节点，并指示store节点完成数据的添加，删除，查询，及节点之间的复制.

mogstore：实际数据的存储位置，通常伪一个http服务器.

database：用来保存节点的全局信息.

1.安装MogileFS

a.下载MogileFS

MogileFS-Server：https://github.com/mogilefs/MogileFS-Server

MogileFS-Utils：https://github.com/mogilefs/MogileFS-Utils

perl-MogileFS-Client：https://github.com/mogilefs/perl-MogileFS-Client

b.安装：

将文件解压并进入文件内

>make Makefile.PL
>make && make install
>yum install perl-IO-AIO

2.配置文件讲解

*为trakcer配置数据库，并在数据库中创建表，事先在数据库中创建好trakcer访问数据库的用户和密码并给权限。
mysql> grant all on mogilefs.* to "moguser"@"172.16.113.*" IDENTIFIED by "mogpasswd";
Query OK, 0 rows affected (0.01 sec)
mysql> FLUSH   PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
[root@Master mogilefs]mogdbsetup --dbhost=172.16.113.157 --dbport=3306  --dbname=mogilefs  --dbrootuser=root  --dbrootpass=kairui00544ok --dbuser=moguser --dbpass=mogpasswd --yes --type=mysql
参数解答：
dbhost：指定mysql服务器的地址
dbport：指定端口默认为mysql
dbrootuser：指定root
dbuser：tracker使用mysql的普通用户，事先要创建好此用户并授权
dbpass：普通用户的密码
type：指定数据库的类型，默认问mysql

[root@Master mogilefs]# ll /etc/mogilefs/
总用量 8
-rw-r--r--. 1 root root 1463 5月   9 21:35 mogilefsd.conf
-rw-r--r--. 1 root root   92 8月  19 2013 mogstored.conf
*mogilefsd.conf为tracker进程的配置文件
daemonize = 1    **后台运行**
pidfile = /var/run/mogilefsd/mogilefsd.pid **mogfiled进程运行时使用的pid文件**
db_dsn = DBI:mysql:mogilefs:host=172.16.113.157  **使用的数据**
db_user = moguser     **访问数据库的普通用户**
db_pass = mogpasswd
listen = *:7001     **mogilefsd进程监听的端口**
conf_port = 7001      **配置端口**
query_jobs = 10       **工作线程的个数，指查询数据库的线程个数**
delete_jobs = 1       **用于删除的线程个数**
replicate_jobs = 5    **复制的线程个数**

*mogstore.conf为mogstore节点进程的配置文件
maxconns = 10000      **最大并发连接数**
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mog/mogdata    **数据的存放位置**

3.启动并测试

1.创建/var/run/mogilefsd目录并修改属组属主
[root@Master mogilefs]# mkdir -p  /var/run/mogilefsd
[root@Master mogilefs]# chown -R mogilefs.mogilefs /var/run/mogilefsd/
2.创建/mog/mogdata目录并修改属组属主
[root@Master mogilefs]# mkdir -p /mog/mogdata
[root@Master mogilefs]# chown -R mogilefs.mogilefs /mog/mogdata/
3.启动mogilefsd进程和mogstored进程
[root@Master mogilefs]# service mogilefsd start
Starting mogilefsd                                         [确定]
[root@Master mogilefs]# service mogstored start
Starting mogstored                                         [确定]
**此处的启动脚本是使用rpm包安装，并且自带的，一般使用make安装的没有服务脚本**

4.使用管理工具配置mogstord节点主机

管理工具mogadm命令产用参数详解
>mogadm   parameter
parameter:
check：检测tracker主机
host list:显示mogstore主机
host add <hostname> [option]：将mogstore加入tracker
--altip：备用节点
--ip:
--port:
--status:加进来的主机状态，{alive,down}，默认为down
device list:显示主机的设备情况，如一共多少，使用了多少
device add <hostname> <devid> [option]:添加设别到主机
--devid=设别号，不要重复
--status：默认伪alive
domain list：显示主机的域
domain add <domain_name>:添加一个域
class list：显示类
class add <domain> <class_name> [option]
--hashtype:指定hash的方式,默认伪MD5
--mindevconut：副本保持最小数
--replpolicy：复制策略
配置mogstroke：
1.添加主机
[root@Master mogilefs]#mogadm host add  mog1 --ip=172.16.113.157 --port=7500 --status=alive
2.为主机添加设备，同时mogstored主机上要实现创建好设备，并且从启动节点
[root@Master mogilefs]# mogadm device add mog1 001
[root@Master mogdata]# mogadm device list
mog1 [1]: alive  used(G)    free(G)   total(G)  weight(%)
dev1: alive      0.557      8.441      8.998      100
3.添加域
[root@Master mogdata]# mogadm domain add file
[root@Master mogdata]# mogadm domain list
domain   class        mindevcount   replpolicy   hashtype
-------------------- -------------------- -------------
file    default          2        MultipleHosts() NONE
4.添加类
[root@Master mogdata]# mogadm class add file class1
[root@Master mogdata]# mogadm class list
domain      class     mindevcount   replpolicy   hashtype
-------------------- -------------------- -------------
file      class1          2        MultipleHosts() NONE
file     default          2        MultipleHosts() NONE

5.上传文件：mogupload
格式：mogupload --trackers=host --domain= --key=‘’ --file=‘上传文件’
[root@Master dev1]# mogupload --trackers=172.16.113.157 --domain=file --key='fstab.html' --file='/etc/fstab'

6.查看节点上的文件：moglistkeys
格式：moglistkeys  --trackers=host  --domain=
[root@Master dev1]# moglistkeys --trackers=172.16.113.157 --domain=file
fstab.html

7.获取文件的保存路径：mogfileinfo
格式：mogfileinfo  --trackers=host  --domain --key
[root@Master dev1]# mogfileinfo --trackers=172.16.113.157 --domain=file --key='fstab.html'
- file: fstab.html
class:              default
devcount:                    1
domain:                 file
fid:                    3
key:           fstab.html
length:                  993
- http://172.16.113.157:7500/dev1/0/000/000/0000000003.fid    **文件实际访问位置**

8.下载文件：mogfetch
格式：mogfetch  --trackers=host  --key --file=‘下载之后放在哪里’
9.删除文件:mogdelet
格式：mogdelet  --trackers=host  --domain --key

5.使用浏览器访问



这样一个mogilefs分布式存储就设置好了，只是mogilefsd进程和mogstored进程在统一主机上。

6.负载均衡设计结构



7.使用nginx实，现反向代理

使用nginx反向代理mogilefs时，要用到第三方模块在能使实现代理，nginx身不支持mogilefs的代理，下载模块快为nginx_mogilefs_module，下载地址：http://www.grid.net.ru/nginx/download/nginx_mogilefs_module-1.0.4.tar.gz

1.安装nginx，一定要编译安装，同时编译进第三方模块
[root@clone3 nginx-1.11.12]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --conf-path=/etc/nginx.d --sbin-path=/usr/local/bin --with-http_ssl_module  --with-http_stub_status_module --add-module=/home/lirui/nginx_mogilefs_module-1.0.4
[root@clone3 nginx-1.11.12]# make && make install
2.配置nginx配置文件
vim /etc/nginx.d/nginx.conf
upstream online_tracker{
server 171.16.113.157：7001;
server 171.16.113.160:7001;
}
server{
location ~ /file {
mogilefs_tracker online_tracker;
mogilefs_domain file;
mogilefs_methods GET PUT DELETE;
mogilefs_noverify on;
mogilefs_class calss1;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
}
**详细参数请参考官方文档：http://www.grid.net.ru/nginx/mogilefs.en.html**

8.配置两台mogilefs主机

在配置两台主机是，mogilefsd进程会在数据库中读取mogstord节点的信息，在配置时按照上述阐述仅可以配置，建议在一个mogilefsd节点上配置，另一个节点可以在数据库中读到。

9.测试结果