Nginx实现MogileFS的反向代理

MogileFS简介：
MogileFS是一个开源的分布式文件存储系统，MogileFS适用于存储海量小文件的工作场景，由LiveJournal旗下的Danga Interactive公司开发，该团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。
MogileFS的组成：
1、server：主要包括mogilefsd和mogstored两个应用程序。mogilefsd实现的是tracker，它通过数据库（通常是MySQL)来保存元数据信息，包括站点domain、class、host等；mogstored是存储节点(store node)，它其实是个WebDAV服务，默认监听在7500端口。
2、utils(工具集）：主要由MogileFS的一些管理工具组成，如mogadm等
3、客户端API：MogileFS的客户端API很多，如Perl、PHP、Java、Python等，用这个模块可以编写客户端程序，实现文件的备份管理功能等，不过这通常是程序员所做的工作范畴。对于普通的使用者来说前两部分是我们主要关注的。
Nginx与MogileFS的结合：
由于MogileFS是使用http协议工作的，其后端的mogstored程序相当于web服务器，如果在浏览器内直接输入保存在mogstored中的文件路径，就可以直接将文件内容显示在浏览器中，而在MogileFS的存储节点只有一个的情况下，在存储文件很多且集中时，可能不足以满足存储的需要，此时，可以增加多个MogileFS存储节点，以平衡存储压力，这种场景下可以使用Nginx作为这些存储节点的反向代理将用户请求分发到各个节点上，同时也能发挥出Nginx强大的保持会话和响应连接的能力。

实验：使用Nginx作为MogileFS的反向代理：
实验过程中三台主机均安装mogilefs的server端程序，每个节点都连接到同一个数据库进行元数据的存储操作，这样访问到每个节点都可以获取到相同的文件数据。
实验用主机：node1:172.16.103.1 (安装mogilefs的server端程序，mogilefsd和mogstored)
node2:172.16.103.2 (安装mogilefsd、mogstored、nginx)

node3:172.16.103.3 (安装mogilefsd、mogstored、mysql)

实验步骤：

一、安装配置数据库:

1、安装数据库可以选择三个主机上的哪一台都可以（实验过程中选择了node3)，然后为管理员账号创建mogilefs数据库进行授权，另外还需要创建用于保存mogilefs元数据的用户账号moguser：

# yum -y install mysql-server
# service mysqld start
# mysql
mysql> GRANT ALL ON mogilefs.* TO 'moguser'@'172.16.%.%' IDENTIFIED BY 'mogpass';
mysql> GRANT ALL ON *.* TO 'root'@'172.16.%.%' IDENTIFIED BY 'redhat';
mysql> GRANT ALL ON mogilefs.* TO 'moguser'@'node3.cluster.com' IDENTIFIED BY 'mogpass';
mysql> FLUSH PRIVILEGES;

注：数据库在授权账号连接的时候由于node3是使用本地连接的，所以需要为其单独授权。
二、配置node1:

1、安装mogilefs的服务器端软件及工具软件，注意需要安装依赖的包perl-IO-AIO：

# cd mogilefs/
# yum -y install *.rpm perl-IO-AIO

2、使用mogdbsetup创建数据库：

# mogdbsetup --dbhost=172.16.103.3 --dbname=mogilefs --dbuser=moguser --dbpass=mogpass --dbrootuser=root --dbrootpass=redhat

3、编辑配置文件，使该节点的mogilefsd进程与数据库通信，图中红框部分内容是需要根据实际需要与调整的参数：

# vim /etc/mogilefs/mogilefsd.conf

4、启动服务，并查看监听的端口是否启动

# service mogilefsd start
# netstat -tnlp

5、创建该存储节点的数据目录，该目录的属主数组要修改为mogilefs用户和mogilefs组

# mkdir -pv /mogdata/data/dev1
# chown -R mogilefs.mogilefs /mogdata/

6、修改mogstored配置文件，使配置文件对应的存储数据目录与创建的目录保持一致

# vim /etc/mogilefs/mogstored.conf

7、启动服务，查看服务启动的结果：

# service mogstored start
# netstat -tnlp

8、将node1节点配置好的mogilefsd.conf和mogstored.conf配置文件复制到node2和node3上：

# cd /etc/mogilefs
# scp ./* node2:/etc/mogilefs
# scp ./* node3:/etc/mogilefs

三、在node1和node2上安装mogilefs，创建node2和node3的数据目录，并启动服务:

# cd mogilefs/
# yum -y install *.rpm perl-IO-AIO
# mkdir -pv /mogdata/data/dev2
# chown -R mogilefs.mogilefs /mogdata/
# service mogilefsd start
# service mogstored start
# netstat -tnlp

注：node2和node3上这些操作都相同，只是node3对应的创建里面的数据目录要使用/mogdata/data/dev3。所以就没有重复列出操作过程。
四、添加各个mogilefs节点至数据库中，并查看添加后的结果：

# mogadm host add  node1 --status=alive
# mogadm host add  node2 --status=alive
# mogadm host add  node3 --status=alive
# mogadm device add node1 1 --status=alive
# mogadm device add node2 2 --status=alive
# mogadm device add node3 3 --status=alive
# mogadm check

然后可以对该mogilefs集群添加domain和class：

# mogadm domain add files
# mogadm domain add images
# mogadm class add files c1
# mogadm class add images c1

此时可以向该mogilefs存储节点中上传文件：

[root@node3 mogilefs]# mogupload --trackers=172.16.103.1 --domain=files --key='/fstab.html' --file='/etc/fstab'

如果要查看具体的domain中有哪些key，操作方法为：

[root@node3 mogilefs]# moglistkeys --trackers=172.16.103.2 --domain=files

如果要查看具体的某个key对应的存储文件信息，操作方法为：

[root@node3 mogilefs]# mogfileinfo --trackers=172.16.103.3 --domain=files --key='/fstab.html'

五、编译安装Nginx：

Nginx要作为mogilefs的反向代理，需要在Nginx中添加mogilefs的第三方模块，系统自带的Nginx默认不带有这个模块，于是需要使用编译的方式安装Nginx，以便将该模块添加进Nginx，安装可以选择在这三台主机上的任意一个都可以，实验中安装的节点是node1：
1、解决依赖关系：

# yum -y groupinstall "Development tools" "Server Platform Development"
# yum -y install pcre-devel
# yum -y install openssl-devel

2、解压编译过程中需要用的mogilefs模块及主程序源码包，执行编译安装过程：

# tar xf nginx_mogilefs_module-1.0.4.tar.gz
# tar xf nginx-1.6.1.tar.gz
# cd nginx-1.6.1
# ./configure   --prefix=/usr   --sbin-path=/usr/sbin/nginx   --conf-path=/etc/nginx/nginx.conf   --ttp-log-path=/var/log/nginx/access.log   --pid-path=/var/run/nginx/nginx.pid    --lock-path=/var/loc  --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --http-=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var-pcre   --with-debug   --add-module=../nginx_mogilefs_module-1.0.4
# make && make install

注：在编译的过程中添加mogilefs模块时，建议使用官方网站上提供的nginx_mogilefs_module-1.0.4
3、创建nginx启动时需要的目录并启动nginx：

# mkdir -pv /var/tmp/nginx/client
# nginx -c /etc/nginx/nginx.conf

4、修改nginx的配置文件，在配置文件的http段中添加upstream段定义内容，另外在http的server段中添加Nginx反向代理至后端mogilefs存储节点的定义：




此时，可以在浏览器内查看之前上传至mogilefs存储节点上的key：fstab.html：



如果要使用上传和下载的功能，可以在Nginx的配置文件中的server段中添加如下定义：



注：由于nginx的mogilefs模块的作者不再维护该模块的原因，所以如果要使用该模块的上传功能，需要使用nginx的0.7.1到0.8之间的版本，高版本的nginx由于API的变化而不支持PUT功能了。

# mogupload --trackers=172.16.103.1 --domain=images --key='/default.png' --file='/usr/share/backgrounds/default.png'

在浏览器内输入172.16.103.1/images/default.png(IP+domain+key)可以访问到存储在mogilefs存储节点上的文件：



如果需要删除存储在mogilefs存储节点上的文件，操作方式如下：

# curl -X DELETE http://172.16.103.1/images/default.png[/code]在浏览器内再次访问就会显示找不到资源： 


Nginx反向代理mogilefs的配置过程完成。