mfs 测试实验--环境搭建

本次实验计算机硬件环境cpu：E5300　　　　内存：2G显卡：ATI HD 4350硬盘：500G主板：显示器：17寸操作系统： Windows XP Professional sp3 Lenovo OEM虚拟机硬件：Vmware Workstation 6.0 cpu： 内存：128 网卡：桥接1网口 硬盘：8G
拓扑草图


操作系统：CentOS Linux应用软件版本：Moosefs 1.6.17复制同样的 CentOS 系统在虚拟机中 4 台，并配置如下的IP地址 主控服务器Master server: 10.0.1.1 [T1] 主控备份服务器Metalogger server: 10.0.1.2 [T2] 存储块服务器Chunk servers: 10.0.1.101 [T3] and 10.0.1.102 [T4] 客户端主机 (clients): 10.0.2.x [T5] (操作系统Redhat E5.5) 查看监控服务器:Red hat E 5.5

安装主服务器主控服务器Master server 安装当我们安装主控服务器时，在配置过程中(./configure)，可以取消安装chunk server（--disable-mfschunkserver）以及MooseFS 客户端（--disable-mfsmount）. 安装主控服务器master 的具体步骤为：1、添加mfs 组#groupadd mfs2、新增系统用户mfs#useradd -g mfs mfs3、切换目录#cd /usr/src4、解包归档文件#tar -zxvf mfs-1.6.15.tar.gz5、进入安装目录#cd mfs-1.6.156、配置#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-user=mfs \--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount7、编译并安装#make#make install成功安装master 以后，系统会在/etc 目录自动生成样例配置文件，这些样例文件是以.dist后缀命名。这里我们将借用这些样例文件作为MooseFS 主控服务器的目标配置文件：1、切换目录#cd /etc2、复制样例文件，以得到master 所需的配置文件#cp mfsmaster.cfg.dist mfsmaster.cfg#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg#cp mfsexports.cfg.dist mfsexports.cfg想知道关于该配置文件更多的信息，请查看它的手册页（使用命令manmfsmaster.cfg）。配置文件mfsexports.cfg 指定那些客户端主机可以远程挂接MooseFS 文件系统，以及授予挂接客户端什么样的访问权限。例如，我们指定只有10.1.1.x 网段的主机可以以读写模式访问MooseFS 的整个共享结构资源（/）。在配置文件mfsexports.cfg 文件的第一行，先取消注释，然后把星号（*）改成10.0.1.0/24,以便我们可以得到下面的文本行：10.0.1.0/24 / rw,alldirs,maproot=0二进制文件metadata 和文本文件changelog 将被保存在目录/var/lib/mfs,这是因为我们安装过程的configure 步骤使用了选项 --localstatedir=/var/lib 。首次安装master 时，会自动生成一个名为metadata.mfs.empty 的元数据文件metadata,该文件是空的。MooseFSmaster 运必须有文件metadata.mfs,这个文件是从metadata.mfs.empty 改名而来：1、切换目录#cd /var/lib/mfs2、重命名文件#cp metadata.mfs.empty metadata.mfs修改/etc/hosts 文件，以绑定主机名mfsmaster 与ip 地址10.0.1.1:10.0.1.1 mfsmaster运行master 服务（服务将以安装配置configure 指定的用户运行，这我们的案例里，它是mfs）:#/usr/sbin/mfsmaster start在一个生产环境里，我们应当设置自动启动脚本，以便操作系统重新启动时，MooseFS master也能自动运行。为了监控MooseFS 当前运行状态，运行CGI 监控服务，这样就可以用浏览器查看整个MooseFS 的运行情:#/usr/sbin/mfscgiserv现在，我们在浏览器地址栏输入http://10.0.1.1:9425 即可查看master 的运行情况（这个时候，是不能看见chunk server 的数据）。

备份服务器Backup server (metalogger) 安装用来安装metalogger 的主机，在性能上应该比master 强大（至少有更多的内存）。一旦主控服务器master 失效，只要导入changelogs 到元数据文件,备份服务器metalogger 将能接替发生故障的master，行使管理服务器的职能(更多细节请参看http://www.moosefs.org/minihowtos.html#redundant-master)。备份服务器Metalogger 安装跟主控服务器master 安装非常类似。其安装命令如下：1、 创建组mfs#groupadd mfs2、创建用户mfs#useradd -g mfs mfs3、切换目录#cd /usr/src4、解包归档文件#tar -zxvf mfs-1.6.15.tar.gz5、切换目录#cd mfs-1.6.156、配置#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-defaultuser=mfs \--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount7、编译及安装#make#make install8、产生配置文件#cd /etc#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg类似地，修改/etc/hosts 文件，增加下面的行：10.0.1.1 mfsmaster运行备份服务mfsmetaloger:#/usr/sbin/mfsmetalogger start在一个生产环境里，应当设置自动启动脚本，以便操作系统重新启动时，MooseFSmfsmetalogger 服务也能自动运行。
存储块服务器Chunk servers 安装
在每个chunk server 主机上执行下面的命令:#groupadd mfs#useradd -g mfs mfs#cd /usr/src#tar -zxvf mfs-1.6.15.tar.gz#cd mfs-1.6.156#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-user=mfs \--with-default-group=mfs --disable-mfsmaster#make#make install准备chunk server 服务所需的配置文件:#cd /etc/#cp mfschunkserver.cfg.dist mfschunkserver.cfg#cp mfshdd.cfg.dist mfshdd.cfg为了测试这个安装，我们保留mfschunkserver.cfg 文件不做任何改动；如果读者想了解配置文件mfschunkserver.cfg 更详细的信息，请查看手册页 (manmfschunkserver.cfg)。在配置文件mfshdd.cfg 中，我们给出了用于客户端挂接MooseFS 分布式文件系统根分区所使用的共享空间位置。建议在chunk server 上划分单独的空间给 MooseFS 使用，这样做的好处是便于管理剩余空间。假定要使用两个共享点/mnt/mfschunks1 和/mnt/mfschunks2，为此，在mfshdd.cfg 加入下面的文本行：/mnt/mfschunks1/mnt/mfschunks2在启动chunk server 前，需确保用户mfs 有权限读写将要被挂接的分区（因为chunk server 运行时要在此创建一个.lock 的文件）：#chown -R mfs:mfs /mnt/mfschunks1#chown -R mfs:mfs /mnt/mfschunks2类似地，修改/etc/hosts 文件，增加下面的行：10.0.1.1 mfsmaster开始启动chunk server:#/usr/sbin/mfschunkserver start现在再通过浏览器访问 http://10.0.1.1:9425/ 应该可以看见这个MooseFS 系统的全部信息，包括主控master 和存储服务chunkserver 。
客户端Users’ computers 安装
为了挂接基于MooseFS 分布式文件，客户端主机必须安装FUSE 软件包（ fuse 版本号至少2.6，推荐使用版本号大于2.7.2 的fuse）。如果系统没有安装fuse,你必须手动对其进行安装。一种常见的安装方式是从源码进行编译安装-我们可以从http://sourceforge.net/projects/fuse/取得安装源码。#cd /usr/src#tar -zxvf fuse-2.8.3.tar.gz#cd fuse-2.8.3#./configure#make#make install安装客户端软件 mfsmount 的步骤:#cd /usr/src#tar -zxvf mfs-1.6.15.tar.gz#cd mfs-1.6.15#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-=mfs \--with-default-group=mfs --disable-mfsmaster \--disable-mfschunkserver#make#make install修改文件/etc/hosts ，增加如下的文本行:10.0.1.1 mfsmaster假定客户端的挂接点是/mnt/mfs，使用MooseFS 分布式共享文件系统:1、 创建挂接点#mkdir -p /mnt/mfs2、开始挂接操作#/usr/bin/mfsmount /mnt/mfs -H mfsmaster执行命令df –h | grep mfs 检查分区情况，可能的输出如下:/storage/mfschunks/mfschunks12.0G 69M 1.9G 4% /mnt/mfschunks1/storage/mfschunks/mfschunks22.0G 69M 1.9G 4% /mnt/mfschunks2mfs#mfsmaster:9421 3.2G 0 3.2G 0% /mnt/mfs
本文安装步骤参照 田逸 翻译moosefs官方安装文档，其中ip地址，以及测试环境有本人设定，在安装过程中遇到了种种问题，比如说，gcc编译器不完整、环境参数不完整之类的，经过查阅资料，以及mfs讨论群的帮助，完成了mfs的实验。
博客地址：http://www.wenzizone.cn/?p=339在编译装moosefs的客户端的时候出现checking for FUSE... no
******************************** mfsmount disabled ********************************
* fuse library is too old or not installed - mfsmount needs version 2.6 or higher *
***********************************************************************************可实际上蚊子已经安装了fuse-2.8.4，网上找了一下，发现田逸已经遇到过此问题了，他的解决办法是：export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH然后编译就过去了，然后蚊子查了一下，PKG_CONFIG_PATH路径提供了找到.pc文件位置，默认的libdir和datadir是pkg-config文件安装时的默认目录，蚊子于是看了一下，pkgconfig的默认安装路径是/usr，所以libdir的目录就是/usr/lib，所以，蚊子之后想了另外一个解决办法，就是，在安装fuse的时候指定prefix，即./configure --prefix=/usr这样装好fuse之后，什么都不用改，moosefs的客户端就可以顺利完成。
当出现这样的问题的时候摘自：http://blog.ixpub.net/632405/viewspace-421463
#/usr/bin/mfsmount /mnt/mfs -H mfsmaster
mfsmaster register error: Permission denied
解决办法：#export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig本文出自 “扫榻人” 博客，转载请与作者联系！