GlusterFS安装配置

GlusterFS安装配置

公司业务变化需要文件服务器，之前使用的nfs在服务器多的情况下，对用户要求太高导致好多用户不能写入。之后测试了samba、nfs用户体验不好，rsync多主机之间配置比较复杂。

1.GlusterFS文件系统和架构介绍
1）、GlusterFS文件系统简介及优点
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。
2)、GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。
3）、GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。
4）、GlusterFS支持运行在任何标准IP网络上标准应用程序的标准客户端，用户可以在全局统一的命名空间中使用NFS/CIFS等标准协议来访问应用数据。
5）、GlusterFS使用用户可摆脱原有的独立、高成本的封闭存储系统，能够利用普通廉价的存储来部署集中管理、横向扩展、虚拟化的存储池，存储容量可扩展至TB/PB级。

2.安装配置
以下是两台主机配置复制模式：

192.168.1.10 server1
192.168.1.20 server2

每台主机必须准备一台没有格式化的硬盘，GlusterFS需要独立使用一块硬盘。

格式化硬盘
mkfs.xfs -i size=512 /dev/sdb1 mkdir -p /data/test echo '/dev/sdb1/data/logs xfs defaults 1 2' >>/etc/fstab mount -a && mount

启动、停止服务
启动glusterfs
service glusterd start service glusterdstatus
service glusterd stop

创建集群
gluster peer probe server2
gluster peer probe server1

创建共享盘
mkdir -p /data/brick1/gv0
gluster volume create gv0 replica 2server1:/data/logs/gv0 server2:/data/logs/gv0 gluster volume start gv0

查看卷信息状态
gluster volume info

启动、停止卷
gluster volume start gv0
gluster volume stop gv0

客户端安装
wget -P /etc/yum.repos.dhttp://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo
yum install -y glusterfs-3.4.2-1.el6glusterfs-fuse-3.4.2-1.el6

客户端挂载磁盘
mount -t glusterfs server1:/gv0 /mnt

测试创建文件 for i in `seq -w 1 100`; docp -rp /var/log/messages /mnt/copy-test-$i; done

ls -lA /mnt | wc -l
ls -lA /data/logs/gv0

删除卷
volume delete gv0

移除集群
gluster peer detach server1 server2

收缩卷
1. glustervolume remove-brick gv0 server1:/data/logs/gv0 server2:/data/logs/gv0 start # 开始迁移
2. glustervolume remove-brick gv0 server1:/data/logs/gv0 server2:/data/logs/gv0 status # 查看迁移状态
3. glustervolume remove-brick gv0 server1:/data/logs/gv0 server2:/data/logs/gv0 commit # 迁移完成后提交

系统运维篇
1、系统配额
# gluster volume quota VOLNAMEenable/disable
//在使用系统配额功能时，需要使用enable将其开启；disable为关闭配额功能命令。
2.设置(重置)目录配额
# gluster volume quota VOLNAME limit-usage/directorylimit-value
#gluster volume quota vg0 limit-usage/quota 10GB
//如上，设置dht_vol卷下的quota子目录的限额为10GB。
PS：这个目录是以系统挂载目录为根目录”/”,所以/quota即客户端挂载目录下的子目录quota
3.配额查看
# gluster volume quota VOLNAME list
# gluster volume quota VOLNAME list/directory name
//可以使用如上两个命令进行系统卷的配额查看，第一个命令查看目的卷的所有配额设置，第二个命令则是执行目录进行查看。
//可以显示配额大小及当前使用容量，若无使用容量(最小0KB)则说明设置的目录可能是错误的(不存在)。
4.地域复制、灾备(geo-replication)
# gluster volume geo-replication MASTERSLAVE start/status/stop
地域复制是系统提供的灾备功能，能够将系统的全部数据进行异步的增量备份到另外的磁盘中。
#gluster volume geo-replicationdht_vol192.168.2.104:/mnt/sdb1 start
//如上，开始执行将dht_vol卷的所有内容备份到2.104下的/mnt/sdb1中的task，需要注意的是，这个备份目标不能是系统中的Brick。
5. I/O信息查看
Profile Command 提供接口查看一个卷中的每一个 brick 的 IO 信息。
#gluster volume profile VOLNAME start
//启动profiling，之后则可以进行IO信息查看

#gluster volume profile VOLNAME info
//查看IO信息，可以查看到每一个Brick的IO信息

# gluster volume profile VOLNAME stop
//查看结束之后关闭profiling功能
6. Top监控
Top command 允许你查看bricks 的性能例如：read,write, file opencalls, file read calls, file write calls, directory open calls,and directoryreal calls
所有的查看都可以设置top 数，默认100

# gluster volume top VOLNAME open[brickBRICK-NAME] [list-cnt cnt]
//查看打开的fd

#gluster volume top VOLNAME read [brickBRICK-NAME][list-cnt cnt]
//查看调用次数最多的读调用

#gluster volume top VOLNAME write [brickBRICK-NAME][list-cnt cnt]
//查看调用次数最多的写调用

# gluster volume top VOLNAME opendir[brickBRICK-NAME] [list-cnt cnt]
# gluster volume top VOLNAME readdir[brickBRICK-NAME] [list-cnt cnt]
//查看次数最多的目录调用

# gluster volume top VOLNAME read-perf[bsblk-size count count] [brick BRICK-NAME] [list-cnt cnt]
//查看每个Brick的读性能

# gluster volume top VOLNAME write-perf[bsblk-size count count] [brick BRICK-NAME] [list-cnt cnt]
//查看每个Brick的写性能

性能调优示例：
gluster volume start file-backup
gluster volume quota file-backup enable
gluster volume quota file-backuplimit-usage /800TB
gluster volume set file-backupauth.allow192.168.10.31,192.168.12.27
gluster volume setfile-backupperformance.cache-size 4GB
gluster volume setfile-backupperformance.flush-behind on
gluster volume info file-backup

gluster 性能优化、报错解决：
peer 节点从一个集群，加入到另外一个集群的时候，节点不能启动 glusterd 报错解决方法：

[root@server114 glusterfs]#vi/usr/local/glusterfs/etc/glusterfs/glusterd.vol
volume management
typemgmt/glusterd
option working-directory /var/lib/glusterd
optiontransport-type socket,rdma
optiontransport.socket.keepalive-time 10
optiontransport.socket.keepalive-interval 2
optiontransport.socket.read-fail-log off
# optionbase-port 49152

/var/lib/glusterd 里面有记录信息，删除下面的所有信息，清空历史记录配置文件，服务即可启动

扩容server1硬盘，server1之前100G 扩容后200G。
fdisk /dev/xvdb 重新分配硬盘空间
mkfs.xfs -i size=512 /dev/xvdb1 格式化硬盘
gluster volume start vol force 卷修复 数据自动同步

参考内容 https://www.tecmint.com/perform-self-heal-and-re-balance-operations-in-gluster-file-system/磁盘格式化修复
测试删除其中一个节点内容，删除后几分钟后会自动同步回来。
关闭集群或机器大概两、三分钟不能访问挂载文件夹，之后一切正常启动后机器会自动复制内容。