Glusterfs由RDMA切换到TCP

Glusterfs作为分布式文件系统，具有简单、高效的特性。同时还支持RDMA协议挂载到客户端，大大降低延迟。但Infiniband网络使用成本毕竟高，所以当集群规模大了之后，可能就会考虑到进行网络转型，考虑使用传统的TCP 25Gb或40Gb来取代。由于Glusterfs不能做到像Lustre那样同时支持两套网络，所以当网络调整时需要我们手动去修改glusterfs的网络配置。目前经过验证的可靠方案是更改所有gluster-server节点中与创建的volume相关的配置文件。比较多，下面进行详细说明。

创建Volume时，通过使用transport rdma，tcp 参数可以使该卷同时支持rdma和tcp两种协议。一个volume创建完成后，在/var/lib/glusterfs下会生成一些配置文件：

[root@hpc-242-057 volume-tcp]# gluster volume create volume-test transport rdma,tcp 11.11.11.54:/brick1/vd_test 11.11.11.57:/brick1/vd_test
volume create: volume-test: success: please start the volume to access data
[root@hpc-242-057 volume-tcp]# cd /var/lib/glusterd/vols/volume-test/
[root@hpc-242-057 volume-test]# ll
total 48
drwxr-xr-x 2 root root 4096 Jan 21 11:34 bricks
-rw------- 1 root root   16 Jan 21 11:34 cksum
-rw------- 1 root root  502 Jan 21 11:34 info
-rw------- 1 root root   93 Jan 21 11:34 node_state.info
-rw------- 1 root root   13 Jan 21 11:34 snapd.info
-rw------- 1 root root 1744 Jan 21 11:34 trusted-volume-test.rdma-fuse.vol
-rw------- 1 root root 1742 Jan 21 11:34 trusted-volume-test.tcp-fuse.vol
-rw------- 1 root root 1516 Jan 21 11:34 volume-test-rebalance.vol
-rw------- 1 root root 3315 Jan 21 11:34 volume-test.11.11.11.54.brick1-vd_test.vol
-rw------- 1 root root 3315 Jan 21 11:34 volume-test.11.11.11.57.brick1-vd_test.vol
-rw------- 1 root root 1516 Jan 21 11:34 volume-test.rdma-fuse.vol
-rw------- 1 root root 1514 Jan 21 11:34 volume-test.tcp-fuse.vol

创建volume使用的是IB网络地址，当客户端挂载时会去找11.11.11.0段的地址，如果客户端没有IB网络，只配置了tcp的网络，就会出现连接超时，无法与server创建连接，下面是客户端挂载时的日志信息：

[2016-01-21 03:21:28.779796] E [socket.c:2332:socket_connect_finish] 0-volume-tcp-client-0: connection to 11.11.11.54:24007 failed (Connection timed out)
[2016-01-21 03:21:28.787792] E [socket.c:2332:socket_connect_finish] 0-volume-tcp-client-1: connection to 11.11.11.57:24007 failed (Connection timed out)
[2016-01-21 03:21:28.795853] I [fuse-bridge.c:5053:fuse_graph_setup] 0-fuse: switched to graph 0
[2016-01-21 03:21:28.796171] I [fuse-bridge.c:3979:fuse_init] 0-glusterfs-fuse: FUSE inited with protocol versions: glusterfs 7.22 kernel 7.13
[2016-01-21 03:21:28.796680] W [fuse-bridge.c:747:fuse_attr_cbk] 0-glusterfs-fuse: 2: LOOKUP() / => -1 (Transport endpoint is not connected)
[2016-01-21 03:21:28.815824] I [fuse-bridge.c:4900:fuse_thread_proc] 0-fuse: unmounting /mnt
[2016-01-21 03:21:28.816224] W [glusterfsd.c:1219:cleanup_and_exit] (-->/lib64/libpthread.so.0() [0x30e6a079d1] -->/usr/sbin/glusterfs(glusterfs_sigwaiter+0xcd) [0x405e4d] -->/usr/sbin/glusterfs(cleanup_and_exit+0x65) [0x4059b5] ) 0-: received signum (15), shutting down
[2016-01-21 03:21:28.816282] I [fuse-bridge.c:5595:fini] 0-fuse: Unmounting '/mnt'.
[2016-01-21 03:21:28.816282] I [fuse-bridge.c:5595:fini] 0-fuse: Unmounting '/mnt'.

下面开始配置文件修改。

创建一个volume后，在/var/lib/glusterd/vols/目录下会以volume_name创建一个文件夹，也就是这里的volume-test，在volume-test目录里会生成一些和该卷相关的配置文件。

1、先将volume stop

[root@hpc-242-057 volume-test]# gluster volume stop volume-tcp
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: volume-tcp: success

2、停止所有Glusterfs Server节点服务

[root@hpc-242-057 volume-test]# /etc/init.d/glusterd stop
[root@hpc-242-057 volume-test]#                            [  OK  ]

3、开始修改配置文件

首先修改bricks这个文件夹中文件

[root@hpc-242-057 bricks]# ls
11.11.11.54:-brick1-vd_test  11.11.11.57:-brick1-vd_test
[root@hpc-242-057 bricks]# sed -i 's/11.11.11/192.168.242/g' 11.11.11.54:-brick1-vd_test
[root@hpc-242-057 bricks]# sed -i 's/11.11.11/192.168.242/g' 11.11.11.57:-brick1-vd_test

再修改info这个文件

[root@hpc-242-057 volume-test]# cat info
type=0
count=2
status=0
sub_count=0
stripe_count=1
replica_count=1
disperse_count=0
redundancy_count=0
version=1
transport-type=2
volume-id=316c4455-d571-4590-bd86-ccc0f40b5d40
username=ea0faa9a-833e-4848-867f-398ae96cb32f
password=34da1a52-4cef-418c-82c3-11c24a0709b1
op-version=3
client-op-version=3
parent_volname=N/A
restored_from_snap=00000000-0000-0000-0000-000000000000
snap-max-hard-limit=256
performance.readdir-ahead=on
brick-0=11.11.11.54:-brick1-vd_test
brick-1=11.11.11.57:-brick1-vd_test
[root@hpc-242-057 volume-test]# sed -i 's/11.11.11/192.168.242/g' info

trusted-volume-test.rdma-fuse.vol

[root@hpc-242-057 volume-test]# sed -i 's/11.11.11/192.168.242/g' trusted-volume-test.rdma-fuse.vol

trusted-volume-test.tcp-fuse.vol

[root@hpc-242-057 volume-test]# sed -i 's/11.11.11/192.168.242/g' trusted-volume-test.tcp-fuse.vol

volume-test-rebalance.vol

sed -i 's/11.11.11/192.168.242/g' volume-test-rebalance.vol

volume-test.11.11.11.54.brick1-vd_test.vol

sed -i 's/11.11.11/192.168.242/g' volume-test.11.11.11.54.brick1-vd_test.vol

volume-test.11.11.11.57.brick1-vd_test.vol

sed -i 's/11.11.11/192.168.242/g' volume-test.11.11.11.57.brick1-vd_test.vol

volume-test.rdma-fuse.vol

sed -i 's/11.11.11/192.168.242/g' volume-test.rdma-fuse.vol

volume-test.tcp-fuse.vol

sed -i 's/11.11.11/192.168.242/g' volume-test.tcp-fuse.vol

到此，volume-test目录下的配置文件修改改成，其实这里主要就是修改配置文件中的IP地址，另外还有几个配置文件的名称需要修改：

[root@hpc-242-054 volume-test]# mv volume-test.11.11.11.54.brick1-vd_test.vol volume-test.192.168.242.54.brick1-vd_test.vol
[root@hpc-242-054 volume-test]# mv volume-test.11.11.11.57.brick1-vd_test.vol volume-test.192.168.242.57.brick1-vd_test.vol
[root@hpc-242-054 volume-test]# cd bricks/
[root@hpc-242-054 bricks]# ls
11.11.11.54:-brick1-vd_test  11.11.11.57:-brick1-vd_test
[root@hpc-242-054 bricks]# mv 11.11.11.54:-brick1-vd_test 192.168.242.54:-brick1-vd_test
[root@hpc-242-054 bricks]# mv 11.11.11.57:-brick1-vd_test 192.168.242.57:-brick1-vd_test
[root@hpc-242-054 bricks]# ll
total 8
-rw------- 1 root root 163 Jan 23 16:30 192.168.242.54:-brick1-vd_test
-rw------- 1 root root 155 Jan 23 16:30 192.168.242.57:-brick1-vd_test

完成上面操作后，再切换到/var/lib/glusterd/peers/目录下查看server节点配置信息

[root@hpc-242-057 peers]# ll
total 44
-rw------- 1 root root  94 Jan 21 11:09 1bc35ed5-d4ef-41b5-863a-a3abc5e9cfdc
-rw------- 1 root root  94 Jan 21 11:09 1db89bbd-ac68-4ed1-bffb-f95cdaa17299

[root@hpc-242-057 peers]# cat 1bc35ed5-d4ef-41b5-863a-a3abc5e9cfdc
uuid=1bc35ed5-d4ef-41b5-863a-a3abc5e9cfdc
state=3
hostname1=hpc-242-054
hostname2=11.11.11.54

注意最下面两行hostname值，如果已经有了tcp网段对应ip解析的主机名或tcp段的ip地址，则不需再修改，如果只有一个11段的ip地址或主机名，这里还需修改成192段的地址。实际上，这里从IB网络切换到TCP后，hostname2就可以删除了。

确认peers下配置文件没问题后，将修改过的配置文件同步到其他Server节点上，直接scp过去即可。然后重新启动glusterd服务后再将volume启动。

4、 客户端挂载测试

找一台没有IB网络的节点进行测试：

[root@cobbler ~]#mount -t glusterfs 192.168.242.54:volume-test /mnt
[root@cobbler ~]#df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda3             772G  377G  357G  52% /
tmpfs                 7.8G   80K  7.8G   1% /dev/shm
/dev/sda1             194M   32M  152M  18% /boot
/dev/sdb1             862G  736G   83G  90% /disk1
192.168.242.54:volume-test
73T   61T   13T  84% /mnt