集群并行文件系统Lustre部署

集群并行文件系统Lustre部署
收藏

@font-face {
font-family: "宋体";
}@font-face {
font-family: "@宋体";
}p.MsoNormal, li.MsoNormal, div.MsoNormal { margin: 0cm 0cm 0.0001pt; text-align: justify; font-size: 10.5pt; font-family: "Times New Roman"; }h1 { margin: 17pt 0cm 16.5pt; text-align: justify; line-height: 240%; page-break-after: avoid; font-size: 22pt; font-family: "Times New Roman"; }a:link, span.MsoHyperlink { color: blue; text-decoration: underline; }a:visited, span.MsoHyperlinkFollowed { color: purple; text-decoration: underline; }div.Section1 { page: Section1; }ol { margin-bottom: 0cm; }ul { margin-bottom: 0cm; }

集群并行文件系统

Lustre

部署


刘爱贵

Aigui.LIU@ihep.ac.cn

2006-10-11

一、

引言

Lustre
是一个开源的、基于对象存储技术的集群并行文件系统，它具有很高的可扩展性、可用性、性能、易用性等，在高性能计算系统中被广泛使用。它主要包括三个部分：元数据服务器
MDS (Metadata Server)
、对象存储服务器
OSS (Object Storage Server)
和客户端
Client
。

中科院高能所的
BESIII
实验将使用网格计算技术
(Grid Computing)
进行物理计算和分析，为此高能所计算中心正在基于
gLite
网格中间件搭建一个网格实验平台
BES-GRID
。传统的网络文件系统
NFS
在性能和可靠性等方面都存在问题，因此我们决定使用
Lustre
来替代
NFS
为网格环境提供共享存储空间。

下面我们在
BES-GRID
环境下进行
Lustre
部署。如果在其他计算环境下安装，请根据实际情况作相应改动。

二、

总体规划

BES-GRID
共有
8
台联想万全服务器
(
双
CPU)
组成，安装的
gLite
服务如下：

Hostname	gLite Service	备注
bg001.ihep.ac.cn	CE
bg002.ihep.ac.cn	SE
bg003.ihep.ac.cn	RB
bg004.ihep.ac.cn	GridICE	Ganglia Server
bg005.ihep.ac.cn	BDII + WN	Ganglia Client
bg006.ihep.ac.cn	AMGA + MyProxy +WN	Ganglia Client
bg007.ihep.ac.cn	UI + LFC
bg008.ihep.ac.cn	R-GMA + WN	Ganglia Client

SE
使用
bg001 ~ bg004
的
/data
盘组织存储空间，
bg005 ~ bg008
的剩余磁盘空间由
Lustre
分配使用。
Lustre
组件分布如下：

Hostname	Components	Device	Space
bg005.ihep.ac.cn	OST1 + MDS + CLIENT	/dev/sda4, /dev/sda3	10GB + 25GB
bg006.ihep.ac.cn	OST2 + CLIENT	/dev/sda3	35GB
bg007.ihep.ac.cn	OST3+ CLIENT	/dev/sda3	35GB
bg008.ihep.ac.cn	OST4 + CLIENT	/dev/sda3	35GB

三、

Lustre
安装

(1)

安装说明

Lustre
版本为
1.4.7.1,
使用
pre-patched
内核
(smp-2.4.21-40.EL)
，使用
RPM
安装，
32
位服务器，
LINUX2.4
内核。

(2)

软件下载

Lustre
是开源的，从
http://www.clusterfs.com/download.html

下载
RPM
包。你也可以下载源码进行编译安装，但是比较麻烦，推荐从
RPM
包进行安装。必需的
RPM
包括：

kernel-smp-2.4.21-40.EL_lustre.1.4.7.i686.rpm

lustre-1.4.7-2.4.21_40.EL_lustre.1.4.7smp.i686.rpm

lustre-modules-1.4.7-2.4.21_40.EL_lustre.1.4.7smp.i686.rpm

(3)

磁盘空间分配

Lustre
可以使用文件系统和真实磁盘，考虑到性能，我们这里使用真实磁盘，将系统某些磁盘设备或分区分配给
Lustre
使用。这些设备和分区不能再进行
mount
操作，否则
Lustre
会出现错误。按照上面的规划将相应磁盘或分区进行处理，
LINUX
下可以使用
FDISK
工具，并在
/etc/fstab
中删去对应项。

(4)

软件安装

(a)

安装
pre-patched kernel RPM

rpm –ivh
kernel-smp-2.4.21-40.EL_lustre.1.4.7.i686.rpm

(b)

配置
lilo.conf
或
grub.conf
以启动新内核，
重启机器

(c)

安装
Lustre
内核模块和工具集

rpm –ivh
lustre-modules-1.4.7-2.4.21_40.EL_lustre.1.4.7smp.i686.rpm

rpm –ivh
lustre-1.4.7-2.4.21_40.EL_lustre.1.4.7smp.i686.rpm

(5)

配置

(a)

编写配置
Shell
脚本
config.sh (
可以在任何一个
Lustre
结点上进行
)

#!/bin/sh

# config.sh

# Create nodes

rm -f config.xml

lmc -m config.xml --add net --node node-mds
--nid node-mds
--nettype tcp

lmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcp

lmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcp

lmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcp

lmc -m config.xml --add net --node node-ost4 --nid node-ost4 --nettype tcp

lmc -m config.xml --add net --node client
--nid '*'
--nettype tcp

# Cofigure MDS

lmc -m config.xml --add mds --node node-mds --mds mds-scratch --fstype ext3 --dev /dev/sda3

# Create LOV

lmc -m config.xml --add lov --lov lov-scratch --mds mds-scratch --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0

# Configures OSTs

lmc -m config.xml --add ost --node node-ost1 --lov lov-scratch --ost ost1-scratch --fstype ext3 --dev /dev/sda4

lmc -m config.xml --add ost --node node-ost2 --lov lov-scratch --ost ost2-scratch --fstype ext3 --dev /dev/sda3

lmc -m config.xml --add ost --node node-ost3 --lov lov-scratch --ost ost3-scratch --fstype ext3 --dev /dev/sda3

lmc -m config.xml --add ost --node node-ost4 --lov lov-scratch --ost ost4-scratch --fstype ext3 --dev /dev/sda3

# Configure client (this is a 'generic' client used for all client mounts)

lmc -m config.xml --add mtpt --node client --path /scratch --mds mds-scratch --lov lov-scratch

(b)

生成
XML
配置文件
config.xml

sh config.sh

(c)

分发配置文件

Lustre
所有结点启动都需要上面生成的
config.xml
文件，分发方式有多种：
NFS
、
LDAP
、
AFS
等，这些方式适合大规模安装。为了简单起见，我直接使用
SCP
将配置文件复制到各个结点。

(6)

名字定义

上面的
config.sh
中使用了服务器名字，可在
DNS
中定义或直接在
/etc/hosts
中定义，所以最好使用
DNS
定义。使用后者定义时，切记不要将名字映射到
127.0.0.1
，这会造成客户端无法和
Servers
通信。我直接在
/etc/hosts
中定义名字，每个结点上都要定义：

xxx.xxx.xxx.xxx
node-ost1
node-mds

xxx.xxx.xxx.xxx
node-ost2

xxx.xxx.xxx.xxx
node-ost3

xxx.xxx.xxx.xxx
node-ost4

(7)

启动

按
OSTs -> MDSs -> CLIENTs
顺序启动服务：

# start OSTs
，
首次启动需要加
–reformat
选项
(
格式化，以前数据全部清除
)

lconf –reformat
--node node-ost1
config.xml

(bg005.ihep.ac.cn
上
)

lconf –reformat
--node node-ost2
config.xml

(bg006.ihep.ac.cn
上
)

lconf –reformat
--node node-ost3
config.xml

(bg007.ihep.ac.cn
上
)

lconf –reformat
--node node-ost4
config.xml

(bg008.ihep.ac.cn
上
)

# start MDSs
，首次启动需要加
–reformat
选项
(
格式化，以前数据全部清除
)

lconf –reformat
--node node-mds
config.xml

(bg005.ihep.ac.cn
上
)

# start CLIENTs

lconf --node client
config.xml

(bg005.ihep.ac.cn
上
)

lconf --node client
config.xml

(bg006.ihep.ac.cn
上
)

lconf --node client
config.xml

(bg007.ihep.ac.cn
上
)

lconf --node client
config.xml

(bg008.ihep.ac.cn
上
)

另外，还可以使用
0Config
mount
命令方式启动
CLIENT
：

mount –t luster
node-mds:/mds-scratch/client
/scratch

(8)

测试

OST
、
MDS
成功启动，
CLIENT
成功加载后，可以使用
LINUX
相关命令检查安装情况，如：

[root@bg005 lustre]# df -hT

Filesystem
Type

Size
Used Avail Use% Mounted on

/dev/sda1
ext3
29G
3.6G
24G
13% /

none
tmpfs
2.0G
0
2.0G
0% /dev/shm

config lustre_lite
128G
1.6G
120G
2% /scratch

四、相关问题

在
Lustre
安装测试过程中出现过一些问题，总结如下：

(1)

网卡无法驱动

联想的万全服务器，换上
Lustre prepatch kernel
后网卡无法驱动，在其他机器还没有遇到过这样的问题。从联想的驱动光盘上找到网卡驱动，重新编译、安装后网卡正常启动。

(2)

防火墙设置

Lustre
的
MDS
、
OST
、
CLIENT
之间需要使用端口进行相互通信，因此如果系统启动了
Iptables
服务，需要为
Lustre
打开端口
(988
，
1021 ~ 1023)
。这个问题花费了我好些时间，
MDS
开始就是无法启动，后来我把
Iptables
服务停掉后才成功。

(3)

启动顺序

正常的启动顺序是：
OST -> MDS -> CLIENT
，
MDS
启动时需要与所有的
OST
尝试连接，如果存在
OST
没有启动，
MDS
将一直进行重试。当然不按这个顺序启动也可以，中间可能需要较长的等待时间，但
Lustre
仍是按照正常顺序启动，所有
OST
启动后才启动
MDS
，
最后启动所有的
CLIENT
。

五、参考文献

[1] http://www.lustre.org

[2] https://mail.clusterfs.com/wikis/lustre/LustreHowto

[3] https://mail.clusterfs.com/wikis/attachments/LustreManual.html