在RHEL5系统中搭建iSCSI存储服务器

在RHEL5系统中搭建iSCSI存储服务器

2010.09.18 TsengYia#126.com http://selinux.cublog.cn
###################################################################

系统环境：RHEL5.5 [2.6.18-194.el5]

软件环境(使用RHEL5.5光盘自带的RPM包)：

服务器：

ClusterStorage/scsi-target-utils-0.0.6.20091205snap.el5_.1.i386.rpm

ClusterStorage/perl-Config-General-2.40-1.el5.noarch.rpm

Server/libibverbs-1.1.3-2.el5.i386.rpm

Server/openib-1.4.1-5.el5.noarch.rpm

Server/librdmacm-1.0.10-1.el5.i386.rpm

Server/libcxgb3-1.2.5-2.el5.i386.rpm

客户端：

Server/iscsi-initiator-utils-6.2.0.871-0.16.el5.i386.rpm

—— 需要注意：

1. scsi-target-utils包文件在RHEL5.0光盘中没有，好像从RHEL5.1开始才有。如果要下载源码包，可以从http://iscsitarget.sourceforge.net获得。

2. libibverbs包的安装依赖于libibverbs-driver，可以通过安装libcxgb3包(或者libmthca、libmlx4、libnes，其中任何一个都可以)获得，否则可能出现报错：

error: Failed dependencies:

libibverbs-driver is needed by libibverbs-1.1.3-2.el5.i386

###################################################################

一、配置存储服务器端 (iSCSI Target)

主机名：host1

IP地址：192.168.4.77

1. 安装scsi-target-utils相关软件包

[root@host1 ~]# mount /dev/cdrom /media/cdrom

[root@host1 ~]# cd /media/cdrom

[root@host1 cdrom]# rpm -ivh ClusterStorage/perl-Config-General-2.40-1.el5.noarch.rpm \

> ClusterStorage/scsi-target-utils-0.0.6.20091205snap.el5_.1.i386.rpm \

> Server/libibverbs-1.1.3-2.el5.i386.rpm \

> Server/openib-1.4.1-5.el5.noarch.rpm \

> Server/librdmacm-1.0.10-1.el5.i386.rpm \

> Server/libcxgb3-1.2.5-2.el5.i386.rpm
—— 服务器端配置过程可参考 /usr/share/doc/scsi-target-utils-0.0/README.iscsi 文件，命令行主要管理工具为tgtadm，系统服务为tgtd。

2. 创建要输出的存储Target

1) 启动tgtd服务 (Target Daemon)

[root@host1 ~]# service tgtd start

Starting SCSI target daemon: Starting target framework daemon

[root@host1 ~]# chkconfig --level 35 tgtd on

2) 定义两个target (给不同的客户机使用)

[root@host1 ~]# tgtadm --lld iscsi --op new --mode target --tid 1 --targetname iqn.2010-
09.cn.cnblog.selinux:target1.raid10.host1

[root@host1 ~]# tgtadm --lld iscsi --op new --mode target --tid 2 --targetname iqn.2010-
09.cn.cnblog.selinux:target2.disk6.host1
—— 其中“iqn.2010-09......”用于指定符合iSCSi规范的target名称，格式为“iqn.YYYY-mm.反向域名:识别标记”

3) 确认新定义的target信息，默认每个target中自动创建lun 0 (不可移除)

[root@host1 ~]# tgtadm --lld iscsi --op show --mode target

Target 1: iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1

System information:

Driver: iscsi

State: ready

I_T nexus information:

LUN information:

LUN: 0

Type: controller

SCSI ID: IET 00010000

SCSI SN: beaf10

Size: 0MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: None

Account information:

ACL information:

Target 2: iqn.2010-09.cn.cnblog.selinux:target2.disk6.host1

System information:

Driver: iscsi

……

3. 划分lun (Logical Unit)

在同一个Target中，可以划分多个lun，每个lun可以使用服务器端的RAID阵列、单个磁盘、分区、LVM或文件来充当。如果使用独立的整个
磁盘作为lun分配给客户机，则映射到客户端后仍然是整个磁盘，客户端可以直接使用原有磁盘中的文件系统。反之，如果使用一个磁盘阵列、
分区或文件作为lun分配给客户机，则映射到客户端后需要重新分区、格式化方可使用，原有数据无法保留。

下面的操作把一个RAID10阵列划分给Target1中的lun 1，把一块单独的SCSI磁盘划分给Target2中的lun 1，分别给不同的客户机使用。

1) 创建RAID10磁盘阵列 (软RAID，使用四块SCSI磁盘)

[root@host1 ~]# mdadm --create --verbose /dev/md0 --auto yes --raid-devices=4 --level=10 /dev/sd[b-e]

mdadm: layout defaults to n1

mdadm: chunk size defaults to 64K

mdadm: size set to 8388544K

mdadm: array /dev/md0 started

[root@host1 ~]# ls -l /dev/md0 #//确认新建的阵列设备文件

brw-r----- 1 root disk 9, 0 09-18 08:43 /dev/md0

[root@host1 ~]# mdadm --detail --scan --verbose #//确认阵列信息

ARRAY /dev/md0 level=raid10 num-devices=4 metadata=0.90

UUID=90e8eb47:420a08e7:e9b43c55:2600513

devices=/dev/sdb,/dev/sdc,/dev/sdd,/dev/sde

[root@host1 ~]# cat /proc/mdstat #//查看阵列状态

Personalities : [raid10]

md0 : active raid10 sde[3] sdd[2] sdc[1] sdb[0]

16777088 blocks 64K chunks 2 near-copies [4/4] [UUUU]

unused devices: <none>

2) 将/dev/md0划分给Target1中的lun 1，指定客户机192.168.4.99可以使用

[root@host1 ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 --backing-store /dev/md0

[root@host1 ~]# tgtadm --lld iscsi --op bind --mode target --tid 1 --initiator-address 192.168.4.99

3) 将/dev/sdf划分给Target2中的lun 1，指定客户机192.168.4.88可以使用

[root@host1 ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 --backing-store /dev/sdf

[root@host1 ~]# tgtadm --lld iscsi --op bind --mode target --tid 2 --initiator-address 192.168.4.88

4) 再次查看target信息，确认分配的lun信息

[root@host1 ~]# tgtadm --lld iscsi --op show --mode target

Target 1: iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1

……

LUN: 1 #//Target1中的lun 1信息

Type: disk

SCSI ID: IET 00010001

SCSI SN: beaf11

Size: 17180MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: /dev/md0

Account information:

ACL information:

192.168.4.99

Target 2: iqn.2010-09.cn.cnblog.selinux:target2.disk6.host1

……

LUN: 1 #//Target2中的lun 1信息

Type: disk

SCSI ID: IET 00020001

SCSI SN: beaf21

Size: 17180MB

Online: Yes

Removable media: No

Backing store type: rdwr

Backing store path: /dev/sdf

Account information:

ACL information:

192.168.4.88

4. 修改配置文件，保存上述关键配置
[root@host1 ~]# vi /etc/tgt/targets.conf

default-driver iscsi

<target iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1>

backing-store /dev/md0

initiator-address 192.168.4.99

</target>

<target iqn.2010-09.cn.cnblog.selinux:target2.disk6.host1>

backing-store /dev/sdf

initiator-address 192.168.4.88

</target>

二、配置存储客户端 (iSCSI Initiator)

主机名：host2

IP地址：192.168.4.99

主机名：host3

IP地址：192.168.4.88

—— 存储客户端的配置使用基本类似，以下仅以host2为例。

1. 安装iscsi-intiator-utils软件包
[root@host2 ~]# mount /dev/cdrom /media/cdrom

[root@host2 ~]# cd /media/cdrom/Server

[root@host2 Server]# rpm -ivh iscsi-initiator-utils-6.2.0.871-0.16.el5.i386.rpm

—— 客户端配置过程可参考 /usr/share/doc/iscsi-initiator-utils-6.2.0-871/README 文件，命令行主要管理工具为iscsiadm，系统服务为iscsi。

2. 查找iSCSI服务器端提供的Target信息
[root@host2 ~]# chkconfig --level 35 iscsi on

[root@host2 ~]# service iscsi start

[root@host2 ~]# iscsiadm --mode discovery --type sendtargets --portal 192.168.4.77

192.168.4.77:3260,1 iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1

3. 登陆到iSCSI服务器端提供的Target
[root@host2 ~]# iscsiadm --mode node --portal 192.168.4.77 --targetname iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1 -
-login

Logging in to [iface:default, target:iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1, portal:192.168.4.77,3260]

Login to [iface:default, target:iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1, portal:192.168.4.77,3260]: successful
[root@host2 ~]# lsscsi #//确认已连接(新增)的iSCSI磁盘设备(原来已有一块SCSI磁盘，因此这里新增的为/dev/sdb)

……

[1:0:0:0] storage IET Controller 0001 -

[1:0:0:1] disk IET VIRUAL-DISK 0001 /dev/sdb
[root@host2 ~]# sfdisk -s

……

/dev/sdb: 16777088

total: 33554304 blocks

4. 分区、格式化iSCSI磁盘设备，并挂载使用

若Target端分配的lun是独立的磁盘，且已包含有分区和文件系统则在initiator端无需再次分区、格式化。
[root@host2 ~]# fdisk /dev/sdb #//划分一个sdb1分区，过程略

[root@host2 ~]# partprobe /dev/sdb

[root@host2 ~]# mkfs -t ext3 /dev/sdb1

[root@host2 ~]# mkdir /media/iscsi

[root@host2 ~]# vi /etc/fstab

……

/dev/sdb1 /media/iscsi ext3 _netdev 0 0

[root@host2 ~]# mount /media/iscsi

[root@host2 ~]# mount | grep iscsi #//查看挂载情况

/dev/sdb1 on /media/iscsi type ext3 (rw,_netdev)

5. 确认生成的配置文件
[root@host2 ~]# cd /var/lib/iscsi/nodes/

[root@host2 ~]# cat iqn.2010-09.cn.cnblog.selinux\:target1.raid10.host1/192.169.4.77\,3260\,1/default

# BEGIN RECORD 2.0-871

node.name = iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1

node.tpgt = 1

node.startup = automatic

iface.iscsi_ifacename = default

iface.transport_name = tcp

node.discovery_address＝ 192.168.4.77

node.discovery_port = 3260

node.discovery_type = send_targets

……

三、iSCSI存储服务器的用户验证 (可选)
1. 服务器端(Target)设置，以Target1为例

1) 方法一：

[root@host1 ~]# tgtadm --lld iscsi --op new --mode account --user tsengyia --password
pwd@123

[root@host1 ~]# tgtadm --lld iscsi --op bind --mode account --tid 1 --user tsengyia

[root@host1 ~]# tgtadm --lld iscsi --op show --mode target

Target 1: iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1 #//确认Target1的认证用户信息

……

Account information:

tsengyia

ACL information:

192.168.4.99

2) 方法二：

[root@host1 ~]# vi /etc/tgt/targets.conf

default-driver iscsi

<target iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1>

backing-store /dev/md0

incominguser tsengyia pwd@123

initiator-address 192.168.4.99

</target>

……

[root@host1 ~]# service tgtd restart #//注意先将所有Initiator端断开连接

2. 客户端(Intiator)设置，以Host2中为例
[root@host2 ~]# cd /var/lib/iscsi/nodes/

[root@host2 ~]# vi iqn.2010-09.cn.cnblog.selinux\:target1.raid10.host1/192.169.4.77\,3260\,1/default

# BEGIN RECORD 2.0-871

node.name = iqn.2010-09.cn.cnblog.selinux:target1.raid10.host1

node.tpgt = 1

node.startup = automatic

iface.iscsi_ifacename = default

iface.transport_name = tcp

node.discovery_address＝ 192.168.4.77

node.discovery_port = 3260

node.discovery_type = send_targets

……

node.session.auth.authmethod = CHAP #//默认为None，不使用认证

node.session.auth.username = tsengyia

node.session.auth.password = pwd@123

……

[root@host2 ~]# service iscsi restart