Linux 5.4 LVM RAW 设备 配置的深入研究

Redhat 平台对raw设备的配置在redhat 5之后有了变化。在redhat 5之前，直接配置/etc/sysconfig/rawdevices件，通过/etc/init.d/rawdevices来管理raw设备的启动和关闭。在Redhat 5之后，原来的raw设备接口已经取消了，redhat 5中通过udev规则进行配置。 要配置，需要编辑/etc/udev/rules.d/60-raw.rules 这个文件。

先说明一下配置环境。 用openfiler 模拟了存储， 并将这些设备用iscsi挂到了服务器上。 在openfiler存储上设置了三个3个target， 用iscsi 连接到服务器。 通过Multipath做了映射。

[root@rac1 mapper]# pwd

/dev/mapper

[root@rac1 mapper]# ll

total 0

crw------- 1 root root 10, 62 Nov 24 22:29 control

brw-rw---- 1 oracle oinstall 253, 1 Nov 24 23:18 crs

brw-rw---- 1 oracle oinstall 253, 5 Nov 24 23:18 crsp5

brw-rw---- 1 oracle oinstall 253, 6 Nov 24 23:18 crsp6

brw-rw---- 1 oracle oinstall 253, 7 Nov 24 23:18 crsp7

brw-rw---- 1 oracle oinstall 253, 8 Nov 24 23:18 crsp8

brw-rw---- 1 oracle oinstall 253, 9 Nov 24 23:18 crsp9

brw-rw---- 1 oracle oinstall 253, 2 Nov 24 23:18 data

brw-rw---- 1 oracle oinstall 253, 3 Nov 24 23:18 datap1

brw-rw---- 1 oracle oinstall 253, 0 Nov 24 23:18 fra

brw-rw---- 1 oracle oinstall 253, 4 Nov 24 23:18 frap1

[root@rac1 mapper]#

关于openfiler 配置，iscsi，multipath的配置，参考如下文档：

openfiler 搭建虚拟存储 并 配置服务端

http://blog.csdn.net/tianlesoftware/archive/2010/10/29/5973222.aspx

Multipath实现LUN设备名称的持久化

http://blog.csdn.net/tianlesoftware/archive/2010/11/01/5979061.aspx

Redhat 5.4 + ASM + RAW+ Oracle 10g RAC 安装文档

http://blog.csdn.net/tianlesoftware/archive/2010/09/09/5872593.aspx

一. 在60-raw.rules 文件中静态映射

我们先看一下60-raw.rules 文件：

[root@rac2 rules.d]# pwd

/etc/udev/rules.d

[root@rac2 rules.d]# vi 60-raw.rules

# Enter raw device bindings here.

#

# An example would be:

# ACTION=="add", KERNEL=="sda", RUN+="/bin/raw /dev/raw/raw1 %N"

# to bind /dev/raw/raw1 to /dev/sda, or -- 注意这里有个OR

# ACTION=="add", ENV{MAJOR}=="8", ENV{MINOR}=="1", RUN+="/bin/raw /dev/raw/raw2 %M %m"

# to bind /dev/raw/raw2 to the device with major 8, minor 1.

根据这段提示内容，我们只需要配置一个就可以了。 估计有很多人也是这么配置的，而且还没有配置成功。 至少我测试的时候是这样。 只有把这两句话都写上之后，才配置成功。 当初很疑惑为什么需要这样。 当初整理的文档：

Redhat 5 中裸设备(raw) 的配置

http://blog.csdn.net/tianlesoftware/archive/2010/08/09/5796962.aspx

小研究了一下这个问题。 我现在的理解如下：

在redhat 5中，是通过udev 来管理raw 设备的。 那么udev 如何知道raw 设备， 就是通过MAJOR 和 MINOR。 如果我们只写：

ACTION=="add", KERNEL=="sda", RUN+="/bin/raw /dev/raw/raw1 %N"

那么Udev 就无法识别出raw 设备，从而无法管理。 也就无法挂载raw。 只有指定了MAJOR 和 MINOR 后才能进行管理。

但是又出来一个问题，我这里有5个分区需要映射，我指定了raw ，MAJOB和 MINOR 后， 5个分区并没有全部挂载，而是只挂载了2个raw。

后来改了一种方法，就是将raw 设备的挂载添加到/etc/rc.d/rc.local文件中， 让raw开机自动挂载。 这样udev 就能识别出raw设备并进行管理了。

这种方法的配置如下：

[root@rac2 rules.d]# cat 60-raw.rules

# Enter raw device bindings here.

#

# An example would be:

# ACTION=="add", KERNEL=="sda", RUN+="/bin/raw /dev/raw/raw1 %N"

# to bind /dev/raw/raw1 to /dev/sda, or

# ACTION=="add", ENV{MAJOR}=="8", ENV{MINOR}=="1", RUN+="/bin/raw /dev/raw/raw2 %M %m"

# to bind /dev/raw/raw2 to the device with major 8, minor 1.

ACTION=="add", KERNEL=="crsp5", RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="crsp6", RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add", KERNEL=="crsp7", RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add", KERNEL=="crsp8", RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="crsp9", RUN+="/bin/raw /dev/raw/raw5 %N"

ACTION=="add", KERNEL=="raw[1-2]", OWNER="root", GROUP="oinstall", MODE="660"

ACTION=="add", KERNEL=="raw[3-5]", OWNER="oracle", GROUP="oinstall", MODE="660"

-- 这个是对raw 设备进行权限设置的

[root@rac2 rules.d]# cat /etc/rc.d/rc.local

#!/bin/sh

#

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

/bin/raw /dev/raw/raw1 /dev/mapper/crsp5

/bin/raw /dev/raw/raw2 /dev/mapper/crsp6

/bin/raw /dev/raw/raw3 /dev/mapper/crsp7

/bin/raw /dev/raw/raw4 /dev/mapper/crsp8

/bin/raw /dev/raw/raw5 /dev/mapper/crsp9

-- 系统启动时挂载raw设备

这样设置之后，用start_udev命令重启udev 或者重启操作系统之后， RAW就能自动挂载，并且权限也修改了过来。

[root@rac2 rules.d]# ls -lrt /dev/raw/raw*

crw-rw---- 1 oracle oinstall 162, 1 Nov 25 02:35 /dev/raw/raw1

crw-rw---- 1 oracle oinstall 162, 2 Nov 25 02:35 /dev/raw/raw2

crw-rw---- 1 oracle oinstall 162, 3 Nov 25 02:35 /dev/raw/raw3

crw-rw---- 1 oracle oinstall 162, 4 Nov 25 02:35 /dev/raw/raw4

crw-rw---- 1 oracle oinstall 162, 5 Nov 25 02:35 /dev/raw/raw5

[root@rac2 rules.d]# raw -qa

/dev/raw/raw1: bound to major 253, minor 5

/dev/raw/raw2: bound to major 253, minor 6

/dev/raw/raw3: bound to major 253, minor 7

/dev/raw/raw4: bound to major 253, minor 8

/dev/raw/raw5: bound to major 253, minor 9

说明：

Linux 4下做多可以绑定8192个裸设备。但是在linux下，最多只能有255个分区，所以，如果用裸设备绑定分区，最多只能绑定255个裸设备。 如果是用lvm，则没有这个限制。

网上的一位兄弟也用了这种方法：

http://oracleflash.com/7/How-to-configure-Raw-Disks-in-RHEL-5.html

二. 在60-raw.rules 文件中动态映射

配置方法如下，KERNEL并不能直接获得设备名称或者主次设备号，我们需要通过dmsetup指令来间接获得。

2.1. 编辑90-dm.rules文件，注释掉里面的内容

[root@rac1 rules.d]# pwd

/etc/udev/rules.d

[root@rac1 rules.d]# cat 90-dm.rules

#KERNEL=="dm-[0-9]*", ACTION=="add", OPTIONS+="ignore_device"

2.2. 编辑60-raw.rules文件，加入下面几行

KERNEL!="dm-[0-9]*",GOTO="skip_dm" --如果不是dm设备，则直接跳到skip_dm

ACTION!="change", GOTO="skip_dm" --如果后面的指令返回为假（非0值），则跳到skip_dm

PROGRAM!="/sbin/dmsetup ls --exec /bin/basename -j %M -m %m", GOTO="skip_dm"

RESULT=="crsp5", RUN+="/bin/raw /dev/raw/raw1 $MAJOR $MINOR"

RESULT=="crsp6", RUN+="/bin/raw /dev/raw/raw2 $MAJOR $MINOR"

RESULT=="crsp7", RUN+="/bin/raw /dev/raw/raw3 $MAJOR $MINOR"

RESULT=="crsp8", RUN+="/bin/raw /dev/raw/raw4 $MAJOR $MINOR"

RESULT=="crsp9", RUN+="/bin/raw /dev/raw/raw5 $MAJOR $MINOR"

-- 这里RESULT后面的名称是/dev/mapper下的lv的名称。 或者sdb1之类的分区

LABEL=skip_dm

ACTION=="add", KERNEL=="raw[1-2]", OWNER="root", GROUP="oinstall", MODE="660"

ACTION=="add", KERNEL=="raw[3-5]", OWNER="oracle", GROUP="oinstall", MODE="660"

2.3. 重启UDEV

[root@rac1 rules.d]# start_udev

Starting udev: [ OK ]

2.4. 查看结果

[root@rac1 rules.d]# ls -lrt /dev/raw/*

crw------- 1 root root 162, 3 Nov 25 01:19 /dev/raw/raw3

crw------- 1 root root 162, 5 Nov 25 01:19 /dev/raw/raw5

crw------- 1 root root 162, 4 Nov 25 01:19 /dev/raw/raw4

crw------- 1 root root 162, 1 Nov 25 01:19 /dev/raw/raw1

crw------- 1 root root 162, 2 Nov 25 01:19 /dev/raw/raw2

[root@rac1 rules.d]# raw -qa

/dev/raw/raw1: bound to major 253, minor 5

/dev/raw/raw2: bound to major 253, minor 6

/dev/raw/raw3: bound to major 253, minor 7

/dev/raw/raw4: bound to major 253, minor 8

/dev/raw/raw5: bound to major 253, minor 9

注意， 这里权限并没有改变过来， 所以，我们还是将权限修改添加到/etc/rc.d/rc.local 中。

[root@rac1 ~]# cat /etc/rc.d/rc.local

#!/bin/sh

#

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

chown root.oinstall /dev/raw/raw[1-2]
chown oracle.oinstall /dev/raw/raw[3-5]
chmod 775 /dev/raw/raw[1-2]
chmod 775 /dev/raw/raw[3-5]

重启操作系统后查看权限：

[root@rac1 ~]# ls -lrt /dev/raw/raw*

crwxrwx--- 1 oracle oinstall 162, 1 Nov 25 03:50 /dev/raw/raw1

crwxrwx--- 1 oracle oinstall 162, 2 Nov 25 03:50 /dev/raw/raw2

crwxrwx--- 1 oracle oinstall 162, 5 Nov 25 03:50 /dev/raw/raw5

crwxrwx--- 1 oracle oinstall 162, 3 Nov 25 03:50 /dev/raw/raw3

crwxrwx--- 1 oracle oinstall 162, 4 Nov 25 03:50 /dev/raw/raw4

2.5 扩展

这种方法有灵活性， 它将挂载写到了规则了。 这里只有5个raw设备，如果有几百个的话，这样挂载就非常麻烦了。 我们可以通过脚本来实现。

RESULT=="crsp[0-9]*",RUN+="/bin/raw /dev/raw/raw$(MINOR) $MAJOR $MINOR"

这里通过次设备号来作为裸设备的编号依次映射。

但是这里这里有个bug，我们无法对raw0这样的设备进行映射，而大部分情况是，第一个LV对应的MINOR恰好是0。在这种情况下，我们可以每次给MINOR+1来作为裸设备的编号。如：

RESULT=="crsp[0-9]*",RUN+="/bin/raw /dev/raw/raw$((MINOR+1)) $MAJOR $MINOR"

看上去很美好，很遗憾，我在Asianux 3.0 SP2,Centos 5.4版本上均没有成功。所以我采取了下面折衷的办法：

KERNEL!="dm-[0-9]*",GOTO="skip_dm"

PROGRAM!="/sbin/dmsetup ls --exec /bin/basename -j %M -m %m", GOTO="skip_dm"

RESULT=="crsp[0-9]*",RUN+="/bin/sh -c 'if [ $MINOR -eq 0 ]; then /bin/raw /dev/raw/raw200 $MAJOR $MINOR; else /bin/raw /dev/raw/raw$MINOR $MAJOR $MINOR;fi'"

LABEL=skip_dm

保存文件， 重启udev: start_udev:

[root@rac1 rules.d]# raw -qa

/dev/raw/raw5: bound to major 253, minor 5

/dev/raw/raw6: bound to major 253, minor 6

/dev/raw/raw7: bound to major 253, minor 7

/dev/raw/raw8: bound to major 253, minor 8

/dev/raw/raw9: bound to major 253, minor 9

这里的做法是如果次设备号是0的话，我们尽可能把他映射到裸设备编号靠后的设备，这里采取的是200。如果你需要映射的设备操作超过200的话，在把这个数字往后改。

注意， 这种方法的权限依然需要在/etc/rc.d/rc.local 文件中赋权。

取消raw 映射

小结：

上面讲了在Redhat 5下映射raw的两种方法。 第一种是先在rc.local 做映射， 在用udev进行管理。 第二种是在60-raw.rules中做映射， 但是权限还是要在rc.local 做赋权。 两种方法倒了过来。 如果raw 设备较多的话， 用第二种方法要简单一点。

总之， 我对REDHAT 5.4 下raw 的理解是： 要先有major 和minor 号之后，udev 才能管理Raw 设备。

-- 2011年11月30日补充

在Oracle 找到了一篇redhat 5下raw 配置的文章，可以参考。

Configuring raw devices (multipath) for Oracle Clusterware 10g Release 2 (10.2.0) on RHEL5-OEL5 [ID 564580.1]

http://blog.csdn.net/tianlesoftware/archive/2010/11/30/6045137.aspx

------------------------------------------------------------------------------

Blog： http://blog.csdn.net/tianlesoftware
网上资源： http://tianlesoftware.download.csdn.net
相关视频：http://blog.csdn.net/tianlesoftware/archive/2009/11/27/4886500.aspx

DBA1 群：62697716(满); DBA2 群：62697977(满)

DBA3 群：62697850 DBA 超级群：63306533;

聊天 群：40132017

--加群需要在备注说明Oracle表空间和数据文件的关系，否则拒绝申请

把major and minor设成0，就可以取消裸设备的绑定。

[root@rac1 mapper]# raw /dev/raw/raw9 0 0