Power5连接使用DS8000遇到问题处理一例

之前有两台570做的HACMP，使用的DS4800，最近新购DS8000，就把DS4800上的数据迁移到了DS8000上，迁移完之后测试都正常，第二天查看日志出现如下错误：

72206E77 0819080009 P H vpath5 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819080009 P H vpath4 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819080009 P H vpath3 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819080009 P H vpath2 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819080009 P H vpath1 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819080009 P H vpath0 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819000009 P H vpath5 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819000009 P H vpath4 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819000009 P H vpath3 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819000009 P H vpath2 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819000009 P H vpath1 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0819000009 P H vpath0 REQUESTED OPERATION CANNOT BE PERFORMED

详细日志信息：

—————————————————————————

LABEL: VPATH_RESV_CFLICT

IDENTIFIER: 72206E77

Date/Time: Wed Aug 19 08:00:08 BEIST 2009

Sequence Number: 93250

Machine Id: 00C8A1ED4C00

Node Id: abicserv5

Class: H

Type: PEND

Resource Name: vpath0

Resource Class: disk

Resource Type: vpath

Location:

Description

REQUESTED OPERATION CANNOT BE PERFORMED

Probable Causes

SOFTWARE PROGRAM

Failure Causes

DEVICE LOCKED BY ANOTHER USER

Recommended Actions

RELEASE DEVICE PERSISTENT RESERVATION

Detail Data

SENSE DATA

0000 0000 8000 0036 0000 0000 0000 0001 0000 0000 0000 0000 0000 0000

—————————————————————————

LABEL: VPATH_RESV_CFLICT

IDENTIFIER: 72206E77

Date/Time: Wed Aug 19 00:00:19 BEIST 2009

Sequence Number: 93249

Machine Id: 00C8A1ED4C00

Node Id: abicserv5

Class: H

Type: PEND

Resource Name: vpath5

Resource Class: disk

Resource Type: vpath

Location:

Description

REQUESTED OPERATION CANNOT BE PERFORMED

Probable Causes

SOFTWARE PROGRAM

Failure Causes

DEVICE LOCKED BY ANOTHER USER

Recommended Actions

RELEASE DEVICE PERSISTENT RESERVATION

Detail Data

SENSE DATA

0000 0000 8000 0036 0000 0005 0000 0001 0000 0000 0000 0000 0000 0005

于是网上搜索，发现IBM官方有该问题的处理方法：

http://www-900.ibm.com/cn/support/viewdoc/detail?DocId=1811149A13000

详细信息如下：

errpt中报“72206E77 P H vpath 不能执行请求的操作”错误的解决方法

环境:(产品,平台,机型,软件版本,等)

产品: AIX 5L HACMP5.2 or 5.3

平台: p5，pSeries, JS BladeCenter, ESS Storage

问题描述:

客户从errpt中发现在每天凌晨 00:00 零点零分的时候系统报“72206E77 P H vpath 不能执行请求的操作”

的错误，这些vpath是属于HACMP中配置的磁盘，并且这些磁盘上的vg在对端节点上正varyon着，但是存储

vpath硬盘的访问一切正常。

解答:

errpt的具体信息如下:

#errpt

————————————————————–

标识符 时间戳记 T C 资源名 描述

72206E77 1101000005 P H vpath16 不能执行请求的操作

72206E77 1101000005 P H vpath14 不能执行请求的操作

72206E77 1101000005 P H vpath12 不能执行请求的操作

72206E77 1101000005 P H vpath11 不能执行请求的操作

72206E77 1101000005 P H vpath9 不能执行请求的操作

72206E77 1101000005 P H vpath8 不能执行请求的操作

72206E77 1101000005 P H vpath6 不能执行请求的操作

72206E77 1101000005 P H vpath5 不能执行请求的操作

72206E77 1101000005 P H vpath3 不能执行请求的操作

72206E77 1101000005 P H vpath1 不能执行请求的操作

72206E77 1031000005 P H vpath16 不能执行请求的操作

72206E77 1031000005 P H vpath14 不能执行请求的操作

72206E77 1031000005 P H vpath12 不能执行请求的操作

72206E77 1031000005 P H vpath11 不能执行请求的操作

72206E77 1031000005 P H vpath9 不能执行请求的操作

72206E77 1031000005 P H vpath8 不能执行请求的操作

72206E77 1031000005 P H vpath6 不能执行请求的操作

72206E77 1031000005 P H vpath5 不能执行请求的操作

72206E77 1031000005 P H vpath3 不能执行请求的操作

72206E77 1031000005 P H vpath1 不能执行请求的操作

……

errpt -a

标号： VPATH_RESV_CFLICT

标识符： 72206E77

日期／时间： 公元2005年11月01日 星期

序号： 5237

机器标识： 00C662AF4C00

节点标识： bmccdb

类： H

类型： PEND

资源名： vpath16

资源类： disk

资源类型： vpath

位置：

描述

不能执行请求的操作

可能原因

软件程序

失败原因

设备被另一个用户锁定

推荐的操作

F100

详细数据

检测数据

2FF3 9694 8000 002B 0000 0010 0000 0001 0000 0000 0000 0000 0000 0010

……

===========================================================================

方法一: (临时解决方法)

忽略这个报错信息，这不是一个真正的功能问题，但是错误每天依旧报告。

方法二: (临时解决方法)

# smit hacmp

=> Problem Determination Tools

=> HACMP Verification

=> Automatic Cluster Configuration Monitoring

Automatic Cluster Configuration Monitoring

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

[Entry Fields]

* Automatic cluster configuration verification Disabled +

Node name Default +

* HOUR (00 – 23) [00] +#

将每天 00:00 零点零分 " Automatic cluster configuration verificatio " 的功能禁用，

然后停止HACMP应用程序，再进行HACMP配置的验证和同步，使之生效后，错误从此不再报告。

方法三:(永久解决方法)

访问下面网址下载并安装HACMP的补丁进行永久的解决。

IY70222 (HACMP5.2):

VPATH_RESERVATION_CONFLICT OR DISK ERRORS LOGGED WHEN CLVERIFY RUNS

http://www-1.ibm.com/support/docview.wss?uid=isg1IY70222

IY77629 (HACMP5.3):

VPATH_RESERVATION_CONFLICT OR DISK ERRORS LOGGED WHEN CLVERIFY RUNS

http://www-01.ibm.com/support/docview.wss?uid=isg1IY77629

安装HACMP的补丁并重新启动系统以后，错误从此不再报告。

—————————————————————————

由于我们使用的HACMP版本是5.3的，于是下载IY77629补丁进行安装，安装之后重启服务器，以为万事大吉，没想到第二天依然看到有如下错误：

72206E77 0820080009 P H vpath5 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0820080009 P H vpath4 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0820080009 P H vpath3 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0820080009 P H vpath2 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0820080009 P H vpath1 REQUESTED OPERATION CANNOT BE PERFORMED

72206E77 0820080009 P H vpath0 REQUESTED OPERATION CANNOT BE PERFORMED

于是众人大呼IBM的文档也不靠谱，正在无计可施的时候，忽然发现该错误的一个特点：

安装HACMP补丁之前凌晨0点和8点都有报错，安装HACMP补丁之后只有8点报错，感觉有些蹊跷，进一步检查：

# crontab -l

发现其中每天0点和8点执行的命令如下，其中0点执行的是HACMP的，8点的不清楚是什么东西。

0 0 * * * /usr/es/sbin/cluster/utilities/clcycle 1>/dev/null 2>/dev/null # HACMP for AIX Logfile rotation

0 8 * * * /home/cron/checksys.sh 1>>/home/cron/checksys.log 2>>/home/cron/checksys.err

由此可以判断出HACMP的补丁已经生效了，现在的问题是checksys.sh 是什么东西。

看一下checksys.sh 的内容：

cd /abbin;

/abbin/nmon64 -f -s 600 -c 144;

date;

find /var/tmp/testtmp/*.tmp -mtime +3 -print|xargs rm -f;

find /var/tmp/*.tmp -mtime +3 -print|xargs rm -f;

date;

原来是nmon，到/abbin下看了下，这个nmin64竟然是2006年的，现在问题已经确定了，就是这个2006年的nmon64的问题了，应该更新最新的nmon就OK了。