所HACMP51安装报告 本文关键词：安装，报告，HACMP51
所HACMP51安装报告 本文简介：ED-InTechnologyGroup沈阳606所HACMP5.1安装与配置报告ED-InP.R.China2005-03Hacmp5.1的安装配置方法一、Hacmp的软件安装1．安装前提1.1准备AIX操作系统在开始安装HACMP5.1软件之前，首先要完成两台P660服务器的操作系统升级操作，包
所HACMP51安装报告 本文内容：
ED-In
Technology
Group
沈阳606所
HACMP5.1安装与配置报告
ED-In
P.R.
China
2005-03
Hacmp
5.1
的安装配置方法
一、
Hacmp
的软件安装
1．
安装前提
1.1
准备AIX操作系统
在开始安装HACMP5.1软件之前，首先要完成两台P660服务器的操作系统升级操作，包括在两台P660服务器上安装AIX
v5.2.0.1操作系统，并使用AIX
Maintenance
Level
ML04软件包将操作系统升级至5.2.0.4版本。目前，AIX
v5.2操作系统最新的Maintenance
Level版本为ML05，如果有条件，最好升级至最新的Maintenance
Level。
在升级完操作系统之后，请检查系统中已经安装的软件包，并确认系统中已经安装了如下所列的各个软件包，如果系统中未安装这些软件包，那么请使用基本的AIX
v5.2.0.1操作系统光盘安装这些软件包，并使用Maintenance
Level补订包将这些软件包升级至最新版本。
l
RSCT
2.2.1.30
或更高版本
l
bos.adt.lib
l
bos.adt.libm
l
bos.adt.syscalls
l
bos.data
l
bos.net.tcp.client
l
bos.net.tcp.server
l
bos.rte.SRC
l
bos.rte.libc
l
bos.rte.libcfg
l
bos.rte.libcur
l
bos.rte.libpthreads
l
bos.rte.odm
l
rsct.*
如果您要安装并行的资源组，还要安装下面的包：
l
bos.rte.lvm.rte5.1.0.25
or
higher
l
bos.clvm.enh*
1.2
准备Oracle数据库系统
如果系统中需要安装Oracle
9i数据库，而又不想配置成Oracle并行数据库系统，那么请在开始安装HACMP之前完成Oracle
9i数据库的安装与配置操作。
1.2.1
准备共享磁盘卷
为实现HACMP环境下Oracle数据库的高可用配置，我们需要为Oracle数据库实例准备共享磁盘卷。
在AIX操作系统下使用smitty
ssaraid命令，在7133
D40磁盘阵列上创建两个RAID
5类型的Disk
Array，分别用于Oracle数据库数据和Iman文件系统数据。使用上面创建的Disk
Array分别创建oraclevg和imanvg两个卷组，设置卷组auto
varyon为no，在Oraclevg上创建oraclelv和/oracledbs文件系统（类型为jfs2），在imanvg上创建imanlv和/imanvol文件系统，设置两个文件系统的auto
mount属性为no。
在创建卷组和文件系统的P660服务器上varyoff这两个卷组，在另外一台P660服务器上使用smitty
importvg命令分别导入两个卷组，注意在导入卷组时设置major
number属性值与另外一台P660服务器上相同的值。导入卷组后修改卷组的auto
varyon属性为no。
1.2.2
安装并创建Oracle实例
使用Oracle
9i安装介质安装数据库系统，如果使用的是光盘，那么首先mount光盘，我们这里假设mount点为/cdrom，记得在/下而不是在/cdrom下去运行/cdrom/runInstaller安装脚本，否则在要求更换光盘时无法umount光盘。
安装Oracle安装程序的提示进行安装，选择安装企业版数据库服务器，选择仅安装软件文件而不创建实例。
在一台服务器上完成安装之后，在另外一台服务器上完成同样的安装过程。
然后在两台服务器上创建dba用户组和oracle、infodba两个系统用户。在两个用户的home目录下编辑.profile文件至适当内容（请按照IMAN系统要求编辑该文件）。
安装过程完成之后，在拥有oraclevg卷组的服务器上运行oracle的数据库配置工具dbca创建数据库实例iman，按照IMAN系统需求设置各参数，设置各配置文件、控制文件、日志文件、数据文件的存储位置到/oracledbs/dbs/目录下的相应位置。然后完成实例创建。完成后，将/etc/oratab文件拷贝到另外一台服务器的相同位置。
2．
开始安装
使用HACMP
v5.1光盘介质进行安装，在安装过程中除了haview，netwiew(
Tivoli)的包以外，所有的hacmp的包都要安装。
3．
打补丁
在HACMP
v5.1安装完成之后，需要继续为HACMP打补丁，以将HACMP版本升级至最新，如果可以获得最新的HACMP完整的补订包，那么使用该补订包进行升级，如果无法获得最新的HACMP完整的补订包，那么可以在IBM网站下载IY53044、IY37779、IY45695、IY65063这几个必需的补订，然后使用smitty
install命令将其安装到系统中。
4．
重启机器
安装完HACMP软件之后，需要重新启动系统，现在我们重新启动两台P660服务器，接下来再进行HACMP的配置操作。
注：在hacmp
5.1中为了安全起见，不再使用/.rhosts文件来控制两台机器之间的命令和数据交换，而是引进的一个新的进程clcomd。如果你编辑/etc/inittab文件就会发现安装完hacmp后，在最后添加了一行：clcomdES:2:once:startsrc
-s
clcomdES
>/dev/console
2>&1。因此重新启机后，ps
–ef|grep
clcomd,会发现：root
12908
6478
0
Apr
12
-
0:21
/usr/es/sbin/cluster/clcomd
–d，证明该进程启动了。Hacmp5.1使用/usr/es/sbin
/cluster/etc/rhosts文件来代替/.rhosts文件的功能。
注意：如果两个节点间的通讯发生了什么问题，可以检查rhots文件，或者编辑rhosts文件加入两个节点的网络信息。
二、
hacmp5.1
的配置
1.
准备2台P660服务器的网络配置
在P660服务器Oraclesvr上，使用smitty
hostname命令设置主机名为Oraclesvr，使用smitty
tcpip命令设置2块网卡的boot
ip。设置第一块网卡的boot
ip为100.1.0.4，子网掩码为255.255.0.0；设置第二块网卡的boot
ip为192.1.122.4，设置子网掩码为255.255.0.0。
编辑/etc/hosts文件如下：
127.0.0.1loopback
localhost#
loopback
(lo0)
name/address
100.1.0.4
Oraclesvr_boot1
Oraclesvr
1.1.122.4
Oraclesvr_svc
1.1.122.3
Oraclesvr_per
192.1.122.4
Oraclesvr_boot2
100.1.0.1
Imansvr_boot1
Imansvr
192.1.122.1
Imansvr_boot2
1.1.122.1
Imansvr_svc
编辑/.rhosts文件如下：
Imansvr
Imansvr_boot1
Imansvr_boot2
Imansvr_svc
Oraclesvr_boot1
Oraclesvr_boot2
Oraclesvr_svc
Oraclesvr_per
Oraclesvr
在P660服务器Imansvr上，使用smitty
hostname命令设置主机名为Imansvr，使用smitty
tcpip命令设置2块网卡的boot
ip。设置第一块网卡的boot
ip为100.1.0.1，子网掩码为255.255.0.0；设置第二块网卡的boot
ip为192.1.122.1，设置子网掩码为255.255.0.0。
编辑/etc/hosts文件如下：
127.0.0.1loopback
localhost#
loopback
(lo0)
name/address
100.1.0.1
Imansvr_boot1
Imansvr
1.1.122.1
Imansvr_svc
192.1.122.1
Imansvr_boot2
100.1.0.4
Oraclesvr_boot1
Oraclesvr
192.1.122.4
Oraclesvr_boot2
1.1.122.4
Oraclesvr_svc
1.1.122.3
Oraclesvr_per
编辑/.rhosts文件如下：
Imansvr_boot1
Imansvr_boot2
Imansvr_svc
Imansvr
Oraclesvr_boot1
Oraclesvr_boot2
Oraclesvr_svc
Oraclesvr_per
Oraclesvr
注意：在使用smitty
tcpip设置网卡的boot
ip时，一定要保证2台服务器4块网卡的tcpip子网掩码设置一致，否则在后面同步HACMP配置时无法通过。
2.
准备共享卷组
共享卷组的准备过程我们在前面准备Oracle数据库系统的过程中已经做过，这里不需要再重复。
3.
准备RS232连接
注：RS232连接在HACMP
5.1版本中已经不再是必需的，如果环境中有，那么可以按照如下方式配置。
首先，使用smitty
aio命令将系统中的异步I/O卡设置为enable，并且配置为available。
然后，使用smitty
tty命令在连接了RS232线缆的端口上创建/dev/tty0（序号因系统环境不同系统会自动设定）。设置参数如下所示：
配置完成后，应测试串行网络的连通性。假定在两个节点上配置的TTY的设备名都为/dev/tty0，在两个节点上分别输入命令stty
<
/dev/tty0，如果TTY配置正确且连通，两条命令都应正确返回命令行。
4.
准备Application启动/停止脚本
在/pdm/oracle/ora92目录下创建script子目录，在该子目录下创建start_oracle脚本文件，内容如下：
su
–
oracle
–c
dbstart
创建stop_oracle脚本文件，内容如下：
su
–
oracle
–c
dbshut
创建start_iman脚本文件和stop_iman脚本文件，暂时保持文件内容为空，待将来安装了TSM
Client之后再在其中添件所需内容。
将4个脚本在2台P660服务器的/pdm/oracle/ora92/script目录下均保存一份，注意两边保存的位置和文件名称一定要保持一致。
5.
用smitty
hacmp来配置hacmp
5.1
添加cluster
和node
smitty
hacmp
Initialization
and
Standard
Configuration
Extended
Configuration
System
Management
(C-SPOC)
Problem
Determination
Tools
Add
Nodes
to
an
HACMP
Cluster
Configure
Resources
to
Make
Highly
Available
Configure
HACMP
Resource
Groups
Verify
and
Synchronize
HACMP
Configuration
Display
HACMP
Configuration
Cluster
Name
[imanha]
New
Nodes
(via
selected
communication
paths)
[oraclesvr_boot1
imansvr_boot1]
Currently
Configured
Node(s)
这一部很重要，一般我们都是把每个节点的boot1
作为communication
path
。
New
node
可以一起加，也可以一个一个的加。当回车以后，系统会自己discover
hacmp的资源。显示如下：
。。。。。。。。。。。。。。。。。。。。
IP
Network
Discovery
completed
normally
Current
cluster
configuration:
No
resource
groups
defined
Cluster
Description
of
Cluster:
imanha
Cluster
Security
Level:
Standard
There
are
2
node(s)
and
1
network(s)
defined
NODE
imansvr:
Network
net_ether_01
imansvr_boot1
100.1.0.1
imansvr_boot2
192.1.122.1
NODE
oraclesvr:
Network
net_ether_01
oraclesvr
_boot1
100.1.0.4
oraclesvr
_boot2
192.1.122.4
。。。。。。。。。。。。。。。。。。。。。。
5.2
添加高可用资源（service
ip，application
server，vg
and
jfs）
添加服务ip地址
Add
Nodes
to
an
HACMP
Cluster
Configure
Resources
to
Make
Highly
Available
Configure
HACMP
Resource
Groups
Verify
and
Synchronize
HACMP
Configuration
Display
HACMP
Configuration
Configure
Service
IP
Labels/Addresses
Configure
Application
Servers
Configure
Volume
Groups,Logical
Volumes
and
Filesystems
Configure
Concurrent
Volume
Groups
and
Logical
Volumes
Add
a
Service
IP
Label/Address
Change/Show
a
Service
IP
Label/Address
Remove
Service
IP
Label(s)/Address(es)
IP
Label/Address
[imansvr_svc]
Network
Name
[net_ether_01]
IP
Label/Address
[oraclesvr_svc]
Network
Name
[net_ether_01]
添加application
server
Configure
Service
IP
Labels/Addresses
Configure
Application
Servers
Configure
Volume
Groups,Logical
Volumes
and
Filesystems
Configure
Concurrent
Volume
Groups
and
Logical
Volumes
Add
an
Application
Server
Change/Show
an
Application
Server
Remove
an
Application
Server
Server
Name
[imanapp]
Start
Script
[/pdm/oracle/ora92/start_iman]
Stop
Script
[/pdm/oracle/ora92/stop_iman]
Server
Name
[oracleapp]
Start
Script
[/pdm/oracle/ora92/start_oracle]
Stop
Script
[/pdm/oracle/ora92/stop_oracle]
添加共享vg，jfs
注意在前面的准备Oracle数据库的步骤中我们已经建立了共享VG
imanvg和oraclevg，
并建立了共享文件系统/imanvol和/oracledbs。这里无需再做。
5.3
创建资源组
Initialization
and
Standard
Configuration
Extended
Configuration
System
Management
(C-SPOC)
Problem
Determination
Tools
Add
Nodes
to
an
HACMP
Cluster
Configure
Resources
to
Make
Highly
Available
Configure
HACMP
Resource
Groups
Verify
and
Synchronize
HACMP
Configuration
Display
HACMP
Configuration
Add
a
Resource
Group
Change/Show
a
Resource
Group
Remove
a
Resource
Group
Change/Show
Resources
for
a
Resource
Group
(standard)
Cascading
Rotating
Concurrent
Custom
Resource
Group
Name
[imanres]
Participating
Node
Names
/
Default
Node
Priority
[imansvr
oraclesvr]
同样方法可以添加oracleres
Resource
Group
Name
[oracleres]
Participating
Node
Names
/
Default
Node
Priority
[oraclesvr
imansvr]
接下来可以配置资源组，当然也可以在Extended
Configuration
中去详细配置。
我们姑且先在Initialization
and
Standard
Configuration
中配置。
Smitty
cm_config_hacmp_resource_groups_menu_dmn
Add
a
Resource
Group
Change/Show
a
Resource
Group
Remove
a
Resource
Group
Change/Show
Resources
for
a
Resource
Group
(standard)
选择imanres
Resource
Group
Name
imanres
Participating
Node
Names
(Default
Node
Priority)
imansvr
oraclesvr
Service
IP
Labels/Addresses
[imansvr_svc]
Volume
Groups
[imanvg]
Filesystems
(empty
is
ALL
for
VGs
specified)
[/imanvol]
Application
Servers
[imanapp]
同样的方法配置oracleres
Resource
Group
Name
oracleres
Participating
Node
Names
(Default
Node
Priority)
oraclesvr
imansvr
Service
IP
Labels/Addresses
[oraclesvr_svc]
Volume
Groups
[oraclevg]
Filesystems
(empty
is
ALL
for
VGs
specified)
[/oracledbs]
Application
Servers
[oracleapp]
检查和同步hacmp配置
Initialization
and
Standard
Configuration
Extended
Configuration
System
Management
(C-SPOC)
Problem
Determination
Tools
Add
Nodes
to
an
HACMP
Cluster
Configure
Resources
to
Make
Highly
Available
Configure
HACMP
Resource
Groups
Verify
and
Synchronize
HACMP
Configuration
Display
HACMP
Configuration
Cluster
Description
of
Cluster:
imanha
Cluster
Security
Level:
Standard
There
are
2
node(s)
and
1
network(s)
defined
NODE
imansvr:
Network
net_ether_01
imansvr_svc
1.1.122.1
oraclesvr_svc
1.1.122.4
imansvr_boot2
192.1.122.1
imansvr_boot1
100.1.0.1
NODE
oraclesvr:
Network
net_ether_01
oraclesvr_svc
1.1.122.4
imansvr_svc
1.1.122.1
oraclesvr_boot1
100.1.0.4
oraclesvr_boot2
192.1.122.4
Resource
Group
imanres:
Behavior
cascading
Participating
Nodes
imansvr
oraclesvr
Service
IP
Label
imansvr_svc
Resource
Group
oracleres:
Behavior
cascading
Participating
Nodes
oraclesvr
imansvr
Service
IP
Label
oraclesvr_svc
注意node
imansvr的ip
地址排列，虽然imansvr_boot2
排在imansvr_boot1前面，但是实验证明，service
地址依然会绑定在communication
path
上。
现在就可以做Initialization
and
Standard
Configuration
〉〉
Verify
and
Synchronize
HACMP
Configuration
.
然后start
一下hacmp
，看看take
over
是否都正常。
注意，很多客户是把所有的hacmp
包括应用都配好后再试起hacmp,作takeover
测试，这是很不好的一种习惯。因为融入的可能因素太多了，一旦有了问题，我们还要隔离问题，先把hacmp配置简化，再一步步作pd,那么先前的配置就白做了。所以建议客户阶段性的监测一下hacmp。
到此为止我们的hacmp已经基本配置完成了。剩下的要在Extended
Configuration中配置了。
6.
HACMP
Extended
Configuration
在Extended
Configuration中我们还可以配置tty心跳网络，hdisk心跳网络，Persistent
Node
IP，application
monitor等等。
6.1
配置RS232心跳网络
下面我们先介绍一下配置RS232心跳网络。
添加RS232网络和设备
Initialization
and
Standard
Configuration
Extended
Configuration
System
Management
(C-SPOC)
Problem
Determination
Tools
Discover
HACMP-related
Information
from
Configured
Nodes
Extended
Topology
Configuration
Extended
Resource
Configuration
Extended
Event
Configuration
Extended
Performance
Tuning
Parameters
Configuration
Security
and
Users
Configuration
Snapshot
Configuration
Extended
Verification
and
Synchronization
Configure
an
HACMP
Cluster
Configure
HACMP
Nodes
Configure
HACMP
Sites
Configure
HACMP
Networks
Configure
HACMP
Communication
Interfaces/Devices
Configure
HACMP
Persistent
Node
IP
Label/Addresses
Configure
HACMP
Global
Networks
Configure
HACMP
Network
Modules
Configure
Topology
Services
and
Group
Services
Show
HACMP
Topology
Add
a
Network
to
the
HACMP
Cluster
Change/Show
a
Network
in
the
HACMP
Cluster
Remove
a
Network
from
the
HACMP
Cluster
#
Pre-defined
Serial
Device
Types
diskhb
rs232
tmscsi
tmssa
Network
Name[m
[net_rs232_01]
Network
Type
rs232
添加设备：
Extended
Configuration〉〉Extended
Topology
Configuration〉〉Configure
HACMP
Communication
Interfaces/Devices〉〉
Add
Communication
Interfaces/Devices
〉〉
Add
Pre-defined
Communication
Interfaces
and
Devices
〉〉
Communication
Devices
〉〉
net_rs232_01
〉〉
Device
Name
[imansvr_rs232]
Network
Type
rs232
Network
Name
net_rs232_01
Device
Path
[/dev/tty0]
Node
Name
[imansvr]
Device
Name
[oraclesvr_rs232]
Network
Type
rs232
Network
Name
net_rs232_01
Device
Path
[/dev/tty0]
Node
Name
[oraclesvr]
Extended
Configuration〉〉Extended
Topology
Configuration〉〉
Show
HACMP
Topology
Cluster
Description
of
Cluster:
imanha
Cluster
Security
Level:
Standard
NODE
imansvr:
Network
net_rs232_01
Imansvr_rs232
/dev/tty0
Network
net_ether_01
imansvr_svc
1.1.122.1
oraclesvr_svc
1.1.122.4
imansvr_boot2
192.1.122.1
imansvr_boot1
100.1.0.1
NODE
oraclesvr:
Network
net_rs232_01
Oraclesvr_rs232
/dev/tty0
Network
net_ether_01
imansvr_svc
1.1.122.1
oraclesvr_svc
1.1.122.4
oraclesvr_boot1
100.1.0.4
oraclesvr_boot2
192.1.122.4
6.2
配置永久的IP标识（persistent
IP
label）
一个永久的IP标识（persistent
IP
label）是一个IP别名，它可以被分配给一个群集网络中的指定的节点，并且会一直固定在分配的节点上。
永久的IP标识（persistent
IP
label）的特性：
（1）一直固定在被分配的节点上（节点绑定）
（2）作为别名被配置在启动网卡（boot
adapter）上
（3）与已经被配置的服务IP标识（service
IP
label）或启动IP标识（boot
IP
label）共同存在
（4）不需要在节点上安装额外的物理网卡
（5）不属于任何资源组
（6）可以被用于在群集中访问指定的节点进行管理工作
（7）在节点启动后即可用，当HACMP服务停止后也始终保持可用
（8）在以太网、令牌环网、FDDI以及ATM
LANE网络中都可被配置
（9）不能在SP交换机、ATM传统IP网和串行网络上进行配置
（10）和配置的服务IP标识（service
IP
label）和启动IP标识（boot
IP
label）使用同一块网卡
（11）如果节点失败，该IP标识不会迁移到群集中的其它节点
（12）如果网卡失败，它只会迁移到相同网络的同一个节点上的其它网卡
（13）每个网络的每个节点上只能配置一个永久的IP标识（persistent
IP
label）
子网的要求
（1）对于使用传统的IPAT的网络（不使用别名）
a.必须被配置为和网络中该节点上的所有standby
IP标识在不同的子网
b.可以被配置为和网络中该节点上的service
IP标识和boot
IP标识在相同的子网或者是不同的子网
（2）对于使用别名的IPAT的网络
a.必须被配置为和网络中该节点上的所有boot
IP标识在不同的子网
b.可以被配置为和网络中该节点上的作为boot网卡别名的service
IP标识在相同的子网或者是不同的子网
Extended
Configuration〉〉Extended
Topology
Configuration〉〉Configure
HACMP
Persistent
Node
IP
Label/Addresses〉〉
Add
a
Persistent
Node
IP
Label/Address
Node
Name
oraclesvr
Network
Name
net_ether_01
Node
IP
Label/Address
oraclesvr_per
注意：永久ip
同步完后，
ip
立即绑定到boot1
上。
同步：Extended
Configuration〉〉Extended
Verification
and
Synchronization
启动hacmp
。
ED-In
Computer
Technology（Shanghai）Co.,Ltd.